Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo

인공지능의 세계에서, 기계가 이미지를 생성하는 방식과 단어를 생성하는 방식 사이에는 커지는 격차가 존재합니다. 수년 동안, 가장 발전된 텍스트 생성 시스템은 사람이 문장을 한 단어씩 왼쪽에서 오른쪽으로 써 내려가는 것과 같이 작동해 왔습니다. 이 방식은 강력하지만, 전체적인 그림을 보기 전에 시스템을 하나의 경로에 가두어 버릴 수 있다는 점에서 경직될 수 있습니다. 최근에는 이미지를 만드는 데 오랫동안 사용되어 온 기술을 빌려와 텍스트를 위한 다른 접근 방식이 등장했습니다. 단어를 하나씩 쓰는 대신, 이 새로운 모델들은 무의미하고 뒤섞인 기호 덩어리에서 시작하여 단계적으로 이를 정제하여 일관성 있는 문장이 나타나도록 합니다. 이 과정은 모델이 문장 전체를 한 번에 바라보고, 최종 결과가 일관되고 논리적이도록 모든 각도에서 동시에 정제할 수 있게 해줍니다.

하지만 기계가 의미 있는 문장을 쓸 수 있다고 해서, 그것이 반드시 인간이 원하는 종류의 문장을 쓴다는 것을 의미하지는 않습니다. 이야기를 써달라는 요청을 받았을 때, 표준 모델은 실수로 유해한 언어를 포함하거나 부자연스럽고 어색한 느낌의 텍스트를 생성할 수 있습니다. 이를 해결하기 위해 연구자들은 보통 새로운 규칙으로 모델을 재학습시키려 하지만, 이는 비용이 많이 들며 시스템을 단일한 행동 방식으로 고착시킵니다. 더 유연한 해결책은 모델의 핵심 두뇌를 바꾸지 않고, 모델이 작업하는 동안 원하는 결과로 유도하도록 조종하는 것입니다. 문제는 가능한 문장의 공간이 매우 방대하고 복잡하다는 점입니다. 단순한 조종 방식은 목적지로 이어지지 않는 경로를 탐색하는 데 시간을 낭비하거나, 똑같은 몇 가지 아이디어만 반복하는 데 갇히기 때문에 종종 실패합니다. ICLR 2026 컨퍼런스의 워크숍에서 발표된 한 새로운 연구는 이 지형을 더욱 효과적으로 탐색하는 정교한 방법을 탐구하며, 이전보다 어떻게 텍스트 생성 모델을 더 효과적으로 가이드할 수 있는지 보여줍니다.

연구진은 특정 문제에 집중했습니다: 노이즈를 제거하며 텍pos를 생성하는 모델을 사용하여, 모델 자체를 재학습시키지 않고도 유해한 언어가 없거나 혹은 매우 유창한 결과를 생성하도록 어떻게 유도할 것인가 하는 문제입니다. 그들은 기존의 여러 방법들을 자신들이 개발한 중첩 순차 몬테카를로(nested sequential Monte Carlo)라는 통계적 기법에 기반한 새로운 접근 방식과 비교했습니다. 차이점을 이해하기 위해, 울창한 숲속에서 최적의 경로를 찾는 상황을 상상해 보십시오. 기본적인 방법은 소수의 탐험가를 보내서 짧은 거리를 걷게 한 다음, 올바른 방향으로 가고 있는 것처럼 보이는 한 명을 선택하여 나머지 인원은 버리고 그 한 명만을 앞으로 보내는 방식입니다. 이것은 간단하지만, 만약 첫 몇 걸음이 오도했다면 전체 그룹은 잘못된 길로 가게 됩니다. 또 다른 방법은 많은 탐험가를 보내지만, 그들은 모두 같은 경로를 걷게 되며, 마지막에 그룹은 완료된 짧은 여정들 중 단 하나의 최선인 결과만을 선택하도록 강요받습니다. 이는 탐험가들이 효과적으로 가지를 칠 기회가 없었기 때문에, 희귀하고 고품질인 경로를 찾는 데 자주 실패하곤 합니다.

이 논문에서 제안된 새로운 방법은 다르게 작동합니다. 하나의 경로로 탐험가를 보내고 운에 맡기는 대신, 이 방식은 두 층위의 시스템을 사용합니다. 숲을 통과하는 주요 탐험가 한 명을 위해, 시스템은 주변 환경을 정찰하는 작은 하위 탐험가 팀을 보냅니다. 이 하위 탐험가들은 서로 다른 단기적인 방향을 테스트하고, 목표에 따라 어떤 방향이 가장 유망해 보이는지 보고합니다. 그러면 주요 탐험가는 맹목적으로 추측하는 대신, 이 집단 지성을 사용하여 최선의 다음 단계를 선택합니다. 이를 통해 시스템은 더 멀리 내다보고 생성 과정의 매 단계마다 더 나은 결정을 내릴 수 있습니다. 연구진은 또한 이 방법의 완전히 적응된 버전을 개발했는데, 이는 정찰병을 사용하여 다음 단계를 선택할 뿐만 아니라, 이동하기 전에도 어떤 주요 탐험가를 유지할 가치가 있는지 재평가합니다. 이는 그룹이 다양성을 유지하고 단일하고 반복적인 경로로 붕괴되지 않도록 보장합니다.

연구팀이 텍스트를 생성하도록 훈련된 모델을 대상으로 이 방법들을 테스트했을 때, 출력물을 유해한 언어를 줄이거나 유창성을 높이는 두 가지 특정 목표로 얼마나 잘 유도할 수 있는지 측정했습니다. 그들은 새로운 중첩 방식이 기존의 더 단순한 기술들을 일관되게 능가한다는 것을 발견했습니다. 정렬(alignment)을 테스트하기 위해 유해한 콘텐츠 생성을 장려하도록 설계된 테스트에서, 기본 모델은 정상적인 조건에서의 희귀성을 반영하듯 유해한 연속 문장을 거의 생성하지 않았습니다. 새로운 방법들은 표준적인 접근 방식들이 안전하고 깨끗한 상태를 유지하려는 모델의 자연스러운 경향을 넘어 목표를 향해 나아가는 데 어려움을 겪었던 것과 달리, 이러한 희귀하고 높은 보상을 주는 목표를 향해 모델을 유도하는 데 훨씬 더 성공적이었습니다. 마찬가지로, 유창한 텍스트를 생성하도록 요청받았을 때, 중첩 방식은 훨씬 더 매끄럽고 일관된 결과를 생성했습니다. 연구는 성공의 열쇠가 단순히 더 많은 탐험가를 보내는 것이 아니라, 경로의 미래 잠재력을 약속하기 전에 평가할 수 있는 올바른 종류의 정찰병을 보내는 것임을 보여주었습니다.

연구진은 또한 그룹의 크기와 정찰병의 수가 결과에 미치는 영향을 조사했습니다. 그들은 더 많은 주요 탐험가를 보유하는 것이 성공의 가장 결정적인 요인임을 발견했는데, 이는 좋은 경로를 완전히 놓칠 가능성을 줄여주기 때문입니다. 각 탐험가에 대한 정찰병의 수를 늘리는 것은 추가적인 이점을 제공했지만, 특정 지점까지만 그러했습니다. 일정 수 이상의 정찰병을 추가하는 것은 수익 체감의 법칙이 나타났습니다. 흥eli로운 점은, 새로운 방법이 과업이 어려워질 때 더 견고하다는 것을 입证明했다는 것입니다. 연구진이 모델에게 더 긴 텍스트를 생성하도록 요청했을 때, 기존의 방법들은 품질을 유지하는 데 어려움을 겪으며 종종 목표에서 벗어났습니다. 중첩 방식, 특히 완전히 적응된 버전은 중심을 잘 잡았으며, 이는 내부 정찰병의 도움을 받아 더 멀리 내다보는 것이 시스템이 긴 거리에서도 경로를 유지하는 데 도움이 되었음을 보여줍니다.

연구의 가장 중요한 발견 중 하나는 다른 연구자들에 의해 제안되었던 최근의 알고리즘에 대한 수정이었습니다. 중첩 접근 방식으로 라벨링되었던 그 이전의 방법은 서로 다른 경로의 가치를 계산하는 방식에서 미묘한 결함이 있는 것으로 밝혀졌습니다. 이 오류 때문에, 그 방식은 원하는 결과의 분포를 제대로 타겟팅하지 못했고, 결과적으로 원하는 목표를 진정으로 반영하지 못하는 편향된 결과를 초래했습니다. 이 새로운 연구는 이 수학적 오류를 식별하고 수정하여, 그들의 알고리즘 버전이 적절하게 가중치가 부여되고 편향되지 않도록 보장했습니다. 이 수정은 매우 중요했는데, 이는 그들이 관찰한 개선 사항이 잘못된 계산의 결과가 아니라 진정한 것임을 의미했기 때문입니다. 연구진은 자신들의 수정된 방법이 이론적 목표와 완벽하게 일치하는 결과를 생성하는 반면, 수정되지 않은 버전은 그렇지 않음을 확인했습니다.

이 연구는 웹 텍스트의 대규모 데이터셋으로 훈련된 특정 유형의 텍스트 모델을 사용하여 수행되었으며, 공정한 비교를 위해 표준적인 프롬프트 세트에서 실험이 진행되었습니다. 연구팀은 유해성에 대한 확립된 지표와, 모델이 생성하는 텍스트에 대해 얼마나 놀라는지를 나타내는 척도인 퍼플렉시티(perplexity)라는 유창성 측정을 통해 성공을 측정했습니다. 낮은 퍼플렉시티는 텍스트가 더 자연스럽게 흐른다는 것을 의미합니다. 결과는 전반적인 개선을 보여주었으며, 중첩 방식은 목표가 유해성일 때는 더 높은 유해성 비율을 달eric하고, 유창성이 목표일 때는 더 낮은 퍼플렉시티를 달성했습니다. 연구진은 자신들의 접근 방식이 가장 단순한 방법들보다는 더 많은 계산 능력을 요구하지만, 다른 복잡한 기술들에 비해서는 훨씬 더 효율적이며, 생성 비용과 결과의 품질 사이에서 더 나은 균형을 제공한다고 언급했습니다.

이러한 성공에도 불구하고, 저자들은 자신들의 작업의 한계를 신중하게 명시합니다. 그들은 유해성 회피와 유창성 개선이라는 두 가지 특정 목표와 단일 모델 아키텍처에 대해서만 이 방법들을 테스트했습니다. 그들은 이 솔루션이 모든 가능한 과업이나 모든 유형의 언어 모델에 작동한다고 주장하지 않습니다. 모델을 가이드하기 위해 사용된 중간 단계들은 근사치에 의존하며, 이는 과정에 약간의 노이즈를 도입할 수 있습니다. 또한, 이 연구는 텍스트 생성에 국한되었으며, 이러한 기술이 이미지 생성이나 복잡한 추론 과업과 같은 다른 영역으로 얼마나 잘 번역될지는 여전히 미지수입니다. 연구진은 공정성, 진실성, 그리고 복잡한 지시를 따르는 능력을 측정하는 더 넓은 범위의 벤치마크에서 이 방법들을 테스트해야 한다고 제안합니다.

궁극적으로, 이 논문은 제어 가능한 텍스트 생성 분야의 실질적인 발전을 제공합니다. 이는 샘플링에 대한 더 스마트한 두 층위의 접근 방식을 사용함으로써, 모델을 재학습시키는 막대한 비용 없이도 AI 모델이 더 나은, 더 정렬된 텍스트를 생성하도록 가이드할 수 있음을 입증합니다. 이 연구 결과는 우리가 가능한 문장의 광대한 공간을 탐색하는 방식이 모델 그 자체만큼이나 중요하다는 것을 시사합니다. 그 공간을 탐색하기 위해 사용하는 도구를 정교하게 함으로써, 우리는 기계가 우리와 소통하는 방식에 있어 새로운 수준의 제어와 품질을 끌어낼 수 있습니다. 이 작업은 인공지능의 복잡한 세계에서, 때로는 가장 효과적인 해결책이 더 큰 엔진을 만드는 것이 아니라, 우리가 이미 가지고 있는 엔진을 조종하는 더 나은 방법을 찾는 것임을 상기시켜 줍니다.