기술 요약: STATe-of-Thoughts

문제 정의

Best-of-n 및 Tree-of-Thoughts(ToT)와 같은 추론 시간 연산(Inference-Time-Compute, ITC) 방법론은 생성 과정에서 추가적인 연산을 할당함으로써 대규모 언어 모델(LLM) 출력의 품질과 다양성을 개선하는 것을 목표로 합니다. 그러나 기존 방식들은 두 가지 결정적인 한계에 직면해 있습니다:

1. 제한된 다양성: 현재의 방법들은 다양성을 유도하기 위해 토큰 수준의 고온(high-temperature) 샘플링에 크게 의존합니다. 연구에 따르면 이는 의미 있는 의미론적 변이를 만들어내는 데 실패하며, 결과적으로 동질적인 출력물이나 품질 저하를 초래하는 경우가 많습니다 (Zhang et al., 2025c; Jiang et al., 2025).
2. 해석 가능성 및 제어 능력의 부족: "무엇을 말할 것인가"와 "어떻게 말할 것인가"에 대한 결정이 토큰 수준의 디코딩 과정에 암묵적으로 포함되어 있기 때문에, 특정 추론 전략을 제어하거나 특정 출력이 왜 성공했는지 또는 실패했는지를 해석하기 어렵습니다. 이러한 불투명성은 설득력 있는 글쓰기의 수사적 구조를 연구하거나 다양한 창의적 콘텐츠를 생성하는 것과 같이 체계적인 변이가 필요한 작업에서 ITC의 효용성을 제한합니다.

방법론: STATe-of-Thoughts

저자들은 확률적인 토큰 샘플링에서 이산적이고 높은 수준의 추론 행동(reasoning actions)으로 탐색 공간을 전환하는 해석 가능한 ITC 프레임워크인 **STATe-of-Thoughts (STATe)**를 제안합니다. STATe는 온도 기반의 노이즈가 아닌, 명시적인 텍스트 개입(textual interventions)에 의해 분기(branching)가 발생하는 트리 탐색 방식으로 작동합니다.

핵심 구성 요소

이 프레임워크는 세 가지 상호작용하는 모듈로 구성됩니다:

1. 컨트롤러 (Controller, C): 각 추론 단계에서 컨트롤러는 사전 정의된 행동 공간 $\mathcal{A}$로부터 $n$개의 행동 세트를 선택합니다. 이 행동들은 고수준의 추론 선택(예: "예시 제시"와 같은 수사적 구조 또는 "세대 간 위험"과 같은 콘텐츠 테마)을 인코딩하는 이산적이고 해석 가능한 템플릿입니다. 또한 컨트롤러는 추론이 충분하다고 판단되면 조기 종료를 트리거하기 위해 FINISH 행동을 선택할 수 있습니다.
2. 제너레이터 (Generator, G): 선택된 각 행동에 대해, 제너레이터는 해당 행동에 조건화된 추론 단계를 생성합니다. 결정적으로, 제너레이터는 행동을 강제하기 위해 프리필링(prefilling)(어시스턴트 메시지에 텍스트 주입)을 사용합니다. 행동은 텍스트 접두사(예: "예를 들어,")와 내부 추론 가이드로 변환되어, 모델이 선택된 전략과 일치하는 연속된 내용을 생성하도록 강제합니다.
3. 평가자 (Evaluator, V): 프레임워크는 중간 추론 상태를 점수화하는 프로세스 보상 모델(PRM)과 최종 답변을 점수화하는 결과 보상 모델(ORM)을 모두 사용합니다. 이 점수들은 비유망한 브랜치를 제거하고 다음 레이어를 위해 상위 $k$개의 상태를 유지하는 빔 서치(beam search)를 안내합니다.

워크플로우

STATe는 ToT의 확률적 분기를 구조화된 루프로 대체합니다:

1. 행동 템플릿 정의: 연구자는 고수준의 추론 선택(예: 담화 관계, 콘텐츠 테마)을 나타내는 이산적 행동 템플릿을 정의합니다.
2. 트리 탐색: 컨트롤러가 행동을 선택하면, 제너레이터가 해당 행동들에 조건화된 완성을 생성하고, 평가자가 결과 트래젝토리를 점수화합니다.
3. 속성 부여 및 발견 (Attribution & Discovery): 모든 브랜치는 로그에 기록된 행동 시퀀스와 연관되어 있으므로, 연구자는 특정 행동 시퀀스와 다운스트림 성능 사이의 연관성을 분석할 수 있습니다. 이를 통해 미래의 생성을 가이드할 수 있는 행동 공간 내의 유망하고 미개척된 영역을 식착할 수 있습니다.

주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 제어 가능한 ITC 프레임워크: STATe는 행동 공간 탐색 메커니즘을 도입하여 단계별 결정을 명시적이고 감사 가능하게 만듭니다.
2. 온도를 넘어서는 다양성 메커니즘: 개입 기반의 분기가 표준 고온 샘플링보다 품질 저하 없이 더 큰 의미론적 다양성을 생성함을 입증했습니다.
3. 추론 패턴을 위한 분석 프레임워크: 행동 시퀀스를 추적함으로써, STATe는 특정 추론 패턴(및 그 순서)이 출력 품질과 어떻게 상관관계를 갖는지 분석할 수 있게 합니다.

실험 결과

저자들은 두 가지 설정, 즉 창의적 글쓰기(NoveltyBench)와 논증 생성에서 STATe를 평가했습니다.

1. 창의적 글쓰기에서의 다양성과 품질

NoveltyBench에서 STATe는 세 가지 온도 체계(T=0.5, 0.7, 1.0)에 걸쳐 표준 ITC 방법들(I/O, CoT, ToT)보다 유의미하게 우수한 성능을 보였습니다.

• 다양성: STATe는 최선의 비-STATe 베이스라인(행동이 포함된 CoT)에 비해 의미론적 다양성을 31–42% 향상시켰습니다.
• 품질: 일반적인 다양성-품질 트레이드오프와 달리, STATe는 베이스라인 대비 인지된 품질 또한 16–30% 향상시켰습니다.
• 일반화: 이러한 결과는 네 가지 계열(Qwen, Gemma, Nemotron, Ministral)의 7개 모델 전반에서 일관되게 나타났습니다.

2. 논증 생성 케이스 스터디

일회용 플라스틱 사용 금지를 위한 논증을 생성하는 연구에서 저자들은 다음을 발견했습니다:

• 제어 가능성: 컨트롤러의 개입은 생성된 텍스트에 안정적으로 나타났습니다. 규정된 구조에 대한 단계별 준수율은 거의 완벽했으며(99.7%), 소주제 준수율도 강력했습니다(87.8%).
• 예측 가능성: 행동 위치와 전이를 인코딩한 순차 모델(M2)은 존재 기반 모델보다 논증 품질을 예측하는 데 있어 유의미하게 뛰어난 성능을 보였습니다 ($R^2$ 최대 0.76). 이는 행동들이 단순히 존재하는 것보다, 어떻게 그리고 언제 조합되는지가 더 중요하다는 것을 나타냅니다.
• 인간 정렬(Human Alignment): 평가에 사용된 LLM-as-a-Judge는 인간의 선호도와 강한 정렬을 보여주었습니다 (Advantage Probability 0.841). 이는 이 작업에 대한 자동화된 점수 산출의 타당성을 검증합니다.
• 표적 탐색: 학습된 순차 모델로부터 얻은 연관성을 사용하여, 저자들은 이전에 탐색되지 않은 행동 공간 영역으로부터 논증을 성공적으로 식별하고 생성했습니다. 이러한 표적 논증은 무작위 탐색 및 단순 주제 존재 베이스라인보다 실질적으로 우수한 성능을 보였습니다 (베이스라인 대비 승률 78.7% vs 63.3%).

의의 및 주장

본 논문은 STATe를 두 가지 목적을 가진 도구로 포지셔닝합니다:

1. 실용적 프레임워크: 토큰 수준 샘플링의 한계를 해결하면서, 추론 전략에 대한 체계적인 제어와 함께 다양하고 고품질의 텍스트를 생성하는 방법을 제공합니다.
2. 연구 도구: 성능을 견인하는 추론 패턴을 이해하기 위한 메커니즘을 제공합니다. 출력의 성공 원인을 행동 시퀀스를 통해 해석 가능한 형태로 만듦으로써, STATe는 특정 수사적 또는 구조적 선택이 다운스트림 결과에 어떤 영향을 미치는지 연구하는 것을 용이하게 합니다.

저자들은 STATe가 최종 출력만큼이나 추론 과정의 이해가 중요한 작업에서 가장 가치가 있다고 강조합니다. 또한, 이 방법이 프리필링에 의존하며(현재 오픈 소스/자체 호스팅 모델로 배포가 제한됨), 인과적 통찰보다는 연관적 통찰을 제공한다는 점을 언급하면서도, 이것이 제어 가능하고 해석 가능한 추론 시간 연산을 향한 중요한 진전임을 밝히고 있습니다.