기술적 요약: 마진 샤프닝을 통한 자기 일관성

문제 제기

현대 언어 모델은 최종 답변을 생성하기 전에 중간 추론 흔적 (예: 유도 과정, 코드 스케치, 증명 개요) 을 생성함으로써 복잡한 작업을 해결하는 경우가 늘고 있습니다. 체인 오브 씽킹 (Chain-of-Thought) 프롬프팅과 같은 표준 추론 방법은 이러한 행동을 유발하지만, 종종 단일 궤적을 샘플링하거나 최종 답변을 선택하기 위해 사후 다수결 투표 (자기 일관성) 를 사용합니다.

저자들은 기존 추론 시간 샤프닝 방법, 특히 **파워 샘플링 (power sampling)**의 근본적인 한계를 지적합니다. 파워 샘플링은 완전한 생성 시퀀스 (추론 흔적 $z$와 답변 $a$의 결합 분포) 에 대한 분포를 샤프닝합니다. 논문은 이것이 추론을 위한 잘못된 추상화 수준이라고 주장합니다:

1. 잠재 변수 얽힘: 추론 흔적은 잠재 계산입니다. 많은 서로 다른 흔적이 동일한 올바른 답변으로 이어질 수 있습니다.
2. 경쟁 vs 지지: 시퀀스 수준의 샤프닝은 동일한 솔루션의 대안적 유도 과정이나 구현을 경쟁자로 취급하여, 답변 자체보다는 특정 완전한 전사본에 확률을 집중시킵니다.
3. 투표의 취약성: 표준 자기 일관성 (다수결 투표) 은 정확한 문자열 일치를 요구합니다. 코드나 증명과 같은 구조화된 도메인에서는 동일한 근본 솔루션이 다양한 표면 형태 (다른 변수 이름, 제어 흐름, 또는 보조 정리 순서) 로 나타날 수 있어, 투표가 유효한 변형들 간에 지지를 분산시킵니다.

핵심 문제는 완전한 궤적을 검색하는 계산 비용을 치르거나 정확한 문자열 일치를 요구하지 않고도 여러 추론 흔적을 활용하여 올바른 답변의 확률을 증폭시키는 방법입니다.

방법론: 마진 샤프닝

저자들은 결합 분포 $\pi(z, a | x)$에서 샤프닝된 답변 마진 (sharpened answer marginal) $p_{\alpha}^{marg}(a | x)$으로 목표를 이동시키는 추론 시간 목적 함수인 마진 샤프닝을 제안합니다.

이론적 프레임워크

1. 분해: 모델 완성 $y$는 추론 흔적 $z$와 최종 답변 세그먼트 $a$로 파싱됩니다. 모델은 자연스러운 답변 마진 $m(a | x) = \sum_z \pi(z, a | x)$을 유도합니다.
2. 목표 분포: 결합 분포를 샤프닝하는 대신, 이 방법은 답변 마진에 대한 파워 분포를 정의합니다:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   여기서 $\alpha > 1$은 샤프닝 강도입니다. $\alpha \to \infty$일 때, 이는 최대 마진 지지를 가진 답변 (이상적인 자기 일관성 목표) 으로 수렴합니다.
3. 정수 파워 표현: 정수 샤프닝 강도 $K$에 대해, 저자들은 $K$개의 독립적인 추론 흔적을 사용하여 정확한 분해를 유도합니다. 목표 분포는 $K$개의 독립적으로 샘플링된 흔적 $z_{1:K}$에 대한 기대값으로 표현될 수 있습니다:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   이 공식은 자기 일관성을 답변 수준 목표 분포에서의 샘플링과 연결합니다.

알고리즘: 병렬 자기회귀 디코딩

유도된 분포에서 직접 샘플링하는 것은 모든 가능한 미래 연속 (continuation) 을 합산해야 하므로 ("연속 정규화자") 계산적으로 불가능합니다. 저자들은 이 목표를 근사하는 가벼운 병렬 자기회귀 디코딩 알고리즘(알고리즘 1) 을 제안합니다:

1. 흔적 생성: $K$개의 흔적씩 $S$개의 그룹으로 묶인 총 $M = K \times S$개의 추론 흔적을 생성합니다.
2. 토큰 수준 근사: 전체 시퀀스 확률을 계산하는 대신, 알고리즘은 답변을 토큰 단위로 디코딩합니다. 각 단계 $t$에서 어휘에 대한 가중 분포를 계산합니다:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • 접두사 가중치 ($w_s$): 이 가중치는 $K$개의 흔적 그룹 각각에서 이미 생성된 답변 접두사의 가능성을 추적합니다. 토큰이 샘플링됨에 따라 온라인으로 업데이트됩니다.
   • 로컬 근사: 알고리즘은 계산적으로 불가능한 "연속 정규화자"(미래 토큰의 확률) 를 무시하며, 로컬 정규화 동안 상쇄되는 공통 인자로 간주합니다.
3. 샘플링: 알고리즘은 이 분포에서 다음 토큰을 샘플링하고, 접두사 가중치를 업데이트한 후 답변이 종료될 때까지 반복합니다.

이 접근법은 모델이 여러 추론 경로에 의해 "지지되는" 단일 답변을 생성할 수 있게 하여, 사후 투표 단계가 아닌 생성 중에 소프트 자기 일관성을 수행합니다.

주요 기여

1. 마진 샤프닝의 공식화: 논문은 추론 흔적을 잠재 변수로 취급하고 흔적과 답변의 결합 분포가 아닌 유도된 답변 분포를 샤프닝하는 추론 시간 목적 함수를 정의합니다.
2. 다중 흔적 분해: 저자들은 정수 샤프닝 강도의 경우, 샤프닝된 답변 마진이 $K$개의 독립적인 추론 흔적에 대한 기대값으로 분해될 수 있음을 보여주며, 이론적으로 자기 일관성을 답변 수준 샘플링과 연결합니다.
3. 효율적인 디코딩 알고리즘: 그들은 이 샤프닝 분포에서 근사적으로 샘플링하는 병렬 자기회귀 알고리즘을 제안합니다. 이는 순수하게 자기회귀적이며 외부 정규화기가 필요 없으며, 시퀀스 수준 파워 샘플링의 2 차 토큰 생성 비용을 피합니다.
4. 실증적 검증: 이 방법은 수학적 추론 (MATH-500) 과 코드 생성 (HumanEval+, LiveCodeBench) 벤치마크에서 평가되었습니다.

결과

실험은 세 가지 벤치마크에 걸쳐 Qwen 계열 모델 (1.7B, 4B, 8B) 을 활용했습니다.

• 성능 대 파워 샘플링: 마진 샤프닝은 코드 생성 벤치마크 (HumanEval+ 및 LiveCodeBench) 에서 표준 파워 샘플링보다 훨씬 우수한 성능을 보입니다. MATH-500 에서는 다수결 투표 (작은 답변 공간과 기호적 검증으로 인해 수학 분야에서 강력한 기준선) 와 비슷하거나 약간 낮은 성능을 보입니다.
• 효율성: 이 방법은 긴 생성에 있어 파워 샘플링보다 수 배 더 빠릅니다. $L=8192$인 경우, 마진 샤프닝은 더 높은 정확도를 달성하면서 HumanEval+ 벤치마크에서 파워 샘플링보다 38 배 더 빠릅니다. 파워 샘플링은 재샘플링으로 인해 $O(L^2)$의 토큰 생성이 필요한 반면, 마진 샤프닝은 $O(L)$만 필요합니다.
• 하이퍼파라미터:
  • 샤프닝 강도 ($K$): $K$를 증가시키면 일반적으로 여러 흔적에 의해 지지되는 답변에 확률을 집중시켜 성능을 향상시키지만, 계산량이 증가합니다.
  • 샘플 수 ($S$): $S$(흔적 그룹 수) 를 증가시키면 토큰 수준 근사의 품질이 향상되어, 특히 낮은 생성 예산에서 일관된 향상을 가져옵니다.
  • 예산 할당: 고정된 총 계산 예산 ($K \times S = \text{const}$) 하에서 샤프닝 강도와 샘플 수 간의 다른 할당은 유사한 결과를 산출하며, 공격적인 샤프닝과 더 나은 근사 품질이 서로를 대체한다는 트레이드오프를 시사합니다.

중요성과 주장

논문은 자기 일관성을 사후 투표 휴리스틱이 아닌 답변 수준 추론 원리로 이해해야 한다고 주장합니다.

• 초점의 이동: 답변 마진을 목표로 함으로써, 이 방법은 시퀀스 수준 방법들이 서로 다른 경쟁 출력으로 취급하는 다양한 추론 경로 (예: 다른 코드 구현 또는 증명 전략) 에 걸쳐 지지를 올바르게 집계합니다.
• 확장성: 제안된 알고리즘은 정확한 문자열 일치가 실패하는 대규모 구조화된 출력 공간 (코드 등) 에서 자기 일관성의 이점을 가능하게 하며, 전체 궤적 검색이나 재샘플링의 prohibitive 한 계산 비용을 수반하지 않습니다.
• 실용성: 이 방법은 표준 자기회귀 모델과 병렬 디코딩으로 구현할 수 있는 자기 일관성의 "소프트" 버전으로, 추론 작업에 대한 온도 샘플링 및 파워 샘플링의 실용적인 대안이 됩니다.

저자들은 테스트 시간 계산량을 단일 가장 가능성 높은 완전한 전사본을 선택하는 데 사용하는 것보다, 잠재 추론에 의해 유도된 **답변 신념 (answer belief)**을 정제하는 데 사용하는 것이 더 효과적이라고 결론지었습니다.