기술 요약: 결합 일관성 (JC)

문제 정의

본 논문은 특정 쿼리에 대해 생성된 $N$개의 후보 추론 궤적 (reasoning traces) 집합에서 단일하고 신뢰할 수 있는 답변을 선택하는 문제인 **테스트 시간 집계 (Test-Time Aggregation, TTA)**를 다룹니다. 기존 테스트 시간 확장 (Test-Time Scaling, TTS) 방법은 여러 궤적을 효과적으로 생성하지만, 그 집계 전략은 종종 두 가지 한계를 겪습니다:

1. 격리 (Isolation): 대부분의 방법 (예: 자기 일관성, 가중 자기 일관성) 은 절대적 품질 점수나 답변 빈도에 의존하여 궤적을 독립적으로 평가합니다. 이는 후보 간 비교 정보를 무시합니다.
2. 보정 어려움 (Calibration Difficulty): 독립적 평가는 평가자가 잘 보정된 절대 점수를 생성해야 하므로 달성하기 어렵습니다. 특히 이질적인 모델 생성기 간에는 더욱 그렇습니다.
3. 비교의 확장성 (Scalability of Comparisons): 비교 판단 (예: "궤적 A 가 궤적 B 보다 낫다") 은 종종 절대 점수보다 더 신뢰할 수 있지만, 모든 쌍별 비교를 단순하게 포함하면 $O(N^2)$의 계산 비용이 발생하여 대규모 궤적 예산에는 금지적입니다.

저자들은 다음과 같은 질문을 제기합니다: 쌍별 비교 판단을 원칙적이고 계산적으로 효율적인 방식으로 테스트 시간 집계에 통합할 수 있는 방법은 무엇인가?

방법론: 결합 일관성 (JC)

저자들은 **결합 일관성 (Joint Consistency, JC)**을 제안하며, 이는 제약된 Ising 유형의 에너지 최소화 문제로 공식화된 통합 프레임워크입니다.

1. 에너지 함수

집계 목표는 궤적 $i$가 선택되면 $x_i=1$이 되는 인디케이터 벡터 $x \in \{0, 1\}^N$을 찾아 에너지 함수 $H(x)$를 최소화하는 것입니다:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
여기서:

• $K$는 서로 다른 후보 답변의 수입니다.
• 제약 조건: 가능 집합은 $x$가 정확히 하나의 답변 그룹 (동일한 답변을 생성하는 모든 궤적) 을 선택하도록 제한합니다.
• $h$ (외부장): 개별 궤적에 대한 LLM-as-a-judge 점수 등 독립적 평가 신호를 인코딩하는 벡터입니다.
• $J$ (상호작용 행렬): 궤적 $i$가 궤적 $j$보다 선호될 확률 등 쌍별 비교 신호를 인코딩하는 행렬입니다.
• $\mu$ (초매개변수): 독립적 평가와 쌍별 상호작용 간의 균형을 조절합니다.

2. 상호작용 행렬 ($J$) 의 구성

행렬 $J$는 LLM-as-a-judge 비교를 사용하여 구성됩니다.

• 쌍별 확률: 궤적 $y_i$와 $y_j$에 대해, 판사는 $y_i$가 $y_j$보다 낫다는 확률인 $p_\theta(y_i \succeq y_j)$를 추정합니다.
• 양반정 (Positive Semi-Definite) 구성: 안정성과 해석 가능성을 보장하기 위해, $J$는 $J = CC^\top$로 정의되며, 여기서 항목 $C_{ij}$는 선호 확률의 정규화된 버전입니다:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  여기서 $n_i$는 $y_i$와 동일한 답변을 공유하는 궤적의 수입니다. 이 구성은 두 궤적이 유사한 경쟁 궤적 집합에 대해 모두 선호될 경우 강한 상호작용을 가진다는 것을 의미합니다.

3. 이론적 해석

답변 수준 동질성 가정 (주어진 답변 $a^{(k)}$에 대한 모든 궤적이 다른 답변 $a^{(k')}$의 궤적에 대해 동일한 쌍별 선호 확률을 가진다는 가정) 하에서, 2 차항 $x^\top J x$는 답변 수준 선호도의 합으로 단순화됩니다. 이는 궤적 수준 비교를 답변 수준 집계 규칙으로 변환하는 이론적 근거를 제공합니다.

4. 효율적 근사 전략

모든 궤적 쌍에 대해 $J$를 계산하는 $O(N^2)$ 비용을 해결하기 위해, 저자들은 Top-$\kappa$ 근사를 제안합니다:

• 모든 $N$개의 궤적을 비교하는 대신, 상호작용은 가장 빈번한 상위 $\kappa$개의 답변 그룹 간에만 추정됩니다.
• 이는 복잡도를 $O(N^2)$에서 $O(\kappa^2)$로 줄이며, 여기서 $\kappa$는 작은 일관성 예산 (예: $\kappa=4$) 입니다.
• 에너지 함수 자체의 최적화는 가능 집합이 $K$ (또는 $\kappa$) 개의 후보 답변 그룹으로 제한되므로 ($O(K)$ 또는 $O(\kappa)$) 처리 가능하며, 일반적인 2 차 비제약 이진 최적화 (QUBO) 의 NP-난해성을 피합니다.

주요 기여

1. 비교 신호의 통합: JC 는 외부장 $h$를 통한 독립적 신호와 상호작용 행렬 $J$를 통한 쌍별 비교 신호를 통합하는 제약된 에너지 최소화 모델을 도입합니다.
2. 통합 프레임워크: 이 공식화는 기존 방법들을 특수한 경우로 포함합니다:
   • 자기 일관성 (SC): $J=0, \mu=0$ (또는 특정 $h$).
   • 가중 자기 일관성 (WSC): $J=0, \mu > 0$.
   • 상호작용 전용: $\mu=0$.
   • $\mu$를 변화시킴으로써 JC 는 이러한 전략들 사이를 보간합니다.
3. 확장성: 제안된 Top-$\kappa$ 근사는 대규모 집계에 대한 상호작용 모델링을 실용적으로 만들며, 쌍별 비교의 이점을 유지하면서도 표준 가중 투표와 유사한 비용을 유지합니다.

실험 결과

저자들은 수학 추론 (MathArena: AIME, HMMT, Brumo) 및 코드 추론 (CruxEval-O) 벤치마크에서 JC 를 평가했습니다.

• 크라우드소싱 환경 (이질적 궤적):
  • JC 는 다양한 판사 모델 (Qwen, DeepSeek, GPT 변형) 과 궤적 예산 전반에 걸쳐 베이스라인 (SC, WSC, Best-of-N, 토너먼트) 보다 일관되게 우월한 성능을 보였습니다.
  • MathArena-C (어려운 하위 집합) 에서 작은 $\kappa=4$를 사용한 JC 는 WSC 대비 20% 이상의 정확도 향상을 달성했습니다.
  • 독립적 점수가 신뢰할 수 없었지만 비교적 일관성이 유효했던 하위 등급 모델에서 생성된 궤적일지라도 JC 는 견고하게 유지되었습니다.
• 동질적 환경 (내재적 신호):
  • 토큰 수준 로그 확률이 사용 가능한 환경 (예: DeepSeek-R1, Qwen3) 에서도 JC 는 Self-Certainty 및 DeepConf 와 같은 내재적 평가 베이스라인보다 우월한 성능을 보였습니다.
  • 궤적 수 ($N$) 가 증가함에 따라 JC 의 가장 강력한 베이스라인 대비 성능 향상 폭이 커져, 더 나은 확장 특성을 나타냈습니다.
• 비용 효율성:
  • JC 평가 단계 (판사에게 $h$와 $J$를 쿼리하는 비용) 는 추론 궤적을 생성하는 비용의 1% 미만인 것으로 확인되었습니다.
  • 이 방법은 $\mu$ 선택에 강건하며 (최적 범위 일반적으로 $[0.5, 1]$), 특정 판사 모델에 대한 미세 조정이 필요하지 않습니다.

중요성과 주장

본 논문은 **결합 일관성 (Joint Consistency)**이 독립적 평가와 쌍별 비교 간의 간극을 연결하는 원칙적이고 통합된 테스트 시간 집계 접근법을 제공한다고 주장합니다.

• 이론적 통찰: 집계를 에너지 최소화 문제로 프레임하여 쌍별 비교가 답변 수준에서 어떻게 집계되는지에 대한 이론적 해석을 제공합니다.
• 실용적 영향: 효율적인 근사 전략을 통해 비교 신호를 활용함으로써 prohibitive 한 계산 오버헤드 없이 최첨단 베이스라인에 비해 일관된 향상을 달성함을 입증합니다.
• 한계: 저자들은 현재 작업이 추론 작업의 최종 답변 집중에 초점을 맞추고 있음을 겸손하게 지적하며, 개방형 추론이나 연구 수준의 문제 해결로 일반화되는 것은 입증되지 않았다고 덧붙입니다. 또한, 상호작용 행렬 $J$의 특정 구성이 최적일 수 없으며, 이 방법은 기반 생성 및 판사 모델의 한계를 계승합니다.