기술 요약: 추론인가 유창성인가? Best-of-N 선택에서의 확률적 신뢰도 해부

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 추론 능력을 향려하기 위해 Best-of-N 선택 전략을 활용해 왔습니다. 이 접근 방식은 여러 추론 궤적(주로 Chain-of-Thought, CoT를 통한)을 샘플링하고, 스코어링 함수를 기반으로 최적의 것을 선택하는 과정을 포함합니다. 외부 보상 모델이 존재하지만, 최근의 트렌드는 계산 효율성 때문에 LLM의 출력 토큰 분포(예: 자기 확신도, 로그 가능도, 엔트로피)에서 직접 도출되는 확률적 신뢰도 지표를 선호합니다.

이러한 지표를 뒷받침하는 핵심 가정은 높은 확률적 신뢰도가 높은 **추론 충실도(reasoning fidelity)**와 유효한 단계 간 인과적 의존성을 반영한다는 것입니다. 그러나 이전 연구들은 CoT 궤적이 모델의 내부 의사 결정 과정을 반영하기보다는 사후적인 합리화(post-hoc rationalization) 역할을 할 수 있다는, 즉 불충실할 수 있다는 점을 시사해 왔습니다. 본 논문은 현재의 확률적 지표가 유효한 추론에 필요한 논리적 구조와 인과적 의존성을 진정으로 포착하는지, 아니면 단순히 **표면적인 유창성(surface-level fluency)**이나 분포 내 사전 확률(in-distribution priors)을 측정하는 것인지에 대해 의문을 제기하며 근본적인 가설에 도전합니다.

방법론

저자들은 확률적 신뢰도 지표가 단계 간 인과성에 의존하는지 아니면 국소적 유창성에 의존하는지를 조사하기 위해, 인과성 섭동(causality perturbations) 프레임워크를 도입합니다. 이러한 섭동은 단계 간의 논리적 흐름과 의존성을 체계적으로 파괴하면서도, 각 단계의 국소적인 문장 유창성과 의미론적 타당성은 유지합니다.

본 연구는 다섯 가지 추론 벤치마크(MATH-500, GPQA-Diamond, GSM8K, LogiQA, AR-LSAT)와 세 가지 LLM 제품군(Qwen, Llama, Phi)에 걸쳐 세 가지 distinct한 클래스의 섭동을 평가합니다:

1. 어텐션 레벨 섭동 (Attention-Level Disruptions):

   • 마스킹 (Masking): 지표 계산 중에 추론 단계 사이에 하드 어텐션 마스크를 적용합니다. 이는 모델이 각 단계를 독립적으로 평가하도록 강제합니다 ($p(s_k | x, s_{<k})$가 $p(s_k | x, s_{<k}^{local})$가 됨). 이는 단계 $k$가 단계 $k-1$에 의존하는 자기회귀적 인과 사슬을 끊어버립니다.
   • 쿼리 마스킹 (Query Masking): 입력 쿼리에 대한 조건부 설정까지 제거하는 극단적인 경우로, 단계들을 오직 내부의 토큰 이력에만 기반하여 평가합니다.

2. 파라미터 레벨 섭동 (Parameter-Level Disruptions):

   • 평가를 생성 모델(예: Qwen3-8B)보다 현저히 작은 모델(예: Qwen2.5-0.5B)을 사용하여 수행합니다. 작은 모델은 일반적인 답변 형식과 국소적 유창성에 대한 강력한 사전 지식은 유지하지만, 복잡하고 장기적인 인과 관계를 모델링하는 능력은 부족합니다.

3. 데이터 레벨 섭동 (Data-Level Disruptions):

   • 패러프레이징 (Paraphrasing): 각 추론 단계를 의미는 보존하되 단계들을 연결하는 구문적 및 어휘적 신호를 변경하도록 독립적으로 다시 작성합니다.
     발생하는 순차적 인과 진행을 파괴하면서 개별 단계의 유창성은 유지합니다.
   • 셔플링 (Shuffling): 추론 단계의 순서를 무작위로 섞어 순차적 인과 진행을 파괴하면서도 개별 단계의 유창성은 유지합니다.
   • 절단 (Truncation): 추론 궤적의 후반부를 제거하여, 완전한 다단계 사슬에 대한 의존성 대 초기 접두사(prefix)에 대한 의존성을 테스트합니다.

저자들은 이러한 섭동 조건 하에서의 선택 정확도(selection accuracy)(선택된 출력이 정답인 질문의 비율)를 측정하고, 이를 원래의 변경되지 않은 지표와 비교합니다.

주요 기여

1. 무감각성에 대한 실증적 증거: 본 논문은 최첨단 확률적 신뢰도 지표가 단계 간 인과 구조의 섭동에 상당히 무감각하다는 강력한 증거를 제공합니다. 다양한 모델과 벤치마크에 걸쳐, 인과적 의존성이 끊어졌음에도 선택 정확도는 미미하게 감소하거나(종종 1% 미만) 오히려 개선되기도 합니다.
2. 유창성 vs 추론: 이러한 결과는 현재의 지표가 추론 과정의 타당성보다는 주로 국소적 유창성과 답변 형식의 사전 확률을 포착함을 시사합니다. 지표는 논리적 일관성이 파괴된 상황에서도 여전히 견고하게 유지됩니다.
3. 대조적 인과성 지표 (Contrastive Causality Metric): 이 간극을 해결하기 위해 저자들은 다음과 같이 정의된 새로운 지표, $R_{causal}$을 제안합니다:
   $$R_{causal}(y) = R(y) - \alpha \cdot \hat{R}(y)$$
   여기서 $R(y)$는 원래의 지표이고, $\hat{R}(y)$는 어텐션 레벨 마스킹 하에서 계산된 지표(국소적 유창성을 나타냄)입니다. 이 지표는 유창성 성분을 제거함으로써, 단계 간 인과적 의존성에 기인하는 신호를 명시적으로 분리해냅니다.

결과

• 어텐션 레벨: 단계 간 어텐션을 마스킹해도 정확도 손실이 미미했습니다. Qwen의 경우 마스킹을 해도 오히려 약간의 개선(0.75%)이 나타났습니다. 더 큰 하락(~6-7%)을 보인 Phi의 경우에도 성능은 여전히 무작위 베이스라인보다 훨씬 높았습니다.
• 파라미터 레벨: 더 작은 평가 모델(0.5B vs 8B)을 사용하는 것은 선택 정확도에 무시할 만한 변화만을 주었습니다(예: Qwen은 평균 0.7%만 변화). 이는 이러한 지표가 효과적으로 작동하는 데 정교한 추론 능력이 필요하지 않음을 나타냅니다.
• 데이터 레벨:
  • 셔플링: 단계의 순서를 무작위로 섞어도 체계적인 저하가 발생하지 않았으며, 어떤 경우에는 정확도가 향상되었습니다.
  • 패러프레이징: 문장의 의미를 보존하는 어휘적 변형은 성능 저하를 거의 일으키지 않았습니다.
  • 절단: 궤적 끝에서 최대 30k 토큰을 제거하여 짧은 접두사만 남겼음에도 정확도가 크게 저하되지 않았습니다. 이는 효과적인 랭킹을 위해 전체 추론 사슬이 반드시 필요하지 않음을 시사합니다.

의의 및 주장

본 논문은 Best-of-N 선택을 위한 확률적 신뢰도 지표에 대한 의존이, 이러한 지표를 추론의 정확성을 나타내는 대리물로서의 신뢰도를 과대평가할 수 있다고 주장합니다. 인과적 섭동에 대한 뚜렷한 무감각성은 현재의 확률적 지표가 다단계 추론의 일관성을 충실하게 포착하지 못하고 있음을 의미합니다.

결과적으로, 저자들은 분야가 단순한 확률 기반 선택을 넘어서야 한다고 주장합니다. 제안된 대조적 인과성 지표는 인과적 의존성을 명시적으로 분리하는 것이 더 충실한 출력 선택을 이끌어낸다는 것을 입증합니다. 이 연구는 현재의 평가 관행과 생성형 AI의 실제 논리 구조 사이의 심각한 불일치를 강조하며, "추론 품질"을 측정하는 방식에 대한 재평가를 촉구합니다.