기술 요약: 구조적 불확실성을 통한 LLM 논리적 추론의 일관성 정량화

문제 정의

대규모 언어 모델(LLM)은 다단계 연역적 추론에서 서로 다른, 내부적으로 결함이 있는 추론 경로를 통해 동일한 오답에 도착하는 실패 모드를 빈번하게 보입니다. 기존의 사후 평가 방법들은 주로 출력 분산(샘플링된 답변의 의미론적 변이 또는 엔트로피를 측정)을 통해 신뢰성을 평가합니다. 이 방식은 유용하지만, 경쟁하는 추론 후보들 사이의 모델의 내부 선호도에 대한 구조적 일관성이라는 중요한 보완적 신호를 버리는 결과를 초래합니다.

현재의 분산 기반 방법들은 "체계적이지만 내부적으로 불안정한" 추론을 감지하지 못합니다. 예를 들어, 모델이 다섯 개의 후보를 생성했을 때 그들이 모두 틀린 답에 동의한다면, 분산 기반 지표는 낮은 불확실성(제로 엔트로피)을 보고하지만, 이는 해당 후보들에 대한 모델의 내부 순위 매기기가 매우 불안정할 수 있다는 사실을 은폐합니다. 본 논문은 단순히 어떤 답이 다른가를 넘어, 동일한 쿼리에 대해 모델이 경쟁하는 추론 솔루션들을 얼마나 일관되게 순위 매기는지를 측정해야 할 필요성을 다룹니다.

방법론: 구조적 불확실성 프레임워크

저자들은 샘플링된 추론 후보들에 대한 자기 선호도 유도 순위의 안정성을 정량화하는 일관성 인식 평가 프레임워크인 **구조적 불상실성(Structural Uncertainty)**을 제안합니다. 이 프레임워크는 모델의 내부 로짓(logits)이나 은닉 상태(hidden states)에 접근할 필요가 없는 완전한 블랙박스 설정에서 작동합니다.

1. 파이프라인 개요

쿼리 $x$에 대하여:

1. 후보 생성: 모델은 확률적 디코딩과 다양한 프롬프트 템플릿(예: 단계별 추론, 생각 소리 내어 말하기, 소크라테스식 질문, 분해, 유추 등)을 사용하여 $N$개의 다양한 후보 추론 솔루션을 생성합니다 ($N=5$).
2. 자기 선호도 도출: 동일한 모델이 심판 역할을 수행하여 자신의 출력물 간 쌍체 선호도(pairwise preferences)를 결정합니다. 계산 비용을 $O(N^2)$에서 $O(N)$으로 줄이기 위해, 저자들은 각 시행마다 $N-1$개의 엣지만 쿼리하는 **균등 무작위 생성 트리(uniform random spanning tree)**를 샘플링합니다.
3. 선호도 집계:
   • Bradley-Terry 모델링: 쌍체 판단을 잠재 유틸리티 $\theta_i$를 추론하기 위한 $L_2$ 규제가 적용된 Bradley-Terry(BT) 프레임워크로 모델링합니다.
   • PageRank 정규화: 추론된 쌍체 승리 확률을 전이 행렬로 변환하고, 정지 분포(PageRank 점수 $\pi$)를 계산하여 해당 시행에 대한 글로벌 순위 분포를 생성합니다.
   • 강건성 검사: 신뢰 가중 업데이트가 적용된 Bayesian 스킬 레이팅인 TrueSkill 변형 모델도 구현되었으며, 매우 유사한 결과를 나타냅니다.
4. 불확실성 분해: 이 과정은 $M$개의 독립적인 시행(생성 트리 샘플)에 대해 반복됩니다. 결과적으로 얻은 앙상블 순위 분포 $\{\pi^{(m)}\}_{m=1}^M$은 두 가지 엔트로피 기반 구성 요소로 분해됩니다:
   • 시행 내 후보 모호성 ($StructU_{within}$): 단일 시행 내 순위 분포의 평균 엔트로피입니다. 높은 값은 모델이 단일 비교 세트 내에서도 후보들을 확신 있게 구별하지 못함을 나타냅니다.
   • 시행 간 순위 불안정성 ($StructU_{across}$): 평균 순위의 총 엔트로피와 평균 시행 내 엔트로피 간의 차이입니다. 높은 값은 모델이 샘플링된 특정 비교 세트(생성 트리)에 따라 선호하는 순위가 크게 변동함을 나타냅니다.

2. Self-Consistency와의 통합

본 프레임워크는 구조적 불확실성을 표준 Self-Consistency 불확실성(답변 분포의 엔트로피)과 결합합니다. 저자들은 다음과 같은 고정된 경험적 융합 규칙을 제안합니다:

• $StructU_{across}$는 정확도와 음의 상관관계를 가집니다 (불안정성 $\to$ 실패), 따라서 Self-Consistency 엔트로피에 더해집니다.
• $StructU_{within}$은 추론 작업에서 정확도와 양의 상관관계를 가집니다 (타당한 경로들 사이의 모호성), 따라서 Self-Consistency 엔트로피에서 차감됩니다.

주요 기여

1. 사후 일관성 프레임워크: 출력 분산에 대한 보완적 신호를 제공하며, 모델의 자기 선호도 순위의 안정성을 통해 추론 일관성을 정량화하는 모델 불가지론적 방법론을 제시합니다.
2. 구조적 분해: Bradley-Terry/TrueSkill 및 PageRank를 통해 도출된, 시행 간 불안정성(신뢰할 수 없는 추론 신호)과 시행 내 모호성(경쟁적인 타당한 경로 신호)으로의 불확실성 분해를 제공합니다.
3. 레짐 분석: 구조적 신호가 유효한 시점과 붕괴되는 시점을 규명합니다. 본 논문은 추론 수준의 일관성 평가가 정보를 제공하지 못하게 되는 "레짐 경계"를 식별합니다.

실험 결과

프레임워크는 5개의 LLM(Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B 포함)과 8개의 벤치마크(Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA)를 대상으로 평가되었습니다.

1. 추론 작업에서의 상보성

수학 및 논리 추론 벤치마크(예: Math-Synth, MATH-500, AMC-23)에서 구조적 불확실성을 Self-consistency와 결의하면 신뢰할 수 없는 추론 사례를 식별하는 성능(Selective Prediction AUC 및 AUROC로 측정)이 크게 향상됩니다.

• 성능 이득: 하이브리드 추정기($StructU + SelfConsU$)는 대부분의 추론 작업에서 최고 또는 차석의 성능을 달s했으며, 어려운 경시대회 문제에 대해 약한 모델에서 최대 **+13.4%**의 성능 향상을 보였습니다.
• 정확도와의 상관관계:
  • 시행 간 불안정성은 정답 여부와 강한 음의 상관관계를 보였습니다 (불안정성은 실패를 의미).
  • 시행 내 모호성은 수학 작업에서 정답 여부와 양의 상관관계를 보였는데, 이는 여러 타당한 솔루션 경로가 존재하는 시나리오와 일치합니다.

2. 검색 작업에서의 붕괴

사실 관계 검색 작업(특히 HotpotQA)에서 구조적 신호가 붕괴되었습니다.

• 관찰: 정답 및 오답 질문 모두에서 거의 제로에 가까운 시행 간 불확실성과 최대치에 가까운 시행 내 불확실성(균등한 PageRank 분포)을 보였습니다.
• 메커니즘: 고정된 문서에 대한 사실 관계 검색은 프롬프트 템플릿에 관계없이 구조적으로 균질한 추론 체인을 유도합니다. 모델의 자기 선호도 판단이 구별 불가능해지며(동전 던지기 수준), 이로 인해 구조적 신호가 정보를 제공하지 못하게 됩니다.
• 시사점: 이러한 레짐에서는 분산 기반 방법(Self-Consistency 또는 Semantic Dispersion)이 구조적 접근 방식보다 우수합니다. 이 붕괴 현상 자체가 추론 수준의 구조적 다양성이 부재함을 나타내는 진단적 시그니처 역할을 합니다.

3. 절제 연구 및 검증

• 무작위화: 실제 자기 선호도를 무작위 비교로 대체했을 때 AUROC가 거의 무작위 수준으로 떨어졌으며, 이는 신호가 파이프라인의 인위적 산물이 아니라 실제 모델의 선호도에 기반함을 확인시켜 줍니다.
• 백엔드 강건성: Bradley-Terry와 TrueSkill 백엔드 모두 일관된 순위($\rho > 0.95$)를 생성하였으며, 이는 분해가 특정 모델의 선택이 아닌 순위 분포 자체의 속성임을 입증합니다.

의의 및 주장

본 논문은 구조적 불확실성을 보편적인 신뢰도 추정치가 아니라, 레짐 민감적인 논리적 추론 일관성 평가 도구로 이해해야 한다고 주장합니다.

• 평가의 재정의: 질문을 "응답들이 얼마나 다른가?"(분산)에서 "모델이 경쟁하는 추론 솔루션들의 순위를 얼마나 일관되게 매기는가?"(구조)로 전환합니다.
• 진단적 유용성: 본 프레임워크는 실무자에게 실용적인 진단 도구를 제공합니다. "HotpotQA 시그니처"(제로에 가까운 시행 간 불확실성 + 높은 시행 내 엔트로피)는 추론 수준의 일관성 평가가 무의미한 작업 레짐을 나타내며, 분산 기반 방법으로 전환할 것을 시사합니다.
• 한계: 저자들은 이 방법이 추론 비용($N \times M$ 비교)을 증가시키며, 자기 선호도가 모델 특유의 편향을 상속받는다는 점을 인정합니다. 또한, 이 분해는 고정된 프로토콜 하에서 관찰되는 경험적 결과이며, 근본적인 데이터 불확실성을 식별하는 것은 아닙니다. 이 방법은 응답 간의 질적 차이가 존재할 때 가장 효과적이며, 변화가 단순 스타일 차이이거나 작업 구조(예: 결정론적 검색)가 추론 다양성을 억제하는 경우에는 효과가 떨어집니다.

결론적으로, 본 논문은 모델의 내부 선호 순위의 안정성을 측정하는 것이 답변 수준의 합의만으로는 드러낼 수 없는 체계적 오류를 탐지하는 데 있어, 추론 신뢰성에 대한 결정적이고 상보적인 관점을 제공함을 입증합니다.