기술 요약: 추론 궤적을 통한 블랙박스 신뢰도 측정

문제 제기

로짓, 은닉 상태, 또는 내부 검색 메커니즘에 대한 접근이 불가능한 텍스트 전용 API 를 통한 체인 오브 씽킹 (CoT) 추론의 안전한 배포를 위해서는 신뢰할 수 있는 신뢰도 추정이 필수적입니다. 지배적인 블랙박스 기준인 자기 일관성 (self-consistency)(K 개의 CoT 를 샘플링하고 투표 집중도를 신뢰도 신호로 사용) 은 다음과 같은 세 가지 주요 한계를 겪습니다:

1. 선형 비용: K 개의 추적을 샘플링해야 하므로 K 에 대해 선형적으로 비용이 증가합니다.
2. 기하학적 맹점: 추론 추적을 단순히 최종 답으로 가는 수단으로만 취급하여 추론 추적의 내부 기하학을 무시합니다.
3. 이산적 해상도: 이산적인 신뢰도 점수 ($k/K$) 를 생성하여 작은 K 에서 해상도가 부족하고 동점자를 효과적으로 순위 매길 수 없습니다.

본 논문은 대안적인 신호인 CoT 자체의 궤적을 조사합니다. 저자들은 모델 내부에 접근하지 않고 텍스트만으로 연속적인 신뢰도 점수를 도출하기 위해, 추론 추적의 임베딩이 외부 답 앵커 (anchor) 로 수렴하는 정도를 측정하는 것을 제안합니다.

방법론

제안된 프레임워크는 블랙박스 신뢰도를 커버리지 (Coverage, C), 기하학 (Geometry, G), **언어화 (Verbalization, V)**라는 세 가지 보완적 채널로 분해합니다.

1. 기하학 채널 (G)

이 채널은 외부 답 앵커에 대한 CoT 의 "추적 내 공간적 헌신 (within-trace spatial commitment)"을 측정합니다.

• 궤적 구성: 고정된 임베딩 모델 $\phi$를 사용하여 CoT 를 겹치는 슬라이딩 윈도우 ($W=30$ 단어, 스트라이드 $S=15$) 의 궤적으로 임베딩합니다.
• 외부 앵커: 블라인드 프로토콜에서 생성기는 옵션 목록을 보지 않고 추론합니다. 옵션 텍스트는 고정된 앵커로 외부에서 임베딩됩니다.
• 점수 매기기: 이 방법은 추적의 종 penultimate 슬라이딩 윈도우에서 각 옵션 앵커까지의 코사인 거리를 계산합니다. "선택"은 평균 거리가 최소인 앵커입니다.
• 보정: 단일 파라미터 소프트맥스 모델이 이러한 거리를 신뢰도 확률로 매핑합니다:
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$$
  여기서 $\hat{\beta}_{\text{all}}$은 최대 우도법으로 적합됩니다. 강한 음수 $\hat{\beta}$는 더 가까운 앵커가 정확할 가능성이 높음을 나타냅니다.
• 종 penultimate 윈도우 선택: 실증 분석에 따르면 보정 신호는 penultimate 윈도우에서 정점을 이룹니다. 최종 윈도우는 종종 모델이 선택한 답과 일치하는 문자 그대로의 답 언어화를 포함하여, GPQA Diamond 와 같은 특정 벤치마크에서 신호가 반전 (양의 $\hat{\beta}$) 하는 원인이 됩니다.

2. 세 채널 분해

추적이 올바른 가설에 도달하지 못할 수 있는 구조적 한계를 해결하기 위해, 저자들은 제안자/심판자 (Proposer/Judge) 설정을 가진 개방형 체제를 도입합니다:

• 커버리지 (C): 올바른 가설이 도달 가능한지 여부를 측정하는 심판자 매개 사전 확률입니다. 제안자 LLM 이 가설 풀을 생성하고 심판자 LLM 이 도달 가능성을 평가합니다. 이는 질문 난이도 신호로 작용합니다.
• 기하학 (G): 위에서 정의된 대로이지만, 고정된 데이터셋 옵션 대신 제안자가 생성한 가설을 앵커로 사용합니다.
• 언어화 (V): 생성기에게 자신의 CoT 를 보여주고 0~100 범위의 숫자 자기 평가 (신뢰도) 를 요청합니다.

융합: 세 채널은 로지스틱 회귀를 통해 융합되어 최종 신뢰도 점수를 생성합니다.

주요 기여

1. 블랙박스 궤적 - 신뢰도 점수: 슬라이딩 윈도우 임베딩에 대한 단일 파라미터 소프트맥스를 사용하여 $(\text{text}, \text{embedder}, \text{anchor set})$을 연속적인 신뢰도 점수로 매핑하는 방법입니다. 적합된 기울기 ($\hat{\beta}$) 의 부호와 유의성은 세 가지 다른 임베더 (Gemini, OpenAI, E5), 세 가지 추론기, 그리고 세 가지 벤치마크에서 재현됩니다.
2. 후기 추적 헌신 서명: 저자들은 기하학 신호가 penultimate 윈도우에서 가장 깊고 (가장 음수 $\hat{\beta}$), GPQA Diamond 에서 종단 윈도우에서 반전되는 기계적 서명을 확인했습니다. 이는 문자 그대로의 언어화 전에 답에 대한 헌신을 포착하는 강력한 점수 매기기 위치로서 penultimate 윈도우를 검증합니다.
3. 비대칭 세 채널 분해:
   • **커버리지 (C)**와 **기하학 (G)**은 거의 모든 설정에서 (각각 18/18 및 16/18 조합) 독립적인 신호를 전달합니다.
   • **언어화 (V)**는 18 개 설정 중 6 개에서만 고유한 잔여 신호를 기여하며, 보편적 기둥보다는 게이트가 있는 메타인지 채널로 작용합니다.
   • $K=4$에서 C+G+V 의 융합은 모든 6 개의 폐쇄형 설정에서 $K=8$의 자기 일관성 (SC@8) 을 파레토 개선합니다 (중앙값 $\Delta \text{AUC} = +0.075$).

결과

본 논문은 Gemini 3.1 Pro와 Claude Sonnet 4.6을 사용하여 MedQA-USMLE, GPQA Diamond, MMLU-Pro에서 방법을 평가했습니다.

• 기하학 신호: 단일 기하학 특징 (G) 은 블라인드 프로토콜에서 선택적 예측 AUC 를 0.71–0.82로 달성하여, 예산이 일치할 때 10 개 벤치마크 - 모델 조합 중 9 개에서 자기 일관성을 크게 능가합니다.
• 융합 이득: $K=4$에서의 융합된 C+G+V 점수는 모든 6 개의 폐쇄형 설정에서 $K=8$의 자기 일관성 (SC@8) 을 능가합니다.
  • 중앙값 $\Delta \text{AUC} = +0.075$ (Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$).
  • 선택된 답을 SC@8 다수결 선택으로 고정하더라도 이득이 지속되어, 개선이 답 전환이 아닌 더 나은 보정 때문임을 확인합니다.
• 강건성:
  • 결과는 다양한 임베더 (E5-large-v2 포함) 에서 유효합니다.
  • 심판자 LLM 을 변경 (GPT-5-mini 에서 Claude Sonnet 4.6 으로) 해도 기하학 전용 AUC 는 변하지 않습니다 ($|\Delta| \le 0.013$), 커버리지 전용 AUC 는 최대 $\pm 0.02$만큼만 이동하여 신호가 단일 벤더 산물이 아님을 나타냅니다.
  • 이 방법은 앵커 설계에 강건합니다. 데이터셋 옵션 앵커를 사용하는 것이 중요하며, 모델 자체의 출력에서 파생된 앵커는 우연 수준에 가까운 성능으로 무너집니다.

중요성과 주장

본 논문은 블랙박스 CoT 신뢰도가 샘플 투표 합의보다 임베딩 공간에서 추적의 기하학적 수렴을 통해 더 신뢰할 수 있게 읽을 수 있다고 주장하며, 이를 로짓이나 은닉 상태에 접근하지 않고 더 낮은 샘플링 비용으로 달성합니다.

저자가 강조한 주요 교훈:

• 샘플링보다 구조: 신뢰도는 도달 가능성, 헌신, 자기 보고와 같은 별도의 채널로 구성된 구조화된 신호이며 단일 스칼라가 아닙니다.
• 기계적 통찰: 기하학 신호는 모델이 문자 그대로 답을 언어화하기 전에 정점을 이루므로, "답 헌신"은 임베딩 공간 역학을 통해 감지할 수 있는 추론 궤적의 별개 단계임을 시사합니다.
• 실용적 효율성: $K=4$에서 C+G+V 를 융합하면 SC@8 보다 더 나은 보정을 제공하면서 총 API 비용을 약 51% 절감합니다 (생성 호출 횟수 감소 및 임베딩 패스의 효율성 때문).
• 한계: 저자들은 겸손하게 커버리지 채널이 LLM 심판자에 의해 매개되어 (잠재적 심판자 사전 확률 도입), 언어화가 보편적으로 유용하지 않으며, 모델이 결코 제안하지 않은 올바른 가설은 추적 내 점수로 복구할 수 없다는 점 (구조적 한계) 을 지적합니다.

이 작업은 블랙박스 접근이 필요한 파이프라인을 위한 추적 수준 신뢰도 원시 기능을 제공하여, 임상 의사결정 지원과 같은 고위험 분야에서 더 안전한 기피 (abstention) 와 선택적 예측을 가능하게 합니다.