기술 요약: 언어 모델의 실패 방식: 확정적 및 지속적 추론 실패의 토큰 수준 시그니처

문제 정의

대규모 언어 모델(LLM)이 복잡한 추론 작업에서 언제 실패할지를 탐지하는 것은 배포 신뢰성을 위한 핵심적인 과제로 남아 있다. 자기 일관성(self-consistency, 여러 사고 사슬을 샘플링하는 방식)이나 불확실성 정량화와 같은 기존의 실패 탐지 방법들은 일반적으로 실패를 이진 예측 작업으로 취급한다. 이러한 접근 방식은 실패의 출현이 단일한 과정이라고 가정하며, 이는 탐지 전략을 적응시키는 능력을 제한한다. 구체적으로, 자기 일관성은 모델이 추론 과정 초기에 잘못된 경로에 "확정(commit)"되어 여러 샘플에 걸쳐 동일한 오답을 일관되게 재현할 때 실패한다. 반대로, 전체 트레이스(trace) 내내 진정한 불확실성을 보이는 모델의 경우, 단일 샘플의 불확실성 신호만으로는 불충분할 수 있다. 본 논문은 추론 실패가 서로 다른 두 가지 프로세스를 통해 발생하며, 이에 따라 서로 다른 탐지 전략이 필요함에도 불구하고 현재의 방법론들이 기저의 실패 모드와 상관없이 균일한 방식을 적용하고 있다고 주장한다.

방법론

저자들은 사고 사슬(Chain-of-Thought, CoT) 트레이스로부터 도출된 토큰 수준의 불확실성 신호를 사용하여 추론 실패를 특징짓는 프레임워크를 제안한다. 이 프레임워크는 내부 가중치에 접근할 수 없는 폐쇄형 API 프런티어 모델(예: GPT-4o, Gemini)에도 적용 가능하도록, 단일 모델 완성본의 로그 확률(log probabilities)만을 요구한다.

핵심 개념

1. 실패 모드: 프레임워크는 두 가지 질적으로 구분되는 실패 모드를 식별한다:

   • 확정적 실패(Committed Failure): 모델이 추론 트레이스 초기에 잘못된 추론 경로에 고착된다. 불확실성 신호는 트레이스의 초기 접두사(prefix) 구간에서 가장 예측력이 높으며, 이후의 토큰들을 추가하면 신호가 희석된다.
   • 지속적 불확실성(Persistent Uncertainty): 모델이 단일 경로에 확정되지 않는다. 불확실성이 트레이스 전반에 걸쳐 단조롭게 누적되며, 실패한 완성본과 성공한 완성본을 구분하기 위해서는 전체 트레이스가 모두 필요하다.

2. 확정 지점($T^*$): 추론 트레이스에서 불확실성 신호가 실패를 가장 잘 예측하는 토큰 위치로 정의된다. 이 지점을 넘어서면, 후속 토큰들은 결과에 대한 신호라기보다 다운스트림 노이즈를 나타낸다.

3. 불확실성 특징(Uncertainty Features): 저자들은 추론 트레이스의 접두사 윈도우($W_T$)에 대해 다섯 가지 토큰 수준 신호를 계산한다:

   • 엔트로피(Entropy): 상위-$K$ 분포의 확산 정도.
   • 마진(Margin): 상위 두 확률 간의 차이.
   • NLL (Negative Log-Likelihood): 상위 토큰에 대한 확신도.
   • 뉴클리어스(Nucleus): 0.9 확률 임계값을 포착하는 데 필요한 토큰들.
   • 니어-타이(Near-Tie): 상위 확률의 90% 범위 내에 있는 상위-$K$ 토큰들의 비율.
   • 집계: 각 신호에 대해 윈도우 전반에 걸친 평균값과 최댓값을 모두 계산한다.

4. 진단 지표 (PR-AUC): 프레임워크는 다양한 접두사 윈도우 크기에 따른 실패 탐지 성능을 정량화하기 위해 정밀도-재현율 곡선 아래 면적(PR-AUC)을 사용한다.

   • 확정적 시그니처: PR-AUC 곡선에서 역 U자형(inverted-U) 형태를 보인다. 예측력은 $T^*$에서 정점에 도달한 후 윈도우가 확장됨에 따라 감소한다.
   • 지속적 시그니처: 전체 트레이스가 그 어떤 접두사보다 항상 더 우수하게 나타나는 단조 증가형 PR-AUC 곡선을 보인다.

5. 사전 최종 분석(Pre-final Analysis): 실패하는 모델이 종종 더 긴 트레이스를 작성한다는 변수(trace length)를 통제하기 위해, 프레임워크는 최종 답변 마커 이후에 발생하는 모든 토큰을 제거한 후 불확실성 신호를 계산한다.

실험 설정

프레임워크는 다음을 포함하는 23개의 모델-데이터셋 구성에 대해 평가되었다:

• 모델: 2B에서 122B 파라미터에 이르는 5개 제품군(Qwen, Llama, GPT-OSS, Gemma, GPT-4o/Gemini)을 포함하며, 오픈 소스 및 프런티어 모델을 모두 포함한다.
• 데이터셋: 4개의 추론 도메인(GSM8K, MATH-500, GPQA Diamond, LiveCodeBench).
• 제약 조건: 실험은 실패율이 15%에서 60% 사이이며 통계적 신뢰성을 확보할 수 있는 충분한 실패 사례가 있는 구성으로 제한되었다. 프런티어 모델의 경우 상위 20개의 로그 확률로 제한되었다.

주요 결과

1. 실패 모드의 재현성: 프레임워크의 검증 가능한 예측은 23개 사례 중 20개 사례에서 일치하여, 우연한 일치를 훨씬 상회하였다.

   • 확정적 실패: 14개 구성(예: LiveCodeBench에서의 Gemma4-31B, MATH-500에서의 GPT-OSS-20B)에서 관찰되었다. 이들은 예측된 역 U자형 PR-AUC 곡선과 뚜렷한 확정 지점을 나타냈다.
   • 지속적 불확실성: 9개 구성(예: MATH-500에서의 Llama3.1-8B, GPQA에서의 Qwen3.5-122B)에서 관찰되었다. 이들은 전체 트레이스가 어떤 접두사보다 엄격하게 더 많은 정보를 제공하는 단조 증가형 PR-AUC 곡선을 보여주었다.

2. 통계적 검증: 메타 분석적 풀링(Meta-analytic pooling)을 통해 양방향 예측을 확인하였다:

   • 확정적 구성에 대한 부호 검정(Sign test): 14/14 일치 ($p = 6.1 \times 10^{-5}$).
   • 모든 구성에 대한 결합 부호 검정(Joint sign test): 20/23 일치 ($p = 2.4 \times 10^{-4}$).
   • 확정적 사례에 대한 결합 효과 크기($\hat{\Delta}$)는 $+0.013$ (95% CI $[+0.005, +0.020]$)였다.

3. 자기 일관성에 대한 시사점:

   • 확정적 영역: 모델이 동일한 오답을 재현하기 때문에 자기 일관성은 효과적이지 않다. 이 경우, 단일 완성본의 불확실성 신호(특히 초기 윈도우 특징)가 더 우수한 탐지 성능을 제공한다. 저자들은 확정적 모델의 경우, 실패 재현율(recall)을 희생하지 않고도 상위 30%의 확신도가 높은 입력에 대해 자기 일관성 과정을 건너뛸 수 있음을 입증하였다.
   • 지속적 영역: 실패가 완성본 간의 불일치로 나타나므로 자기 일관성이 여전히 효과적이다.
   • 상호 보완성: 단일 완성본 불확실성과 자기 일관성 합의율을 결합하면 모든 테스트된 영역에서 일관되게 PR-AUC가 향상되었다. 이는 합의율만으로는 놓칠 수 있는 완성본 내부의 추론 품질을 포착한다.

의의 및 주장

본 논문은 LLM의 추론 실패가 언제 그리고 어떻게 탐지 가능한지를 이해하기 위한 기초적인 프레임워크를 제공한다고 주장한다. 실패를 "확정적" 또는 "지속적"으로 특징지음으로써, 저자들은 탐지 전략이 일률적으로 적용되는 대신 특정 실패 모드에 맞춰 조정되어야 한다고 주장한다.

주요 기여는 다음과 같다:

1. 토큰 수준의 시그니처: 외부 로그 확률만을 사용하여 토큰 수준의 불확실성 신호가 두 가지 뚜렷한 실패 프로세스를 구분할 수 있음을 입증하였다.
2. 확정 지점의 식별: 모델이 경로에 고착되는 지점인 확정 지점을 정의하고, 이를 윈도우 크기의 정밀도로서 경험적으로 검증하였다.
3. 실질적인 배포 가이드라인: 자기 일관성이 필요한 시점과 이를 선택적으로 건너뛸 수 있는 시점을 가려내는 메커니즘을 제공하며, 불확실성 특징이 기존의 검증 방법들과 어떻게 상호 보완되는지 보여준다.

저자들은 프레임워크가 가시적인 CoT 트레이스 상에서 작동한다는 점(이 트레이스가 내부 연산을 완벽하게 반영한다고 주장하는 것은 아님)과 API의 로그 확률 접근 제한에 영향을 받는다는 점을 언급하며, 자신들의 주장에 대해 겸허한 태도를 유지한다. 또한, 프레임워크가 신뢰성 있게 작동하기 위해서는 적절한 실패율이 필요하며, 확정 지점은 정확한 토큰 위치보다는 윈도우 크기의 정밀도로서 식별된다는 점을 강조한다.