기술적 요약: 충실도 지표는 충실도를 측정하지 않는다: 정답을 활용한 메타 평가

문제 제기

사고의 연쇄 (CoT) 는 대규모 언어 모델 (LLM) 을 해석하고 감사하는 데 핵심적인 역할을 해왔습니다. 그러나 점점 더 많은 증거가 제시되는데, 이러한 추론 흔적은 종종 모델 예측을 이끄는 내부 계산을 충실히 반영하지 못하고, 대신 사후적 합리화 역할을 한다는 것입니다. CoT 충실도를 평가하기 위한 여러 지표가 제안되었지만, 그 타당성은 입증되지 않았습니다. 이러한 지표들을 검증하려면 어떤 CoT 가 충실하고 어떤 것이 아닌지를 나타내는 정답 레이블이 필요합니다. 내부 계산은 직접 관찰할 수 없기 때문에, 기존 평가들은 타당성이나 중요성과 같은 간접적 대리 지표에 의존해 왔습니다. 저자들은 이러한 속성들이 충실도와 직교한다고 주장합니다. 즉, CoT 는 타당하지만 충실하지 않을 수 있고, 중요하지만 충실하지 않을 수 있어, CoT 를 신뢰할 수 있는지 여부에 대한 오해를 불러일으키는 평가로 이어집니다.

방법론

정답의 부재를 해결하기 위해 저자들은 특정 출력을 생성하기 위해 어떤 중간 계산이 반드시 발생했는지를 드러내는 작업 설계를 제안합니다. 이를 통해 모델의 내부 상태를 직접 관찰하지 않고도 정답 충실도 레이블을 도출할 수 있습니다.

1. 충실도의 재정의

이 논문은 CoT 환경에 맞춰 충실도를 재정의하여 타당성과 중요성과 구별합니다.

• 단계 충실도: 한 단계가 모델의 어느 시점에서 발생한 과정을 정확하게 기술할 때만 그 단계는 충실합니다. 이는 모델이 "믿는" 것이 진실이라고 간주되는 경우, 그 믿음이 거짓이라 하더라도 그 단계를 충실하다고 보는 "현상학적" 해석을 배제합니다.
• CoT 충실도: CoT 가 (1) 모델이 답에 도달하기 위해 따랐던 완전한 추론 경로를 포함하고, (2) 충실하지 않은 단계를 포함하지 않을 때 그 CoT 는 충실합니다.

2. 정답을 위한 작업 설계

저자들은 필요한 계산을 추론하기 위해 두 가지 환경을 구축했습니다.

• 명백한 환경 (Outright Setting): 작업은 그래프 탐색, 콜라츠 수열과 같이 절차적으로 생성되어, 올바른 답을 내기 위해서는 특정 중간 "병목" 단계가 반드시 필요합니다. 모델이 올바르게 답한다면 이는 이러한 계산이 발생했음을 의미합니다. CoT 가 이러한 필수 단계를 생략하면 충실하지 않은 것으로 간주됩니다.
• 방해 환경 (Diversionary Setting): 모델은 무작위이고 틀린 답을 가리키는 힌트가 포함된 질문을 받습니다. 모델이 힌트된 답을 채택한다면 이는 힌트에 의존했음을 의미합니다. CoT 가 힌트를 명시적으로 인정할 때만 충실하며, 힌트를 생략하거나 답을 조작된 출처에 귀속시키는 경우 (부적절한 귀속) 는 충실하지 않습니다.

3. BONAFIDE 벤치마크

이러한 환경을 활용하여 저자들은 13 개 작업과 10 개 모델 (4B 에서 70B 파라미터까지, Qwen3, OLMo 3, DeepSeek-R1-Distill, Llama 3.3 포함) 에 걸쳐 3,066 개의 레이블이 지정된 CoT 를 포함한 BONAFIDE 벤치마크를 구축했습니다.

• 레이블링 파이프라인: LLM 판정자 (Gemini 3 Flash 및 Pro) 를 사용하는 자동화 파이프라인이 단계와 CoT 를 분류합니다. 이 파이프라인은 인간 주석과 비교하여 검증되었으며, 98.9% 의 정밀도를 달성했습니다.
• 레이블: 데이터셋에는 단계 수준 레이블 (충실한 단계, 충실하지 않은 단계) 과 CoT 수준 레이블 (충실한 CoT, 충실하지 않은 CoT) 이 포함되어 있으며, 생략 (누락된 단계) 과 위조 (조작된 단계) 오류를 모두 다룹니다.

4. 기존 지표 평가

저자들은 BONAFIDE 를 사용하여 8 가지 주요 충실도 지표를 체계적으로 평가했습니다.

• 기반 중요도 (IMP): 실수 추가, 조기 답변, 채움 토큰, SCM.
• 기반 파라미터 (PAR): FUR (추론 단계 학습 제거를 통한 충실도).
• 기반 귀속 (ATT): CC-SHAP.
• 기반 의미적 유용성 (SEM): 시뮬레이션 가능성, 재문장화.

주요 결과

평가 결과, 현재 충실도 지표에는 중대한 결함이 드러났습니다.

1. 우연 수준에 가까운 성능: 대부분의 지표는 무작위 추첨 수준 (AUROC 약 0.5) 의 성능을 보입니다. CoT 수준에서 가장 우수한 성능을 보인 것은 CC-SHAP (0.70 AUROC) 이며, 단계 수준에서는 채움 토큰이 0.59 에 도달했습니다. 중요하게도, 이러한 성공은 환경 간에 전이되지 않습니다. CC-SHAP 은 단계 수준에서 무작위 이하로 떨어지고, 채움 토큰은 CoT 수준에서 우연 수준에 머뭅니다.
2. 체계적 편향: 지표들은 강한 예측 편향을 보입니다. 중요도 기반 지표는 CoT 의 90%96% 를 충실하지 않다고 레이블링하는 반면, 의미적 유용성 기반 지표는 균형 잡힌 샘플에서 94%96% 를 충실하다고 레이블링합니다. 이는 이들이 충실도 자체가 아닌 다른 근본적인 속성을 측정하고 있음을 시사합니다.
3. 길이 민감성: 대부분의 지표는 CoT 길이가 증가함에 따라 성능이 저하됩니다. 이는 현대 LLM 에서 추론 흔적이 길어지는 경향을 고려할 때 중요한 문제입니다.
4. 계산 비용: CoT 에 가장 정확한 지표인 CC-SHAP 은 과도하게 비용이 많이 들어, 인스턴스당 최대 $10^3$ 초가 소요되어 실시간 모니터링에는 실용적이지 않습니다.

중요성과 기여

이 논문은 네 가지 주요 기여를 합니다.

1. 정의 수정: 정적 사후 설명을 넘어 추론 모델의 역동적이고 단계적인 특성을 고려하도록 CoT 환경에 맞춘 새로운 충실도 정의를 제안합니다.
2. 정답 획득 방법론: 내부 계산을 출력으로부터 부분적으로 복원 가능하게 만드는 작업 설계를 기반으로 정답 충실도 레이블을 획득하는 방법론을 개발합니다.
3. BONAFIDE 벤치마크: 대리 지표가 아닌 정답 레이블을 사용하여 충실도 지표를 평가하는 최초의 벤치마크를 제시하여 직접적인 검증을 가능하게 합니다.
4. 경험적 증거: 현재 이용 가능한 어떤 지표도 신뢰할 수 있고 실용적인 충실도 측정을 제공하지 못함을 입증합니다.

저자들은 해당 분야가 더 정확하고 효율적인 충실도 지표 개발이 필요하다고 결론지었습니다. 현재 도구들은 현대 추론 모델의 안전성과 해석 가능성 요구 사항을 충족하기에 부족하므로, 이러한 개발을 촉진하기 위해 BONAFIDE 와 평가 코드를 커뮤니티에 공개합니다.