기술 요약: 회로 기반 내부-외부 불일치를 통한 불성실한 사고 연쇄 탐지

1. 문제 정의

사고 연쇄 (Chain-of-thought, CoT) 추론은 대규모 언어 모델 (LLM) 이 최종 답변을 생성하기 전에 중간 텍스트 단계를 생성할 수 있게 하여 복잡한 작업의 성능을 크게 향상시킵니다. 그러나 이러한 생성된 추론 흔적이 모델의 실제 내부 결정 과정을 충실히 반영하지 않을 때 중요한 문제가 발생합니다. 기존 탐지 방법들은 텍스트의 타당성, 답변의 일관성, 또는 반사실적 개입과 같은 외부 신호에 초점을 맞추는 반면, 모델의 내부 계산에서 나오는 증거는 종종 간과됩니다.

본 논문은 두 가지 주요 과제를 다룹니다:

1. 과제 1: 표면적 추론 품질에만 의존하는 것이 아니라 모델의 내부 결정 과정으로부터의 증거를 사용하여 CoT 불성실성을 탐지하는 방법.
2. 과제 2: 긴 CoT 흔적에 대한 완전한 추론 회로를 구성하는 prohibitive(부담스러운) 계산 비용을 들이지 않고 탐지를 위해 내부 해석 가능성 신호를 활용하는 방법.

목표는 인스턴스 수준의 탐지입니다: 주어진 쿼리 $q$에 대해 생성된 특정 CoT 궤적 $C$가 모델의 내부 추론 과정 $R_M(q)$을 충실히 반영하는지 여부를 판단하는 것입니다.

2. 방법론: CIE-SCORER

저자들은 **회로 기반 내부-외부 불일치 스코어 (Circuit-guided Internal-External Discrepancy Scorer, CIE-SCORER)**를 제안합니다. 이는 표시된 추론 흔적과 모델의 내부 계산 궤적 간의 불일치를 측정하여 불성실성을 정량화하는 프레임워크입니다.

2.1 토큰 선택 단계 회로 구성

전체 회로 추적의 확장성 문제를 해결하기 위해 CIE-SCORER 는 전체 흔적에 대해 토큰 수준이 아닌 문장 수준에서 작동합니다.

• 토큰 선택: 추론 문장의 모든 토큰을 추적하는 대신, 이 방법은 정보량이 풍부한 토큰의 간결한 집합을 선택합니다. 이는 다음을 결합하여 달성됩니다:
  • 엔트로피 기반 선택: 추론과 관련된 정보를 담고 있을 가능성이 높은 높은 불확실성 (높은 엔트로피) 을 가진 토큰을 식별합니다.
  • 반사실적 필요성: 토큰에 개입 (대체) 하고 문장의 의미 내용과 하류 예측 분포의 변화를 관찰함으로써 토큰의 인과적 영향을 측정합니다.
• 압축 회로 그래프: 선택된 토큰을 앵커로 사용하여, 트랜스코더 기반 대체 모델을 통해 문장 수준의 귀속 회로를 구성합니다. 이는 각 추론 단계에 대한 내부 계산을 나타내는 일련의 간결한 그래프 $G^{circ} = (G^{circ}_1, \dots, G^{circ}_T)$를 생성합니다.

2.2 내부 및 외부 표현

프레임워크는 추론 흔적에 대해 두 가지 병렬 표현을 구성합니다:

• 내부 표현: 문장 수준의 회로 그래프 시퀀스는 그래프 신경망 (GNN) 을 사용하여 잠재 임베딩 ($X^{int}$) 으로 인코딩됩니다. 이러한 임베딩은 모델의 화이트박스 계산 궤적을 포착합니다.
• 외부 표현: 표시된 추론 문장은 LLM 의 중간 레이어에서 숨겨진 상태를 평균화하여 임베딩 ($X^{ext}$) 으로 인코딩됩니다. 경량 MLP 어댑터가 이를 내부 임베딩과 동일한 차원으로 투영합니다.

2.3 그래프 불일치 스코어링

두 표현은 공유 구성 규칙을 사용하여 트레일 수준의 문장 그래프 ($G^{int}$ 및 $G^{ext}$) 로 변환됩니다. 노드는 추론 문장을 나타내고, 에지는 시간적 진행과 의미적 의존성을 인코딩합니다.

• 퓨즈드 그로모프-워슈타인 (FGW) 거리: 불성실성 점수는 내부 및 외부 그래프 간의 FGW 거리로 계산됩니다. 이 지표는 다음을 함께 고려합니다:
  • 특성 불일치: 표시된 단계의 내용이 해당 내부 계산 증거와 일치하는지 여부.
  • 구조적 불일치: 표시된 단계 간의 의존성이 내부 정보 흐름 구조와 일치하는지 여부.
• 학습 목적: 모델은 충실한 흔적에 대해서는 FGW 거리를 최소화하고 불성실한 흔적에 대해서는 마진 $m$ 이상으로 최대화하기 위해 마진 기반 손실로 훈련됩니다.

3. 주요 기여

1. 새로운 관점: 본 연구는 모델 내부 계산과 외부 추론 흔적을 인스턴스 수준 분석을 위해 통합한 최초의 사례로서, 회로 기반 내부-외부 불일치 관점에서 CoT 불성실성 탐지를 공식화합니다.
2. 효율적인 프레임워크 (CIE-SCORER): 저자들은 토큰 선택 회로 추적을 수행하고, 문장 수준 회로를 임베딩으로 압축하며, FGW 거리를 사용하여 이를 외부 표현과 비교하는 방법을 제안합니다. 이 접근 방식은 주요 내부 신호를 보존하면서 전체 회로 구성의 비용을 피합니다.
3. 최첨단 성능: FaithCoT-Bench 의 네 가지 데이터셋에 대한 실험은 CIE-SCORER 이 반사실 기반 방법, 로그트 기반 방법, LLM-as-Judge 접근 방식, 그리고 이전 회로 기반 방법 (CRV) 을 포함한 기존 베이스라인을 능가함을 보여줍니다.

4. 실험 결과

평가는 논리적, 사실적, 수학적, 생물의학적 추론을 다루는 네 가지 데이터셋에서 수행되었습니다: LogicQA, TruthfulQA, AQuA, HLE-Bio.

• 성능: CIE-SCORER 은 모든 데이터셋에서 가장 높은 정확도 (Accuracy) 와 F1 점수를 달성했습니다. 예를 들어, LogicQA 데이터셋에서는 가장 강력한 이전 베이스라인 대비 정확도를 11.5 포인트, F1 을 1.4 포인트 향상시켰습니다.
• 효율성: CRV 베이스라인과 비교하여 CIE-SCORER 은 피크 메모리 사용량을 48.3%–55.2% 줄이고 추적된 토큰을 62.4%–68.6% 줄였습니다. 또한 F1 점수를 향상시키면서 상당한 런타임 감소를 달성했습니다 (예: TruthfulQA 에서 67.6%).
• 애블레이션 연구: 토큰 선택 전략을 제거하거나 (엔트로피 또는 반사실 점수만 사용) 내부 GNN 인코더를 제거하면 성능이 크게 저하되어, 신호 통합과 그래프 구조 모델링의 필요성을 확인시켜 주었습니다.
• 교차 도메인 전이: 모델은 특히 TruthfulQA 와 LogicQA 사이에서 의미 있는 전이 능력을 보여주어, 학습된 내부 그래프 표현이 일반화 가능한 충실성 신호를 포착함을 시사합니다.

5. 중요성과 주장

본 논문은 CIE-SCORER 이 기계적 해석 가능성 신호와 외부 흔적을 명시적으로 결합함으로써 CoT 추론의 "투명성 환상"을 효과적으로 해결한다고 주장합니다.

• 불성실성 유형 구분: 분석은 서로 다른 유형의 불성실성이 고유한 불일치 패턴을 보임을 드러냅니다. 사후 추론(미리 결정된 답변을 합리화하는 것) 은 주로 특성 수준 불일치(내용 불일치) 를 유발하는 반면, 허위 추론 사슬(국소적으로는 일관되지만 인과적으로 단절된 단계) 은 주로 구조 수준 불일치(의존성 불일치) 를 유발합니다.
• 확장성: 모든 토큰이 아닌 정보량이 풍부한 토큰에 회로 추적을 집중함으로써, 이 방법은 긴 추론 흔적에 대한 기계적 해석 가능성을 실현 가능하게 하여 이전 접근법의 주요 병목 현상을 극복합니다.
• 신뢰성: 이 프레임워크는 모델이 말하는 "이야기"(외부 흔적) 와 수행하는 "계산"(내부 회로) 을 직접 비교하므로, 표면적 지표보다 모델 행동 감시를 위한 더 강력한 신호를 제공합니다.

저자들은 이 방법이 모델 내부 (화이트박스) 에 대한 접근이 필요하므로 오픈소스 또는 접근 가능한 모델에 대한 즉각적인 적용을 제한하며, 다양한 도메인과 멀티모달 환경에 대한 평가는 향후 과제로 남긴다고 언급합니다.