How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 DeepSeek-R1, GPT-5 등 '생각하는 LLM(Thinking LLMs)'은 최종 답변을 생성하기 전에 긴 추론 흔적 (Reasoning Trace) 을 생성합니다. 기존 연구는 주로 이 추론 과정을 제어하거나 (Activation Steering) 압축하는 데 집중했습니다.
• 문제: 그러나 최종 답변 (Answer Tokens) 이 생성되는 단계에서, 모델이 어떻게 앞서 생성된 추론 흔적을 '읽고' 통합하여 신뢰할 수 있는 결과를 도출하는지에 대한 메커니즘은 잘 이해되지 않았습니다. 특히 수천 개의 토큰에 달하는 긴 추론 과정에서 답변 토큰이 노이즈를 어떻게 필터링하고 핵심 정보를 활용하는지는 명확하지 않았습니다.

2. 핵심 발견: 선한 자기-읽기 패턴 (Benign Self-Reading Pattern)

저자들은 정량적 추론 (Quantitative Reasoning) 태스크를 분석하여, 정답을 도출하는 경우와 오답을 도출하는 경우의 '답변 토큰의 자기-읽기 (Self-Reading)' 패턴에 결정적인 차이가 있음을 발견했습니다.

• 선한 자기-읽기 (Correct Solutions):
  • 전진적 이동 (Forward Drift): 답변이 생성됨에 따라 주의 집중 (Attention) 의 중심 (Centroid) 이 추론 흔적의 초기 단계에서 후기 단계로 체계적으로 이동합니다. 이는 모델이 논리적 흐름을 따라 해결 경로를 따라가고 있음을 의미합니다.
  • 의미적 앵커 집중 (Semantic Anchor Concentration): 모델은 전체 흔적을 무작위로 스캔하는 대신, 제약 조건, 해결 계획, 결론 등 핵심 의미적 앵커 (Semantic Anchors) 에 반복적으로 집중합니다.
  • 해석: 이는 모델이 내부적으로 확신 (Internal Certainty) 을 가지고 특정 해결 경로를 선택하고, 이를 뒷받침하는 증거를 통합하는 상태임을 나타냅니다.
• 불안정한 자기-읽기 (Incorrect Solutions):
  • 주의 집중이 산만하고 불규칙하며, 전진적 이동이나 핵심 포인트에 대한 집중이 부족합니다. 이는 인지적 불확실성 (Cognitive Uncertainty) 을 반영합니다.

3. 제안 방법: SRQ 기반 스티어링 (Methodology)

이러한 통찰을 바탕으로, 학습 없이 (Training-free) 모델의 추론 능력을 향상시키는 자기-읽기 품질 (Self-Reading Quality, SRQ) 기반 스티어링 방법을 제안했습니다.

• SRQ 점수 구성:
  • 기하학적 차원 (Geometric Dimension): 답변 토큰이 추론 경로를 따라 얼마나 일관되게 전진하는지 측정 (Pearson 상관관계, 대각선 추세 등).
  • 의미적 차원 (Semantic Dimension): 모델이 중요한 의미적 앵커 (제약, 결론 등) 에 집중하고 오해의 소지가 있는 노이즈를 피하는지 측정.
• 스티어링 벡터 구축:
  • SRQ 점수가 높은 정답 샘플과 SRQ 점수가 낮은 오답 샘플을 선별하여 대조군 (Contrastive Set) 을 형성합니다.
  • 이 두 집단의 활성화 (Activation) 차이를 기반으로 스티어링 벡터를 생성합니다.
• 적용: 추론 단계와 답변 단계에서 생성된 벡터를 추가하여, 모델이 '불확실하고 무질서한 읽기'에서 벗어나 '확신 있고 조직화된 자기-읽기' 패턴을 따르도록 유도합니다.

4. 실험 결과 (Results)

저자는 GSM8K, MATH500, SVAMP 등 다양한 정량적 추론 벤치마크에서 R1-Distill-Llama-8B, R1-Distill-Qwen-7B, Qwen3-4B-Thinking 등 최신 Thinking LLM 들을 대상으로 실험했습니다.

• 정확도 향상: 제안된 SRQ 스티어링 방법은 기존 베이스 모델의 정확도를 일관되게 향상시켰습니다.
  • 예: GSM8K 에서 R1-Distill-Llama-8B 의 정확도가 **85.8% → 88.4%**로 상승 (최대 2.6%p 개선).
  • MATH500 과 SVAMP 에서도 유사한 개선 효과를 보였으며, 특히 AIME(고난도 수학 경시대회) 과 같은 복잡한 태스크에서도 성능 향상이 확인되었습니다.
• 일반화 능력: 다른 스티어링 메커니즘 (CAA, Conceptor, PCA-CAA) 과 결합했을 때도 추가적인 성능 향상을 보였으며, 한 데이터셋 (GSM8K) 에서 학습된 벡터를 다른 데이터셋 (SVAMP) 에 적용해도 효과가 입증되었습니다.
• 내부 확신 증가: SRQ 적용 후 모델의 생성 확률 기반 신뢰도 (Confidence) 가 동시에 증가하여, 성능 향상이 모델의 내부적 확신 강화와 직접적으로 연관됨을 확인했습니다.
• 비교 우위: 기존 추론 최적화 기법 (RepE, SAE-free, SEAL 등) 보다 우수한 성능을 기록했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 현상 규명: 답변 생성 단계에서 LLM 이 추론 흔적을 어떻게 '읽고' 활용하는지에 대한 메커니즘을 최초로 체계적으로 분석하고, '선한 자기-읽기' 패턴이 정답률과 강하게 연관됨을 증명했습니다.
2. 새로운 제어 프레임워크: 학습 없이 적용 가능한 SRQ 기반 스티어링 방법을 제안하여, 모델의 인지적 불확실성을 줄이고 내부적 확신을 높이는 효과적인 제어 수단을 제공했습니다.
3. 실용적 가치: 복잡한 수리 추론 태스크에서 모델의 성능을 안정적으로 향상시킬 수 있으며, 이는 추론 모델의 신뢰성과 해석 가능성 (Interpretability) 을 높이는 중요한 통찰을 제공합니다.
4. 인지 과학적 연결: 모델의 자기-읽기 패턴을 인지 심리학의 '메타인지 (Meta-cognition)' 이론 (객체 수준 실행과 메타 수준 모니터링의 상호작용) 과 연결하여 해석했습니다.

결론

이 논문은 Thinking LLM 의 성능 향상을 위해 단순히 추론 과정을 압축하거나 수정하는 것을 넘어, 답변 토큰이 추론 흔적을 어떻게 '인지'하는지를 분석하고 이를 제어함으로써 모델의 내부적 확신을 높일 수 있음을 보였습니다. 제안된 SRQ 기반 스티어링은 다양한 모델과 태스크에서 일관된 성능 개선을 이끌어내며, 추론 모델의 신뢰성 향상과 제어에 대한 새로운 방향성을 제시합니다.