Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

이 논문은 "Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks" (야생에서의 대조적 귀속: 현실적 벤치마크에서의 LLM 실패에 대한 해석 가능성 분석) 으로, 대규모 언어 모델 (LLM) 의 실패 원인을 분석하기 위해 대조적 귀속 (Contrastive Attribution) 기법을 현실적인 환경에 적용한 연구입니다.

아래는 논문의 문제 정의, 방법론, 주요 기여, 결과 및 의의에 대한 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem)

• 현실적 분석의 부재: 기존 LLM 해석 가능성 (Interpretability) 연구는 주로 짧은 프롬프트나 인위적으로 설계된 '토이 (toy)' 설정에 국한되어 있었습니다. 반면, 실제 벤치마크 (GAIA2, MATH 등) 나 긴 문맥 (Long-context) 을 가진 실제 실패 사례에 대한 해석 가능성 분석은 거의 이루어지지 않았습니다.
• 행동 분석의 한계: 기존 실패 분석은 주로 모델의 입력/출력 행동 (Behavioral analysis) 에 의존하여 '무엇'이 실패했는지는 파악할 수 있지만, 내부 메커니즘상 '왜' 실패했는지에 대한 명확한 원인을 규명하기 어렵습니다.
• 계산적 확장성 문제: 현실적인 실패 사례는 수천 토큰에 달하는 긴 문맥을 포함하는 경우가 많아, 기존 해석 도구들의 계산적 한계로 인해 분석이 불가능했습니다.

2. 방법론 (Methodology)

저자들은 LLM 실패 분석을 토큰 수준의 대조적 귀속 (Token-level Contrastive Attribution) 문제로 공식화하고, 이를 해결하기 위한 효율적인 프레임워크를 제안했습니다.

A. 대조적 귀속 (Contrastive Attribution)

• 목표: 모델이 잘못된 토큰 ($t_{tgt}$) 을 선택한 대신, 올바른 대안 토큰 ($t_{con}$) 을 선택했을 때의 로그 확률 (Logit) 차이 ($\Delta \ell$) 를 입력 토큰과 내부 모델 상태에 귀속시킵니다.
• 수식: $\Delta \ell = \ell(t_{tgt}) - \ell(t_{con})$
• 효과: 이 방식은 실패와 무관한 공통 계산을 제거하여, 왜 모델이 특정 잘못된 토큰을 선호하는지에 대한 더 명확하고 해석 가능한 설명을 제공합니다.

B. LRP 기반 해석 (Layer-wise Relevance Propagation)

• AttnLRP 사용: 기존 LRP(레이어별 관련성 전파) 의 변형인 AttnLRP를 기반으로 합니다. 이는 트랜스포머 모델의 비선형성을 고려하여 모듈별 전파 규칙을 적용하며, 입력 토큰에 대한 귀속 신뢰도 (Faithfulness) 가 가장 높은 방법으로 알려져 있습니다.
• 귀속 그래프 (Attribution Graph) 구축:
  • 단순한 입력 귀속 (Heatmap) 을 넘어, 레이어 간 은닉 상태 (Hidden State) 간의 관련성 흐름을 시각화하는 교차 레이어 귀속 그래프를 구축합니다.
  • 효율적 확장 (Batch-Packed Backpropagation): 긴 문맥에서 모든 은닉 상태 간의 관련성을 계산하는 것은 계산 비용이 매우 큽니다. 저자들은 배치 차원 (Batch dimension) 을 활용하여 여러 귀속 대상을 한 번의 역전파 (Backpropagation) 로 처리하는 기법을 도입했습니다. 이를 통해 GPU 벡터화를 활용하여 계산 효율성을 극대화하고 긴 문맥 입력에 대한 분석을 가능하게 했습니다.

C. 분석 전략 (Coarse-to-Fine)

• 거시적 분석: 먼저 집계된 은닉 상태 (Hidden-state level) 수준에서 관련성을 분석하여 중요한 하위 그래프를 식별합니다.
• 미시적 분석: 필요한 경우 선택된 하위 그래프 내에서 뉴런 수준의 (Neuron-level) 정밀한 관련성을 추가로 분석합니다. 이는 긴 문맥에서 한 번에 뉴런 수준 분석을 수행하는 것의 계산적 비효율성을 피하기 위함입니다.

3. 주요 기여 (Key Contributions)

1. 현실적 설정에서의 실패 분석 공식화: 기존 연구보다 더 현실적인 벤치마크 환경에서 LLM 실패를 토큰 수준의 대조적 귀속 문제로 정의하고 적용했습니다.
2. 효율적인 확장 기법 도입: 긴 문맥 입력을 위한 교차 레이어 은닉 상태 귀속 그래프를 효율적으로 구축할 수 있는 LRP 기반의 확장 방법을 제안했습니다.
3. 체계적인 실증 연구: 다양한 벤치마크 (IFEval, GAIA2, MATH, EvalPlus), 모델 크기 (0.6B ~ 8B), 학습 체크포인트를 가로지르는 체계적인 실패 귀속 분석을 수행하고 패턴을 규명했습니다.

4. 주요 결과 (Key Results)

A. 실패 패턴 분석 (Failure Patterns)

분석된 실패 사례들은 크게 세 가지 범주로 분류되었습니다:

1. M-IA (Manifested by Input Attribution): 입력 귀속 히트맵만으로도 실패 원인이 명확히 드러난 경우.
2. NC-IA + M-AG (No Clue from IA, Manifested by Graph): 입력 귀속만으로는 설명이 안 되지만, 귀속 그래프 분석을 통해 내부 레이어 간 상호작용을 통해 원인이 드러난 경우.
3. NC-IA+AG: 두 가지 분석 모두로 설명되지 않는 경우 (주로 수학 추론 등 미세한 뉴런 수준의 분석이 필요한 경우).

주요 실패 유형:

• URT (Underweight Relevant Tokens): 중요한 입력 토큰에 대한 가중치가 부족함 (가장 흔한 실패 모드).
• OIT (Overweight Irrelevant Tokens): 관련 없는 토큰에 과도하게 가중치를 부여함.
• URT + OIT: 위 두 가지가 동시에 발생하는 경우.

B. 모델 스케일링 효과 (Model Scaling)

• 더 큰 모델 (1.7B, 4B) 은 작은 모델 (0.6B) 의 실패를 수정하는 경향이 있었습니다.
• 해석 가능성 증거: 큰 모델이 실패를 수정할 때, 단순히 임의의 보정이 아니라 시스템적인 귀속 패턴의 변화가 동반되었습니다.
  • 큰 모델은 'Instruction(지시문)' 섹션에 대해 더 명확한 부정적 귀속 (올바른 토큰 선호) 을 보였습니다.
  • 이는 모델 스케일링이 단순한 암기가 아닌, 실제 추론 과정의 개선 (관련 토큰의 올바른 가중치 부여) 을 의미함을 시사합니다.

C. 학습 과정의 진화 (Evolution Across Training)

• SFT (Supervised Fine-Tuning) 단계: 학습 초기 단계에서 Query 및 Answer 섹션의 관련성이 급격히 감소하며, 지시문 (Instruction) 에 대한 주의를 기울이는 방향으로 변화했습니다.
• DPO 및 RLVR: 추가적인 최적화 단계를 거치며 모든 섹션의 관련성이 더욱 부정적인 값 (올바른 토큰 선호) 으로 수렴했습니다.
• 이는 훈련 과정이 실패를 수정하는 과정에서 귀속 패턴의 체계적인 이동을 동반함을 보여줍니다.

D. 한계

• 수학 추론 (MATH): 수학 문제의 경우, 집계된 은닉 상태 수준의 분석만으로는 실패 원인을 설명하기 어려운 경우가 많았습니다. 이는 수치 계산과 같은 미세한 뉴런 수준의 추론이 필요함을 시사하며, 현재 방법론의 한계를 보여줍니다.

5. 의의 및 시사점 (Significance & Implications)

• 실용적인 디버깅 도구: 제안된 프레임워크는 개발자가 모델이 왜 잘못된 토큰을 선택했는지 구체적인 이유 (예: 특정 지시어 무시, 관련 없는 토큰 과신) 를 파악할 수 있게 하여, 타겟팅된 프롬프트 튜닝이나 모델 개선에 직접적인 통찰을 제공합니다.
• 훈련 모니터링: 해석 가능성 기반 분석은 모델 훈련 중 실패가 어떻게 수정되는지 모니터링하는 도구로 활용될 수 있으며, 모델 스케일링이나 추가 학습이 진정한 성능 향상인지 확인하는 데 도움을 줍니다.
• 정렬 (Alignment) 학습에의 적용: 귀속 점수를 활용하여 선호/비선호 응답 내의 특정 토큰에 가중치를 두는 토큰 수준의 정렬 최적화 기법 개발의 가능성을 제시합니다.

결론적으로, 이 논문은 LLM 해석 가능성 도구가 단순한 실험실 환경을 넘어 현실적인 벤치마크와 긴 문맥에서도 유용한 진단 도구가 될 수 있음을 입증했으나, 특히 복잡한 추론 (수학 등) 에 있어서는 여전히 더 정교하고 확장 가능한 도구의 필요성을 강조합니다.