HESSIAN-ENHANCED TOKEN ATTRIBUTION (HETA): 생성형autoregressive LLM 해석을 위한 기술적 요약

본 논문은 ICLR 2026에 발표된 것으로, **Hessian-Enhanced Token Attribution (HETA)**이라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 디코더 전용 (decoder-only) 언어 모델의 예측을 설명하기 위해 입력 토큰의 기여도를 정량화하는 방법론을 다룹니다. 기존 방법론의 한계를 극복하고, 생성형 작업에서 더 정확하고 신뢰할 수 있는 해석 (interpretability) 을 제공하는 것을 목표로 합니다.

1. 문제 정의 (Problem Statement)

기존의 어트리뷰션 (attribution) 방법론 (예: LIME, Integrated Gradients, Grad-CAM 등) 은 주로 인코더 기반 아키텍처를 위해 설계되었으며, 다음과 같은 한계를 가집니다:

• 선형 근사의 한계: 대부분의 기존 방법은 1 차 도함수 (기울기) 기반의 선형 근사에 의존합니다. 그러나 autoregressive(자기회귀) 생성 모델에서는 토큰 간의 상호작용이 비선형적이고 문맥에 민감하여, 기울기가 0 인 평탄한 영역 (flat regions) 에서도 중요한 영향이 존재할 수 있습니다. 이 경우 기존 방법은 해당 토큰의 중요성을 간과합니다.
• 인과성 (Causality) 의 부재: 어트리뷰션은 단순히 모델이 '어디를 주시하는지 (attention)'가 아니라 '무엇이 실제로 출력에 영향을 미치는지'를 설명해야 합니다. Attention 가중치만으로는 인과적 경로를 정확히 추적하기 어렵습니다.
• 디코더 전용 모델의 특수성: 디코더 전용 모델은 미래 토큰에 대한 정보를 차단하는 마스킹 (causal masking) 을 사용하며, 각 토큰 위치마다 출력을 생성합니다. 이를 위한 전용 어트리뷰션 방법이 부족했습니다.
• 불안정성: 기존 방법들은 해독 (decoding) 하이퍼파라미터 (temperature, top-p 등) 나 문법적 재구성에 따라 일관되지 않은 결과를 보여 신뢰성이 낮았습니다.

2. 방법론 (Methodology: HETA)

HETA 는 세 가지 상호 보완적인 구성 요소를 통합하여 디코더 전용 모델에 최적화된 어트리뷰션 점수를 산출합니다.

2.1. 구성 요소

1. 의미론적 전이 영향 (Semantic Transition Influence, $M_T$):

   • 목적: 인과적 방향성을 보장하고, 토큰이 레이어를 거쳐 어떻게 전파되는지 추적합니다.
   • 구현: 디코더의 인과적 마스크 하에서, 타겟 토큰 (Target Token) 에서 끝나는 어텐션 - 값 (attention-value) 흐름을 추적합니다. 각 레이어와 헤드에서 어텐션 가중치와 값 벡터의 노름을 결합하여, 타겟 토큰에 인과적으로 연결된 경로만 선택하고 나머지는 차단 (게이팅) 합니다.

2. Hessian 기반 민감도 (Hessian-Based Sensitivity, $S_i$):

   • 목적: 2 차 효과 (비선형성 및 상호작용) 를 포착합니다.
   • 구현: 입력 임베딩에 대한 로그-확률 (log-likelihood) 의 Hessian 행렬을 근사합니다. 명시적인 Hessian 행렬 계산은 비현실적이므로, Hutchinson 추정기를 사용한 **Hessian-Vector Products (HVPs)**를 통해 2 차 민감도를 추정합니다. 이는 기울기가 0 인 영역에서도 함수 값이 변화할 수 있는 곡률 (curvature) 정보를 제공합니다.

3. 정보 이론적 영향 (KL Divergence, $I_i$):

   • 목적: 토큰이 예측 불확실성에 기여하는 정도를 측정합니다.
   • 구현: 특정 토큰을 마스킹했을 때 타겟 토큰의 예측 분포가 어떻게 변하는지 **KL 발산 (KL Divergence)**을 통해 측정합니다. 이는 토큰이 제거되었을 때 발생하는 정보 손실을 정량화합니다.

2.2. 최종 어트리뷰션 점수

세 가지 요소를 결합하여 최종 점수를 계산합니다:
$$\text{Attr}(x_i \to x_T) = M_T[i] \cdot (\beta S_i^{(T)} + \gamma I(x_i \to x_T))$$
여기서 $M_T[i]$는 인과적 게이트 역할을 하여 타겟과 연결되지 않은 토큰의 점수를 0 으로 만듭니다. $\beta$와 $\gamma$는 각각 곡률 민감도와 정보 기여도의 가중치입니다.

3. 주요 기여 (Key Contributions)

1. HETA 프레임워크 제안: 디코더 전용 언어 모델을 위해 설계된 최초의 통합 어트리뷰션 방법론으로, 의미론적 흐름, 2 차 민감도, 정보 이론적 손실을 결합하여 인과적이고 신뢰할 수 있는 토큰 레벨 설명을 제공합니다.
2. 새로운 벤치마크 데이터셋 구축: 생성형 작업에서 어트리뷰션의 질을 체계적으로 평가하기 위해 NARRATIVEQA와 SCIQ 데이터를 결합하여 커리어드 (curated) 데이터셋을 만들었습니다. 이 데이터셋은 '관련 없는 문장 (distractor)'과 '정답을 위한 증거 문장'을 명확히 구분하여, 모델이 실제로 예측에 기여한 토큰을 잘 찾아내는지 평가합니다.
3. 광범위한 실험 및 검증: GPT-J, LLaMA-3.1, Phi-3, Qwen2.5 등 다양한 크기의 모델과 LongRA, TellMeWhy, WikiBio 등 여러 벤치마크에서 기존 최첨단 방법론 (ReAgent, ContextCite, Integrated Gradients 등) 과 비교했습니다.

4. 실험 결과 (Results)

• 신뢰성 (Faithfulness): HETA 는 입력 교란 (perturbation) 하에서 출력 분포가 얼마나 변하는지를 측정하는 Soft-NC 및 Soft-NS 지표에서 모든 모델과 데이터셋에서 기존 방법론을 압도적으로 상회했습니다 (예: GPT-J 6B 기준 LongRA 에서 ReAgent 대비 2 배 이상 높은 점수).
• 정렬성 (Alignment): 커리어드 데이터셋에서 인간 (또는 고도화된 LLM) 이 annotat 한 정답 토큰과 모델이 중요하다고 판단한 토큰의 일치도를 측정하는 DSA (Dependent Sentence Attribution) 점수에서 HETA 가 가장 높은 점수 (4.25~5.10) 를 기록했습니다. 반면, 기울기 기반 방법들은 음수 점수를 기록하여 관련 없는 문장에 중요도를 부여하는 경향이 있음을 보였습니다.
• 강건성 (Robustness):
  • 해독 하이퍼파라미터: temperature, top-p, top-k 등 다양한 해독 설정 변화에 대해 HETA 의 점수 변동 폭은 1% 미만으로 매우 안정적이었습니다. 반면 기존 방법들은 2~5% 이상의 큰 변동을 보였습니다.
  • 문법적 재구성: 능동/수동 변환과 같은 문법적 재구성에 대해서도 HETA 는 높은 일관성을 유지했습니다.
• Ablation Study: 세 가지 구성 요소 (의미 흐름, Hessian, KL) 중 하나라도 제거하면 성능이 크게 저하됨을 확인하여, 세 요소가 모두 상호 보완적으로 필요함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 기여: HETA 는 기울기 기반 방법론이 놓칠 수 있는 비선형적 상호작용과 곡률 정보를 Hessian 을 통해 포착함으로써, autoregressive 모델의 '블랙박스' 문제를 해결하는 새로운 기준을 제시합니다.
• 실용적 가치: 의료, 금융, 자율주행 등 고위험 분야에서 LLM 의 의사결정을 신뢰할 수 있게 해석할 수 있는 도구를 제공합니다. 특히 해독 파라미터 변화에 둔감한 강건한 특성은 실제 배포 환경에서의 신뢰성을 보장합니다.
• 한계 및 향후 과제: Hessian 계산으로 인한 추가적인 계산 비용 (시간 및 메모리) 이 존재합니다. 하지만 저랭크 (low-rank) 근사와 윈도우링 (windowing) 기법을 통해 이 비용을 크게 줄이면서도 성능을 유지할 수 있음을 입증했습니다.

결론적으로, HETA 는 생성형 언어 모델의 해석 가능성을 높이기 위해 인과성, 비선형성, 정보 이론을 통합한 강력한 프레임워크로, 향후 XAI(설명 가능한 AI) 연구의 새로운 표준이 될 것으로 기대됩니다.