기술 요약: 대규모 언어 모델의 대조적 디코딩을 위한 어텐션 가이드 레이어 선택

문제 정의

대규모 언어 모델(LLM)은 그럴듯하지만 사실과 다른 내용을 생성하는 환각(hallucination) 현상에 취약합니다. DoLa(Decoding by Contrasting Layers)와 같은 대조적 디코딩 방식은 단일 모델 내의 "성숙한"(최종) 레이어와 "미성숙한"(초기) 레이어 간의 출력 분포를 대조함으로써 사실성을 개선했지만, 이는 출력 어휘 분포(logits)의 차이에만 전적으로 의존합니다. 이러한 접근 방식은 모델의 내부 셀프 어텐션(self-attention) 메커니즘에 내재된 구조적 정보를 무시하며, 이 정보는 사실적 지식이 발현되는 레이어를 식별하는 데 더 민감한 신호를 제공할 수 있습니다.

방법론

저자들은 DoLa 프레임워크에서 미성숙한 레이어를 선택하기 위한 세 가지 어텐션 가이드 전략을 제안합니다. 이 방법들은 출력 로짓을 비교하는 대신, 중간 레이어의 셀프 어텐션 분포($A_l$)를 활용하여 최종 레이어($L$)와 대조할 레이어를 결정합니다.

특정 토큰 위치 $t$에 대해, 방법론들은 과거 토큰들에 대한 레이어 $l$의 어텐션 분포을 나타내는 헤드 평균 어텐션 행 $a^l_t$를 계산합니다. 세 가지 전략은 다음과 같습니다:

1. Attention-JSD: 자신의 어텐션 분포와 최종 레이어의 분포 사이의 젠슨-샤논 발산(Jensen-Shannon Divergence, JSD)을 최대화하는 레이어 $l^*$을 선택합니다.
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max: 어텐션이 넓게 분포하는 것이 레이어 선택의 단서가 된다는 가설에 따라, 최대 어텐션 엔트로피를 가진 레이어를 선택합니다.
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min: 특정 증거 토큰에 대한 강한 의존성을 반영한다는 가설에 따라, 최소 어텐션 엔트로피를 가진 레이어를 선택합니다.
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

이러한 전략들은 타당성 제약(고확률 토큰으로 후보를 제한함)과 각 토큰에서의 동적 선택 과정을 포함하는 DoLa 프레임워크를 그대로 유지합니다.

주요 기여

• 새로운 선택 신호: 본 논문은 출력 어휘 분포에 대한 의존성을 넘어, 대조적 디코딩을 위한 토큰 수준의 레이어 선택을 위해 셀프 어텐션 메커니즘으로부터 추출한 구조적 정보(발산 및 엔트로피)를 체계적으로 사용한 첫 사례를 소개합니다.
• 실증적 검증: 6개 모델(LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B)에 대한 TruthfulQA 및 FACTOR 벤치마크에서의 광범위한 실험을 통해, 어텐션 가이드 전략이 특히 다중 정답(MC2 및 MC3)을 평가하는 지표에서 기존 DoLa보다 일관되게 우수한 성능을 보임을 입증했습니다.
• 메커니즘적 통찰: 헤드별 분석을 통해 저자들은 특정 어텐션 헤드가 사실성 판별에 유리한 독특한 신호를 운반한다는 점을 확인했습니다. 이들은 사실성 개선이 모든 헤드에 걸쳐 균등하게 나타나지 않음을 보여주었습니다. 예를 들어, LLaMA-7B의 Head 6는 모든 헤드의 평균보다 현저히 높은 MC3 점수를 기록했습니다.

실험 결과

• TruthfulQA: 제안된 방법들은 베이스라인과 DoLa를 일관되게 능가했습니다. Attention-Entropy-Min은 LLaMA-7B에 대해 가장 높은 MC2(62.8%) 및 MC3(36.5%) 점수를 달성하여 DoLa를 크게 앞질렀습니다. Attention-JSD는 LLaMA-13B에서 최상의 결과를 냈습니다. DoLa가 더 큰 모델(33B/65B)에서 가장 높은 MC1(단일 정답)을 유지했으나, 어텐션 기반 방법들은 MC2 및 MC3에서 DoLa보다 우수한 성능을 보였으며, 이는 어텐션 분포가 다중 정답 시나리오에서 사실적 지식을 해결하는 데 더 민감함을 시사합니다.
• FACTOR: 장문 텍스트 사실성 측면에서, 이 방법들은 DoLa와 대등하거나 더 나은 성능을 보였습니다. 예를 들어, Attention-Entropy-Max는 LLaMA-7B Wiki 서브셋에서 62.6%의 정확도를 달성했습니다(DoLa의 62.1% 대비). Attention-JSD는 Gemma-7B Wiki 서브셋에서 64.1%에 도달했습니다(DoS의 63.3% 대비).
• 레이어 선택 패턴: 분석 결과, DoLa와 Attention-JSD는 경향적으로 가장 얕은 가용 레이어를 선택하는 반면, Attention-Entropy-Min은 더 넓고 깊은 범위(예: LLaMA-7B의 레이어 22–30)에 걸쳐 적응적으로 레이어를 선택하여 입력 컨텍스트에 더 역동적으로 반응함을 보여주었습니다.
• 점수 분포: DoLa는 단일 정답에 대해 높은 확신을 갖는 "날카로운(sharp)" 분포를 생성하는 경향이 있는 반면(MC1에 유리), 어텐션 기반 방법들은 점수를 여러 정답 옵션에 분산시키는 "평탄한(flatter)" 분포를 생성합니다(MC2/MC3에 유리).

의의 및 주장

본 논문은 내부 어텐션 분포가 출력 어휘 분포보다, 특히 여러 유효한 정답을 식별해야 하는 작업에서 사실적 지식을 해결하기 위한 더 민감한 신호를 제공한다고 주장합니다. 셀프 어텐션의 구조적 정보를 활용함으로써, 제안된 방법들은 추가적인 학습이나 외부 모델 없이도 사실성을 향상시킵니다.

저자들은 본 접근 방식이 계산 오버헤드를 합리적인 범위 내로 유지하면서도 추론 시 즉시 적용 가능한 플러그인임을 강조합니다. 결론적으로, 현재의 방법들은 후보 레이어 버킷을 선택하기 위해 사전 검증이 필요하지만, 특정 어텐션 헤드(단순 평균이 아닌)가 사실성을 주도한다는 발견은 컨텍스트 의존적 헤드 선택을 통한 추가적인 최적화 경로를 제시합니다.

한계점

저자들은 현재 평가가 다지선다형 벤치마크에 국한되어 있으며, 자유 형식 생성(free-form generation)에 대한 적용 가능성은 추가 검증이 필요함을 인정합니다. 또한, 후보 미성숙 레이어 버킷을 선택하는 과정은 여전히 검증이 필요하며, 특정 어텐션 헤드가 왜 사실적 회상에 탁월한지에 대한 이론적 근거는 아직 완전히 규명되지 않았습니다.