Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation

이 논문은 주교사 모델의 어트리뷰션 맵을 학생 모델의 어텐션 메커니즘에 주입하는 지식 증류 방식을 통해 시퀀스-투-시퀀스 모델의 설명 가능한 AI 기법들을 체계적으로 평가한 결과, 어텐션 기반 어트리뷰션 방법이 다른 그라디언트 기반 방법들보다 번역 성능 향상과 어트리뷰션 맵 재구성 정확도 측면에서 더 효과적임을 입증했습니다.

핵심

이 논문은 인공지능 (AI) 이 번역을 할 때 **"무엇을 보고 어떤 단어를 선택했는지"**를 설명하는 방법들을 평가하는 연구입니다.

쉽게 말해, AI 가 번역기를 작동시킬 때 그 내부에서 무슨 일이 일어나는지 우리는 잘 모릅니다 (이를 '블랙박스'라고 부릅니다). 연구자들은 "AI 가 왜 이 단어를 선택했을까?"를 설명해주는 여러 가지 도구 (XAI, 설명 가능한 AI) 들을 개발했는데, 이 도구들 중 어떤 것이 진짜로 AI 의 생각을 잘 반영하는지를 알아내려고 했습니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 상황 설정: "스승과 제자"의 연습 게임

이 연구는 **스승 (Teacher)**과 **제자 (Student)**라는 두 명의 학생을 상정합니다.

• 스승 (기존 AI): 이미 번역을 잘하는 똑똑한 AI 입니다. 하지만 우리는 스승이 어떻게 번역을 했는지 그 '생각의 과정'을 모릅니다.
• 제자 (배우는 AI): 아직 번역을 못 하는 초보 AI 입니다.
• 목표: 스승이 번역할 때 **어떤 단어에 집중했는지 (주목도)**를 알려주는 '지도'를 제자에게 주면, 제자가 스승처럼 잘 번역할 수 있을까요?

연구진은 스승이 번역할 때 사용한 '주목도 지도' (어떤 원문 단어가 결과에 중요한지 나타낸 그림) 를 여러 가지 방법으로 만들어냈습니다. 그리고 이 지도들을 제자에게 주면서, 어떤 지도를 받았을 때 제자가 가장 잘 번역하는지를 비교했습니다.

비유: 스승이 "이 문장을 번역할 때 '자전거'라는 단어에 가장 집중했어"라고 알려주는 지도를 제자에게 줍니다. 제자는 그 지도를 보고 "아, 그래서 이 단어를 잘 번역해야겠구나!"라고 생각하며 번역을 시도합니다.

2. 실험 방법: "지도"를 어떻게 주면 좋을까?

연구진은 스승이 만든 '주목도 지도'를 제자의 뇌 (AI 의 주의 메커니즘) 에 넣는 네 가지 방식을 실험했습니다.

1. 더하기 (+): 제자가 원래 생각한 것과 지도를 그냥 더합니다. (예: "내 생각 + 스승의 조언")
2. 곱하기 (×): 스승의 지도가 중요한 부분은 제자의 주의를 더 크게, 중요하지 않은 부분은 줄입니다. (예: "스승이 강조한 부분만 집중!")
3. 평균 (÷): 제자의 생각과 스승의 조언을 반반 섞습니다.
4. 바꾸기 (R): 제자의 원래 생각을 버리고 스승의 지도대로만 번역합니다.

3. 주요 발견: 어떤 지도가 가장 효과적일까?

실험 결과, 놀라운 사실이 드러났습니다.

• 가장 좋은 지도: 'Attention (주의)'과 'Value Zeroing (값 제거)'이라는 방법, 그리고 'Layer Gradient (층별 기울기)'라는 방법이 만든 지도가 제자를 가장 잘 가르쳤습니다.
  • 비유: 이 방법들은 마치 **"스승이 정말로 눈여겨본 핵심 단어들을 정확히 짚어주는 명쾌한 지도"**와 같았습니다. 제자는 이 지도를 받으면 번역 실력이 급격히 늘었습니다.
• 그다지 좋지 않은 지도: 그 외의 다른 복잡한 수학 공식 (기울기 기반 방법들) 으로 만든 지도들은 효과가 적거나 오히려 혼란을 주었습니다.
  • 비유: 이 지도들은 **"너무 많은 잡음이나 불필요한 정보가 섞여 있어, 제자가 어디를 봐야 할지 헷갈리게 만드는 지도"**였습니다.

결론: AI 가 번역할 때, "어떤 단어가 중요한지"를 설명해주는 도구 중에서도 단순하고 명확하게 핵심을 짚어주는 방법이 실제로 번역 품질을 높이는 데 가장 도움이 된다는 것을 발견했습니다.

4. 추가 실험: "스승의 생각"을 재현하는 로봇

연구진은 더 나아가, **"왜 어떤 지도가 좋은지"**를 설명하기 위해 'Attributor(지도 복제 로봇)'라는 새로운 AI 를 만들었습니다.

• 이 로봇은 스승이 그린 '주목도 지도'를 보고, **"내가 이 지도를 그릴 수 있을까?"**를 연습합니다.
• 결과: 로봇이 스승의 지도를 매우 정확하게 재현할 수 있는 경우, 그 지도를 제자에게 주었을 때 번역 실력이 가장 좋았습니다.
• 핵심 통찰: **"AI 가 이해하고 따라 할 수 있는 설명 (지도) 일수록, 그 설명은 실제로 유용하다."**는 것입니다.

비유: 만약 스승이 그린 지도가 너무 복잡해서 로봇도 따라 그릴 수 없다면, 그 지도는 제자에게도 도움이 안 됩니다. 하지만 로봇이 "아, 이 부분만 보면 되구나!"라고 쉽게 이해할 수 있는 지도라면, 제자도 그 지도를 보고 잘 번역할 수 있습니다.

5. 요약 및 시사점

이 논문은 다음과 같은 중요한 메시지를 전달합니다:

1. 설명 가능한 AI (XAI) 도구를 평가하는 새로운 방법: 단순히 "사람이 보기엔 그럴듯해 보인다"가 아니라, **"그 설명을 다른 AI 가 실제로 활용해서 더 잘할 수 있는가?"**로 평가해야 합니다.
2. 단순함이 승리한다: 복잡한 수학 공식보다, AI 가 집중해야 할 핵심 단어를 명확히 보여주는 방법 (Attention 등) 이 실제로 번역 품질을 높이는 데 더 효과적입니다.
3. 진짜 이해는 재현에서 온다: AI 가 어떤 설명을 잘 이해하고 있다면, 그 설명은 AI 의 내부 작동 원리를 잘 반영하고 있다는 뜻입니다.

한 줄 요약:
"AI 가 번역할 때 무엇을 보고 결정했는지 알려주는 '지도' 중, 가장 단순하고 명확하게 핵심을 짚어주는 지도를 제자에게 주면, 제자가 스승처럼 잘 번역할 수 있다는 것을 증명했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 자연어 처리 (NLP) 분야에서 트랜스포머 기반의 시퀀스 - 투 - 시퀀스 (seq2seq) 모델, 특히 신경 기계 번역 (NMT) 모델이 급격히 발전했습니다. 그러나 이러한 모델은 내부 메커니즘이 불투명한 '블랙박스'로 간주되어 설명 가능성 (Explainability) 에 대한 요구가 커지고 있습니다.
• 문제점:
  • 다양한 설명 가능한 AI (XAI) 기법 (기울기 기반, 모델 기반, 교란 기반 등) 이 제안되었으나, seq2seq 모델에서 이러한 방법들을 체계적이고 자동화된 방식으로 평가하는 연구는 부족합니다.
  • 기존 평가는 주로 인간 중심의 검증에 의존하거나, 단어 정렬 (word alignment) 과 같은 단순한 지표에 의존하는데, 이는 현대 NMT 시스템의 복잡한 인코딩 - 디코딩 역학을 완전히 반영하지 못합니다.
  • 어떤 XAI 기법이 모델의 실제 의사결정 과정을 가장 정확하게 반영하는지 (Faithfulness) 를 객관적으로 비교할 수 있는 표준화된 프레임워크가 부재합니다.

2. 제안된 방법론 (Methodology)

저자들은 XAI 방법의 시뮬레이션 가능성 (Simulatability) 개념을 기반으로 한 새로운 자동 평가 프레임워크를 제안합니다. 이는 지식 증류 (Knowledge Distillation) 구조를 활용하여 설명의 유용성을 정량화합니다.

• Teacher-Student 구조:
  • Teacher: 사전 훈련된 NMT 모델 (Marian-MT 또는 mBART) 로부터 입력 - 출력 간의 귀속 맵 (Attribution Maps) 을 추출합니다.
  • Student: 아직 훈련되지 않은 작은 트랜스포머 모델입니다.
  • 프로세스: Teacher 모델에서 추출한 귀속 점수 (Attribution scores) 를 Student 모델의 어텐션 메커니즘 (Attention Mechanism) 에 주입 (Inject) 하여 Student 가 Teacher 의 행동을 더 잘 모방하거나, 주어진 소스 - 타겟 쌍을 더 잘 번역하도록 유도합니다.
• 귀속 맵 추출: Inseq 라이브러리를 사용하여 8 가지 XAI 기법 (Saliency, Input×Gradient, Layer Gradient×Activation, Integrated Gradients, GradientSHAP, DeepLIFT, Attention, Value Zeroing) 에 대한 귀속 맵을 생성합니다.
• 어텐션 주입 전략: 추출된 귀속 맵 ($E'$) 을 Student 모델의 어텐션 점수 ($A$) 와 결합하는 4 가지 연산자를 적용합니다.
  1. Addition (+): 귀속 점수를 어텐션 점수에 더함.
  2. Multiplication (⊙): 원소별 곱셈 (가장 효과적임).
  3. Average (µ): 두 점수의 평균.
  4. Replacement (R): 어텐션 점수를 귀속 맵으로 완전히 대체.
• 평가 지표: Student 모델의 번역 품질 향상 정도 (BLEU, chrF 점수) 를 측정합니다. 귀속 맵이 모델의 의사결정을 잘 설명할수록 Student 모델의 성능이 향상된다고 가정합니다.
• Attributor 네트워크: 왜 특정 귀속 방법이 더 효과적인지 분석하기 위해, Teacher 의 귀속 맵을 재구성하도록 훈련된 별도의 트랜스포머 모델 (Attributor) 을 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 평가 프레임워크: 지식 증류를 활용하여 seq2seq 모델 아키텍처에 귀속 설명을 통합함으로써, 다양한 XAI 기법을 번역 태스크 자체를 통해 자동 비교하는 새로운 프레임워크를 제안했습니다.
2. 광범위한 실험 및 비교: 3 가지 언어 쌍 (독일어 - 영어, 프랑스어 - 영어, 아랍어 - 영어) 과 2 가지 Teacher 모델 (Marian-MT, mBART) 을 사용하여 다양한 XAI 기법과 주입 전략의 효과를 체계적으로 비교했습니다.
3. XAI 기법의 영향력 입증: 귀속 지도가 없는 베이스라인 대비 설명의 품질과 유형에 따라 모델 성능이 향상되거나 저하됨을 실증적으로 증명했습니다.
4. 성능 차이의 원인 규명: 각 귀속 매핑이 다른 결과를 초래하는 이유를 분석하고, 트랜스포머가 특정 매핑의 '상위 3 개 (Top-3)' 중요한 소스 토큰을 얼마나 정확하게 재현할 수 있는지가 Student 모델의 성능과 강한 상관관계가 있음을 보였습니다.

4. 주요 결과 (Results)

• 성능 향상:
  • Marian-MT: Attention, Value Zeroing, Layer Gradient×Activation (LG×A) 기법이 가장 큰 BLEU 및 chrF 점수 향상을 보였습니다 (예: fr-en 에서 +28.8 BLEU).
  • mBART: Value Zeroing 이 가장 일관되게 높은 성능을 보였으며, Attention 은 일부 언어 쌍에서 성능이 저하되기도 했습니다.
  • 기타 기법: Saliency, Integrated Gradients, DeepLIFT 등 다른 기울기 기반 방법들은 상대적으로 작고 일관성 없는 개선을 보였습니다. GradientSHAP (GSHAP) 은 가장 낮은 성능을 기록했습니다.
• 주입 위치의 중요성:
  • 인코더 어텐션 (Encoder Self-Attention): 귀속 맵 주입 시 가장 큰 성능 향상을 보였습니다.
  • 크로스 어텐션 (Cross-Attention): 대부분의 경우 성능이 저하되거나 미미한 개선만 보였습니다. 이는 디코딩 과정에서 고정된 귀속 시퀀스가 생성된 토큰과 불일치하여 모델을 혼란스럽게 만들기 때문으로 분석됩니다.
• 연산자 효과: 원소별 곱셈 (Multiplication, ⊙) 이 모든 설정에서 일관되게 가장 좋은 성능을 보였습니다. 평균 (Averaging) 은 가장 낮은 성능을 보였습니다.
• Attributor 분석 (상관관계):
  • Attributor 가 Teacher 의 귀속 맵을 재구성할 때, 상위 3 개 (Top-3) 중요한 소스 토큰의 위치와 순서를 정확히 맞추는 정도 (Overlap@3, Kendall's τ@3) 가 Student 모델의 번역 성능 (BLEU) 과 매우 강한 양의 상관관계 (r ≈ 0.88~0.97) 를 가졌습니다.
  • 반면, 전체 분포의 유사성 (KL-divergence) 은 성능 예측에 큰 도움이 되지 않았습니다. 즉, 전체적인 분포보다는 가장 중요한 몇 개의 토큰을 정확히 포착하는 것이 설명의 유용성을 결정합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 XAI 기법의 평가에 인간 중심의 주관적 판단 대신, 모델의 행동 재현 능력 (Simulatability) 을 기반으로 한 객관적이고 자동화된 프레임워크를 제시했습니다.
• 핵심 통찰:
  1. 모든 XAI 기법이 동등하지 않으며, Attention 과 Value Zeroing 과 같은 방법은 seq2seq 모델의 소스 - 타겟 정렬 (Alignment) 을 더 잘 포착합니다.
  2. 설명의 유용성은 해당 설명이 트랜스포머 아키텍처가 자연스럽게 학습할 수 있는 패턴 (특히 상위 중요 토큰의 위치) 과 얼마나 유사한지에 달려 있습니다.
  3. 인코더 어텐션에 귀속 정보를 주입하는 것이 번역 품질 향상에 가장 효과적임을 확인했습니다.
• 한계 및 향후 과제: 현재는 주로 인코더 측과 기울기 기반 방법에 국한되었으며, 교란 기반 방법 (LIME 등) 의 확장, 디코더 측 어텐션 분석, 그리고 다른 생성 모델 (질문 답변, 요약 등) 로의 적용이 향후 연구 과제로 남았습니다.

이 논문은 NMT 분야에서 XAI 기법의 신뢰성을 검증하는 새로운 기준을 마련하고, 설명 가능한 AI 가 실제 모델 성능 향상에 어떻게 기여할 수 있는지에 대한 실증적 근거를 제공합니다.