Applied Explainability for Large Language Models: A Comparative Study

이 논문은 SST-2 감정 분류를 위해 미세 조정된 DistilBERT 모델에 대해 Integrated Gradients, Attention Rollout, SHAP 등 세 가지 설명 기법의 실제 성능을 비교 분석하여, 각 방법론의 장단점과 트레이드오프를 실용적인 관점에서 제시합니다.

핵심

🎭 비유: "신비로운 요리사"와 "요리 설명서"

생각해 보세요. 우리는 아주 뛰어난 **요리사 **(AI 모델)가 만든 요리를 먹고 있습니다. 이 요리사는 요리를 아주 맛있게 해내지만, 어떤 재료를 얼마나 넣었는지, 왜 그 맛을 냈는지 알려주지 않습니다. 우리는 그저 "맛있다"거나 "쓰다"라고만 느낄 뿐, 그 이유를 모릅니다.

이런 '신비로운 요리사'가 만든 요리를 분석할 때, 우리는 **"왜 이 맛이 났는지 설명해 주는 도구 **(설명 가능성 기술)를 사용합니다. 이 논문은 그중에서 가장 유명한 세 가지 도구를 가져와서, 같은 요리를 분석했을 때 누가 가장 정확한 설명을 해주는지 시험해 본 것입니다.

🔍 실험: 세 명의 탐정

연구진은 '감정 분석 (문장이 긍정적인지 부정적인지 판별)'이라는 요리를 시켰고, 세 가지 도구를 투입했습니다.

1. 통합 기울기 (Integrated Gradients) - "정직한 맛 분석가"

• 특징: 이 도구는 요리의 각 재료 (단어) 가 최종 맛에 얼마나 기여했는지, 아주 정밀하게 계산합니다.
• 결과: "이 요리가 맛있는 이유는 **'훌륭한 **(wonderful)이라는 재료가 많이 들어갔기 때문입니다"라고 정확하고 일관된 설명을 해냈습니다.
• 비유: 마치 미각이 예민한 미식가가 "이 소금 한 알이 전체 맛을 결정했다"고 정확히 지적하는 것과 같습니다. 가장 신뢰할 수 있고 안정적인 도구였습니다.

2. 어텐션 롤아웃 (Attention Rollout) - "빠르지만 산만한 안내자"

• 특징: 요리사가 재료를 볼 때 시선이 머무는 곳 (어텐션) 을 추적합니다. 계산이 매우 빠릅니다.
• 결과: "이 요리를 만들 때 요리사가 'the', 'a' 같은 접속사나 문장 부호를 많이 봤으니, 이걸로 맛이 결정되었을 거야!"라고 설명했습니다. 하지만 실제로는 중요한 형용사 (맛을 결정하는 단어) 를 간과했습니다.
• 비유: 요리사가 재료를 고를 때 시선이 머문 곳을 찍은 사진이지만, 실제 맛을 낸 핵심 재료는 찍지 못하고 잡동사니를 찍어버린 경우입니다. 빠르지만 신뢰하기 어렵습니다.

3. SHAP - "엄청난 노력의 통계학자"

• 특징: "만약 이 재료를 뺐다면 맛이 어떻게 변할까?"를 수천 번 시뮬레이션하여 이론적으로 가장 완벽한 설명을 하려 합니다.
• 결과: 설명은 꽤 좋았지만, 계산하는 데 시간이 너무 오래 걸리고, 같은 요리를 분석할 때마다 결과가 조금씩 달라지는 불안정함이 있었습니다.
• 비유: 완벽한 설명을 하려고 수천 번의 실험을 반복하는 과학자처럼 정확하지만, 시간과 비용이 너무 많이 들어 실생활에서 쓰기엔 무겁습니다.

---

💡 연구진이 발견한 핵심 교훈

이 세 가지 도구를 비교한 결과, 연구진은 다음과 같은 결론을 내렸습니다.

1. 가장 현실적인 선택은 '통합 기울기'입니다:
   AI 가 왜 그런 판단을 내렸는지, 개발자가 디버깅 (오류 수정) 하거나 신뢰를 얻고 싶을 때는 **가장 정확하고 일관된 설명을 해주는 '통합 기울기'**를 쓰는 것이 좋습니다.

2. 빠른 도구는 함정이 있을 수 있습니다:
   계산이 빠른 '어텐션' 도구는 재미있는 참고 자료는 될 수 있지만, 그것만 믿고 AI 의 판단 이유를 확정하면 안 됩니다. (시선이 머문 곳이 반드시 중요한 이유는 아니니까요.)

3. 완벽함은 비쌉니다:
   이론적으로 완벽한 'SHAP'은 훌륭한 도구이지만, 실제 업무에서 매번 쓰기엔 너무 무겁고 결과가 들쑥날쑥할 수 있습니다.

🚀 결론: "완벽한 해답"보다 "진단 도구"가 필요하다

이 논문의 가장 중요한 메시지는 **"AI 의 설명을 절대적인 진리로 믿지 말라"**는 것입니다.

우리가 AI 를 사용할 때, 설명 도구들은 AI 가 "왜 그렇게 생각했는지"에 대한 완벽한 해답을 주는 것이 아니라, 의사나 엔지니어가 문제를 진단하는 데 도움을 주는 '진단 키트' 역할을 해야 합니다.

• **실무자 **(개발자)에게 주는 조언:
  "AI 가 왜 틀렸는지, 혹은 왜 맞았는지 궁금할 때는 가장 신뢰할 수 있는 '통합 기울기' 도구를 먼저 꺼내보세요. 그리고 그 설명을 맹신하기보다, 우리 인간의 상식과 비교해 보며 조심스럽게 해석하세요."

이 연구는 거대하고 복잡한 AI 모델을 실제로 사용할 때, 어떤 설명 도구가 가장 유용한지에 대한 실용적인 나침반을 제공해 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 과 트랜스포머 기반 아키텍처 (BERT, DistilBERT 등) 는 자연어 처리 (NLP) 작업에서 뛰어난 성능을 보이지만, 그 내부 의사결정 과정은 불투명한 '블랙박스'로 간주됩니다.
• 문제: 실제 산업 환경에서 모델의 배포는 신뢰성, 디버깅, 책임성 확보가 필수적입니다. 그러나 기존에 제안된 다양한 설명 가능성 (Explainability, XAI) 방법론들이 트랜스포머 기반 NLP 시스템에서 어떻게 작동하는지에 대한 실증적 이해가 부족합니다.
• 연구 동기: 이론적으로 제안된 방법론과 실제 적용 시의 행동 간 격차를 해소하기 위해, 새로운 방법을 제안하는 것이 아니라 기존 방법론들의 실제 동작 양상을 일관된 환경에서 비교 평가할 필요가 있습니다.

2. 연구 방법론 (Methodology)

이 연구는 재현 가능한 실험 설정을 기반으로 세 가지 주요 설명 가능성 기법을 비교 분석했습니다.

• 모델 및 데이터셋:
  • 모델: 이진 감정 분류 (Sentiment Classification) 작업을 위해 파인튜닝된 DistilBERT 모델 사용.
  • 데이터셋: SST-2 (Stanford Sentiment Treebank) 데이터셋을 활용하여 짧은 문장 단위의 감정 분석 수행.
• 비교 대상 기법:
  1. Integrated Gradients (IG): 그라디언트 기반 어트리뷰션 (Attribution) 방법. 입력 토큰이 예측에 기여한 정도를 기준선 (baseline) 대비 계산.
  2. Attention Rollout: 트랜스포머 레이어 간의 어텐션 가중치를 집계하여 [CLS] 토큰에서 시작하는 단일 어텐션 분포를 생성.
  3. SHAP (Kernel SHAP): 모델-중립적 (Model-agnostic) 접근법으로, 게임 이론의 Shapley 값을 기반으로 입력 특징의 중요도 점수 부여.
• 평가 기준:
  • 신뢰성 (Faithfulness): 강조된 토큰이 모델 예측에 실제로 영향을 미친 특징과 일치하는지.
  • 안정성 (Stability): 유사하거나 동일한 입력에 대해 설명이 일관되게 유지되는지.
  • 인간 해석 가능성 (Human Interpretability): 설명이 인간의 직관과 부합하고 이해하기 쉬운지.

3. 주요 기여 (Key Contributions)

1. 구조화된 비교 분석: 어텐션 기반, 그라디언트 기반, 특징 어트리뷰션 기반 등 LLM 설명 기법들을 체계적으로 비교.
2. 실증적 평가: 파인튜닝된 트랜스포머 모델을 사용한 하류 NLP 작업 (감정 분류) 에 대한 실험적 평가 수행.
3. 실무 통찰 제공: ML 엔지니어들이 일반적으로 사용하는 설명 도구들의 강점과 한계를 파악하여, 실제 적용 시 고려해야 할 실용적 트레이드오프를 제시.

4. 실험 결과 및 분석 (Results)

세 가지 기법의 성능은 다음과 같이 비교되었습니다.

| 기법 | 강점 | 약점 | 평가 |
| :--- | :--- | :--- | : |
| Integrated Gradients (IG) | 가장 높은 안정성과 신뢰성. 감정 관련 단어 (형용사, 부정어 등) 를 일관되게 강조하며 인간의 직관과 부합. | 그라디언트 접근과 기준선 선택이 필요. | 가장 추천. 디버깅 및 분석에 가장 적합. |
| Attention Rollout | 계산 효율성이 매우 높음. 구현이 쉽고 빠름. | 예측과 관련된 특징보다는 구조적 토큰 (중단어, [CLS] 토큰 등) 을 강조하는 경향이 있어 신뢰성이 낮음. | 탐색적 분석에는 유용하나, 단독 설명 도구로는 부적합. |
| SHAP | 모델-중립적이며 이론적 기반이 탄탄함. | 트랜스포머 텍스트 모델 적용 시 계산 비용이 매우 높고, 입력 표현이나 배경 데이터 설정에 따라 결과가 불안정함. | 대규모 적용보다는 정성적 분석에 제한적으로 사용. |

• 결론: IG 는 감정 분류 작업에서 가장 안정적이고 직관적인 설명을 제공했습니다. 반면, Attention Rollout 은 효율성은 좋으나 의미론적 관련성이 낮았고, SHAP 는 계산 비용과 변동성 문제로 인해 실용성이 제한되었습니다.

5. 연구의 의의 및 시사점 (Significance)

• 실무적 가이드라인: 이론적으로 매력적인 방법론이 실제 트랜스포머 아키텍처에서는 한계를 가질 수 있음을 보여줌. 산업계에서는 Integrated Gradients와 같은 그라디언트 기반 방법이 디버깅과 신뢰 구축에 가장 효과적임을 시사.
• 설명 가능성의 재정의: 설명 가능성 도구를 모델의 '궁극적인 이유'로 맹신하기보다, 모델 동작을 진단하는 보조 도구 (Diagnostic Aid) 로서 접근해야 함을 강조.
• 트레이드오프 인식: 신뢰성, 안정성, 계산 비용 사이의 균형을 고려하여 목적에 맞는 도구를 선택해야 함을 역설.
• 향후 방향: 더 큰 규모의 모델, 다양한 작업, 멀티모달 모델 등으로 연구 범위를 확장할 필요성을 제기.

이 논문은 LLM 의 설명 가능성 연구가 이론적 제안에서 벗어나, 실제 산업 환경에서의 동작과 신뢰성을 중시하는 방향으로 나아가야 함을 강조하는 중요한 실증 연구입니다.