ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 예측을 설명하는 '설명 (Explanation)'이 모델의 실제 추론 과정을 얼마나 정확하게 반영하는지 (Faithfulness, 충실도) 평가하는 것은 여전히 해결되지 않은 난제입니다. 기존 연구의 주요 한계점은 다음과 같습니다.

• 통계적 검증 부재: 기존 벤치마크 (예: ERASER) 는 단일 점수 (Sufficiency, Comprehensiveness) 를 보고할 뿐 통계적 검증을 수행하지 않아, 우연에 의한 성능과 진정한 충실도를 구분하기 어렵습니다.
• 단일 개입 (Intervention) 의 한계: 기존 방법은 주로 '삭제 (Deletion)'라는 단일 개입 방식을 사용합니다. 이는 분포 밖 (OOD) 입력을 생성하여 모델의 예측 능력을 전반적으로 저하시킬 수 있어, 설명의 충실도가 아닌 OOD 효과로 인한 점수 왜곡을 초래할 수 있습니다.
• 반 - 충실성 (Anti-faithfulness) 탐지 불가: 무작위 베이스라인이 없어, 설명이 실제로 모델의 예측보다 더 나쁜 성능을 내는 '반 - 충실' 현상을 감지하지 못합니다.
• 단일 점수의 오해: 설명의 충실도는 하나의 고정된 수치가 아니라, 사용하는 개입 연산자 (Operator) 에 따라 달라지는 변수임을 간과합니다.

2. 제안 방법론: ICE 프레임워크 (Methodology)

저자들은 ICE (Intervention-Consistent Explanation) 프레임워크를 제안하여 위 문제들을 해결합니다.

• 핵심 질문: "설명 방법이 식별한 토큰들이 무작위로 선택된 토큰들보다 모델 예측에 더 중요한가?"
• 통계적 기반 (Randomization Tests):
  • NSR (Normalized Score Retention): 설명 토큰만 남겼을 때 원래 예측 점수가 얼마나 유지되는지 측정합니다.
  • 무작위 베이스라인 비교: 동일한 개입 하에서 설명 토큰 집합과 무작위로 샘플링된 토큰 집합의 성능을 비교합니다.
  • 승률 (Win Rate) 및 신뢰구간: 50~100 번의 무작위 반복을 통해 설명이 무작위보다 우세한 비율 (Win Rate) 과 부트스트랩 (Bootstrap) 95% 신뢰구간을 계산하여 통계적 유의성을 확보합니다.
• 다중 개입 연산자 (Multi-Operator Evaluation):
  • 삭제 (Deletion): 설명되지 않은 토큰을 제거합니다. (짧은 텍스트에서는 과대평가 경향)
  • 검색 기반 채움 (Retrieval Infill): 설명되지 않은 토큰을 다른 문맥에서 가져온 토큰으로 대체합니다. (자연스러운 문장 구조를 유지하며 OOD 효과를 줄임)
  • 의미: 두 연산자가 일치할 때 진정한 충실도가 강하게 입증되며, 불일치 시 방법론적 불확실성을 정량화합니다.
• 효과 크기 (Effect Size): 코헨의 d (Cohen's d) 를 계산하여 충실도의 크기를 정량화하고, 반 - 충실성 (무작위보다 낮은 성능) 을 탐지합니다.

3. 주요 기여 (Key Contributions)

1. 연산자 인식형 충실도 (Operator-aware Faithfulness): 개입 방식 (삭제 vs 검색 채움) 에 따라 결론이 크게 달라질 수 있음을 입증했습니다. 연산자 간 격차는 최대 44% 포인트에 달하며, 텍스트 길이에 따라 그 방향이 반전됩니다. 따라서 충실도는 단일 점수가 아닌 연산자 간 비교 관점에서 해석되어야 합니다.
2. 통계적 근거 및 반 - 충실성 탐지: 무작위 베이스라인을 도입하여 우연의 성능을 배제하고, 설정의 약 3 분의 1에서 모델이 무작위보다 나쁜 '반 - 충실 (Anti-faithful)' 설명을 생성함을 발견했습니다.
3. 다국어 및 아키텍처 일반화: 7 개의 LLM, 4 개의 영어 태스크, 6 개의 비영어권 언어 (프랑스어, 독일어, 힌디어, 중국어, 터키어, 아랍어) 에서 실험을 수행했습니다. 토큰화 (Tokenization) 만으로는 설명되지 않는 모델 - 언어 간 상호작용을 발견했습니다.

4. 실험 결과 (Results)

• 텍스트 길이와 연산자 효과:
  • 짧은 텍스트 (SST-2 등): '삭제' 연산자가 '검색 채움'보다 높은 승률을 보였습니다 (예: Llama-3.2, e-SNLI 에서 86.4% vs 42.6%).
  • 긴 텍스트 (IMDB 등): '검색 채움'이 '삭제'보다 높은 승률을 보였습니다. 긴 텍스트를 삭제하면 입력이 심각하게 훼손되어 OOD 효과가 발생하기 때문입니다.
• 반 - 충실성 발견: GPT-2 와 같은 일부 모델은 프랑스어, 터키어 등에서 무작위 선택보다 훨씬 낮은 승률 (15~30% 대) 을 기록하며, 문장 시작부의 기능어 (function words) 를 중요하게 여기는 등 실제 태스크와 무관한 토큰에 의존하는 '반 - 충실' 행동을 보였습니다.
• 충실도 vs 인간적 타당성 (Plausibility): 인간의 설명 일치도 (IoU) 와 ICE 의 충실도 점수 간 상관관계는 거의 **0 (|r| < 0.04)**으로 나타났습니다. 이는 "인간에게 그럴듯한 설명"과 "모델의 실제 추론을 반영하는 설명"이 완전히 다른 차원의 평가 지표임을 의미합니다.
• 다국어 차이: 토큰화 비율이 높은 힌디어에서도 GPT-2 가 놀라운 성능을 보인 반면, 프랑스어에서는 실패하는 등 모델 - 언어 간 상호작용이 복잡하게 작용함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 평가 패러다임의 전환: 단일 벤치마크 점수나 단일 개입 방식에 의존하는 기존 평가 방식을 넘어, 통계적 검증을 기반으로 한 다중 연산자 비교가 필요함을 강조합니다.
• 실용적 가이드라인: 특정 태스크 (감정 분석, NLI 등) 와 언어, 모델에 따라 가장 적합한 설명 방법 (Attention vs Gradient) 이 다름을 제시했습니다. 예를 들어, 짧은 텍스트 감정 분석에는 Attention 이, 긴 텍스트나 주제 분류에는 Gradient 가 더 유리할 수 있습니다.
• 오픈 소스: ICE 프레임워크와 ICEBench 벤치마크를 공개하여 재현성을 보장하고, 향후 연구의 표준으로 삼고자 합니다.

결론적으로, 이 논문은 LLM 설명의 충실도를 평가할 때 통계적 엄밀성과 다양한 개입 시나리오를 고려해야 하며, 특히 "인간의 타당성"과 "모델의 충실도"는 별개로 평가해야 함을 강력하게 주장합니다.