기술 요약: 모든 설명이 동일하게 시뮬레이션되는 것은 아니다

문제 정의

대규모 언어 모델(LLM)에 대한 자연어 설명은 종종 모델의 동작을 이해하기 위한 통일된 인터페이스로 취급된다. 그러나 이러한 설명들은 입력 특징 기여도(중요한 토큰이나 문장을 식별하는 방식)부터 자기 생성적 근거(사후 정당화 또는 생각의 사슬(Chain-of-Thought) 추론과 같은 방식)에 이르기까지 매우 다양한 출처에서 기인한다. 이들은 "설명"이라는 라벨을 공유함에도 불구하고, 출처, 입도(granularity), 형식 및 의도된 용도 면에서 근본적으로 다르다.

기존의 평가 프로토콜은 결정 과정에 대한 충실도(faithfulness), 인간 독자에 대한 그럴듯함(plausibility), 또는 인간의 근거와의 일치성 등 유형별 차원에 따라 설명을 평가해 왔다. 본 논문은 이러한 유형별 메트릭이 서로 다른 형식의 설명을 공통된 기반 위에서 비교하는 것을 어렵게 만든다고 주장한다. 해결하고자 하는 핵심 과제는 다음과 같다: 서로 다른 유형의 LLM 설명을 체계적으로 비교하여, 어떤 설명이 모델의 행동을 진정으로 지원하고 예측하는 데 도움이 되는지 어떻게 결정할 것인가?

방법론

저자들은 **역사실적 시뮬레이터빌리티(counterfactual simulatability)**에 기반한 통합 평가 프레임워크를 제안한다. 이 프레임워크는 설명이 단독으로 얼마나 그럴듯한지를 묻는 대신, 해당 설명이 예측자가 새로운 변형된 입력에 대해 모델의 행동을 정확하게 예측하는 데 도움이 되는지를 묻는다.

실험 설정

1. 태스크 정식화: 평가는 역사실적 시뮬레이션 문제로 구성된다. 원래의 입력 $x = (c, q)$ (컨텍스트와 질문)와 모델의 답변 $y = M(x)$가 주어졌을 때, 동일한 컨텍스트를 사용하되 수정된 질문을 가진 역사실적 입력 $x_{cf} = (c, q_{cf})$를 구성한다. 타겟 모델 $M$은 진정한 역사실적 답변 $y_{cf}$를 생성한다.
2. 시뮬레이션 프로토콜: LLM 판별기($P$)가 예측자로서 $y_{cf}$를 추측한다.
   • 단계 1 (베이스라인): 예측자는 $x, y, x_{cf}$를 보지만 설명은 보지 못한다.
   • 단계 2 (설명): 예측자는 동일한 입력들과 원래의 답변 $y$에 대한 설명 $e$를 함께 본다.
   • 메트릭: 시뮬레이터빌리티는 설명이 제공되었을 때 $y_{cf}$를 예측하는 정확도의 향상분($\Delta$)으로 측정된다: $\Delta = \text{Score}(2) - \text{Score}(1)$. 양(+)의 $\Delta$는 설명이 예측적 이해를 개선함을 나타낸다.
3. 비교된 설명 유형:
   • 언어화된 특징 기여도(Verbalized Feature Attributions): MExGen 프레임워크를 사용하여 영향력 있는 입력 구간(문장 또는 토큰)을 식별하고 이를 자연어로 변환한다. 두 가지 언어화 전략을 테스트한다:
     • 템플릿 기반: 상위 순위의 증거를 고정된 템플릿에 결정론적으로 삽입 (문장 수준, 토큰 수준, 하이브리드).
     • LLM-재작성기: LLM이 새로운 정보를 추가하지 않고 선택된 기여 특징들을 유창한 텍스트로 재작성한다.
   • 자기 생성적 근거(Self-Generated Rationales): 프롬프팅을 통해 타겟 QA 모델 자체가 생성한 설명:
     • 사후(Post-hoc): 모델이 먼저 답변한 후 정당성을 제공한다.
     • 생각의 사슬(Chain-of-Thought, CoT): 모델이 답변하기 전에 단계별로 추론한다.
4. 모델 및 데이터: 실험은 SQuAD 2.0 데이터셋에 대해 세 가지 지시 미세 조정된 타겟 모델(Llama-3-8B, Qwen2.5-7B, Mistral-7B)과 주요 판별기로서 GPT-5-mini를 사용하여 수행되었다. 강건성은 DeepSeek-R1과 교사-학생 학습 패러다임을 통해 확인되었다.

주요 기여

1. 통합 평가 기준: 본 논문은 기여도 기반 설명과 자기 생성적 근거를 비교하기 위해 역사실적 시뮬레이터빌리티를 단일 메트릭으로 적용하여, 이전에는 개별적으로 평가되었던 서로 다른 형식 간의 직접적인 비교를 가능하게 했다.
2. 언어화의 통제된 비교: 연구는 템플릿 기반 언어화와 동일한 기여 데이터를 LLM으로 재작성한 버전을 대조함으로써, 증거의 입도(문장 vs 토큰)와 언어적 유창성의 효과를 분리하여 분석한다.
3. 입도 및 출처 분석: 본 연구는 설명의 출처, 언어화 전략, 그리고 특징의 입도가 여러 모델에 걸쳐 시뮬레이터빌리티에 어떻게 영향을 미치는지 체계적으로 분석한다.

결과

연구는 무엇이 설명을 "유용하게" 만드는지에 대해 몇 가지 뚜렷한 발견을 제시한다:

• 입도가 중요하다: 기여도 기반 방식 중 문장 수준의 기여도가 가장 강력한 시뮬레이터빌리티 향상을 제공한다. 토큰 수준의 기여도(매우 높은 순위를 가질 때조차)는 종종 거의 0에 가 가깝거나 음(-)의 향상을 보이는데, 이는 고립된 단어들이 모델의 행동을 예측하는 데 필요한 맥лю맥을 결여하고 있음을 시사한다. 하이브리드 방식(문장 + 토큰)은 토큰 단독 방식보다는 낫지만, 순수 문장 수준 방식보다는 성능이 떨어진다.
• 유창성 $\neq$ 유용성: LLM으로 재작성된 설명은 템플릿 기반 방식보다 더 유창하지만, 시뮬레이터빌리티를 유의미하게 개선하지 못한다. 어떤 경우에는 오히려 성능이 저하되기도 한다. 이는 언어적 형태보다 정보적 내용(선택된 증거)이 시뮬레이터빌리티를 주도한다는 것을 시사한다.
• 자기 생성적 근의 차이: 사후 설명과 CoT 근거 사이에는 극명한 차이가 존재한다. 사후 설명은 완만한 개선을 보이는 반면, CoT 근거는 모든 모델과 메트릭에 걸쳐 역사실적 예측에서 가장 큰 향상을 제공한다.
• 교차 모델 전이(Cross-Model Transfer): CoT 근거는 다양한 모델 간에 일반화될 수 있는 상당한 태스크 관련 정보를 포함하고 있지만, 동시에 모델 특유의 신호도 인코딩한다.
• 평가 패러다임의 괴리: CoT 근거는 LLM 판별기와 교사-학생 평가 모두에서 일관된 양의 향상을 보이는 반면, 기여도 기반 설명은 불일치를 보인다. 기여도는 판별기 기반(인컨텍스트) 설정에서는 잘 작동하지만, 교사-학생(학습) 설정에서는 약하거나 음의 향상을 보이는데, 이는 기여도 신호가 즉각적인 예측에는 유용하지만 학습 가능한 감독 신호로서 내재화되기 어려울 수 있음을 시사한다.

의의 및 주장

본 논문은 모든 자연어 설명이 모델의 행동을 이해하는 데 동일한 역할을 수행하는 것은 아니다라고 주장한다. 이러한 발견의 의의는 평가의 초점을 고립된 "그럴듯함"이나 "충실도"에서 기능적 효용성(functional utility), 즉 "설명이 사용자(또는 자동화된 에이전트)가 새로운 입력에 대해 모델이 어떻게 행동할지 예측하는 데 실제로 도움이 되는가?"로 전환하는 데 있다.

저자들은 다음과 같이 결론짓는다:

1. 설명 형식은 결정적이다: 시뮬레이션을 위해서는 문장 수준의 증거가 토큰 수준의 증거보다 우수하다.
2. 출처가 중요하다: 현재 CoT 근거는 사후 정당화나 언어화된 기여도를 능가하며, 모델의 행동을 예측하는 데 가장 효과적인 설명 유형이다.
3. 평가는 맥락을 고려해야 한다: 설명의 효용은 그것이 즉각적인 인컨텍스트 예측(CoT와 문장 기여도가 뛰어난 영역)에 사용되는지, 아니면 내부 모델을 학습시키는 데 사용되는지(CoT는 여전히 견고하지만 기여도는 전이가 잘 안 될 수 있는 영역)에 따라 달라진다.

궁극적으로, 이 연구는 QA 설정에서 설명 형식을 선택하기 위한 경험적 가이드를 제공하며, 모든 자연어 설명이 시뮬레이션에 똑같이 효과적일 것이라는 가정을 경계한다.