💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

본 논문은 디코더 전용 LLM 의 귀속 충실성 평가 시 유지된 단어 수를 통제하기 위한 $\pi$ -Soft-NC 및 $\pi$ -Soft-NS 평가 프레임워크를 소개하며, 동시에 경사와 주시 신호를 효과적으로 결합하여 포괄성 중심의 강력한 성능을 달성하는 Grad-ELLM 방법을 제시한다.

원저자: Xin Huang, Antoni B. Chan

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Huang, Antoni B. Chan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: 사과와 오렌지를 비교하기

당신이 한 명의 판사라고 상상해 보세요. 어떤 형사가 미스터리를 해결하는 데 더 능숙한지 결정해야 합니다. 형사 A와 형사 B 두 명이 있습니다.

형사 A는 5 개의 단서를 찾았지만, 모두 매우 중요합니다.
형사 B는 50 개의 단서를 찾았지만, 실제로 유용한 것은 5 개뿐이고 나머지는 그저 잡음일 뿐입니다.

과거 연구자들은 AI 가 자신의 사고 과정을 얼마나 잘 설명하는지, 즉 '신뢰성 (faithfulness)'을 측정하기 위해 형사가 지적한 단서들을 제거했을 때 AI 의 답변이 얼마나 변하는지 확인했습니다.

결함: 이전 측정 방식은 다음과 같았습니다. 만약 형사 B 가 50 개의 단서 목록을 주고 그중 45 개를 제거했다면, AI 의 답변이 크게 변했을 것입니다. 하지만 이는 단서들이 나빠흔서가 아니라 너무 많은 단어를 제거했기 때문일 수 있습니다. 반면 형사 A 가 5 개의 짧은 목록을 주었다면, 이를 제거했을 때 답변의 변화는 적었을 것입니다. 단순히 처음부터 단어가 적었기 때문입니다.

기존 지표는 불공평했습니다. 많은 정보를 유지한 형사와 아주 적은 정보를 유지한 형사를 비교함으로써, 논리가 엉망이었더라도 더 많은 정보를 유지한 사람이 설명을 더 잘하는 것처럼 보이게 만들었습니다.

해결책: '동일 유지 (Equal Retention)' 규칙

이 논문의 저자들은 게임에 새로운 규칙을 제안합니다: 모든 사람이 정확히 같은 양의 정보를 유지해야 한다.

그들은 $\pi$ -Soft-NC와 $\pi$ -Soft-NS라는 새로운 방법을 도입했습니다. 여기서 $\pi$ (파이) 는 정보의 '볼륨 조절기'로 생각하세요.

조절기를 0.5 로 설정하면, 형사 A 와 형사 B 모두 문장에 있는 단어의 정확히 50% 만 유지해야 합니다.
0.1 로 설정하면, 둘 다 단어를 10% 만 유지해야 합니다.

두 방법 모두 동일한 양의 정보를 '유지'하도록 강제함으로써, 단순히 가장 많은 단어를 선택한 사람이 아니라 AI 의 결정을 설명하기 위해 올바른 단어를 선택한 사람이 누구인지 비로소 확인할 수 있게 됩니다.

새로운 형사: Grad-ELLM

저자들은 이 새로운 규칙을 테스트하기 위해 Grad-ELLM이라는 새로운 형사 방법을 개발했습니다.

작동 원리: AI 가 한 단어씩 이야기를 써 내려가는 것 (연쇄 반응과 같은) 을 상상해 보세요. AI 가 다음 단어를 선택한 이유를 이해하기 위해 Grad-ELLM 은 두 가지를 동시에 살펴봅니다.
1. '어텐션 (Attention)' 지도: AI 가 어떤 단어를 보았는가? (방 안에서 AI 가 누구를 노려보고 있는지와 같음).
2. '그래디언트 (Gradient)' 지도: 그 단어들을 변경했을 때 결과가 실제로 얼마나 변했는가? (특정 히터를 옮겼을 때 방의 온도가 얼마나 변하는지와 같음).

Grad-ELLM 은 이 두 가지 관점을 결합합니다. 단순히 '가장 중요한' 하나의 단어만 선택하는 것이 아니라, 전체 문장에 걸쳐 중요도의 매끄럽고 연속적인 지도를 생성합니다. 마치 한 곳을 가리키는 것이 아니라, 정확히 어디에 '열기 (중요도)'가 있는지 보여주는 열지도 (heat map) 와 같습니다.

그들이 발견한 것

저자들은 유명한 AI 모델 (Llama 와 Mistral) 을 사용하여 다음과 같은 작업으로 새로운 규칙과 새로운 형사를 테스트했습니다.

감성 분석: 영화 리뷰가 긍정적인지 부정적인지 판단하기.
오픈 생성: 질문에 답변하거나 이야기를 이어가기.

결과:

기존 규칙은 편향되어 있었다: 기존 지표를 사용할 때, 많은 단어를 유지한 방법들이 인위적으로 좋아 보였습니다.
새로운 규칙은 진실을 드러낸다: 새로운 '동일 유지' 규칙 하에서 Grad-ELLM 은 광범위한 증거를 찾는 데 탁월함이 입증되었습니다. 이는 AI 의 결정이 여러 단어가 함께 작용하는 (합창단과 같은) 광범위한 단어들에 의해 뒷받침되었음을 보여주었습니다.
단일 승자는 없다: 흥미롭게도 모든 면에서 가장 뛰어난 단일 방법은 없었습니다.
- 어떤 방법들은 하나 또는 두 개의 가장 중요한 단어를 찾는 데 뛰어났습니다 (마치 '결정적 증거'를 찾는 것처럼).
- Grad-ELLM 은 답변에 기여한 단어들의 전체 그림을 보여주는 데 뛰어났습니다.

결론

이 논문은 제과점에 있는 새로운 저울과 같습니다. 과거에는 케이크를 무거운 접시에, 쿠키를 가벼운 접시에 올려놓고 무게를 재면 어떤 디저트가 실제로 더 무거운지 알 수 없었습니다. 저자들은 양쪽 모두에 표준 접시를 추가했습니다.

그들은 또한 몇 개의 달콤한 부분만 있는 것이 아니라 전체에 고르게 풍미가 퍼지는 새로운 종류의 케이크 (Grad-ELLM) 를 구웠습니다. 그들의 새로운 저울은 일부 방법이 '달콤한 부분'을 찾는 데는 좋지만, 그들의 새로운 케이크가 전체 디저트가 어떻게 구성되어 있는지 보여주는 데 더 낫다는 것을 보여줍니다.

간단히 말해: 그들은 AI 설명을 테스트하는 방식을 고쳐 단어의 양에 속지 않도록 했고, AI 가 어떻게 생각하는지에 대한 더 완전하고 정직한 그림을 제공하는 새로운 방법을 도입했습니다.

기술적 요약: 제어된 유지 정보를 활용한 디코더 전용 LLM 할당에 대한 충실도 평가

문제 제기

대형 언어 모델 (LLM), 특히 Llama 및 Mistral 과 같은 디코더 전용 아키텍처는 의사결정 과정을 설명하기 위해 입력 할당 (attribution) 방법을 사용하여 평가받는 경우가 increasingly 늘고 있습니다. 그러나 이러한 설명들의 "충실도 (faithfulness, 신뢰성)"를 비교하는 것은 여전히 어렵습니다.

기존의 소프트-교란 (soft-perturbation) 충실도 지표인 Soft-NC(정규화된 소프트 포괄성) 와 Soft-NS(정규화된 소프트 충분성) 는 결정적인 편향을 겪고 있습니다. 이러한 지표들은 할당 점수에 기반하여 입력을 교란시킴으로써 할당 품질을 평가합니다. 그러나 서로 다른 할당 방법들은 종종 서로 다른 평균을 가진 점수 분포를 생성합니다. 결과적으로 평균 점수가 더 높은 방법들은 소프트 교란 동안 더 많은 단어를 유지하게 되어, 할당이 더 정확하기 때문이 아니라 교란된 입력이 더 많은 정보를 포함하고 있기 때문에 단순히 충실도 점수가 인위적으로 과장됩니다. 이 문제는 할당 점수 분포가 생성 단계마다 크게 달라질 수 있는 자기회귀형 디코더 전용 LLM 에서 특히 두드러집니다.

방법론

1. $\pi$ -Soft-NC 및 $\pi$ -Soft-NS

기존 지표의 편향을 해결하기 위해 저자들은 $\pi$ -Soft-NC와 $\pi$ -Soft-NS를 제안합니다. 이들은 제어된 목표 유지 확률 ( $\pi$ ) 하에서 할당 방법들을 비교하는 평가 프레임워크입니다.

메커니즘: 원시 할당 점수를 비교하는 대신, 이 프레임워크는 각 할당 분포를 알파 변환 ( $\tilde{s}_i = s_i^\alpha$ ) 을 통해 변환합니다. 매개변수 $\alpha$ 는 변환된 점수의 기대 유지 확률이 특정 목표 $\pi \in [0, 1]$ 와 일치하도록 수치적으로 해결됩니다 (예: 이분 탐색을 통해).
공정한 비교: 서로 다른 방법들이 동일한 기대 정보량 (동일한 $\pi$ ) 을 유지하도록 강제함으로써, 평가는 교란 강도의 차이에서 할당 분포의 품질과 보정을 분리합니다.
평가 프로토콜: 저자들은 할당의 다양한 측면을 평가하기 위해 두 가지 프로토콜을 도입합니다.
- 동적 라우팅 (Dynamic-Routing): 교란된 입력을 기반으로 트랜스포머의 어텐션이 동적으로 재계산됩니다. 이는 할당이 변화하는 모델 조건 하에서 유용한 단어를 어떻게 식별하는지 측정합니다.
- 고정 라우팅 (Fixed-Routing): 어텐션 맵은 원래의 교란되지 않은 입력에서 캐시되어 교란 동안 재사용됩니다. 이는 어텐션 재할당으로부터 토큰 콘텐츠의 인과적 기여도를 분리합니다.
시각화: $\pi$ 를 0 에서 1 로 스윕 (sweep) 하면 곡선 ( $\pi$ -Soft-NC/NS 대 $\pi$ ) 이 생성됩니다. 곡선 아래 면적 (AUC) 은 성능을 요약합니다. 낮은 $\pi$ 에서의 높은 점수는 컴팩트한 충분 증거를 나타내고, 높은 $\pi$ 전반에 걸친 강력한 성능은 광범위한 포괄성을 나타냅니다.

2. Grad-ELLM

저자들은 자기회귀형 디코더 전용 LLM 에 특화된 그래디언트 기반 할당 방법인 Grad-ELLM을 소개합니다.

영감: 이는 이중 인코더 비전 - 언어 모델을 위해 설계된 Grad-ECLIP 의 그래디언트 - 어텐션 집계 개념을 순차적 텍스트 생성에 적용합니다.
메커니즘:
- 각 디코딩 단계에서 다음 토큰 로그트 (logit) 에 대한 할당을 계산합니다.
- 그래디언트 유도 채널 중요도(로그트에 대한 어텐션 출력 채널의 민감도) 와 어텐션 유도 토큰 중요도(토큰 가중치) 를 결합합니다.
- 지나치게 희소한 "피크 (peaky)" 소프트맥스 가중치를 피하기 위해 쿼리 - 키 유사도에 "완화된" 정규화 (최소 - 최대 정규화) 를 적용하여 연속적인 할당 분포를 생성합니다.
- 할당 점수는 선택된 디코더 레이어 전체에 걸쳐 집계되어 최종 히트맵을 형성합니다.

주요 기여

편향 식별: 기존 Soft-NC/NS 지표가 서로 다른 점수 평균을 가진 방법들을 불공정하게 비교한다는 점을 식별했습니다. 이는 본질적으로 서로 다른 양의 유지 정보를 평가하기 때문입니다.
새로운 평가 지표: 목표 확률 $\pi$ 를 통해 기대 유지 정보를 제어함으로써 비교를 정규화하는 $\pi$ -Soft-NC 및 $\pi$ -Soft-NS 제안.
새로운 할당 방법: 디코더 전용 LLM 의 순차적 특성에 맞게 그래디언트 및 어텐션 신호를 통합한 Grad-ELLM 도입.
종합적 경험적 분석: 분류 및 오픈 생성 작업 전반에 걸쳐 대표적 할당 방법 (Attention, Saliency, Integrated Gradients, DeepLIFT, Value Zeroing, ReAGent 포함) 에 대한 엄격한 비교.

실험 결과

실험은 Llama-3.1-8B와 Mistral-7B(70B 에 대한 추가 결과 포함) 에서 다섯 가지 데이터셋 (IMDb, SST2, BoolQ, TellMeWhy, WikiBio) 을 대상으로 수행되었습니다.

원래 지표의 진단: 원시 Soft-NC/NS 분석은 편향을 확인했습니다. Random 및 Grad-ELLM 과 같은 방법들은 DeepLIFT 와 같은 희소 방법들보다 훨씬 더 많은 토큰 (더 높은 $\pi$ ) 을 유지하여 비교 불가능한 점수를 초래했습니다.
$\pi$ -Soft-NC 하의 성능: Grad-ELLM은 Llama 와 Mistral 모두에서 가장 강력한 포괄성 지향 충실도(최고 평균 AUC) 를 달성했습니다. 이는 Grad-ELLM 이 광범위한 증거 커버리지를 효과적으로 식별함을 시사합니다.
$\pi$ -Soft-NS 하의 성능: 단일 방법이 충분성 지향 평가 ( $\pi$ -Soft-NS) 를 지배하지는 않았습니다. Input $\times$ Gradient 와 같은 희소 방법들이 상위 3 위 내에서 잘 수행되어 가장 중요한 단어를 더 정확하게 식별할 수 있음을 시사하지만, 보편적으로 우월한 방법은 없었습니다.
Random 과의 비교: 대부분의 방법은 유지 확률 $\pi > 0.5$ 일 때만 Random 할당보다 우위를 보였습니다. 이는 이러한 작업에서는 상당한 문맥 정보 (상위 순위 토큰 이상) 가 필요하거나, 현재 방법들이 상위 할당의 정확한 순서화에 어려움을 겪고 있음을 시사합니다.
정성적 분석: 감정 분류 예시에서 Grad-ELLM 은 고립된 토큰 (예: "positive") 이 아닌 구성적 구 (예: "very little positive") 를 성공적으로 강조하여 베이스라인보다 부정의 뉘앙스를 더 잘 포착했습니다.

중요성 및 주장

이 논문은 제안된 평가 프레임워크가 LLM 에 대한 XAI 방법을 비교하는 엄격한 표준을 제공한다고 주장합니다. 유지 정보를 통제함으로써 $\pi$ -Soft-NC/NS 는 컴팩트한 충분 증거를 제공하는 방법과 광범위한 포괄성 지향 증거를 제공하는 방법들을 구별할 수 있게 합니다.

저자들은 Grad-ELLM 이 극도로 희소한 순위가 아닌 보정된 밀집 할당 분포를 생성하도록 설계되었다고 강조합니다. 결과적으로 Grad-ELLM 은 제안된 소프트-교란 지표 하에서 뛰어나지만, 소수의 상위 토큰 순서가 지배적인 하드-교란 순위 지표 (Insertion/Deletion 등) 에서는 최적일 수 없습니다. 이 논문은 충실한 할당은 단일 지표에 의존하기보다 여러 축 (충분성 대 포괄성) 을 따라 평가되어야 하며, 제안된 지표는 자기회귀 모델에서 할당 증거가 어떻게 조직화되는지 이해하는 데 진전을 지원한다고 결론지었습니다.

저자가 인정한 한계:

Grad-ELLM 은 내부 모델 상태 (그래디언트, 어텐션) 에 대한 접근이 필요하여 오픈소스 모델로 제한됩니다.
이 연구는 인간이 해석하기 쉬운 가능성 (plausibility) 이 아닌 충실도 (faithfulness) 에 초점을 맞추었으며, 이는 객관적으로 정량화하기 어렵습니다.
지표는 여전히 임베딩 수준의 교란에 의존하며, 이는 자연스러운 텍스트 분포와 완벽하게 일치하지 않을 수 있습니다.