A Systematic Comparison between Extractive Self-Explanations and Human Rationales in Text Classification

기술 요약: 텍스트 분류에서 추출형 자기 설명과 인간 근거의 체계적 비교

문제 제기
지시 튜닝된 대규모 언어 모델 (LLM) 은 복잡한 외부 해석 가능성 기법이 필요 없이 출력에 대한 자기 설명 (근거) 을 생성할 수 있습니다. 그러나 이러한 자기 생성 설명의 신뢰성, 타당성, 그리고 충실성은 아직 충분히 탐구되지 않았습니다. 기존 연구는 주로 짧은 텍스트나 키워드 기반 작업에 초점을 맞추고 있으며, 다양한 길이와 복잡성을 가진 현실적인 도메인 간의 체계적인 비교가 부족합니다. 또한, 이러한 자기 설명이 모델의 실제 의사결정 과정을 반영하는 능력 측면에서 인간이 주석한 근거 및 사후 귀속 방법과 어떻게 비교되는지 이해할 필요가 있습니다.

방법론
저자들은 세 가지 다른 텍스트 분류 작업에 걸쳐 네 가지 오픈 가중치 지시 튜닝 LLM(Gemma3, Llama3, Mistral, Qwen3) 을 평가하는 통제된 연구를 수행했습니다:

1. 감정 분류 (SST/mSST): 영어, 덴마크어, 이탈리아어로 된 영화 리뷰의 이진 분류.
2. 강제 노동 탐지 (RaFoLa): 강제 노동의 특정 위험 지표를 식별하는 뉴스 기사의 다중 레이블 분류.
3. 주장 검증 (Climate-Fever): 위키피디아의 증거 조각에 대한 기후 변화 주장의 검증.

첫 번째와 두 번째 작업의 경우, 기존 인간 근거 주석을 활용했습니다. Climate-Fever 의 경우, 저자들은 세 명의 개인 지시 주석자를 사용하여 104 개 주장 (520 개 증거) 의 하위 집합에 대해 새로운 인간 근거 주석을 수집했습니다.

평가 프레임워크는 두 가지 주요 차원을 평가합니다:

• 타당성 (Plausibility): 모델 생성 근거와 인간 주석 간의 일치도 (코헨의 카파) 로 측정.
• 충실성 (Faithfulness): 개입 기반 탐지를 통해 측정. 저자들은 인간 근거, 모델 자기 설명, 그리고 사후 귀속 방법 (Layer-wise Relevance Propagation [LRP] 및 Gradient×Input) 이 식별한 토큰을 마스킹하여 모델 예측 확률의 감소량을 관찰했습니다.

또한 이 연구는 인간, 모델, 사후 근거 간의 어휘 다양성, 불용어 비율, 그리고 개체 분포를 비교하는 토큰 수준 전략에 대한 통계 분석을 포함합니다.

주요 기여

1. 새로운 데이터셋 주석: 주장 검증 작업에 사용 가능한 기준 진실의 공백을 해소하기 위해 Climate-Fever 데이터셋 하위 집합에 대한 인간 근거 주석 수집 및 공개.
2. 통제된 비교 연구: 다양한 텍스트 길이와 작업 복잡성을 가진 세 가지 도메인에서 인간 주석, LLM 자기 설명, 그리고 사후 귀속 방법을 체계적으로 비교.
3. 충실성 분석: 자기 설명이 토큰 수준 근거의 충실한 부분집합을 산출하는 반면, 사후 귀속 방법은 종종 의미적 증거보다 구조적 및 형식 토큰을 우선시한다는 평가를 제공.
4. 전략 특성화: 인간 근거는 서사적 내용과 삶의 경험을 강조하고, 모델 근거는 사실적 및 분석적 세부 사항에 초점을 맞추며, 사후 근거는 고립된 증거 토큰과 구조적 산물에 집중한다는 것을 보여주는 상세 분석.

주요 결과

• 타당성: 인간과 모델 근거 간의 일치도는 텍스트 길이와 작업 복잡성에 따라 크게 달라집니다.
  • SST: 영어 하위 집합은 중간 정도의 일치 (카파 0.4–0.6); 덴마크어와 이탈리아어는 더 낮음.
  • RaFoLa: 기사 간 변동성이 큼; 일치도는 낮음 (0.12) 에서 중간 (0.48) 까지 다양하며, 작업 난이도와 키워드 고유성과 상관관계가 있음.
  • Climate-Fever: 전반적으로 낮은 일치 (0.12–0.24); 표면적 텍스트 속성보다는 주장 검증 작업의 본질적 복잡성과 모호성 때문으로 귀결됨.
• 충실성:
  • 모델 자기 설명 (특히 확률 차이 최대화를 위한 탐욕적 순위 매김 시) 은 높은 충실성을 보여주며, 특히 상위 10% 토큰에서 인간 근거보다 마스킹 시 예측 확률의 더 가파른 감소를 유발하는 경우가 많음.
  • 사후 방법 (LRP, Gradient×Input) 은 자기 설명에 비해 가장 관련성 높은 초기 토큰을 식별하는 데 충실성이 낮음. 이들은 의미적 내용보다는 시퀀스 구분에 필요한 구조적 토큰 (예: <s>, <|begin_of_text|>) 에 높은 중요도를 부여하는 경우가 많음.
• 토큰 전략:
  • 인간 근거: 더 높은 어휘 다양성과 불용어 사용; 서사와 인간적 맥락 (예: "피해자", "빈곤") 에 초점.
  • 모델 근거: 인간과 유사한 어휘 다양성이나 더 밀집된 기술적 표현; 메커니즘과 정량적 증거 (예: "인신매매", "ILO") 에 초점.
  • 사후 근거: 더 낮은 어휘 다양성과 불용어 사용; 고유명사와 형식 토큰 (예: "로이터", "https://") 에 더 높은 집중도.

의의 및 주장
이 논문은 자기 설명이 마스킹 시 모델 예측을 효과적으로 방해하는 충실한 토큰 수준 근거를 생성할 수 있으므로 해석 가능성에 대한 유망한 접근법이라고 주장합니다. 그러나 연구는 설명 전략의 근본적인 차이를 강조합니다. 자기 설명은 자연어를 통해 일관된 증거를 전달하는 반면, 사후 귀속 방법은 종종 구조적 단서를 강조한다는 것입니다.

저자들은 이 작업이 현실적인 텍스트 분류 설정에서 자기 설명의 신뢰성을 특성화하기 위한 "초기 단계"라고 결론지었습니다. 그들은 자기 설명이 충실할 수 있지만 인간에게 항상 타당한 것은 아니며 그 역도 성립할 수 있음을 강조합니다. 이 연구는 자기 설명에 대한 엄격한 평가의 필요성을 뒷받침하며, 향후 연구는 이러한 발견이 추상적 자유 텍스트 설명과 복잡한 증거 통합의 과정 중심 분석으로 어떻게 전이되는지 탐구해야 한다고 제안합니다. 저자들은 자기 설명이 보편적으로 우월하다고 주장하거나 해석 가능성 문제를 완전히 해결한다고 명시적으로 주장하지 않으며, 대신 모델의 신뢰성과 투명성에 대한 추가 조사의 기초로서 결과를 제시합니다.