Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

Sun 등 저자의 논문 "Language Models 에서의 Context Utilisation 에 대한 Highlight Explanations 평가 프레임워크"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 검색 증강 생성 (RAG) 및 사실 확인과 같이 외부 컨텍스트 (Contextual Knowledge, CK) 를 내부 파라미터 지식 (PK) 과 통합해야 하는 응용 분야에서 점점 더 널리 사용되고 있습니다. 그러나 중요한 투명성 격차가 존재합니다.

• 불투명성: 사용자는 모델의 출력이 제공된 컨텍스트에 의존하는지 아니면 내부 학습 데이터에 의존하는지 판단할 수 없습니다.
• 진실값 (Ground Truth) 의 부재: 특정 출력에 책임 있는 입력 토큰을 가리키는 "Highlight Explanations(HEs)"를 평가하는 기존 방법들은 충실도 지표 (faithfulness metrics) (예: 포괄성 (Comprehensiveness) 과 충분성 (Sufficiency)) 에 의존합니다. 이러한 지표들은 토큰을 마스킹/제거하는 교란 프록시 (perturbation proxies) 를 사용하는데, 이는 분포 외 (out-of-distribution) 인 아티팩트를 생성하며 설명이 실제로 모델의 정보 출처를 반영하는지 검증할 수 있는 골드 스탠다드 (진실값) 가 부족합니다.
• 격차: 컨텍스트가 모델의 파라미터 기억과 상충될 때, HE 가 모델의 결정에 영향을 준 어떤 특정 컨텍스트 조각이나 토큰을 정확하게 식별하는지 평가할 수 있는 프레임워크가 없습니다.

2. 방법론

저자들은 진실값 컨텍스트 사용이 사전에 결정된 통제된 테스트 사례를 활용하여, 컨텍스트 귀속을 위한 최초의 골드 스탠다드 평가 프레임워크를 제안합니다.

A. 통제된 입력 체계

이 프레임워크는 모델이 반드시 컨텍스트를 사용하도록 보장하기 위해 (즉, 컨텍스트 답변이 모델의 파라미터 지식과 상충되도록 하여) 컨텍스트 활용의 다양한 측면을 테스트하는 네 가지 특정 시나리오를 구성합니다.

1. 상충 (단일): 하나의 컨텍스트 패시지가 모델의 PK 와 상충됩니다.
2. 무관 (단일): 하나의 컨텍스트 패시지는 무관하지만 오답을 유도하는 (잘못된) 답변 토큰을 포함합니다.
3. 이중 상충 (이중): 두 개의 컨텍스트 패시지가 모두 PK 와 상충됩니다.
4. 혼합 (이중): 하나의 무관한 패시지와 하나의 상충하는 패시지가 있습니다.

• 참고: 저자들은 위치 편향을 테스트하기 위해 이중 컨텍스트 설정의 "스왑 (Swap)" 버전도 생성합니다.

B. 평가 지표

이 프레임워크는 세 가지 연구 질문 (RQs) 에 정렬된 세 가지 축을 통해 HE 를 평가합니다.

1. 문서 수준 귀속 정확도 (RQ1 및 RQ2):
   • $\Delta$Rank@k: "사용된" 문서의 토큰과 "사용되지 않은" 문서 (또는 컨텍스트 대 기억) 의 토큰 순위 차이를 측정합니다. 양의 마진은 HE 가 관련 출처를 올바르게 우선순위로 두었음을 나타냅니다.
   • 시뮬레이션 가능성 (Simulatability): **정규화된 상호 정보량 (Normalized Mutual Information, NMutInf)**과 **최소 설명 길이 (Minimum Description Length, MDL-Bits)**를 사용하여 상위-k 개로 하이라이트된 토큰이 모델의 출처 선택 (CK 대 PK, 또는 패시지 1 대 패시지 2) 을 예측할 수 있는지 판단합니다.
2. 토큰 수준 귀속 정확도 (RQ3):
   • 평균 역순위 (Mean Reciprocal Rank, MRR): 컨텍스트에서 발견된 정확한 골드 답변 토큰 (들) 을 HE 가 얼마나 높은 순위로 평가하는지 평가합니다.

C. 평가된 방법

이 프레임워크는 네 가지 HE 기법을 테스트합니다.

1. 특성 제거 (Feature Ablation, FA): 답변 확률에 대한 영향을 측정하기 위해 토큰을 마스킹합니다.
2. 적분 기울기 (Integrated Gradients, IG): 기준선에서 입력까지의 경로에 따른 기울기 크기를 사용합니다.
3. 어텐션 시각화 (Attention Visualization, ATTN): 가장 영향력 있는 어텐션 헤드의 어텐션 가중치를 사용합니다.
4. MechLight (신규): 기계적 해석 가능성 접근법입니다. 경쟁 답변 (예: CK 대 PK) 간의 로그이트 차이를 가장 강력하게 주도하는 특정 어텐션 헤드를 식별하고, 해당 헤드의 어텐션 가중치를 입력 토큰에 투영하여 설명으로 생성합니다.

D. 실험 설정

• 데이터셋: FAKEPEDIA, WORLDCAPITAL, COUNTERFACT, CONFLICTQA.
• 모델: 1.5B 에서 7B 파라미터까지의 다섯 가지 LLM (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. 주요 기여

1. 골드 스탠다드 프레임워크: 간접적인 교란 프록시가 아닌 진실값 컨텍스트 사용에 의존하는 컨텍스트 활용을 위한 HE 평가 벤치마크를 최초로 도입했습니다.
2. MechLight 방법: 내부 모델 신호 (로그이트 차이를 주도하는 어텐션 헤드) 를 토큰 수준의 하이라이트 설명으로 변환하는 새로운 경량 기계적 해석 가능성 방법을 제안했습니다.
3. 종합 벤치마킹: 다양한 모델, 데이터셋, 컨텍스트 시나리오 (단일/이중, 상충/무관) 에 걸쳐 기존 방법 (FA, IG, ATTN) 과 새로운 MechLight 방법을 평가했습니다.
4. 공개 배포: 향후 연구를 촉진하기 위해 코드와 재구성된 데이터셋을 공개했습니다.

4. 결과

성능 비교

• 최고 성능: MechLight는 모든 시나리오, 데이터셋, 모델에서 다른 모든 방법보다 일관되게 우수한 성능을 보였습니다. CK 와 PK 사용 사이를 구분하고 이중 컨텍스트 설정에서 올바른 문서를 식별하는 데 가장 높은 정확도를 보였습니다.
• 차상위: **특성 제거 (FA)**는 유망한 결과를 보였으나, 특히 긴 컨텍스트 시나리오에서 높은 분산과 불안정성을 나타냈습니다.
• 부진한 성능: **적분 기울기 (IG)**와 **어텐션 시각화 (ATTN)**는 성능이 저조하여 종종 마진이 0 에 가깝거나 음수 값을 보였습니다. 놀랍게도 전통적인 충실도 지표에서는 좋은 점수를 받았음에도 불구하고, 실제 컨텍스트 사용 패턴을 드러내는 데는 거의 가치가 없었습니다.

체계적 실패 및 한계

1. 컨텍스트 길이 민감성: 컨텍스트 길이가 증가함에 따라 설명 정확도가 크게 저하됩니다. 모든 방법은 긴 컨텍스트 (예: CONFLICTQA) 에서 올바른 답변 토큰을 정확하게 찾아내는 데 어려움을 겪습니다.
2. 위치 편향: 이중 문서 설정에서 모든 방법은 강력한 위치 편향을 보였습니다.
   • FA 와 IG 는 나중 패시지를 선호하는 경향이 있었습니다 (최근성 편향).
   • ATTN 과 MechLight 는 이전 패시지를 선호하는 경향이 있었습니다 (선두성 편향).
   • 이 편향은 문서 순서가 스왑되었음에도 불구하고 지속되었으며, 이는 콘텐츠 관련성보다는 방법론 또는 모델 아키텍처의 아티팩트임을 시사합니다.
3. 토큰 국소화 오류: 정성적 사례 연구에 따르면, 모델이 컨텍스트에서 답변을 복사할 때조차 HE 는 종종 다음을 하이라이트했습니다.
   • 일반적인 토큰 (정지어, 구두점).
   • 답변에 인접한 근처의 설명어 또는 개체.
   • 질문 구문 자체 (예: "무엇", "누가").

5. 의의

• 현재 관행에 대한 도전: 이 연구 결과는 RAG 및 사실 확인 응용 프로그램에 널리 사용되는 기울기 기반 (IG) 및 어텐션 기반 (ATTN) 방법의 유용성에 의문을 제기하며, 출처 귀속과 관련하여 오해의 소지가 있을 수 있음을 시사합니다.
• 미래 개발의 기반: 이 프레임워크는 길이 민감성과 위치 편향을 극복해야 하는 차세대 컨텍스트 귀속 방법 개발을 위한 엄격하고 진실값 기반의 토대를 제공합니다.
• 기계적 해석 가능성 검증: MechLight 의 성공은 복잡한 검색 시나리오에서 모델 동작을 이해하기 위한 표준 사후 교란 방법보다 기계적 해석 가능성 (내부 모델 구성 요소 분석) 의 잠재력을 강조합니다.

결론적으로, 이 논문은 현재 HE 방법들이 일부 통찰력을 제공하지만, 실제 세계의 긴 컨텍스트 응용 프로그램에서 신뢰할 수 있는 컨텍스트 귀속에는 현재로서는 부족하다는 것을 확립합니다. 제안된 프레임워크와 MechLight 방법은 더 투명하고 신뢰할 수 있는 LLM 시스템을 구축하기 위한 길을 제시합니다.