How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

기술 요약: LLM은 어떻게 인용하는가? RAG 내 속성 부여(Attribution)에 대한 기계론적 해석

문제 정의
검색 증강 생성(RAG) 시스템은 외부 문서에 근거를 두고 인라인 인용을 제공함으로써 대규모 언어 모델(LLM)의 환각 현상을 완화하는 것을 목표로 한다. 그러나 '인용의 정확성'(출처가 사실적으로 주장을 뒷받침하는가)과 '인용의 충실성'(모델이 실제로 해당 출처를 사용하여 주장을 생성했는가) 사이에는 결정적인 차이가 존재한다. 현재의 평가 방법은 입출력 동작에 의존하는 경우가 많아, 모델이 검색된 문서를 바탕으로 진정하게 추론하고 있는지, 아니면 기존의 파라미터 메모리에 존재하는 지식에 맞춰 문서를 사후적으로 가져온 것인지 구분할 수 없다. 이러한 "외관상의" 속성 부여는 법률이나 의료와 같이 사용자가 독립적으로 출처를 검증할 전문 지식이 부족할 수 있는 고위험 분야에서 잘못된 보안 의식을 심어줄 수 있다. 본 논문은 신뢰할 수 있는 충실성 평가 프레임워크를 개발하기 위해서는 인용 생성의 내부 메커니즘을 이해하는 것이 필수적이라고 주장한다.

방법론
저자들은 Llama-3.1-8B-Instruct의 인라인 인용 결정 과정을 역설계하기 위해 **기계론적 해석 가능성(mechanistic interpretability)**을 활용한다. 실험 파이프라인은 다음과 같다:

1. 통제된 데이터셋: 각 질문이 관련 있는 지원 문서 또는 관련 없는 방해 문서와 쌍을 이루는 PopQA의 인용 특화 변형 버전을 사용한다. 방해 문서는 정밀한 구성 요소 수준의 비교를 위해 구조적으로 일치하도록 설계되었다.
2. 활성화 패칭(Activation Patching): 핵심 기술은 관련 문서(clean)를 사용한 실행과 관련 없는 문서(corrupted)를 사용한 실행을 수행한 뒤, clean 실행의 중간 활성화를 corrupted 실행에 패칭(또는 그 반대)하여, 모델이 인용 토큰([)을 생성할지 아니-면 문장 종료 토큰(.)을 생성할지에 미치는 인과적 영향을 측정하는 것이다.
3. 스코어링: 특정 패치에 의해 회복되거나 유도된 행동 변화의 비율을 정량화하기 위해 정규화된 로짓 차이(logit-difference) 점수를 계산한다.
4. 개입(Intervention): 식별된 구성 요소들을 곱셈 스케일링(증폭 또는 억제)을 통해 조작하여, 인용 실패(누락된 인용 또는 가짜 인용)를 수정할 수 있는지 테스트한다.
5. 일반화: 식별된 결과는 HotpotQA를 이용한 더 복잡한 다중 문서 환경에서 검증된다.

주요 기여

1. "속성 부여 앙상블(Attributional Ensemble)" 매핑: 본 연구는 인용 결정이 단일한 특화 모듈에 의해 제어되는 것이 아니라, 특정 어텐션 헤드와 MLP 레이어로 구성된 분산된 다단계 앙상블에 의해 제어됨을 밝혀냈다.
2. 제어 가능성 입증: 식별된 앙상블에 대한 표적 개입을 통해 누락된 인용을 유도하거나 가짜 인용을 억제함으로써 인용 실패를 성공적으로 복구할 수 있음을 보여준다.
3. 일반화 검증: 식별된 구성 요소들은 재학습 없이도 복잡한 다중 단계 추론이 필요한 HotpotQA 설정에서 인용 정확도를 크게 향상시키는 등 일반화 능력을 보여준다.

주요 결과

• 분산되고 취약한 메커니즘: 인용 메커니즘은 결합적(AND-gated) 구조에 의존한다. 많은 구성 요소가 기여하지만, 시스템은 "취약"하다. 여러 지점에서의 작은 손상은 인용 동작을 급격히 감소시키는 반면, 노이즈 제거를 통해 인용을 유도하는 것은 어렵고 많은 신호의 축적이 필요하다.
• 얕은 휴리스틱이 결정을 주도함: 메커니즘은 깊은 의미론적 통합보다는 엔티티 상호 참조(entity co-reference) 매칭에 크게 의존한다.
  • 초기 레이어 (0–2): "엔티티 강화(entity enrichment)" 단계가 발생하며, 모델은 문서에서 질의된 엔티티를 식별하고 질문 내의 해당 토큰을 표시한다. 이는 교차 컨텍스트 정체성을 위한 내부 플래그를 생성한다.
  • 중간 레이어 (10–20): 밀집된 구성 요소 대역이 프로세싱 허브 역할을 하며 결합적 체크를 수행한다.
  • 후기 레이어: 최종 집계는 답변 토큰에서 발생하며, 특정 헤드와 MLP가 인용 마커의 로짓을 문장 종료 토큰보다 높인다.
• 답변 생성과의 독립성: 결정적으로, 인용 결정이 일어나는 순간에 답변 자체의 표현은 주요한 동인이 아니다. 이는 인용이 답변 구성 과정의 직접적인 결과라기보다, (문서에 엔티티가 포함되어 있는지 확인하는) 병렬적인 휴리스틱 기반 프로세스에 의해 생성됨을 시사한다.
• 개입 성공 사례:
  • 식별된 구성 요소를 증폭했을 때, 답변의 정확도에 거의 영향을 주지 않으면서 누락된 인용의 90% 이상을 복구했다.
  • 필요한 구성 요소를 억제했을 때, 가짜 인용의 69%를 제거했다.
  • HotpotQA에서 증폭을 통해 엄격한 "정확한 인용" 비율을 20배 이상(0.001에서 0.024로) 높였으나, 절대적인 성능은 여전히 낮게 유지되어 다단계 추론의 복잡성을 나타냈다.

의의 및 주장
본 논문은 현재의 RAG 시스템이 검증 가능성의 환상을 제공할 수 있다고 주장한다. 인용 결정이 (답변 생성 중의) 깊은 의미론적 연결이 아닌 얕은 휴리스틱(예: 엔티티 매칭)에 의해 구동되기 때문에, 모델은 파라미터 메모리로부터 답변을 가져왔더라도 사실적으로 올바른 답변과 함께 "충실한" 인용을 생성할 수 있다.

저자들은 다음과 같이 주장한다:

• 출력물 감사만으로는 불충분하다: 신뢰할 수 있는 속성 부여를 위해서는 계산 경로(computational pathway)를 감사해야 한다.
• 기계론적 해석 가능성이 필수적이다: 충실한 속성 부여와 충실하지 않은 속성 부여를 구분하기 위해서는 입출력 동작만으로는 모호하므로 모델의 내부를 들여다봐야 한다.
• 오정보의 위험: 불충실한 인용은 특히 출처를 독립적으로 검증할 수 없는 사용자들에게 잘못된 정보에 대한 신뢰를 부여함으로써 정보 격차를 심화시킬 수 있다.

본 연구는 완전한 해결책이라기보다, 충실한 속성 부여를 구분할 수 있는 평가 프레임워크를 구축하기 위한 기초적인 단계로 제시된다. 저자들은 단일 8B 모델에 집중했다는 점, 경로 매핑(구성 요소 위치 파악만 수행)의 부재, 그리고 이러한 통찰을 이용해 불충실한 인용을 생성하는 적대적 오용의 가능성 등 한계를 인정하고 있다.