Citation Failure: Definition, Analysis and Efficient Mitigation

이 논문은 RAG 시스템의 응답 생성과 무관하게 발생하는 '인용 실패' 현상을 정의하고, 이를 분석하기 위한 벤치마크 'CITECONTROL'과 생성·주의·검색 기반 방법을 통합한 효율적 해결 프레임워크 'CITENTION'을 제안합니다.

핵심

📚 1. 문제: "정답은 맞는데, 출처는 엉망인 AI"

우리가 AI 에게 "대한민국 수도는 어디야?"라고 물으면, AI 는 "서울입니다"라고 정확히 답합니다. 하지만 왜 서울인지 증명해 줄 문서를 보여달라고 하면 AI 는 엉뚱한 문서 [3] 번을 가리키거나, 아예 아무것도 보여주지 못할 때가 있습니다.

연구자들은 이를 두 가지로 나누어 생각했습니다.

1. 답변 실패 (Response Failure): AI 가 아예 엉뚱한 답을 할 때 (예: "서울은 부산이다").
2. 인용 실패 (Citation Failure): AI 는 정답 ("서울") 을 맞췄는데, 그걸 증명할 문서를 제대로 못 찾아낸 경우.

이전 연구들은 이 두 가지를 구분하지 않고 "AI 가 엉뚱한 답을 줬다"고만 했지만, 이 논문은 **"정답은 맞는데 근거를 못 찾는 경우"**에 집중했습니다.

🔍 2. 분석: 왜 AI 는 근거를 못 찾을까? (CITECONTROL)

연구진은 CITECONTROL이라는 새로운 시험지를 만들었습니다. 이 시험지는 AI 가 답을 찾을 때 얼마나 복잡한 논리를 거쳐야 하는지, 그리고 그 근거가 얼마나 명확한지를 조절할 수 있게 설계되었습니다.

• 비유: 마치 수학 문제를 푸는 것과 같습니다.
  • 단순 문제 (Explicit): "1+1=?"이라고 물으면 답이 바로 보임. (AI 가 쉽게 근거를 찾음)
  • 복합 문제 (Multi-hop): "A 는 B 의 친구이고, B 는 C 의 형이다. A 와 C 의 관계는?"이라고 물으면, A→B→C 로 이어지는 연쇄 추론이 필요합니다.
  • 숨겨진 문제 (Implicit): 답이 문서에 직접 쓰여 있지 않고, 문맥을 유추해야 하는 경우.

결과:

• AI 는 단순한 문제에서는 잘하지만, 복잡한 추론이 필요하거나 근거가 숨겨진 문제에서는 정답은 맞췄어도 근거를 찾지 못해 "인용 실패"를 많이 저지릅니다.
• 특히 작은 모델일수록 이런 실수가 심했습니다.

🛠️ 3. 해결책: CITENTION (AI 의 '눈'을 활용하자)

그렇다면 어떻게 해결할까요? 연구진은 CITENTION이라는 새로운 도구를 제안했습니다.

• 기존 방식: AI 가 답을 쓰면서 동시에 근거를 찾아내는 방식 (생성형). 하지만 이 방식은 AI 가 "무엇을 생각했는지"를 완전히 통제하기 어렵습니다.
• 새로운 방식 (CITENTION): AI 가 답을 생성할 때, 내부적으로 어떤 단어에 '주목 (Attention)'을 했는지를 분석하는 것입니다.

비유:

AI 가 책을 읽을 때, **눈동자가 어디에 멈췄는지 (Attention)**를 추적하는 것입니다.

• AI 가 "서울"이라는 답을 낼 때, 내부적으로 "서울"이라는 단어가 포함된 문장을 가장 강하게 주목했다면, 그 문장이 바로 근거가 됩니다.
• 이 방법은 AI 를 다시 훈련시킬 필요도 없고, 별도의 검색 엔진을 돌릴 필요도 없어 매우 빠르고 효율적입니다.

🚀 4. 시너지 효과: "혼합 주전"이 최고다!

연구진은 세 가지 방법을 섞어보았습니다.

1. 생성형: AI 가 스스로 답과 근거를 만드는 것.
2. 검색형: 검색 엔진처럼 키워드로 문서를 찾는 것.
3. 주목형 (Attention): AI 의 내부 시선을 추적하는 것.

결과는?

• 각 방법마다 장단점이 있었습니다. (예: 검색형은 복잡한 추론엔 약하지만, 주목형은 긴 문서에서 강함)
• 하지만 이 세 가지를 잘 섞어서 (Combine) 사용하면, 어떤 상황에서도 가장 높은 정확도를 보여줬습니다. 마치 축구팀에서 공격수, 수비수, 미드필더를 모두 잘 배치해야 우승할 수 있는 것과 같습니다.

💡 5. 결론: 왜 이 연구가 중요한가?

이 연구는 AI 가 "정답을 맞췄는데 근거를 못 찾는" 상황을 명확히 정의하고, AI 의 내부 작동 원리 (주목도) 를 활용하여 이를 효율적으로 고치는 방법을 제시했습니다.

• 핵심 메시지: AI 가 답을 낼 때, 우리가 "왜 그 답을 냈는지"를 검증할 수 있어야 신뢰할 수 있습니다.
• 미래 전망: 이 기술이 발전하면, 뉴스나 의학 정보처럼 정확성이 생명인 분야에서 AI 를 더 안전하게 쓸 수 있게 될 것입니다.

한 줄 요약:

"AI 가 정답은 맞췄는데 근거를 못 찾는 '인용 실수'를 막기 위해, AI 가 어디를 '주목'했는지 추적하고, 검색과 생성 기술을 섞어 완벽한 근거 제시 시스템을 만들었습니다."

기술 요약

이 논문은 LLM 기반 RAG(Retrieval-Augmented Generation)를 정의하고, 이를 해결하기 위한 효율적인 방법론을 제안한 연구입니다. 저자들은 기존 연구들이 '답변의 오류 (Response Failure)'와 '인용의 오류 (Citation Failure)'를 구분하지 않았던 점을 지적하며, 두 문제를 분리하여 분석하고 해결책을 모색했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Definition)

• **인용 실패 **(Citation Failure) 모델이 사용자에게 유용하고 정확한 답변을 생성했음에도 불구하고, 해당 답변을 뒷받침하는 증거 (Evidence) 를 제대로 인용하지 못하는 현상입니다.
• 기존 연구의 한계: 이전 연구들은 모델이 잘못된 답변을 내놓거나 (Response Failure), 증거가 부족하여 인용이 불가능한 경우를 포함하여 '인용 부족'을 분석했습니다. 그러나 저자들은 정확한 답변을 생성했음에도 불구하고 증거를 누락하거나 잘못된 증거를 인용하는 경우를 '인용 실패'로 명확히 정의하고 이를 분리하여 분석해야 한다고 주장합니다.
• 핵심 쟁점: 답변과 증거 간의 관계 (추론의 복잡성, 명시적/암시적 관계 등) 가 인용 품질에 어떻게 영향을 미치는지, 그리고 이를 효율적으로 어떻게 개선할 수 있는지입니다.

2. 방법론 (Methodology)

이 연구는 두 단계로 이루어진 접근 방식을 취합니다.

1 단계: 인용 실패 분석을 위한 벤치마크 구축 (CITECONTROL)

• CITECONTROL: 인용 실패를 체계적으로 분석하기 위해 제안된 새로운 벤치마크입니다.
  • 데이터 구성: RepliQA, BoolQ-M, MuSiQue, NeoQA 등 4 개의 기존 데이터를 기반으로 구성되었으며, 각 인스턴스에 대해 **정답 **(Ground Truth)과 완전한 증거 집합을 명시합니다.
  • 변수 통제: 답변과 증거 간의 관계를 두 가지 핵심 속성으로 조작하여 실험합니다.
    • **추론 유형 **(Reasoning Type) 단일 홉 (Single-hop), 멀티홉 (Multi-hop), 교차 (Intersection) 추론 등.
    • **명시성 **(Overtness) 답변이 증거 문서에 그대로 (Explicit) 있는지, 아니면 추론을 통해 도출되어야 하는지 (Implicit).
  • 평가 지표: **필터드 리콜 @k **(Filtered Recall @k, Rkf)을 도입했습니다. 이는 모델이 정답을 맞춘 인스턴스만 선별하여 인용의 정확성을 평가하는 지표로, 답변 오류와 인용 오류를 명확히 분리합니다.

2 단계: 인용 실패의 효율적 완화 (CITENTION)

• CITENTION: 생성 기반 (Generative), 어텐션 기반 (Attention-based), 검색 기반 (Retrieval-based) 인용 방법을 통합한 프레임워크입니다.
  • 생성 기반: 모델이 답변을 생성할 때 함께 인용 토큰을 출력하는 방식.
  • 어텐션 기반: LLM 내부의 **어텐션 값 **(Attention Values)을 활용하여 문맥의 어떤 부분이 모델의 출력에 영향을 미쳤는지 분석하고 인용 점수를 산출합니다 (ICR, AT2, QR 방법론 적용). 이는 추가적인 LLM 호출 없이 "무료"로 얻을 수 있는 정보입니다.
  • 검색 기반: 생성된 답변과 질문을 기반으로 BM25 나 DRAG 와 같은 검색기를 사용하여 문서를 재순위화합니다.
  • 결합 전략: 세 가지 방법의 점수를 가중 평균하여 최종 인용 결정에 활용합니다.

3. 주요 기여 (Key Contributions)

1. 인용 실패의 명확한 정의와 분리: 답변 오류와 인용 오류를 구분하는 새로운 분석 관점을 제시했습니다.
2. CITECONTROL 벤치마크: 관계의 복잡성과 명시성을 체계적으로 변형하여 인용 실패 모드를 분석할 수 있는 벤치마크를 공개했습니다.
3. CITENTION 프레임워크: 어텐션 값을 활용한 효율적인 인용 개선 방법론을 제안하고, 생성/어텐션/검색 기반 방법을 결합한 하이브리드 접근법을 검증했습니다.
4. 오픈 소스: 데이터와 코드 모두 공개하여 후속 연구를 장려했습니다.

4. 실험 결과 (Results)

CITECONTROL 분석 결과

• 모델 크기와 추론 복잡성: 작은 모델 (3B 이하) 은 단순한 1-to-1 관계에서도 인용 실패가 발생하지만, 모든 모델이 멀티홉 추론이나 복잡한 관계에서는 인용 실패를 보입니다.
• 관계의 영향: 답변과 증거가 명시적 (Explicit) 일 때 인용 성능이 높고, 암시적 (Implicit) 이거나 추론 단계가 깊어질수록 성능이 급격히 떨어집니다.
• 방법론별 차이: 생성 기반 방법은 명시적 관계에서는 잘 작동하지만, 검색 기반 방법은 질문 정보를 활용하여 암시적 관계에서 더 좋은 성능을 보입니다. 이는 서로 다른 방법이 서로 다른 조건에서 강점을 가진다는 것을 의미합니다.

CITENTION 개선 효과

• 어텐션 기반의 유효성: 어텐션 기반 방법은 생성 기반 인용보다 평균적으로 10% 이상의 상대적 개선을 보였으며 (전송 학습 설정에서), 특히 추출형 (Extractive) 답변에서 효과적이었습니다.
• 하이브리드 접근의 우위: 생성, 어텐션, 검색 기반 방법을 모두 결합한 COMB 모델이 모든 데이터셋과 모델에서 가장 높은 성능을 기록했습니다. (평균적으로 생성 기반 대비 최소 5% 이상 개선).
• 추론 토큰 마스킹: 어텐션 계산 시 추론 과정의 토큰을 마스킹 (Masking) 하면 인용 성능이 향상되는 것을 발견했습니다.
• 모델 아키텍처 의존성: Llama 모델은 Qwen 모델보다 어텐션 기반 인용에 더 민감하게 반응하여 더 좋은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 효율성: 기존에 인용 개선을 위해 파인튜닝 (Fine-tuning) 이나 다단계 LLM 호출을 사용했던 비효율적인 방식 대신, 모델 내부의 어텐션 값을 활용하여 추가 학습 없이도 인용 품질을 크게 향상시킬 수 있음을 증명했습니다.
• 실용성: 계산 자원이 제한된 환경에서도 적용 가능한 실용적인 인용 솔루션을 제시했습니다.
• 미래 연구 방향: LLM 이 생성하는 것보다 더 많은 정보를 내부에 encode 하고 있음을 시사하며, 어텐션 기반의 재순위화 (Reranking) 및 신뢰할 수 있는 RAG 시스템 구축에 중요한 통찰을 제공합니다.

요약하자면, 이 논문은 LLM 이 정확한 답변을 내더라도 증거를 인용하지 못하는 '인용 실패' 문제를 정밀하게 분석하고, CITECONTROL이라는 벤치마크를 통해 그 원인을 규명하며, CITENTION을 통해 어텐션 메커니즘을 활용한 효율적인 해결책을 제시한 획기적인 연구입니다.