C$^2$-Cite: Contextual-Aware Citation Generation for Attributed Large Language Models

논문 개요: C2-Cite

제목: C2-Cite: 속성 부여된 대규모 언어 모델을 위한 문맥 인식 인용 생성 (Contextual-Aware Citation Generation for Attributed Large Language Models)
저자: Yue Yu, Ting Bai, Hengzhi Lan 등 (베이징 우정통신대학교 등)
발표: WSDM '26 (2026 년 2 월)

---

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 신뢰성을 높이기 위해 생성된 문장에 외부 지식 출처를 인용하는 '속성 부여 (Attribution)' 기술이 중요해지고 있습니다. 그러나 기존 방식, 특히 지시 미세 조정 (Instruction-tuned) 된 속성 부여 LLM 들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 문맥 무감각한 인용 기호: 기존 모델은 인용 기호 (예: [1], [i]) 를 단순한 '대시어 (Placeholder)'로만 취급합니다. 즉, 해당 기호가 가리키는 문서의 실제 의미 (Semantic content) 와 기호 자체를 연결하지 못합니다.
• 연결성 부재: 이로 인해 생성된 텍스트와 인용 기호 간의 의미적 연결이 끊어지거나, 존재하지 않는 문서를 인용하는 '할루시네이션'이 발생합니다.
• 생성 품질 저하: 인용 기호를 무작위로 삽입하는 과정에서 모델의 주의 메커니즘 (Attention) 이 문맥의 흐름을 방해받아, 전체 응답의 일관성과 정확도가 떨어질 수 있습니다.

2. 제안 방법론 (Methodology: C2-Cite)

저자는 인용 기호와 참조된 콘텐츠 간의 명시적인 의미 관계를 모델링하기 위해 C2-Cite라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 수동적인 기호를 능동적인 지식 포인터로 변환하는 두 가지 핵심 구성 요소를 도입합니다.

2.1 문맥 인식 임베딩 (Contextual-Aware Embedding)

• 개념: 기존 LLM 이 인용 토큰을 의미 없는 기호로 처리하는 대신, 해당 인용이 참조하는 검색된 문서의 문맥 정보 (Contextual Information) 를 임베딩에 직접 주입합니다.
• 구현:
  • 다중 토큰 형태의 인용 기호 (예: [1]) 를 단일 특수 토큰 (예: ⟨c₁⟩) 으로 변환합니다.
  • 각 인용 토큰 ⟨cᵢ⟩ 에 대해, 참조 문서 dᵢ 의 토큰 임베딩들을 평균 풀링 (Mean-pooling) 하여 문맥 임베딩 (Contextual Embedding) 을 생성하고, 이를 해당 인용 토큰의 임베딩으로 대체합니다.
  • 이를 통해 모델은 인용 기호를 통해 직접 문서의 의미에 접근할 수 있게 됩니다.

2.2 문맥 인용 정렬 (Contextual Citation Alignment)

• 목적: 생성된 텍스트가 올바른 인용 기호와 매칭되도록 미세 조정 (Fine-tuning) 과정을 최적화합니다.
• 구성:
  1. 인용 라우터 (Citation Router): 현재 토큰이 일반 텍스트인지 인용 기호인지 분류하는 이진 분류기를 학습합니다.
  2. 인용 정렬 (Citation Alignment): 인용 토큰의 숨겨진 상태 (Hidden state) 를 문서 임베딩 공간으로 매핑하고, 해당 토큰이 실제로 어떤 문서 (인용 번호) 를 가리켜야 하는지 분류하도록 학습합니다. 이는 인용 기호와 참조 문서 간의 의미적 유사성을 기반으로 합니다.

2.3 문맥 주의 증강 (Contextual Attentive Augment)

• 문제 해결: 인용 기호 삽입으로 인해 발생할 수 있는 문장 간 연결 단절을 방지합니다.
• 메커니즘: 모델이 이전 인용 토큰을 생성한 후 다음 토큰을 생성할 때, 해당 인용 토큰에 대한 주의 점수 (Attention Score) 를 의도적으로 높게 유지하도록 손실 함수 (Loss function) 를 설계합니다.
• 효과: 인용 기호를 기준으로 앞뒤 문장 간의 의미적 연속성을 강화하여, 인용이 삽여되어도 응답의 흐름이 매끄럽게 유지되도록 합니다.

2.4 최적화 (Optimization)

최종 손실 함수는 일반 텍스트 생성 손실, 인용 정렬 손실, 라우터 손실, 그리고 문맥 주의 증강 손실의 가중 합으로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 인용 기호와 참조 콘텐츠 간의 의미적 관계를 명시적으로 모델링하는 C2-Cite 프레임워크를 제안했습니다.
2. 기술적 혁신: 인용 기호를 단순한 플레이스홀더가 아닌, 문서 의미를 인코딩한 능동적인 지식 포인터로 변환하는 문맥 인식 임베딩 및 정렬 메커니즘을 도입했습니다.
3. 성능 입증: ALCE 벤치마크 (ASQA, ELI5, QAMPARI) 에서 기존 최첨단 (SOTA) 모델인 Front 를 능가하는 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

ALCE 벤치마크 (Llama3-8B 기반) 에서의 평가 결과:

• 인용 품질 (Citation Quality):
  • 인용 정밀도, 재현율, F1 점수에서 SOTAbaseline 인 Front 모델 대비 평균 5.8% 향상.
  • 특히 C2-Cite++ 모델은 모든 데이터셋에서 가장 높은 Citation-F1 점수를 기록했습니다.
• 응답 정확도 (Response Correctness):
  • 인용이 포함된 응답의 사실적 정확도에서 SOTA 대비 평균 17.4% 향상.
  • 이는 인용 기호가 문맥을 방해하지 않고 오히려 정보의 신뢰성을 높였음을 의미합니다.
• 효율성:
  • 반복적 검색 (Iterative) 기반 방법론에 비해 단일 패스 (Single-pass) 생성을 유지하면서도 높은 성능을 달성하여 처리량 (Throughput) 이 우수했습니다.
• Ablation Study:
  • 문맥 인식 임베딩 (CAE) 을 제거할 경우 인용 품질이 약 25.6%, 정확도가 21.7% 급감하여 이 구성 요소의 중요성을 입증했습니다.
  • 문맥 주의 증강 (Attn) 을 제거할 경우에도 성능이 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 기존 LLM 이 인용 기호를 '형식적인 마커'로만 인식하던 방식을 넘어, 이를 '의미 있는 지식 포인터'로 재정의했습니다.
• 신뢰성 향상: 사용자는 생성된 답변의 출처를 명확히 추적할 수 있으며, 모델은 할루시네이션을 줄이고 사실에 기반한 답변을 생성할 수 있게 됩니다.
• 실용성: 복잡한 데이터 전처리 파이프라인에 의존하지 않고, 모델 내부의 표현 학습 방식을 개선하여 다양한 데이터셋에서 일관된 성능 향상을 이끌어냈습니다.

이 연구는 RAG(검색 증강 생성) 및 속성 부여 LLM 분야에서 인용의 정확성과 응답의 자연스러움을 동시에 달성하기 위한 중요한 기술적 진보로 평가됩니다.