Attribution, Citation, and Quotation: A Survey of Evidence-based Text Generation with Large Language Models

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 급속한 확산은 모델의 신뢰성과 신뢰성에 대한 심각한 우려를 불러일으켰습니다. 특히 할루시네이션 (Hallucination, 사실과 다른 정보 생성) 과 훈련 데이터에 국한된 지식 한계는 주요 문제입니다. 이를 해결하기 위해 생성된 텍스트를 지지하는 증거 (Evidence) 와 연결하여 검증 가능하고 추적 가능한 증거 기반 텍스트 생성 (Evidence-based Text Generation) 연구가 활발해지고 있습니다.

그러나 현재 이 분야는 다음과 같은 이유로 파편화 (Fragmentation) 되어 있습니다:

• 일관성 없는 용어: '인용 (Citation)', '귀속 (Attribution)', '발췌 (Quotation)' 등 유사한 개념을 지칭하는 용어가 연구마다 다르게 사용됩니다.
• 고립된 평가 관행: 연구마다 서로 다른 평가 지표와 벤치마크를 사용하여 결과를 비교하기 어렵습니다.
• 통합된 벤치마크 부재: 분야 전체를 아우르는 통일된 평가 체계가 없습니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해소하기 위해 체계적인 문헌 조사를 수행했습니다.

• 데이터 수집: PRISMA 프로토콜을 따르는 체계적인 매핑 연구를 수행하여 1,040 건의 논문을 식별하고, 중복 제거 후 805 건을 스크리닝하여 최종 134 편의 관련 논문을 선정했습니다.
• 범주화 및 분석: 선정된 논문들을 분석하여 134 편의 논문, 300 개의 평가 지표, 19 개의 프레임워크, 231 개의 데이터셋, 11 개의 벤치마크를 추출하고 분류했습니다.
• 분석 차원:
  • 귀속 접근법 (Attribution Approach): 파라메트릭 (모델 내부 지식) vs 논파라메트릭 (외부 증거).
  • 인용 특성 (Citation Characteristics): 인용 모드, 증거 수준, 인용 스타일, 가시성, 빈도.
  • 작업 (Task): QA, 요약, 사실 검증 등.
  • LLM 통합 전략: 학습 (Pretraining/Fine-tuning) vs 프롬프팅.
  • 평가 (Evaluation): 7 가지 차원과 6 가지 방법으로 평가 지표를 분류.

3. 주요 기여 (Key Contributions)

이 연구는 해당 분야에 대한 최초의 포괄적인 조사이며 다음과 같은 핵심 기여를 제공합니다:

1. 첫 번째 통합 분류 체계 (Taxonomy) 제시:

   • 증거 기반 텍스트 생성을 귀속 접근법, 인용 특성, 작업의 3 가지 독립적인 차원으로 분류하는 다차원 분류 체계를 제안했습니다.
   • 이를 통해 다양한 연구들을 체계적으로 비교하고 위치시킬 수 있는 기준을 마련했습니다.

2. 300 개 평가 지표의 체계적 분류:

   • 300 개의 평가 지표를 7 가지 차원 (귀속, 인용, 정확성, 언어적 품질, 보존, 관련성, 검색) 과 6 가지 방법 (인간 평가, 추론 기반, 어휘 중첩, LLM-as-a-Judge, 검색 기반, 의미적 유사성) 으로 분류했습니다.
   • 현재 평가 관행의 표준화 부족을 지적하고, 향후 연구에 필요한 가이드라인을 제시했습니다.

3. 연구 동향 및 한계 분석:

   • 파라메트릭 vs 논파라메트릭: 현재 연구의 90% 이상이 외부 증거를 활용하는 논파라메트릭 (Non-parametric, 예: RAG) 접근법에 집중되어 있으며, 모델 내부 지식을 활용한 파라메트릭 접근법은 아직 초기 단계입니다.
   • 모달리티 한계: 96% 의 연구가 텍스트 기반 증거만 사용하며, 그래프, 테이블, 시각적 요소 등 멀티모달 증거는 거의 다루지 않고 있습니다.
   • 평가의 표준화 부재: 300 개의 지표가 존재하지만, 실제로 여러 연구에서 재사용되는 프레임워크는 ALCE 와 G-Eval 등 극히 일부에 불과합니다.

4. 주요 결과 및 통찰 (Results & Insights)

• 귀속 접근법 (Attribution):

  • 논파라메트릭이 지배적입니다. 특히 Post-Retrieval(생성 전 검색) 방식이 가장 흔하며, RAG 파이프라인의 실용성을 반영합니다.
  • In-Generation(생성 중 동적 검색) 은 유망하지만 아직 연구가 부족합니다.
  • 파라메트릭 접근법은 모델 내부 지식의 한계를 보여주며, 순수 LLM 만으로는 신뢰할 수 있는 인용 생성이 어렵다는 것이 확인되었습니다.

• 인용 특성:

  • 인용 스타일: 문장 내 인용 (In-line Citations) 이 62% 로 가장 우세합니다.
  • 증거 수준: 문서나 단락 수준의 거시적 (Coarse-grained) 증거가 주를 이루지만, 문장이나 토큰 수준의 미세한 (Fine-grained) 증거에 대한 연구가 증가하고 있습니다.
  • 모달리티: 텍스트가 압도적으로 우세하며, 비텍스트 (이미지, 테이블 등) 증거는 미미합니다.

• 평가 (Evaluation):

  • 핵심 차원: '귀속 (Attribution)', '인용 (Citation)', '정확성 (Correctness)'이 핵심 평가 차원입니다.
  • 지표 한계: 자동화된 지표 (Lexical Overlap, NLI 등) 는 확장성은 좋으나 의미적 정확성을 완전히 포착하지 못합니다. 인간 평가가 여전히 중요하지만 비용이 많이 듭니다.
  • 표준화 필요: ALCE 와 G-Eval 같은 재사용 가능한 프레임워크가 거의 없어 연구 간 비교가 어렵습니다.

5. 의의 및 향후 방향 (Significance & Future Directions)

이 논문은 증거 기반 텍스트 생성 분야의 파편화된 지식을 통합하여 연구자와 개발자에게 명확한 로드맵을 제공합니다.

• 향후 연구 방향:
  1. 하이브리드 귀속: 파라메트릭 (내부 지식) 과 논파라메트릭 (외부 증거) 방식을 결합한 하이브리드 접근법 개발.
  2. 표준화된 평가 프레임워크: 다양한 작업과 차원을 포괄하는 통일된 평가 기준과 벤치마크 마련.
  3. 설명 가능한 인용: LLM 이 왜 특정 출처를 선택했는지 그 이유를 설명할 수 있는 메커니즘 구축 (Explainable Citations).
  4. 멀티모달 증거: 텍스트뿐만 아니라 그래프, 테이블, 이미지 등 다양한 형태의 증거를 통합하여 생성하는 연구 확대.

결론적으로, 이 조사는 LLM 의 신뢰성을 높이기 위해 필수적인 '증거 기반 생성' 기술의 현재 상태를 정밀하게 진단하고, 향후 연구가 나아가야 할 방향을 제시함으로써 해당 분야의 성숙과 표준화에 기여합니다. 저자들은 분석에 사용된 모든 데이터셋과 주석 데이터를 공개 저장소 (GitHub) 를 통해 공개하여 재현성과 후속 연구를 지원하고 있습니다.