BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation

이 논문은 과학적 출판 에이전트에서 대규모 언어 모델 (LLM) 이 웹 검색 기능을 활용하더라도 여전히 BibTeX(문헌 인용 형식) 생성 시 필드 수준의 오류가 광범위하게 발생한다는 문제를 다루고 있습니다. 저자들은 기존 연구들이 웹 검색 없이 기본 모델을 평가한 한계를 지적하고, 검색 기능이 활성화된 최첨단 모델들의 성능을 체계적으로 평가하고 완화 방안을 제시합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의 (Problem)

• 문헌 인용 환각 (Citation Hallucination): LLM 이 과학적 논문을 작성할 때 존재하지 않는 논문을 생성하거나, 실제 논문의 메타데이터 (저자, 제목, DOI, 페이지 등) 를 왜곡하는 현상이 빈번합니다.
• 기존 평가의 한계: 이전 연구들은 웹 검색 기능이 없는 기본 LLM 을 평가하거나, 수동 검증에 의존했습니다. 하지만 실제 연구자들은 웹 검색이 활성화된 에이전트 (ChatGPT, Claude, Gemini 등) 를 사용하며, 이러한 환경에서의 BibTeX 정확도에 대한 체계적인 평가가 부재했습니다.
• 오류의 파급력: BibTeX 오류는 원고, 참고문헌 목록, 그리고 하위 인용 분석에 직접적으로 전파되어 과학적 신뢰성을 훼손합니다.

2. 방법론 (Methodology)

A. 벤치마크 구축 (Benchmark)

• 데이터셋: 4 가지 과학 분야 (AI, 의학, 재료과학, 양자 컴퓨팅) 와 3 가지 인용 계층 (인기 논문, 저인용 논문, 최근 논문) 으로 구성된 931 편의 논문으로 구성된 벤치마크를 구축했습니다.
• 계층 설계:
  • 인기 (Popular): 2010-2022 년, 고인용 논문 (학습 데이터에 존재할 가능성 높음).
  • 저인용 (Low-citation): 2015-2025 년, 하위 25% 인용 논문 (학습 데이터 기억 부족, 검색 의존성 테스트).
  • 최근 (Recent): 2025-2026 년, 모델의 지식 컷오프 (Knowledge Cutoff) 이후 논문 (순수 검색 의존성 테스트).
• Ground Truth: 단일 논문의 여러 버전 (arXiv 프리프린트, 회의록, 저널 버전) 을 모두 고려한 '버전 인식 (version-aware)' 기준을 적용하여, 다른 버전을 인용하는 것을 오류로 오인하지 않도록 설계했습니다.

B. 평가 모델 및 설정

• 모델: 검색 기능이 활성화된 3 가지 최첨단 모델 평가: GPT-5, Claude Sonnet 4.6, Gemini 3 Flash.
• 프롬프트: 자연어 설명 (제목과 첫 저자) 을 기반으로 BibTeX 를 요청하는 '알려진 항목 검색 (Known-item retrieval)' 전략 사용.
• 오류 분류 체계 (Error Taxonomy): 9 가지 필드 (Entry type, Author, Title, Year, Venue, Volume, Number, Pages, DOI) 를 6 가지 레이블로 분류:
  • Correct (C), Missing (M), Fabricated (F, 존재하지 않음), Partially correct (P), Substituted (S, 다른 논문), Not applicable (X).

C. 완화 도구: clibib

• 도구 설명: Zotero Translation Server 를 통해 DOI, arXiv ID 등 식별자를 기반으로 결정론적 (Deterministic) 으로 검증된 BibTeX 를 검색하는 오픈소스 Python 도구.
• 통합 아키텍처 비교:
  1. 단일 단계 (Single-stage): 모델이 웹 검색과 clibib 도구를 동시에 사용하여 BibTeX 를 생성.
  2. 이중 단계 (Two-stage): 1 단계에서 모델이 기본 BibTeX 를 생성한 후, 2 단계에서 클라이언트 측에서 clibib 로 검증된 레코드를 가져와 모델이 필드별 정합성 (Reconciliation) 을 수행하도록 함.

3. 주요 결과 (Key Results)

A. 성능 평가

• 전체 정확도: 검색이 활성화된 모델들의 필드별 평균 정확도는 **83.6%**였으나, **모든 필드가 정확한 완전한 항목 (Fully correct entries) 은 50.9%**에 불과했습니다.
• 계층별 격차: 인기 논문 (92.7%) 과 최근 논문 (65.0%) 사이의 정확도 격차는 27.7%p로, 모델이 검색이 가능하더라도 여전히 '매개변수적 기억 (Parametric memory)'에 크게 의존하고 있음을 보여줍니다.
• 모델 비교: Gemini 3 Flash 가 전반적으로 가장 우수했으며 (88.9%), GPT-5 와 Claude Sonnet 4.6 이 뒤를 이었습니다.
• 오류 패턴:
  • Wholesale Entry Substitution: 저자, 제목, 출판처 등 식별 필드가 동시에 틀려 완전히 다른 논문을 인용하는 경우.
  • Isolated Field Error: 개별 필드 (예: 페이지 번호, DOI) 만 틀리는 경우.

B. 완화 효과 (Mitigation)

• 성능 향상: 이중 단계 (Two-stage) 통합 아키텍처를 적용한 결과, 전체 필드 정확도가 **83.6% → 91.5%**로 상승 (+8.0%p) 하였고, 완전한 항목 비율은 **50.9% → 78.3%**로 크게 개선되었습니다.
• 회귀율 (Regression Rate): 단일 단계 방식은 기존에 맞던 항목을 틀리게 만드는 회귀율이 4.8% 였으나, 이중 단계 방식은 **0.8%**로 현저히 낮았습니다. 이는 검색과 수정을 분리하는 아키텍처가 모델의 지시를 따르는 능력을 향상시킴을 시사합니다.
• 오류 유형별 교정: 누락된 필드 (Missing) 와 부분적 오류 (Partial) 는 크게 교정되었으나, 모델이 아예 잘못된 논문을 찾아낸 경우 (Substitution) 는 교정율이 낮았습니다.

4. 주요 기여 (Contributions)

1. 새로운 벤치마크: 931 편의 논문과 버전 인식 기준을 갖춘 BibTeX 생성 평가 벤치마크 공개.
2. 체계적 평가: 검색 기능이 활성화된 3 대 모델에 대한 23,000 개 이상의 필드 수준 관측 데이터 및 6 가지 오류 분류 체계 제시.
3. mitigation 도구 (clibib): 결정론적 BibTeX 검색 도구 개발 및 평가. 특히 검색과 수정을 분리하는 '이중 단계' 아키텍처가 모델의 능력과 무관하게 성능 향상을 이끈다는 것을 증명했습니다.

5. 의의 및 결론 (Significance)

• 검색의 한계: 웹 검색을 활성화하더라도 LLM 이 최신 논문이나 저인용 논문의 메타데이터를 정확하게 생성하는 것은 여전히 어렵습니다. 모델은 검색 결과를 찾더라도 이를 기억에서 재구성하는 과정에서 오류를 범합니다.
• 아키텍처의 중요성: 단순히 도구를 사용하는 것뿐만 아니라, 어떻게 도구를 통합하느냐 (검색 vs. 수정 분리) 가 결과의 정확도와 회귀율에 결정적인 영향을 미칩니다.
• 실무적 권고: LLM 이 생성한 BibTeX 항목은 출판 전 반드시 권위 있는 데이터베이스 (CrossRef, DBLP 등) 를 통한 검증이 필요합니다. 본 논문에서 제안한 clibib 와 같은 결정론적 검증 레이어를 파이프라인에 통합하는 것이 가장 효과적인 완화 전략입니다.

이 연구는 과학적 출판 에이전트의 신뢰성을 높이기 위해 단순한 모델 성능 개선보다는 검증 가능한 외부 데이터 소스와의 통합 방식을 최적화해야 함을 강조합니다.