💬 NLP

Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection

이 논문은 구조화된 추출, 다중 소스 증거 검색, 그리고 특화된 에이전트 추론을 통해 과학적 참고 문헌의 고정밀 검증을 달성하기 위해, 인용 환각 탐지를 분류 체계에 정렬된 필드 수준의 판결 작업으로 재구성한 멀티 에이전트 프레임워크인 CiteTracer를 소개한다.

원저자: Mingzhe Li, Zhiqiang Lin, Shiqing Ma

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingzhe Li, Zhiqiang Lin, Shiqing Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모든 책이 과학 논문인 거대하고 북적이는 도서관을 걷고 있다고 상상해 보세요. 이 도서관에서 가장 중요한 것은 단순히 책 안의 이야기가 아니라, 그 책이 남긴 '빵 부스러기(breadcrumbs)', 즉 인용입니다. 이것들은 "나는 저기에 있는 저 책에서 이 아이디어를 얻었다"라고 말해주는 작은 메모와 같습니다. 이것은 다른 탐험가들이 원래의 보물을 찾을 수 있게 해주는 지도입니다. 하지만 최근에, 누구보다 빠르게 이야기를 써 내려갈 수 있는 초지능 로봇인 새로운 종류의 사서가 도착했습니다. 문제는 이 로봇이 좋은 이야기를 만드는 데 너무 열중한 나머지, 스스로 빵 부스러기를 만들어내기도 한다는 점입니다. 로봇은 실제처럼 들리는 책 제목, 유명해 보이는 저자, 혹은 그럴싸한 연도를 적어 넣을 수도 있지만, 막상 그 선반으로 걸어가 보면 그 책은 그곳에 존재하지 않습니다. 이것은 '환각(hallucination)'입니다. 사실을 확인하기 전까지는 진짜처럼 보이는 설득력 있는 거짓말이죠.

이것은 큰 문제입니다. 왜냐하면 과학은 신뢰를 바탕으로 운영되기 때문입니다. 만약 연구자가 논문이 인용했다고 주장하는 출처를 찾을 수 없다면, 증거의 사슬 전체가 끊어집니다. 지금까지 이러한 가짜 빵 부스러기를 잡아내기 위해 설계된 도구들은 클럽의 보안 요원처럼 단순한 규칙을 가지고 있었습니다: "들어오거나, 나가거나." 그들은 책이 존재하는지 확인했지만, 만약 책의 이름이 약간 다르거나 저자의 이름 철자가 이상하게 적혀 있다면, 보안 요원은 혼란에 빠져 가짜를 들여보내거나 진짜를 쫓아내 버리곤 했습니다. 그들은 오타, 별명, 그리고 완전한 조작 사이의 차이를 구별할 수 없었습니다.

여기, 리밍제(Mingzhe Li), 린즈창(Zhiqiang Lin), 마스칭(Shiqing Ma) 연구원이 만든 새로운 디지털 탐정 팀인 CITETRACER가 등장했습니다. 이들은 단순히 "이것이 가짜인가?"라고 묻는 대신, "정확히 무엇이 잘못되었는가?"라고 묻는 훨씬 더 똑똑한 시스템을 만들었습니다. 그들은 인용에는 제목, 저자, 연도, 출판사와 같이 서로 다른 부분들이 있으며, 한 부분의 실수가 반드시 전체가 거짓임을 의미하는 것은 아니라는 점을 깨달았습니다.

이를 해결하기 위해, 팀은 12가지 코드 규칙집을 구축했습니다. 이것은 단순히 "멈춰" 또는 "가"라고 말하는 교통 경찰이 아니라, "속도 위반입니다", "신호를 위반했습니다", 또는 "면허증을 소지하지 않았습니다"와 같이 구체적인 딱지를 끊을 수 있는 경찰과 같습니다. 그들의 시스템은 인용을 세 가지 주요 바구니로 분류합니다: REAL(완벽하거나 약간 지저도 있는 상태), POTENTIAL(괜찮아 보이지만 별명이나 비학술적 출처처럼 재검토가 필요한 상태), 그리고 HALLUCINATED(완전히 지어낸 상태).

탐정들은 4단계 릴레이 경주 방식으로 작동합니다. 먼저, **참조 추출기(Reference Extractor)**는 PDF의 복잡한 텍란을 읽어 깨끗하고 정리된 사실 목록으로 변환하는 하이테크 스캐너 역할을 합니다. 다음으로, **계층적 증거 수집기(Cascading Evidence Collector)**는 보물 찾기를 떠납니다. 이들은 빠른 메모리 캐시를 확인하는 것으로 시작하여, 직접적인 링크(예: DOI)를 따라가고, 그다음에는 전문 학술 데이터베이스에 문의하며, 마지막으로 필요하다면 광범적인 웹 검색을 수행합니다. 이는 자신의 노트를 확인하고, 그다음 저자에게 전화를 걸고, 그다음 도서관 카탈로그를 확인한 뒤, 마지막으로 온 마을에 물어보는 것과 같습니다.

증거를 확보하면, **필드 매처(Field Matcher)**가 로봇의 주장과 실제 사실을 하나씩 대조합니다. 만약 제목은 일치하지만 연도가 틀리다면, 연도 부분만을 표시합니다. 마지막으로, 사건이 까다로운 경우 클래스 전문 판사(Class-Specialist Judgers) 패널이 투입됩니다. 이들은 서로 다른 유형의 오류를 전문적으로 다루는 전문가 판사들입니다. 한 명의 판사는 "실제지만 지저분한" 사례를 처리하고, 다른 판사는 "진짜일지도 모르는" 사례를, 또 다른 판사는 "완전한 가짜" 사례를 처리합니다.

팀은 자신들이 직접 만든 2,450개의 가짜 및 진짜 인용과, 이미 컨퍼런스 주최측에 의해 적발된 957개의 실제 세계 가짜 인용 사례가 포함된 거대한 놀이터에서 시스템을 테스트했습니다. 결과는 인상적이었습니다: CITETRACER는 테스트 세트에서 **97.1%**의 정확도를 기록했습니다. 특히 까다로운 "가짜" 인용(98.5% 정확도)과 "아마도" 인용(95.8% 정확도)을 찾아내는 데 탁-월했으며, 단순히 "예/아니오"만 예측하는 다른 도구들을 크게 앞질렀습니다. 실제 컨퍼런스 논문의 복잡한 환경에서 테스트했을 때, 이 시스템은 단 하나의 조작된 참조도 놓치지 않고 **97.1%**를 잡아냈습니다.

요약하자면, 이 논문은 문제를 작고 구체적인 조각들로 나누고, 일반론적인 한 명의 전문가 대신 전문화된 전문가 팀을 사용함으로써, 로봇의 거짓말을 훨씬 더 높은 정밀도로 잡아낼 수 있음을 보여줍니다. 이는 흐릿한 "가짜일지도 모른다"를 명확한 "정확히 무엇이 잘못되었다"로 바꾸어, 과학의 도서관을 정직하게 유지하는 데 도움을 줍니다.

기술 요약: 출처가 없으면 발생하지 않은 것이다: 인용 환각 탐지를 위한 멀티 에이전트 프레임워크

문제 정의

대규모 언어 모델(LLM)이 과학적 저술 워크플로우에 점점 더 통합되고 있으나, 이들은 종종 그럴듯해 보이지만 서지 검증에는 실패하는 "인용 형태의" 참조(citation-shaped references)를 조작해 낸다. 이러한 환각은 실제 논문의 잘못된 메타데이터부터 완전히 존재하지 않는 출판물에 이르기까지 다양하다. 기존의 탐지 도구들은 두 가지 주요 한계점을 가진다:

이진적 한계: 대부분의 상용 및 학술적 감사 도구(예: Citely, CiteAudit, Hallucinator)는 검증을 이진적인 "실제 또는 가짜(Real-or-Fake)" 결정으로 축소한다. 이는 모호한 중간 지대(예: 별칭 변형, 비학술적 출처, 주변 메타데이터 공백)를 단일 신호로 붕괴시켜, 감사인이 교정 가능한 오류와 조작을 구분하는 데 필요한 필드 수준의 세밀함을 제공하지 못한다.
입력 취약성: 기존 시스템은 종종 항목을 누락하거나 저자/제목 범위를 잘못 분할하거나 스스로 필드를 환각하는 취약한 PDF 파서에 의존하여, 검증이 시작되기도 전에 입력을 오염시킨다.

또한, 기존 도구들은 대부분 폐쇄형 소스이며 불투명한 지표를 사용하기 때문에, 일관된 정답(ground truth)을 갖춘 개방형 벤치마크가 부족한 실정이다.

방법론: CITETRACER

저자들은 인용 환합 탐지를 분류 체계에 정렬된 필드 수준의 판결로 재정의하기 위해 설계된 계층적 멀티 에이전트 프레임워크인 CITETRACER를 소개한다. 이 시스템은 다음 네 가지 순차적 모듈을 통해 작동한다:

1. 참조 추출기 (레이아웃 인식 파싱)

입력 취약성을 해결하기 위해, 이 모듈은 OCR 텍스트에만 의존하는 것을 피한다. 대신, 다음과 같은 2단계 프로세스를 사용한다:

OCR 제안: OCR 모델이 참고문헌 영역을 식별하고 초기 전사(transcription)를 제공한다.
Vision-LLM 재파싱: 파싱 에이전트는 인용 블록의 크롭된 이미지와 OCR 텍스트를 입력으로 받아, 시각적 증거로부터 구조화된 서지 필드(제목, 저자, 학술지, 연도, DOI, 페이지, 출판사, 위치, URL)를 직접 다시 추출한다. 이를 통해 시스템은 OCR 오류를 수정하고, 열/페이지에 걸쳐 분리된 참조를 처리하며, 경직된 수동 규칙 없이도 다양한 참고문헌 스타일을 정규화할 수 있다.

2. 계층적 증거 수집기 (Cascading Evidence Collector)

수집 비용과 소스 커버리지 사이의 균형을 맞추기 위해, 시스템은 가장 저렴한 것부터 가장 일반적인 것까지 순서대로 구성된 4단계 검색 캐스케이드를 채택한다:

메모리(Memory): 오프라인 DBLP 미러에서 초기화되어 검증된 인용으로 업데이트된 캐시를 쿼리한다.
URL 페치(URL Fetch): 인용 내에 명시된 링크(DOI, arXiv, 출판사 페이지)에서 직접 구조화된 메타데이터를 추출한다.
스콜라 커넥터(Scholar Connectors): 도메인 특화 및 일반 문헌을 모두 커버하기 위해 8개의 공개 서지 소스(예: DBLP, ACL Anthology)에 병렬 쿼리를 수행한다.
웹 검색(Web Search): 웹 에이전트를 사용하여 인용 기록으로부터 검색 쿼리를 생성하고, 인덱싱되지 않았거나 롱테일(long-tail) 참조를 위해 가공되지 않은 웹 요약을 검색하는 폴백(fallback) 단계이다.
이 캐스케이드는 특정 단계에서 "REAL(실제)" 판정을 위한 충분한 증거가 확보되면 조기에 중단되어 후속 단계를 건너뛴다.

3. 필드 매처 (Field Matcher)

이 모듈은 추출된 인용과 검색된 증거 묶음( $E_i$ ) 사이의 결정론적 필드 수준 매칭을 수행한다.

결정론적 단계: 규칙 기반 정규화 도구(대소문자 통합, DOI 정규화, 저자 순서 정규화 등)를 적용하여 일치 여부를 확인한다. 후보가 명시적으로 제공된 모든 필드와 일치하면, 시스템은 "VALID(유효)" 케이스로 조기 종료된다.
매처 에이전트(Matcher Agent): 결정론적 규칙이 인용을 완전히 해결하지 못할 경우, 특화된 에이전트가 잔여 불일치를 조사한다. 이 에이전트는 불일치를 정규화 가능한 변형, 누락된 메타데이터 또는 실제 모순으로 분류하여 다운스트림 판결을 위한 필드 상태 프로필을 생성한다.

4. 클래스 전문 판정사 (Class-Specialist Judgers)

단일한 판정사가 아닌, 시스템은 필드 상태 프로필에 따라 세 가지 전문 에이전트로 사례를 라우팅한다:

Valid Judger (유효 판정사): 정규화 가능한 잔여 사례(예: 형식 변형)를 처리한다.
Potential Judger (잠재 판정사): 모호하지만 그럴듯한 사례(예: 별칭 변형, 비학술적 출처)를 처리한다.
Hallucinated Judger (환각 판정사): 증거가 인용과 모순되거나 증거가 없는 경우를 처리한다.
각 판정사는 분류 체계에 정렬된 판결, 구체적인 위반 필드 및 지원 증거 출처를 출력한다.

벤치마크 및 분류 체계

본 논문은 세 가지 클래스로 그룹화된 종합적인 12개 코드 인용 환각 분류 체계를 도입한다:

REAL (R1–R3): 정확한 일치 및 정규화 가능한 형식 변형(약어, 이니셜, et al.).
POTENTIAL (P1–P3): 별칭/전사 변형, 비학술적 출처, 검증되지 않은 주변 메타데이터를 포함한 모호한 사례.
HALLUCINATED (H1–H6): 특정 필드 수준의 조작(제목, 저자, 학술지, 연도, 식별자, 주변 메타데이터).

평가를 지원하기 위해 저자들은 다음을 공개한다:

합성 벤치마크: 실제 시드에서 파생되어 필드별로 제어된 LLM 기반 변형이 적용된 2,450개의 인용. 이는 5가지 렌더링 스타일(PDF 및 BibTeX)을 포괄한다.
실제 세계 테스트 세트: ICLR 2026 및 환각이 발견되어 학술대회 의장으로부터 반려된 익명의 제출물에서 추출한 957개의 인용.

결과

CITETRACER는 합성 및 실제 세계 데이터셋 모두에서 5개의 베이스라인(GPT-5.5, Claude 4.7 Opus, Gemini 3.1 Pro, Hallucinator, GPTZero)과 비교 평가되었다.

합성 벤치마크 성능:
- 97.1%의 전체 정확도를 달성했다.
- 클래스별 F1 점수: REAL (97.0), POTENTIAL (95.8), HALLUCINATED (98.5).
- 모든 베이스라인을 크게 앞질렀으며, 특히 이진 판정 도구들이 실패했던 POTENTIAL 클래스에서 두드러졌다(예: GPT-5.5는 POTENTIAL에서 43.8 F1만 기록).
- Vision-LLM 재파싱 변형을 사용했을 때 필드별 추출 정확도는 완벽에 가까운 수준에 도달했다(예: 저자 98.7%, 학술지 99.7%).
실제 세계 성능:
- 807개의 ICLR 2026 데스크 리젝트(desk-rejected) 인용 중, CITETRACER는 796개를 HALLUCINATED로 식별하여 **98.6%의 재현율(recall)**을 보였으며, 나머지는 POTENTIAL으로 분류했다.
- 150개의 익명 학술대회 환각 인용 중, 133개를 FAKE-REFERENCE로, 17개를 POTENTIAL로 레이블링하여 모든 확정된 환각을 찾아냈다.
- 시스템은 회피(abstain) 없이 조작을 탐지하며 PDF와 BibTeX 입력 모두에서 높은 정밀도와 재현율을 유지했다.
절제 연구 (Ablation Studies):
- Vision-LLM 재파싱 단계를 제거하면 필드 추출 정확도가 크게 하락했다(예: 저자 추출이 98.2%에서 85.6%로 감소).
- Scholar Connectors를 제거하면 파이프라인이 붕괴되었다(REAL F1이 31.4로 급락). 이는 학술 API의 필요성을 입증한다.
- Web Agent를 제거하면 모든 클래스에서 성능이 감소하여, 롱테일 참조를 처리하는 데 있어 해당 에이전트의 역할을 확인했다.

의의 및 주장

본 논문은 학술대회 의장들이 조작된 참조로 인해 제출물을 데스크 리젝트(desk-reject)하고 있는 현장의 운영 현실을 CITETRACER가 해결한다고 주장한다. 이 연구의 의의는 다음과 같다:

패러다임 전환: 이진적인 "발견/미발견" 탐지에서 특정 조치(교정 vs 거절)를 지원하는 세밀한 필드 수준의 분류 체계로 이동한다.
강건성: 레이아웃 인식 비전 기반 추출 파이프십을 통해 PDF 파싱의 취약성을 극복한다.
효율성 및 커버리지: 계층적 증거 수집기를 사용하여 LLM 호출을 최소화하면서도 소스 커버리지를 극대화하며, 쉬운 사례는 결정론적으로 해결하고 모호한 사례는 전문적인 처리를 받도록 한다.
벤치마킹: 인용 환각에 대한 정답(ground truth) 분류 체계 레이블을 갖춘 최초의 개방형 벤치마크를 제공하여 향후 탐지 방법론의 엄격한 비교를 가능하게 한다.

저자들은 자신들의 접근 방식이 인용 검증을 성공적으로 실행 가능한 형태로 구현하며, 정확도와 진단적 세밀함 모두에서 현재의 최첨단 도구들을 능가하는 확장 가능한 솔루션을 제공한다고 결론짓는다.