기술 요약: CITECHECK

문제 정의

대형 언어 모델 (LLM) 이 원고 작성 및 보고서 생성을 포함한 과학적 워크플로우에 점점 더 통합되고 있습니다. 그러나 치명적인 신뢰성 문제가 지속되고 있습니다: LLM 은 종종 "인용 환각"을 생성합니다. 이는 스타일적으로 정당한 것처럼 보이지만 메타데이터가 손상된 (예: 잘못된 저자, 연도 또는 DOI) 또는 완전히 존재하지 않는 논문을 가리키는 참조들입니다. 이러한 오류는 과학적 커뮤니케이션의 추적 가능성, 귀속 및 재현성을 훼손합니다. 기존 검증 방법은 종종 모델의 내부 파라미터적 지식이나 단순한 웹 검색에 의존하는데, 이는 미묘한 메타데이터 드리프트와 완전한 위조 사이를 구분하는 데 어려움을 겪거나, 구조화된 학술적 증거에 기반한 검증을 수행하지 못합니다.

방법론: CITECHECK 프레임워크

CITECHECK 는 LLM 의 내부 지식에 의존하는 대신 각 참조를 외부 학술 출처에 기반하여 인용 환각을 탐지하도록 설계된 하이브리드 프레임워크입니다. 이 시스템은 네 가지 주요 단계로 구성된 구조화된 파이프라인을 통해 작동합니다:

1. 메타데이터 추출

시스템은 먼저 원시 인용 문자열을 구조화된 필드 (제목, 저자, 연도, URL, DOI, arXiv ID) 로 구문 분석합니다. 표준 패턴에 대해서는 규칙 기반 파서를 사용하고, 결정론적 추출이 실패할 때만 LLM 기반 파서를 호출합니다. 이 단계는 유효성을 판단하지 않고 검색 신호를 생성합니다.

2. 후보 검색 캐스케이드

CITECHECK 는 여러 외부 출처에 대한 워터폴 캐스케이드를 사용하여 인용에 해당하는 실제 간행물을 찾으려 시도합니다:

• 직접 조회: arXiv 식별자가 있는 경우, 먼저 직접 arXiv 조회를 수행합니다.
• 구조화된 API: 시스템은 제목 기반 검색을 사용하여 CrossRef, Semantic Scholar 및 OpenAlex 를 쿼리합니다.
• 웹 검색 백업: 구조화된 출처가 신뢰할 수 있는 매칭을 반환하지 못하면, LLM 지원 웹 검색이 트리거됩니다.
• 선택 논리: 후보는 정제된 인용 제목과 후보 제목 간의 정규화된 레벤슈타인 유사도를 기반으로 수용되며, 추가적인 신뢰도 임계값 (예: CrossRef 에서의) 과 연도 기반 순위 신호가 적용됩니다.

3. 구조화된 LLM 검증

후보 간행물이 검색되면, 검증자 LLM 이 원래 인용 메타데이터를 검색된 후보의 메타데이터와 비교합니다. 표준 분류 프롬프트와 달리, 검증자는 다음을 출력합니다:

• 일치 정도를 나타내는 0~10 점의 수치 점수.
• 신뢰도 수준과 짧은 근거.
• 특정 불일치 사항의 식별.
  시스템은 모델의 범주형 레이블 (일관성이 없을 수 있음) 에 의존하는 대신, 보정된 결정 경계를 허용하기 위해 수치 점수를 사용합니다.

4. 임계값 설정 및 검토자 통과

수치 점수는 검증 세트에서 결정된 고정 임계값 ($\tau_M$ 및 $\tau_E$) 을 사용하여 세 가지 레이블로 매핑됩니다:

• EXACT (정확): 인용이 실제 간행물을 충실히 설명함 ($s \ge \tau_E$).
• MINOR (경미): 의도된 논문은 존재하지만 메타데이터 필드가 손상됨 ($\tau_M \le s < \tau_E$).
• MAJOR (중대): 일치하는 간행물이 없거나 후보가 너무 이질적임 ($s < \tau_M$).

식별자 (URL/arXiv ID) 가 실제 논문으로 해결되지만 제목 유사도가 낮은 의심스러운 사례에 대해 "검토자 통과 (Reviewer Pass)"가 적용됩니다. 두 번째 LLM 판사가 이러한 사례를 재평가하여 인용 텍스트가 소스를 정확하게 설명하는지 확인함으로써, 유효한 링크가 위조된 메타데이터와 짝지어지는 거짓 양성을 방지합니다.

데이터셋 구성

프레임워크를 평가하기 위해 저자들은 물리학 문헌에서 추출한 982 개의 인용으로 구성된 벤치마크를 구축했으며, 이는 천체물리학, 응집물질, 양자 컴퓨팅 등 아홉 개의 하위 도메인을 포괄합니다.

• 제어된 손상: 데이터셋에는 유효한 인용, "경미한 환각" (논문 정체성을 유지하면서 저자나 연도 변경과 같은 메타데이터 드리프트), 그리고 "중대한 환각" (주제적으로 그럴듯하게 유지되는 완전히 위조된 참조) 이 포함됩니다.
• 생성: 손상은 전사 오류 (경미) 와 상당한 위조 (중대) 를 시뮬레이션하기 위해 특정 온도 설정으로 GPT-4o-mini 를 사용하여 생성되었습니다.
• 균형: 최종 벤치마크는 세 클래스 간에 대략 균형을 이루고 있습니다 (유효 36.25%, 경미 30.55%, 중대 33.20%).

결과

792 개의 인용으로 구성된 홀드아웃 테스트 세트에서 평가된 CITECHECK 는 다음 성과를 달성했습니다:

• 88.9% 정확도
• 88.7 매크로-F1

비교 성능:

• CITECHECK 는 제로샷 및 퓨샷 설정 모두에서 직접 LLM 베이스라인 (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) 보다 우수한 성능을 발휘했습니다.
• 가장 강력한 베이스라인 (웹 검색과 퓨샷 예제가 포함된 Claude Sonnet 4.6) 보다 매크로-F1 5.8 포인트 및 정확도 5.7 포인트를 상회했습니다.
• 주목할 점은 CITECHECK 가 검증 단계에서 제로샷으로 유지되면서 이 성과를 달성했다는 것이며, 이는 컨텍스트 내 감독이나 프롬프팅만으로는 retrieval-grounded 검증이 더 효과적임을 보여줍니다.
• 절대 연구: 웹 검색 백업을 제거하면 매크로-F1 이 7.0 포인트 감소했고, 검토자 통과를 제거하면 4.0 포인트 감소하여 미묘한 메타데이터 드리프트를 처리하기 위해 광범위한 검색과 표적 검토가 모두 필요함을 확인했습니다.

중요성 및 주장

이 논문은 신뢰할 수 있는 인용 검증이 LLM 의 내부 지식에 의존하는 것에서 학술적 검색, 구조화된 LLM 기반 비교, 그리고 보정된 결정 규칙을 결합하는 파이프라인으로의 전환이 필요하다고 주장합니다.

저자들이 강조한 주요 교훈은 다음과 같습니다:

1. 검색은 필수적입니다: 외부 증거에 접근하지 않으면 강력한 LLM 들조차 환각을 탐지하는 데 어려움을 겪습니다. 웹 검색은 베이스라인 성능을 크게 향상시키지만, 구조화된 비교 없이는 그 자체로는 불충분합니다.
2. 프롬프팅보다 구조화된 비교: 후보 검색 followed by 메타데이터 비교를 검증으로 처리하는 것은, 특히 논문은 존재하지만 메타데이터가 손상된 "경미한" 환각의 경우 직접적인 프롬프팅보다 높은 정확도를 제공합니다.
3. 세분화된 탐지: 이 프레임워크는 정확한 매칭, 경미한 메타데이터 오류, 그리고 중대한 위조 사이를 성공적으로 구분하며, 이는 종종 "실제 대 가짜" 이진 탐지에서 손실되는 뉘앙스입니다.

저자들은 CITECHECK 가 AI 생성 과학 텍스트를 위한 더 넓은 검증 파이프라인의 기초를 제공한다고 결론지으며, 현재 물리학에 초점을 맞춘 한계와 자연 발생 LLM 생성 참고문헌 및 주장 수준 정렬에 대한 향후 작업의 필요성을 인정합니다.