LLM hallucinations in the wild: Large-scale evidence from non-existent citations

기술적 요약: 현실 세계에서의 LLM 환각

문제 제기
대형 언어 모델 (LLM) 은 그럴듯하지만 거짓인 정보 ("환각") 를 생성하는 것으로 알려져 있으나, 이 현상의 실제 규모와 결과는 여전히 잘 이해되지 않고 있습니다. 환각은 시뮬레이션 환경과 anecdotal 보고서 (예: 정부 보고서, 법원 서류) 에서 문서화되었지만, 배포된 과학 지식 생산에서의 보편성에 관한 체계적이고 대규모의 증거는 부족합니다. 대규모로 환각을 연구하는 것은 어렵습니다. 왜냐하면 환각은 일반적으로 비정형 텍스트에 내재되어 있어 비용이 많이 드는 인간 평가나 모델 특정 편향을 재도입할 수 있는 자동화 파이프라인이 필요하기 때문입니다. 과학적 인용은 인용된 참조가 존재하거나 그렇지 않다는 추적 가능한 이진적 기준을 제공하므로 감사에 독특한 기회를 제공합니다.

방법론
저자들은 arXiv(수학, 물리학, 계산 과학), bioRxiv(생물학), SSRN(사회과학, 법학, 인문학), PubMed Central(동료 검토 생의학 문헌) 의 네 가지 주요 코퍼스로부터 250 만 편의 논문 내 1 억 1,100 만 개의 참조에 대해 인구 규모 감사를 실시했습니다.

1. 검증 파이프라인:

   • 추출 및 구문 분석: 참조는 원고 파일 (LaTeX, GROBID 를 통한 PDF, XML 또는 메타데이터) 에서 추출되었습니다.
   • 초기 매칭: 구문 분석된 제목은 Semantic Scholar 와 OpenAlex 로부터 구축된 로컬 Elasticsearch 인덱스에 대해 쿼리되었습니다. 문자열 유사성 기준이 유효한 매칭을 결정했습니다.
   • 정제: 매칭되지 않은 항목은 비학술적 출처를 제외하고 제목 추출을 정제하기 위해 LLM 기반 정제 단계 (GPT-4o-mini) 를 거쳐 처리되었으며, 이로 인해 매칭되지 않는 비율이 약 4.9% 에서 1.54% 로 감소했습니다.
   • 최종 검증: 나머지 매칭되지 않은 항목에 대해 제 3 자 Google Scholar API 조회가 수행되었습니다. Google Scholar 가 매칭되는 기록을 반환하거나 해당 작품이 다른 곳에서 인용된다는 일관된 증거가 있는 경우 참조가 유효한 것으로 간주되었습니다.
   • 환각의 정의: 본 연구는 "환각된 인용"을 모든 매칭되지 않은 참조가 아니라, LLM 도입 이후 관찰된 매칭되지 않은 인용의 초과분 (late 2022 의 LLM 이전 기준선 대비) 으로 정의합니다. 이 접근법은 일반적인 서지 오류 및 포맷 아티팩트를 통제합니다.

2. 분석적 프레임워크:

   • 시간적 역학: 회귀 모델을 사용하여 시간에 따른 매칭되지 않은 인용의 비율을 추정하고 환각 발생의 변곡점을 식별했습니다.
   • 분포 분석: 오염이 소수의 "나쁜 사과" 원고에 집중되어 있는지 아니면 산재되어 있는지 테스트하기 위해 논문 간 환각된 인용의 분포를 검토했습니다.
   • 저자 및 기여 분석: 저자들은 환각률과 저자의 생산성 (이전 출판 수), 팀 규모, 그리고 인용된 저자의 특성 (생산성, 인용 영향력, 성별, 팀 위계) 을 상관관계 분석했습니다.
   • 안전장치 평가: arXiv 중재의 거절률과 bioRxiv 프리프린트에서 PubMed Central 의 출판 버전으로의 환각 지속성을 분석하여 기존 품질 관리의 효능을 평가했습니다.

주요 결과

• 환각의 증가: ChatGPT 초기 출시 약 18 개월 후인 2024 년 중반부터 존재하지 않는 참조가 급격히 증가하기 시작했습니다. 2025 년 8 월까지 환각률은 arXiv 에서 0.39%, bioRxiv 에서 0.21%, SSRN 에서 1.91%, PMC 에서 0.27% 에 달했습니다.
• 규모: 이러한 추세를 외삽하여 저자들은 2025 년 한 해에만 이 네 가지 코퍼스에 걸쳐 146,932 개의 환각된 인용이 도입되었을 것으로 보수적으로 추정했습니다.
• 산재된 오염: 환각은 소수의 심하게 오염된 논문들에 집중되어 있지 않습니다. 대신 산재되어 내재되어 있습니다. 증가는 오류 비율이 높은 소수의 논문이 아니라, 소수의 매칭되지 않은 참조 (0~10%) 를 포함하는 논문의 비율이 증가함에 따라 주도되고 있습니다.
• 생산의 상관관계:
  • 저자 경험: 환각된 출처를 인용한 저자 ("환각 인용자") 는 2023 년 이전까지 통제 그룹에 비해 이전 출판물이 현저히 적었습니다. 그러나 2025 년까지 그들의 생산성은 급증하여 (상대적 증가 1.33 배에서 3.13 배) LLM 이 경험이 적은 연구자들의 진입 장벽을 낮추어 내재된 오류가 포함된 대량의 산출물을 초래했음을 시사합니다.
  • 팀 규모: 환각률은 팀 규모와 반비례합니다. 단독 저술 및 소규모 팀 논문이 더 높은 비율을 보입니다.
  • LLM 사용: 작성 시 추정된 LLM 사용과 하위 분야 및 논문 수준에서의 환각률 간에 강한 양의 상관관계 (r = 0.441) 가 있습니다.
• 기여 배분의 편향:
  • 환각된 인용은 이전 생산성이 높고 인용 영향력이 큰 저자들에게 불균형적으로 기여를 부여합니다.
  • 성별 격차가 유의미합니다: 환각된 인용은 남성 이름의 저자에게 기여할 가능성이 7.6% 더 높습니다.
  • 이러한 편향은 동일한 논문 내의 유효한 인용에도 확장되어, 과학적 기여가 저명한 학자들에게 더 광범위하게 재배분되고 있음을 시사합니다.
• 안전장치의 실패:
  • 프리프린트 중재: arXiv 중재자가 환각률이 높은 원고를 거절하지만, 추정되는 **78.8%**의 존재하지 않는 인용이 여전히 중재를 통과합니다.
  • 동료 검토: bioRxiv 프리프린트에 존재하던 환각된 인용의 85.3% 가 PubMed Central 의 출판 버전으로 지속되었습니다.
  • 데이터베이스 오염: 환각된 참조가 Google Scholar 의 독립 항목으로 점점 더 나타나고 있어, 존재하지 않는 작품이 향후 검색을 위한 "기준 진실"의 일부가 되는 피드백 루프를 생성하고 있습니다.

의의 및 주장
본 논문은 현실 세계 지식 작업에서 LLM 환각에 대한 최초의 대규모, 학제 간 감사를 제공한다고 주장합니다. 그 주요 의의는 개인적인 부주의에서 시스템 수준의 우려로 담론을 전환하는 데 있습니다. 연구 결과는 다음과 같습니다:

1. 규모와 지속성: LLM 환각은 막대한 규모로 지식 생산에 침투하고 있으며, 프리프린트 및 출판 단계를 거쳐 지속되어 현재 안전장치를 앞지르고 있습니다.
2. 형평성 함의: 이러한 오류는 무작위가 아닙니다. 초기 경력 또는 경험이 적은 연구자들에 의해 불균형적으로 생성되면서 기존 불평등을 강화하여 확립된 남성 학자들에게 기여를 집중시킵니다.
3. 일반화 가능성: 과학은 구조화된 인용과 풍부한 색인으로 인해 탐지에 있어 "최상의 경우" 도메인을 대표합니다. 저자들은 이러한 강력한 검증 메커니즘에도 불구하고 환각이 과학 문헌을 침투하고 있다면, 법적 서류, 정책 보고서, 저널리즘과 같은 덜 구조화된 도메인에서는 문제가 훨씬 더 심각하고 탐지가 어려울 것이라고 주장합니다.
4. 피드백 루프: 서지학 데이터베이스에 환각된 인용이 축적되면 이를 탐지하는 메커니즘을 약화시켜 과학적 신뢰성의 경로 의존적 악화를 초래할 위협이 있습니다.

저자들은 구조화된 오류인 인용과 같은 경우 자동화된 검증 도구가 희망을 제시하지만, 비정형 산문에서 환각된 주장을 탐지하는 더 넓은 과제는 미래 과학 발견과 제도적 의사결정의 무결성을 위한 치명적이고 해결되지 않은 문제라고 결론 내립니다.