Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 과 딥 리서치 에이전트는 주장의 신뢰성을 뒷받침하기 위해 인용 URL 을 생성합니다. 그러나 이러한 인용 URL 의 신뢰성은 체계적으로 측정된 바가 없으며, 실제로는 다음과 같은 심각한 문제가 존재합니다.

• 참조 환각 (Reference Hallucination): 모델이 존재하지 않는 URL 을 생성하는 현상. 이는 법적 제재, 학술적 철회, 의료 오정보 등 실제 피해로 이어졌습니다.
• 링크 로트 (Link Rot): 과거에 존재했던 URL 이 현재는 접속되지 않는 경우.
• 연구 공백: 기존 연구들은 주로 '주장이 인용 자료에 의해 뒷받침되는지' (Attribution) 에 집중했으나, **'인용된 자료 자체가 존재하는지' (Existence)**를 검증하는 체계적인 연구와 이를 해결할 재사용 가능한 도구가 부재했습니다.

2. 연구 방법론 (Methodology)

저자들은 6 가지 연구 질문 (RQ) 을 설정하고 두 가지 주요 데이터셋을 활용하여 대규모 실험을 수행했습니다.

2.1 데이터셋 및 모델

• DRBench: 10 개의 모델 (Google, OpenAI, Anthropic 의 상용 LLM 및 딥 리서치 에이전트) 에 대한 53,090 개의 URL 분석.
• ExpertQA: 32 개의 학문 분야에 걸쳐 3 개의 모델 (Claude, Gemini, GPT) 로부터 수집된 168,021 개의 URL 분석.
• 모델 분류: '딥 리서치 에이전트' (다단계 검색 및 종합 수행) 와 '검색 증강 LLM' (단일 쿼리 검색) 으로 구분하여 비교.

2.2 URL 분류 체계

URL 의 상태를 다음과 같이 정의하고 분류했습니다.

1. Non-resolving (접속 불가): HTTP 4xx/5xx 에러 또는 연결 실패.
2. Hallucinated (환각): 접속 불가 + Wayback Machine(웹 아카이브) 에 기록이 전혀 없음 (과거에도 존재하지 않았을 가능성 높음).
3. Stale (노후화): 접속 불가 + Wayback Machine 에 과거 기록이 있음 (실제 존재했으나 현재는 오프라인 상태).

• 공식: Hallucinated URLs = Non-resolving URLs - Stale URLs

2.3 도구 개발: urlhealth

• 기능: 생성된 URL 에 대해 HTTP HEAD 요청을 수행하고, Wayback Machine API 를 호출하여 URL 이 '살아있는지 (LIVE)', '사망한지 (DEAD)', '환각일 가능성 (LIKELY HALLUCINATED)', '알 수 없음 (UNKNOWN)'으로 자동 분류하는 오픈소스 도구.
• 특징: 83 줄의 파이썬 라이브러리로, 에이전트 워크플로우에 통합 가능한 agentskills.io 스킬로 제공됨.

3. 주요 결과 (Key Results)

RQ1: 환각의 빈도

• 전체적으로 **313%**의 URL 이 환각 (Wayback Machine 기록 없음) 이며, **518%**가 접속 불가 (Non-resolving) 상태였습니다.
• Gemini 2.5 Pro Deep Research가 가장 높은 환각률 (13.3%) 을 보였으며, Claude 모델이 가장 낮았습니다 (3.0~3.2%).

RQ2: 에이전트 vs 검색 증강 LLM

• 딥 리서치 에이전트는 검색 증강 LLM 보다 훨씬 많은 URL 을 생성하지만, 환각률도 더 높았습니다.
• 에이전트의 다단계 검색 및 종합 과정이 오류를 증폭시켜 URL 생성 시 패턴을 섞어 존재하지 않는 주소를 만들어내는 것으로 추정됩니다.

RQ3: 도메인별 차이

• 학문 분야에 따라 접속 불가율이 크게 달랐습니다. **신학 (11.4%)**과 **의료/보건 (10.8%)**이 가장 높았고, **비즈니스 (5.4%)**와 건축이 가장 낮았습니다.
• 모델별 도메인 편차가 컸으며 (최대 4.3 배 차이), 특히 의료 분야는 모든 모델에서 높은 실패율을 보였습니다.

RQ4: 실패 원인 분석 (조작 vs 링크 로트)

• OpenAI 의 일부 모델 (GPT-4.1 등): 접속 불가 URL 의 100% 가 환각 (조작) 이었습니다.
• OpenAI Deep Research 및 Claude: 접속 불가 URL 중 상당 부분이 'Stale(노후화)'이었습니다. 이는 실제 웹 검색을 수행했으나 인덱스가 오래되었거나 페이지가 삭제된 경우임을 시사합니다.

RQ5: 인용 수량과 품질

• 쿼리당 생성된 인용 수 (Quantity) 가 많을수록 개별 인용의 신뢰도 (Quality) 가 높아지는 것은 아니었습니다. 오히려 더 많은 URL 을 생성할수록 검증되지 않은 변변치 않은 결과가 포함될 가능성이 높았습니다.

RQ6: 완화 전략 (Self-Correction)

• urlhealth 도구를 에이전트 자기 수정 루프에 적용한 결과:
  • 비접속 URL 이 6 배에서 79 배 감소하여 최종적으로 1% 미만으로 낮아졌습니다.
  • Gemini 2.5 Pro: 6.1% → 0.1% (79 배 감소)
  • GPT-5.1: 16.0% → 0.6% (26 배 감소)
  • Claude Sonnet 4.5: 4.9% → 0.8% (6.4 배 감소)
• 중요한 통찰: 도구 사용 능력 (Tool-use competence) 이 핵심입니다. 작은 모델은 도구를 호출했으나 결과를 제대로 반영하지 못해 환각이 지속되었습니다.

4. 주요 기여 (Key Contributions)

1. 체계적 평가: 상용 LLM 과 딥 리서치 에이전트의 인용 URL 유효성에 대한 최초의 대규모 정량적 분석을 제공했습니다.
2. 분류 체계 정립: '환각 (조작)'과 '링크 로트 (노후화)'를 구분하여 각기 다른 완화 전략이 필요함을 입증했습니다.
3. 오픈소스 도구 (urlhealth) 공개: URL 실시간 상태 확인 및 분류를 자동화하는 도구를 공개하여 연구자와 개발자가 인용 신뢰성을 검증할 수 있는 인프라를 제공했습니다.
4. 실용적 해결책: 에이전트 기반 자기 수정 (Agentic Self-Correction) 을 통해 인용 오류를 실질적으로 1% 미만으로 줄일 수 있음을 증명했습니다.

5. 의의 및 시사점 (Significance)

• 신뢰성 재정의: LLM 이 생성한 인용이 '존재하는지' 확인하는 것이 '주장을 지지하는지' 확인하는 것보다 선행되어야 하는 기본 전제임을 강조했습니다.
• 딥 리서치 에이전트의 한계: 복잡한 다단계 추론을 수행하는 에이전트가 오히려 단순 검색 모델보다 환각을 더 많이 생성할 수 있음을 보여주어, 에이전트 아키텍처 설계 시 검증 단계의 중요성을 부각시켰습니다.
• 실무 적용 가능성: urlhealth 와 같은 검증 도구를 파이프라인에 통합하면, 법적, 의료적, 학술적 분야에서 LLM 의 오류로 인한 리스크를 현저히 낮출 수 있습니다.
• 향후 방향: 생성 단계에서 실제 방문한 페이지만 인용하도록 제한하거나, 메타데이터 및 텍스트 조각 (Snippet) 의 위조까지 검증하는 방향으로 연구가 확장되어야 함을 제안했습니다.

이 논문은 LLM 의 인용 신뢰성 문제를 '측정 가능하고 (measurable), 실제로 수정 가능 (correctable) 하다'는 것을 입증하며, AI 생성 콘텐츠의 사실성 검증에 중요한 기준을 제시했습니다.