Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents

Probleemstelling

Grote Taalmodellen (LLMs) en "Deep Research Agents" genereren steeds vaker langere rapporten met inline citaten (URL's) om hun beweringen te onderbouwen. Hoewel gebruikers deze citaten als bewijsmateriaal beschouwen, is de betrouwbaarheid ervan niet systematisch gemeten. Er is een groeiend probleem van referentie-hallucinaties: modellen genereren URL's die nooit hebben bestaan of die niet meer werken (link-rot). Dit heeft al tot ernstige gevolgen geleid, variërend van juridische sancties (zoals in de zaak Mata v. Avianca) tot academische terugtrekkingen en medische desinformatie. Bestaande benchmarks testen vaak of een citaat een claim ondersteunt, maar vergeten de fundamentele vraag: bestaat de bron überhaupt nog?

Methodologie

De auteurs hebben een uitgebreide studie uitgevoerd om de validiteit van citaten-URL's te analyseren en een oplossing te bieden.

1. Data en Experimenteel Opzet:

• Datasets: Twee complementaire datasets werden gebruikt:
  • DRBench: 100 meertalige onderzoeksqueries (Chinees/Engels) met outputs van 23 modellen. De auteurs analyseerden 10 modellen van drie providers (Google, OpenAI, Anthropic).
  • ExpertQA: 2.177 door experts samengestelde vragen over 32 academische disciplines. Hierop werden drie modellen getest (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1), wat resulteerde in 168.021 geëxtraheerde URL's.
• Definities:
  • Niet-resolverende URL: Retourneert een HTTP-fout (4xx/5xx) of faalt bij verbinding.
  • Hallucinerende URL: Een niet-resolverende URL waarvoor geen archiefkopie bestaat in de Wayback Machine (Internet Archive). Dit impliceert dat de URL waarschijnlijk nooit heeft bestaan.
  • Verouderde (Stale) URL: Een niet-resolverende URL die wel een archiefkopie heeft (bestond vroeger, maar is nu offline). Dit is "link-rot" en geen hallucinatie.
• Analyse: De auteurs onderzochten zes onderzoeksvragen (RQ's) over prevalentie, verschillen tussen agenten en zoek-augmentatie, domeinvariatie, de verhouding tussen fabricage en link-rot, en mitigatiestrategieën.

2. Tooling: urlhealth:
De auteurs hebben een open-source tool genaamd urlhealth ontwikkeld.

• Functie: Voert HTTP HEAD-verzoeken uit en controleert de status in de Wayback Machine.
• Classificatie: Deelt URL's in vier categorieën in: LIVE, DEAD (verouderd), LIKELY HALLUCINATED (nooit bestaan), en UNKNOWN (bijv. bot-blocking of paywalls).
• Implementatie: Een Python-bibliotheek van 83 regels, beschikbaar als pip-pakket en als "skill" voor AI-agenten.

3. Self-Correction Experiment:
Modellen kregen toegang tot urlhealth als een tool om hun eigen citaten iteratief te verifiëren en te corrigeren in een agente zelf-correctie-lus.

Belangrijkste Resultaten

1. Prevalentie van Hallucinaties (RQ1 & RQ2):

• Algemene rates: 3–13% van de citaten zijn hallucinaties (bestaan nooit), en 5–18% is totaal niet-resolverend.
• Deep Research Agents vs. Zoek-augmentatie: Deep Research Agents genereren aanzienlijk meer citaten per query dan standaard zoek-augmentatie-modellen, maar hebben ook hogere hallucinatiepercentages.
  • Gemini 2.5-pro-deepresearch had de hoogste hallucinatiegraad (13,3%) ondanks een hoge kwaliteitsscore.
  • OpenAI Deep Research had een lagere hallucinatiegraad (3,5%) maar een hoge niet-resolverende graad (10,1%), voornamelijk door verouderde links.
• Conclusie: De architectuur van de retrieval (meerdere stappen) is belangrijker voor betrouwbaarheid dan het totale volume aan output.

2. Domeinvariatie (RQ3):

• De betrouwbaarheid varieert sterk per academisch domein.
  • Laagst: Business (5,4% niet-resolverend).
  • Hoogst: Theologie (11,4%) en Healthcare/Medicine (10,8% overall, maar tot 17,4% bij Claude).
• Medische domeinen zijn kritiek omdat fouten hier direct klinische aanbevelingen kunnen beïnvloeden.

3. Fabricage vs. Link-Rot (RQ4):

• Er is een fundamenteel verschil in faalpatronen tussen modellen:
  • Sommige modellen (zoals bepaalde OpenAI zoek-modellen) fabriceren elke niet-resolverende URL (0% verouderde links).
  • Andere modellen (zoals OpenAI Deep Research en Claude) tonen een groot aandeel verouderde links, wat wijst op echte zoekopdrachten die soms verouderde indexen teruggeven.

4. Kwantiteit vs. Kwaliteit (RQ5):

• Het genereren van meer citaten per query leidt niet tot een betere kwaliteit per citaat. Modellen die meer bronnen ophalen, zijn vaak minder selectief en halen meer marginale of onbetrouwbare resultaten binnen.

5. Mitigatie via Self-Correction (RQ6):

• Met urlhealth als tool konden de modellen het aantal niet-resolverende URL's drastisch reduceren:
  • GPT-5.1: Van 16,0% naar 0,6% (26x verbetering).
  • Gemini: Van 6,1% naar 0,1% (79x verbetering).
  • Claude: Van 4,9% naar 0,8% (6,4x verbetering).
• Beperking: De effectiviteit hangt sterk af van de tool-use competentie van het model. Een kleiner model (GPT-5-nano) kon de tool aanroepen maar slaagde er niet in om de resultaten correct toe te passen, waardoor hallucinaties bleven bestaan.

Bijdragen en Significance

1. Systematische Karakterisering: Dit is de eerste studie die de validiteit van URL's in commerciële LLMs en Deep Research Agents systematisch kwantificeert over meerdere providers en domeinen. Het onthult dat zelfs geavanceerde, zoek-augmentatie-modellen nog steeds 3–13% hallucinerende URL's genereren.
2. Taxonomie van Falen: De studie onderscheidt duidelijk tussen fabricage (URL's die nooit bestonden) en link-rot (URL's die bestonden maar nu dood zijn). Dit onderscheid is cruciaal voor het kiezen van de juiste mitigatiestrategie (beter genereren vs. validatie).
3. Open Source Tooling: De release van urlhealth biedt een praktische, schaalbare oplossing voor ontwikkelaars en onderzoekers om citaten te verifiëren. Het bewijst dat hallucinaties in de praktijk correcteerbaar zijn door post-hoc validatie.
4. Invloed op AI-ontwikkeling: De resultaten suggereren dat "Deep Research" agents, ondanks hun vermogen om lange rapporten te schrijven, fundamentele problemen hebben met het vasthouden van de integriteit van hun bronnen. Het benadrukt de noodzaak van "generation-time constraints" (bijv. alleen URL's toestaan die daadwerkelijk zijn bezocht) en robuuste validatiepijplijnen.

Conclusie:
De paper concludeert dat citatie-URL-validiteit meetbaar en corrigeerbaar is. Hoewel Deep Research Agents indrukwekkende output genereren, introduceren ze nieuwe risico's op schaal. Door tools als urlhealth te integreren in agent-workflows, kunnen deze risico's tot verwaarloosbare niveaus (<1%) worden teruggebracht, mits het model competent genoeg is om de tool effectief te gebruiken.