Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
Dit artikel introduceert een nieuw evaluatiekader dat een AST-parser gebruikt om door LLM's gegenereerde onderzoeksrapporten te beoordelen op geldigheid van links, relevantie en feitelijke juistheid, waarbij een kritieke disconnectie aan het licht komt waarbij zelfs geavanceerde modellen een hoge toegankelijkheid en relevantie van citaten behouden maar worstelen met feitelijke consistentie, een probleem dat verergert naarmate de ophaaldiepte toeneemt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van superintelligente onderzoeksassistenten (AI-modellen) inhuurt om een rapport te schrijven over een complex onderwerp. Je zegt tegen hen: "Ga de waarheid op internet zoeken, schrijf een rapport, en zorg ervoor dat je exact aangeeft waar je elke enkele feit vandaan hebt."
Het artikel dat je deelde, is als een kwaliteitscontrole-inspecteur die besloot om het huiswerk te controleren dat deze AI-assistenten inleverden. In plaats van alleen het rapport te lezen en instemmend te knikken, bouwde de inspecteur een speciale robot om elke enkele voetnoot die de AI schreef te controleren.
Hier is wat ze vonden, eenvoudig uitgelegd:
De drie-staps inspectie
De onderzoekers bouwden een systeem om de citaten van de AI op drie specifieke manieren te controleren, zoals een drie-delige veiligheidscontrole:
- De "Is de deur open?"-controle (Link werkt): Werkt de link daadwerkelijk? Als je erop klikt, brengt het je dan naar een webpagina, of is het een kapotte 404-fout?
- De "Gaat dit over hetzelfde?"-controle (Relevante inhoud): Als de link werkt, spreekt de webpagina dan daadwerkelijk over het onderwerp waarover de AI beweerde dat het ging? (Bijvoorbeeld: de AI zegt "Deze link bewijst dat katten honden zijn", maar de link is eigenlijk een recept voor lasagne).
- De "Is het waar?"-controle (Feitencheck): Dit is het moeilijkste deel. Bevat de webpagina daadwerkelijk de specifieke feiten, cijfers of datums die de AI beweerde dat het deed?
De grote verrassing: het "glanzende verpakkings"-probleem
De meest schokkende ontdekking is dat de AI-assistenten goed zijn in de eerste twee controles, maar verschrikkelijk in de derde.
- De analogie: Stel je een student voor die een paper schrijft en een bibliografie toevoegt.
- 94% van de tijd staan de boeken in de bibliografie daadwerkelijk op de planken van de bibliotheek (Link werkt).
- 80% van de tijd gaan die boeken daadwerkelijk over het onderwerp waarover de student schrijft (Relevante inhoud).
- Maar, als je het boek daadwerkelijk opent en de specifieke pagina leest die de student citeerde, staat het boek slechts ongeveer 40% tot 77% van de tijd wat de student beweerde dat het zei.
De les: De AI is zeer goed in het vinden van een werkende link naar een relevante website, maar het liegt vaak over wat die website zegt. Het is als een rondleidinggids die je altijd naar het juiste museum brengt, maar je dan het verkeerde verhaal vertelt over de tentoonstellingen binnenin.
Het "Meer is Minder"-paradox
De onderzoekers testten ook wat er gebeurt als ze de AI vertellen om dieper te zoeken en meer websites te bekijken. Je zou denken: "Als ik de AI vraag om 150 websites te lezen in plaats van slechts 2, zal het dan niet accurater zijn, toch?"
Fout.
- De analogie: Stel je voor dat je een puzzel probeert op te lossen. Als je 2 puzzelstukken hebt, kun je het plaatje gemakkelijk zien. Als iemand 150 puzzelstukken voor je neerzet, raak je overweldigd. Je begint misschien stukken samen te dwingen die niet passen, alleen maar om de puzzel af te maken.
- Het resultaat: Naarmate de AI gedwongen werd om steeds meer bronnen te bekijken (van 2 tot 150), daalde het vermogen om de waarheid te spreken met ongeveer 42%. De links werkten nog steeds en de onderwerpen waren nog steeds relevant, maar de specifieke feiten werden een puinhoop. De AI kreeg "informatie-overload" en begon details te hallucineren.
Wie deed het goed? Wie deed het slecht?
- De "Frontier"-modellen (De grote tech-AI's): Deze modellen (zoals die van OpenAI, Anthropic en Google) waren zeer goed in het genereren van rapporten die er perfect uitzagen. Ze vonden bijna altijd werkende links en relevante onderwerpen. Zelfs de slimste kregen de feiten echter slechts ongeveer 39% tot 77% van de tijd goed.
- De open-source modellen: Deze modellen hadden nog meer moeite. Veel van hen konden de taak van het schrijven van een rapport met citaten niet eens voltooien. Als ze het toch probeerden, waren ze veel slechter in het vinden van werkende links en het goed krijgen van feiten.
De conclusie
Het artikel concludeert dat we AI-onderzoek niet kunnen vertrouwen alleen omdat er een lijst met links onder staat. Een lange lijst met werkende links creëert een "valse zekerheid". Alleen omdat de deur open is en de kamer de juiste is, betekent niet dat het verhaal dat de AI je vertelt over wat er binnenin de kamer staat, waar is.
De onderzoekers bouwden deze "inspectierobot" om ons te helpen dat gat te zien tussen een citaat dat er goed uitziet en een citaat dat daadwerkelijk waar is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.