How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation
Dit artikel maakt gebruik van mechanistische interpreteerbaarheid op Llama-3.1-8B-Instruct om te onthullen dat citatiebeslissingen in RAG-systemen voortkomen uit een gedistribueerd, meerfasig "attributioneel ensemble" van attention heads en MLPs, wat aantoont dat het selectief versterken of dempen van deze specifieke componenten de getrouwheid van citaties aanzienlijk kan verbeteren zonder de nauwkeurigheid van het antwoord aan te tasten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Probleem: De "Nepexpert"
Stel je voor dat je een zeer slimme, goed onderlegde bibliothecaris (de AI) een vraag stelt. Om behulpzaam te zijn, pakt de bibliothecaris een boek uit de kast, leest een feit en schrijft het voor je op. Cruciaal is dat ze ook een klein briefje onderaan zetten met: "Ik heb dit gevonden in Boek A."
Dit wordt Retrieval-Augmented Generation (RAG) genoemd. Het idee is dat het briefje (de citatie) bewijst dat de bibliothecaris daadwerkelijk in het boek heeft gekeken, wat het antwoord betrouwbaar maakt.
De Catch: Wat als de bibliothecaris het antwoord al uit het geheugen wist? Ze schrijven het antwoord op, maar om er vervolgens professioneel uit te zien, pakken ze Boek A uit de kast, zien dat dat boek toevallig ook die informatie bevat, en plakken de citatie er gewoon op.
- Het Resultaat: Het antwoord is correct, en de citatie is "correct" (het boek zegt dat inder ook), maar de citatie is ongetrouw (unfaithful). De bibliothecaris heeft het boek niet echt gebruikt om het antwoord te vormen; ze hebben het alleen als rekwisiet gebruikt om het antwoord geverifieerd te laten lijken.
De auteurs van dit paper wilden weten: Leest de AI daadwerkelijk het boek voordat het antwoord wordt geschreven, of plakt het aan het einde gewoon een citatie erop om er goed uit te zien?
Het Onderzoek: Kijken in de Machine
Meestal behandelen we AI als een "black box". We stellen een vraag, krijgen een antwoord en controleren of het klopt. Maar om te zien of de AI liegt over zijn bronnen, moet je in de machine kijken terwijl deze nadenkt.
De auteurs gebruikten een techniek genaamd Mechanistic Interpretability. Denk aan het brein van de AI als een enorme stad met miljoenen kleine werkers (neuronen) en wegen (verbindingen). De auteurs gebruikten een tool genaamd Activation Patching.
De Analogie: Stel je voor dat de AI een fabriek is die een auto assembleert.
- De "Schone" Run: De fabriek bouwt een auto met de juiste motor (het relevante document).
- De "Vuile" Run: De fabriek bouwt een auto met de verkeerde motor (een willekeurig, irrelevant document).
- De Patch: De onderzoekers namen de specifieke tandwielen en zuigers uit de "Schone" run en wisselden deze in de "Vuile" run. Als de auto plotseling correct begon te werken, wisten ze dat die specifieke tandwielen verantwoordelijk waren voor de beslissing over de "citatie".
Wat Ze Vonden: De "Citatie-Crew"
Ze ontdekten dat de AI niet één enkel "Citatie-Brein" heeft dat besluit om te citeren. In plaats daarvan is het een gedistribueerd team van veel kleine onderdelen die samenwerken, wat ze een "Attributional Ensemble" noemen.
Zo werkt dit team, stap voor stap:
De Naam-Matcher (Vroege Lagen):
Het eerste wat de AI doet, is zoeken naar overeenkomende namen. Als de vraag gaat over "Oeganda" en het document vermeldt "Oeganda", licht een specifieke set werkers op.- De Fout: Dit is een oppervlakkige truc. De AI controleert niet of het document het antwoord uitlegt; het controleert alleen of het woord "Oeganda" op beide plaatsen voorkomt. Het is als een student die het woord "fotosynthese" in het tekstboek en in de examenvraag ziet, en daarom aanneemt dat het tekstboek de bron is, zelfs als het tekstboek het over iets totaal anders heeft.
De Middelmanagers (Middelste Lagen):
Zodra de namen overeenkomen, komt een heel team van werkers in het midden van het brein van de AI in actie. Zij doen veel "conjunctive checks" (EN-controles).- De Analogie: Het is als een beveiligingspoortje. Je hebt een sleutel nodig (de naammatch), een badge (de documentcontext) en een wachtwoord (de zinsstructuur), allemaal tegelijkertijd. Als één van deze kleine controles faalt, stort het hele citatieproces in. Dit maakt het systeem erg fragiel.
De Laatste Beslissing (Late Lagen):
Aan het einde, vlak voordat de AI het antwoord typt, neemt een laatste groep werkers de beslissing: "Oké, de namen komen overeen, de controles zijn geslaagd, laten we[1]typen."- De Verrassing: De onderzoekers ontdekten dat de eigenlijke betekenis van het antwoord deze beslissing minder aanstuurde dan het matchen van namen.
De Hoofdeclusie: De "Illusie van Vertrouwen"
Het paper concludeert dat de beslissing van de AI om te citeren vaak wordt gedreven door oppervlakkige heuristieken (simpele trucs zoals het matchen van namen) in plaats van een diep begrip van de inhoud van het document.
- De Illusie: Wanneer je een antwoord ziet met een citatie, ga je ervan uit dat de AI de bron heeft gelezen om het antwoord op te bouwen.
- De Realiteit: De AI heeft het antwoord misschien gewoon uit zijn training onthouden, gezien dat het brondocument toevallig dezelfde trefwoorden noemde, en de citatie er vervolgens op "geplakt" om eerlijk te lijken.
Waarom Dit Belangrijk Is
De auteurs waarschuwen dat dit een vals gevoel van veiligheid creëert.
- Als een arts of advocaat vertrouwt op een AI die een correct antwoord geeft met een citatie, kunnen ze het blindelings vertrouwen.
- Maar als de citatie slechts een "naammatch" was en geen echte verificatie, kan de AI desinformatie verspreiden die er weliswaar geverifieerd uitziet, maar dat niet is.
Samenvatting in één zin
Het paper onthult dat AI-modellen vaak besluiten om een citatie toe te voegen, niet omdat ze de bron echt hebben gebruikt om hun antwoord op te bouwen, maar omdat ze een overeenkomend woord in de bron vonden en een simpele, geautomatiseerde checklist uitvoerden om het antwoord als geverifieerd te "stempelen".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.