Probing for Knowledge Attribution in Large Language Models
Dit onderzoek introduceert AttriWiki, een zelftoezicht-pijplijn die het trainen van eenvoudige lineaire classifiers (probes) mogelijk maakt om de bron van kennis in grote taalmodellen te identificeren, waarmee wordt aangetoond dat verwarring tussen interne kennis en prompt-context direct leidt tot hallucinaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het "Waar Komt Dit Vandaan?"-Test voor AI: Een Simpele Uitleg
Stel je voor dat je een slimme, maar soms wat dromerige assistent hebt. Je vraagt hem: "Mag ik een vlucht naar Londen boeken voor een begrafenis en krijg ik dan korting?" De assistent antwoordt vol vertrouwen: "Ja, je hebt 90 dagen!"
Maar later blijkt dat deze regel nooit heeft bestaan. De assistent heeft het niet nagekeken in zijn handleiding (de context), maar heeft het verzonnen uit zijn eigen geheugen (zijn interne kennis). Dit noemen we een hallucinatie. Het probleem is niet alleen dat het antwoord fout is, maar dat niemand weet waar het vandaan kwam.
Deze paper van Ivo Brink en zijn collega's lost precies dat probleem op. Ze hebben een manier bedacht om te "peilen" (probing) of een AI-antwoord gebaseerd is op wat jij net hebt ingetypt, of op wat de AI al in zijn hoofd had staan.
Hier is hoe ze dat doen, vertaald in alledaagse taal:
1. Het Probleem: De "Blinde Vlek"
Vroeger keken onderzoekers alleen of een antwoord waar of onwaar was. Maar dat is als een leraar die alleen kijkt of een antwoord op een toets goed is, zonder te kijken of de leerling het uit het hoofd heeft geleerd of uit het boekje heeft gekopieerd.
- Context: Wat jij in de chat hebt gezet (bijv. een nieuwsartikel).
- Interne Kennis: Wat de AI al weet uit zijn training (zijn "hersenen").
Als de AI een fout antwoord geeft, willen we weten: Heeft hij de handleiding genegeerd en zijn eigen verzonnen idee gebruikt? Of heeft hij de handleiding verkeerd gelezen?
2. De Oplossing: ATTRIWIKI (De "Kennis-Lab")
Om dit te leren, hebben de onderzoekers een speciaal trainingslab gebouwd genaamd ATTRIWIKI.
- Het Experiment: Ze nemen Wikipedia-artikelen en spelen een spelletje met de AI.
- Ronde A: Ze laten de AI een feit uit het artikel halen (de context is aanwezig).
- Ronde B: Ze verwijderen dat feit uit het artikel en vragen de AI of hij het nog weet. Als hij het weet, komt het uit zijn hoofd. Als hij het niet weet, moet hij het uit de context halen.
- Het Resultaat: Ze hebben duizenden voorbeelden gemaakt waarbij ze precies weten: "Dit antwoord kwam uit de handleiding" of "Dit antwoord kwam uit het hoofd".
3. De "Röntgenfoto": De Lineaire Proef
Nu hebben ze een dataset met de juiste antwoorden. Maar hoe weten we waarom de AI zo antwoordde?
Ze kijken niet naar de woorden die de AI zegt, maar naar de elektrische signalen (de "gedachten") die door de AI's neurale netwerk gaan terwijl hij schrijft.
- De Analogie: Stel je voor dat de AI een fabriek is. De input is het ruwe materiaal en de output is het eindproduct. De onderzoekers kijken niet naar het eindproduct, maar naar de conveyor belt (de lopende band) halverwege de fabriek.
- Ze ontdekten dat ze met een heel simpele test (een "lineaire proef", alsof je een lichte schakelaar omzet) kunnen zien of de AI op dat moment "aan het lezen is" (context) of "aan het denken is" (geheugen).
- Het verrassende is: Dit werkt bijna perfect (tot 96% nauwkeurig) en het signaal zit vaak in de "midden- tot bovenste lagen" van de AI, alsof het antwoord daar pas echt vorm krijgt.
4. Waarom is dit belangrijk?
Als je weet waar een antwoord vandaan komt, kun je veel slimmer omgaan met fouten:
- De "Verkeerde Bron"-Fout: Als de AI een fout antwoord geeft omdat hij zijn eigen geheugen gebruikt terwijl hij de handleiding had moeten lezen, is dat een groot gevaar. De paper laat zien dat als de AI de verkeerde bron gebruikt, de kans op een fout antwoord met wel 70% stijgt.
- Betrouwbaarheid: Als de AI zegt: "Ik heb dit uit jouw tekst gehaald", dan kun je dat controleren. Zegt hij: "Ik weet dit uit mijn hoofd", dan moet je misschien twijfelen als het een nieuw onderwerp is.
5. De Grootte van de Koffie
De onderzoekers zeggen: "Het is niet de oplossing voor alles."
Zelfs als de AI de juiste bron gebruikt (bijv. hij leest de handleiding), kan hij het antwoord nog steeds verkeerd interpreteren. Het is alsof je de juiste receptuur hebt, maar de cake nog steeds verbrandt.
Maar, het is wel een essentieel hulpmiddel. Het geeft ons een "rood lampje" dat aangeeft: "Hé, deze AI is aan het fantaseren in plaats van te lezen."
Conclusie
Deze paper geeft ons een manier om de "gedachten" van een AI te lezen om te zien of hij eerlijk is of aan het verzinnen is. Het is als een waarheidsdetector die niet kijkt naar wat er gezegd wordt, maar naar waar die woorden vandaan komen. Dit helpt ons om AI-systemen veiliger en betrouwbaarder te maken, zodat we niet meer worden misleid door een chatbot die denkt dat hij een luchtvaartmaatschappij is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.