← Nieuwste papers
💬 NLP

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

Dit artikel stelt een verenigd mechanistisch kader voor dat zowel in-context leren als out-of-context hallucinatie verklaart als resultaten van hoe rolinformatie intern wordt gerepresenteerd en geaggregeerd, waarbij wordt aangetoond dat het succesvol naleven van regels versus hallucinatie afhangt van de magnitude en coherentie van de bijdragen van de rolspanne op cruciale beslissingspunten.

Oorspronkelijke auteur: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Gepubliceerd 2026-11-19
📖 6 min leestijd🧠 Diepgaand

Oorspronkelijke auteur: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om een prompt te lezen en op aanvraag menselijke tekst te genereren. Een van hun meest gevierde vermogens is in-context leren, waarbij een model een specifieke regel kan afleiden uit de verstrekte voorbeelden in een prompt en deze getrouw kan opvolgen. Als een gebruiker het model vraagt om een lijst met records samen te vatten als een JSON-object, kan het model dat formaat leren en het perfect toepassen. Toch lijden dezezelfde systemen aan een frustrerend gebrek dat bekend staat als hallucinatie. Soms, wanneer gevraagd wordt een vraag te beantwoorden op basis van verstrekt bewijs, negeert het model de feiten die recht voor de neus ervan liggen en verzint het details die niet door de tekst worden ondersteund. Dit creëert een verwarrende tegenstrijdigheid: hoe kan dezelfde machine zo gehoorzaam zijn aan een regel die hij zojuist heeft geleerd, en toch zo onzorgvuldig met de feiten die hem zijn gegeven? Jarenlang hebben onderzoekers deze twee gedragingen afzonderlijk bestudeerd en behandeld als verschillende fenomenen. Maar deze scheiding heeft echter een gat achtergelaten in ons begrip van waarom het model in de ene zaak slaagt en in de andere faalt.

Een team van onderzoekers aan de National University of Singapore heeft deze kloof nu overbrugd door naar de interne mechanica van deze modellen te kijken. Zij stellen voor dat zowel het succesvolle opvolgen van regels als het falen om zich aan feiten te houden, rusten op hetzelfde onderliggende proces. De sleutel tot hun ontdekking ligt in hoe het model de verschillende delen van een prompt verwerkt. In elke gegeven prompt fungeert een deel van de tekst als een regel, die het model vertelt hoe het zijn antwoord moet structureren, terwijl een ander deel van de tekst fungeert als bewijs, dat de specifieke feiten levert die gebruikt moeten worden. De onderzoekers ontdekten dat het model intern inderdaad het verschil "begrijpt" tussen deze rollen. Het creëert een specifiek, georganiseerd patroon van activiteit in zijn neurale netwerk om te representeren of het naar een regel of naar een stuk bewijs kijkt. Het hebben van deze interne representatie is echter niet voldoende om een correct antwoord te garanderen. Het model kan de rol van de tekst herkennen zonder dat die herkenning de uiteindelijke output daadwerkelijk controleert.

Om te ontdekken hoe dit werkt, ontwikkelden de onderzoekers een manier om de invloed van specifieke delen van de prompt op de beslissingen van het model te meten. Ze richtten zich op de "role span", wat het specifieke tekstgedeelte is dat ofwel de regel of het bewijs bevat. Door het gedrag van het model te vergelijken wanneer deze tekst aanwezig is versus wanneer deze is vervangen door andere inhoud, konden ze precies isoleren hoeveel die specifieke tekst het model in de richting van een bepaald antwoord duwde. Ze ontdekten dat voor het model om een regel op te volgen of bewijs correct te gebruiken, de invloed van die tekst sterk genoeg moet zijn en consistent in de juiste richting moet wijzen. Het is niet genoeg dat het model de regel slechts "ziet"; het wiskundige signaal van die regel moet groot genoeg zijn om de concurrerende signalen in de hersenen van het model te overwinnen, en het moet bij elke stap van het generatieproces overeenstemmen met de richting van het juiste antwoord.

De studie onthult dat de reden waarom modellen regels zo goed opvolgen maar vaak falen met feiten, voortkomt uit waar en hoe deze invloed wordt toegepast. Wanneer een model een regel volgt, zoals het formatteren van een antwoord als een lijst, moet de invloed van de regeltekst over veel verschillende beslissingen heen worden gehandhaafd. Het model moet herhaaldelijk de juiste structuur kiezen, en het signaal van de regel moet bij elk van deze stappen sterk genoeg blijven om het model op het juiste spoor te houden. In tegenstelling hiertoe is het kritieke moment wanneer een model een bewijs moet gebruiken veel specifieker. De invloed van de bewijstekst moet krachtig genoeg zijn op het exacte moment dat het model een besluit neemt over een specifiek feit. Als het signaal van het bewijs op dat precieze instantie te zwak is, of als het wordt gecanceld door andere signalen, zal het model afdwalen en een feit verzinnen in plaats van het verstrekte feit te gebruiken.

De onderzoekers testten deze theorie door direct in te grijpen in de berekeningen van het model. Ze ontdekten dat wanneer ze het signaal afkomstig van de regeltekst kunstmatig verzwakten, het model vaak vergat aan het formaat te voldoen dat het moest opvolgen. Op dezelfde manier, wanneer ze de invloed van de bewijstekst verminderden, stopte het model met het gebruiken van de verstrekte feiten en begon het te hallucineren. Misschien wel het meest onthullende was dat zij lieten zien dat dit falen niet altijd permanent is. In gevallen waarin het model aanvankelijk faalde om het bewijs te gebruiken, waren de onderzoekers in staat de fout te herstellen door het signaal van de bewijstekst kunstmatig te versterken. Toen de ondersteuning voor het juiste feit sterk genoeg werd gemaakt om de initiële aarzeling van het model te overwinnen, slaagde het erin over te schakelen naar het juiste antwoord. Dit suggereert dat het model de juiste informatie vaak intern beschikbaar heeft, maar er niet op kan handelen omdat het signaal niet sterk genoeg is om de interne competitie op het moment van besluitvorming te winnen.

Dit werk biedt een verenigde verklaring voor twee schijnbaar tegenovergestelde gedragingen. Het suggereert dat het verschil tussen een model dat instructies perfect opvolgt en een model dat liegt over de feiten, niet een verschil is in hoe het de prompt begrijpt, maar een verschil in hoe de invloed van die prompt wordt gehandhaafd tijdens het generatieproces. Voor regels moet de invloed een constante, persistente kracht zijn die de structuur van het antwoord stuurt. Voor feiten moet de invloed een scherpe, beslissende duw zijn op het exacte moment dat een specifieke waarde wordt gekozen. De studie concludeert dat de betrouwbaarheid van het model afhangt van de vraag of het interne signaal van de prompt sterk genoeg is en correct georganiseerd is om deze kritieke momenten van keuze te winnen. Door dit mechanisme te begrijpen, krijgen we een duidelijker beeld van waarom deze krachtige instrumenten soms werken als een perfecte assistent en op andere momenten als een zelfverzekerde leugenaar, en hoe dezelfde interne machinerie verantwoordelijk is voor beide uitkomsten.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →