A Circuit for In-Context Learning
Dit artikel identificeert en valideert causaal een specifiek, geconserveerd neuraal circuit in transformer-modellen dat in-context leren mogelijk maakt voor few-shot zinsclassificatie door een gated associatief geheugenmechanisme te implementeren waarbij middelste laag-heads label-klasse-mappings opslaan en bovenste laag-heads deze ophalen op basis van query-overeenkomsten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een taalmodel voor als een enorme bibliotheek van menselijke kennis, getraind op miljarden zinnen. Wanneer je het een vraag stelt, antwoordt het meestal op basis van wat het heeft onthouden. Maar er is een speciale truc die het kan uitvoeren, genaamd "in-context learning". Als je het model een paar voorbeelden van een nieuwe taak laat zien vlak voordat je de vraag stelt — zoals het tonen van een dozijn zinnen gekoppeld aan verzonnen labels — kan het direct het patroon leren en dit toepassen op je nieuwe zin, zonder dat de interne gewichten ooit veranderen of het opnieuw getraind hoeft te worden. Het begrijpt de regel in één enkel moment van lezen. Jarenlang wisten wetenschappers dat dit gebeurde, maar ze wisten niet hoe de machine het daadwerkelijk deed. Ze konden het resultaat zien, maar de raderen die in de donkere doos draaiden, bleven een mysterie.
Een team van onderzoekers heeft die doos nu geopend en de exacte machinerie achter deze vaardigheid in kaart gebracht. Door drie verschillende grote taalmodellen te bestudelen, ontdekten ze dat het model niet op de traditionele manier een regel "leert". In plaats daarvan bouwt het een tijdelijk geheugen binnen de prompt zelf, gebruikmakend van een specifieke set aandachtskoppen (attention heads) — gespecialiseerde verwerkingseenheden binnen het netwerk — die fungeren als schrijvers, lezers en poortwachters. Ze ontdekten dat het model de voorbeelden die je het geeft behandelt als een sleutel-waarde geheugensysteem. Wanneer je een zin laat volgen door een label, schrijft het model de identiteit van dat label in een specifie recente plek in zijn geheugen, terwijl het tegelijkertijd een "sleutel" schrijft die het type beschrijft van de zin die het zojuist zag. Later, wanneer het model de uiteindelijke vraag tegenkomt, berekent het een code voor die vraag en gebruikt het die om in zijn tijdelijke geheugen te zoeken, waarbij het de type van de vraag vergelijkt met de sleutels die het eerder heeft opgeslagen om het juiste label op te halen.
De onderzoekers volgden dit proces stap voor stap, met behulp van een methode waarmee ze onderdelen van de interne activiteit van het model tussen verschillende prompts konden verwisselen om te zien welke stukken essentieel waren. Ze ontdekten dat ongeveer twintig koppen in de middelste lagen fungeren als schrijvers, die de klasse van elke demonstratiezin nemen en deze in de geheugenslot van het opvolgende label deponeren. Vervolgens fungeren ongeveer negentig koppen in de bovenste lagen als lezers. Deze lezers scannen het geheugen op zoek naar slots waar de opgeslagen sleutel overeenkomt met de klasse van de huidige vraag. Wanneer ze een match vinden, kopiëren ze het label uit dat slot naar het uiteindelijke antwoord. Echter, dit ophaalsysteem is niet altijd actief. De onderzoekers ontdekten een "poort" die beslist of het geheugen überhaupt gelezen moet worden. Deze poort controleert of een label in de voorbeelden vaker dan één keer is verschenen. Als een label herhaalt, gaat de poort open, waardoor de lezers het geheugen kunnen doorzoeken. Als geen enkel label herhaalt, blijft de poorten gesloten, en kiest het model ervoor om de voorbeelden te negeren, een gedrag dat voorkomt dat het willekeurig gokt wanneer er geen duidelijk patroon bestaat.
Om ervoor te zorgen dat het model correct antwoordt, fungeert nog een andere set van ongeveer twee dozijn koppen als "remmen". Deze koppen werken tegen het meest recent geziene label, om te voorkomen dat het model simpelweg het laatste label dat het las kopieert, een veelvoorkomende bias die bekend staat als recentie (recency). Zonder deze remmen zou het model vaak het patroon negeren en gewoon het laatste label herhalen dat het zag. De onderzoekers ontdekten ook dat het model vertrouwt op een "sink" (put), een standaardpositie waar de aandacht naartoe gaat wanneer er niets specif
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.