Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training
Deze studie toont empirisch aan dat hoewel een enkel trainingsvoorbeeld snel wordt geleerd en de directe voorspellingen van een model meetbaar beïnvloedt, de specifieke bijdrage ervan volledig vervalt gedurende het proces van pre-training, waardoor er geen detecteerbare langetermijnimpact overblijft op de uiteindelijke loss, gewichten of geometrie van het model die verder gaat dan de natuurlijke variantie veroorzaakt door verschillende random seeds.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van kunstmatige intelligentie bouwen onderzoekers enorme computerprogramma's die taalmodellen worden genoemd door ze enorme bibliotheken aan tekst te voeren. Deze programma's leren door miljarden zinnen te lezen, waarbij ze hun interne instellingen stap voor stap aanpassen om het volgende woord in een reeks te voorspellen. Jarenlang hebben wetenschappers gewild om precies te weten hoeveel één enkele zin of een specifieet feit bijdraagt aan de uiteindelijke intelligentie van het model. Het is een vraag van oorzaak en gevolg: als je één klein stukje data uit de trainingsbibliotheek verwijdert, verandert het voltooide model dan? Het beantwoorden hiervan is ongelooflijk moeilijk omdat de standaardmethode om dit te achterhalen het tweemaal vanaf nul trainen van het model zou vereisen — één keer met de zin en één keer zonder — terwijl elk ander detail identiek blijft. Omdat het trainen van deze modellen immense tijd en geld kost, vertrouwen onderzoekers meestal op wiskundige sluiproutes om het antwoord te raden, in plaats van het direct te meten.
Een team van onderzoekers besloot te stoppen met raden en te beginnen met meten. Ze ontwierpen een nauwkeurig experiment om te zien wat er gebeurt wanneer een specifieke, enkele stuk tekst in het trainingsproces van een taalmodel wordt ingevoegd. Ze bouwden tweeendertig afzonderlijke modellen, die allemaal vanuit exact hetzelfde willekeurige beginpunt startten. Ze trainden elk model op een enorme collectie internettekst, maar op een specifiek moment vroeg in het proces grepen ze in. Voor vierentwintig van de modellen vervingen ze één regel tekst in de trainingsdata door een nieuwe passage van 194 woorden. Dit deden ze op drie verschillende manieren: één groep ontving een goed geschreven paragraaf over een echt persoon die daadwerkelijk in hun trainingsdata voorkomt; een andere groep ontving een goed geschreven paragraaf over een verzonnen persoon die niet in de data voorkomt; en een derde groep ontving een regel willekeurige toetsenbordtekens. De resterende acht modellen dienden als een controlegroep en ontvingen geen enkele vervanging, waardoor de onderzoekers de resultaten konden vergelijken met een perfecte tweeling.
De onderzoekers zochten naar een specifiek soort verandering in de interne structuur van het model. Ze wilden zien of het "geheugen" van het model voor die enkele zin een blijvende afdruk zou achterlaten op de uiteindelijke vorm. Ze volgden de modellen terwijl ze duizenden stappen lang bleven leren na de injectie. De resultaten toonden een fascinerend patroon van leren en vergeten. Slechts vijftig stappen nadat het model de nieuwe passage zag, kon het de woorden in die passage aanzienlijk beter voorspellen dan de modellen die het nooit hadden gezien. Dit bewees dat het model de informatie inderdaad had geleerd van een enkele blootstelling. Echter, naarmate de training voortduurde, vervaagde dit voordeel. Tegen de tijd dat de modellen hun training voltooiden, was het vermogen om die specifieke passage te voorspellen verdwenen, en waren de modellen die de tekst hadden gezien niet meer te onderscheiden van de modellen die dat niet hadden gedaan.
Toen de onderzoekers naar de eindtoestand van de modellen keken, ontdekten ze dat de enkele zin de fundamentele gedragingen van het model of zijn vermogen om taal in algemene zin te begrijpen, niet had veranderd. Ze maten de afstand tussen de uiteindelijke instellingen van de modellen die de tekst hadden gezien en hun tweelingen, en hoewel de modellen in hun interne instellingen licht waren verschoven, waren ze niet naar nieuw gebied getreden. Ze bleven in dezelfde "bekken" van oplossingen, wat betekent dat ze functioneel gezien nog steeds hetzelfde waren. De onderzoekers testten ook of het feit dat de passage over een echt persoon versus een verzonnen persoon een verschil maakte. Ze vonden geen meetbaar verschil tussen de twee; het model behandelde de feitelijke en fictieve verhalen exact hetzelfde. Zelfs de willekeurige tekens, die een grotere initiële verstoring veroorzaakten, kwamen uiteindelijk tot een staat die functioneel identiek was aan de anderen.
De studie benadrukt een cruciaal onderscheid tussen hoe de interne getallen van een model veranderen en hoe het werkelijke gedrag van het model verandert. De onderzoekers ontdekten dat hoewel de enkele zin een merkbare verschuiving veroorzaakte in de interne coördinaten van het model — het bewoog ongeveer drieënveertig procent van de afstand die twee volledig verschillende modellen van elkaar zouden bewegen — het bijna geen verandering veroorzaakte in de functionele prestaties van het model. Het vermogen van het model om het volgende woord op nieuwe, ongeziene tekst te voorspellen, bleef onveranderd. Dit suggereert dat de interne instellingen van deze modellen flexibel zijn; ze kunnen aanzienlijk verschuiven zonder de uiteindelijke output te veranderen. Het experiment onthulde ook dat het moment van meting enorm veel uitmaakt. Als je het model controleert direct nadat het een feit heeft geleerd, zie je een sterk effect. Als je wacht tot de training is voltooid, is dat effect vervaagd. De onderzoekers concludeerden dat het model voor een enkel voorbeeld de informatie leert, deze gebruikt en vervolgens weer loslaat, waardoor het eindproduct grotendeels onveranderd blijft door dat eenzame stukje data.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.