J-space Forecasts Model Collapse, but Only Anchoring the Function Prevents It

Kunstmatige intelligentiesystemen die bekend staan als taalmodellen worden steeds gebruikelijker en zijn in staat om verhalen te schrijven, vragen te beantwoorden en menselijke gesprekken na te bootsen. Deze systemen leren door enorme hoeveelheden tekst van het internet en uit boeken te lezen. Er is echter een verontrustend fenomeen aan het licht gekomen: als deze modellen worden getraind op tekst die ze zelf hebben geschreven, beginnen ze te degraderen. Dit proces, genaamd model collapse (modelinstorting), zorgt ervoor dat het AI-model zijn vermogen verliest om het volledige spectrum van de menselijke taal te begrijpen. In plaats van gevarieerde en genuanceerde reacties te produceren, begint het model zichzelf te herhalen en richt het zich alleen op de meest voorkomende zinsneden, waardoor het uiteindelijk de zeldzame en complexe ideeën vergeet die taal rijk maken. Het gevaar is reëel omdat, naarmate meer inhoud op het internet door AI wordt gegenereerd, toekomstige modellen onbedoeld kunnen leren van deze gedegradeerde output, wat een feedbackloop creëert waarin intelligentie langzaam erodeert.

Jarenlang hebben wetenschappers deze instorting geobserveerd door naar de uiteindelijke output van de modellen te kijken, waarbij ze zagen hoe de kwaliteit van de tekst verslechterde. Maar een nieuwe studie door de onafhankelijke onderzoeker ChaeWoo Son stelt een diepere vraag: waar in de machine vindt de schade precies plaats? Gebeurt de beschadiging in de manier waarop het model ideeën representeert, of gebeurt het in de manier waarop het besluit wat het als volgende zegt? Om dit te ontdekken, bouwde de onderzoeker een gecontroleerd experiment met een klein taalmodel en dwong het om gedurende verschillende generaties te leren van zijn eigen synthetische tekst. Het doel was om de schade te volgen terwijl deze plaatsvond en te zien of het gestopt kon worden door specifieke delen van de interne structuur van het model te beschermen.

De studie begon met het trainen van een model op een grote collectie echt menselijk geschreven teksten. Zodra het model klaar was, startte de onderzoeker een cyclus: het model zou een miljoen woorden van zichzelf genereren, en vervolgens zou het opnieuw getraind worden op die nieuwe tekst. Dit proces werd zes keer herhaald. Zoals verwacht werd de prestatie van het model op echte menselijke tekst zeer snel slechter. Na slechts één ronde van dit zelf-trainen daalde het vermogen van het model om het volgende woord in een zin te voorspellen aanzienlijk. Maar nog voordat de output van het model tekenen van falen vertoonde, merkte de onderzoeker iets anders op dat binnenin de machine gebeurde. Door te kijken naar een specifieke, laag-dimensionale ruimte binnen het model waar het zijn begrip van concepten opslaat, zag de onderzoeker een enorme verschuiving in hoe het model informatie representeert. Deze interne verschuiving vond tien keer sneller plaats dan de daling in prestaties die voor iedereen van buitenaf zichtbaar was.

Deze vroege waarschuwingssignalen waren echter niet uniek voor de instorting. Wanneer het model werd getraind op verse, hoogwaardige menselijke tekst in plaats van op zijn eigen output, bewoog diezelfde interne ruimte ook, maar dan op een veel kleinere en minder consistente manier. Het cruciale verschil was de snelheid en diepte van de verandering. Wanneer het model leerde van zijn eigen slechte data, was de interne verschuiving enorm, consistent en dreef het het begrip van het model naar een zeer laag niveau. Wanneer het leerde van goede data, was de verschuiving minimaal. Dit suggereerde dat hoewel de interne ruimte een gevoelige barometer voor problemen was, het niet noodzakelijkerwijs de plek was waar de schade werd toegebracht.

Om dit te testen, probeerde de onderzoeker de instorting te stoppen door de interne structuur op zijn plaats te vergrendelen. Ze dwongen het model om zijn interne representaties exact hetzelfde te houden als ze waren voordat de training begon, zelfs terwijl het leerde van de slechte synthetische data. Dit werkte perfect om de interne ruimte stabiel te houden, maar het faalde om het model te redden. Het model stortte nog steeds in en verloor het grootste deel van zijn vermogen om echte tekst te verwerken. Zelfs toen de onderzoeker de gehele laag van het model vergrendelde, en niet alleen de kleine ruimte, was de bescherming minimaal. Dit was een cruciale bevinding: het bewees dat de verwonding niet plaatsvond in de manier waarop het model zijn ideeën opslaat, maar ergens anders.

De oplossing kwam toen de onderzoeker de strategie veranderde van het beschermen van de interne kaart naar het beschermen van het gedrag. In plaats van de interne structuur van het model te bevriezen, voegden ze een regel toe die het model dwong om zijn voorspellingen op een kleine set echte menselijke zinnen exact hetzelfde te houden als ze aan het begin waren. Dit is vergelijkbaar met het vertellen aan een student: "Je mag studeren wat je wilt, maar je moet nog steeds deze specifieke vragen correct kunnen beantwoorden." Wanneer deze regel werd toegepast, werd het model bijna volledig gered. Het leerde van de slechte synthetische data zonder zijn vermogen te verliezen om echte menselijke tekst te begrijpen. Sterker nog, deze methode was veel effectiever dan simpelweg de menselijke zinnen te mengen in de trainingsdata, wat de standaardmanier is waarop wetenschappers proberen dit probleem op te lossen. De gedragsregel voorkwam bijna alle schade, terwijl het mengen van de data slechts ongeveer de helft voorkwam.

De studie onthult dat de instorting van een AI-model geen falen is van zijn interne geheugen of zijn vermogen om concepten op te slaan. In plaats daarvan is het een falen van de verbinding tussen wat het model ziet en wat het besluit te zeggen. De schade vindt plaats in de functie, de mapping van input naar output, en niet in de statische representatie van ideeën. Door deze functie te verankeren aan een gezonde referentie, kan het model worden beschermd tegen de corruptie van zijn eigen output. Hoewel dit experiment op een klein model werd uitgevoerd, suggereren de bevindingen een krachtige en efficiënte manier om toekomstige, grotere systemen te beschermen. Als een handvol echte menselijke voorbeelden kan worden gebruikt om het gedrag van het model te verankeren, is het mogelijk om de langzame degradatie van kunstmatige intelligentie te voorkomen, zelfs naarmate het internet steeds meer gevuld raakt met door machines gegenereerde inhoud. Het onderzoek biedt een duidelijke weg vooruit: probeer niet alleen de interne staat van het model te bewaren; bewaar het vermogen om correct te handelen in de echte wereld.