Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

Stel je voor dat je een briljante maar piepkleine robot probeert te leren hoe hij een boek moet lezen. In de wereld van kunstmatige intelligentie worden deze robots "taalmodellen" genoemd. Ze werken door woorden één voor één te bekijken en te raden wat er daarna komt, een beetje zoals een supersnel spelletje "vul het gat in". Om dit te doen, houden ze meestal een gigantische mentale lijst bij van alles wat ze tot nu toe hebben gelezen, wat veel geheugen in beslag neemt. Maar wat als we ze kunnen leren om dingen op een veel kleinere, efficiëntere manier te onthouden, zoals een kortetermijngeheugenlus? Dit is de belofte van "lineaire aandacht", een nieuwe truc waarmee deze robots kunnen draaien op kleinere computers, zoals de computer in je laptop of telefoon, in plaats van enorme, dure supercomputers te nodig hebben.

Wetenschappers hebben geprobeerd om grote, krachtige robots die al veel weten te onderwerpen aan een "operatie" om ze de nieuwe, efficiënte geheugentruc te laten gebruiken. De grote vraag is: wanneer we hun oude geheugen vervangen door het nieuwe, efficiëntere geheugen, vergeten ze dan hoe ze moeten denken, of raken ze alleen in de war over hoe ze hun kennis aan jou moeten laten zien? Dit paper duikt in dat exacte mysterie. Het vraagt zich af: als we het geheugen van de robot repareren, weet hij dan nog steeds de antwoorden, of heeft de operatie het deel van zijn brein beschadigd dat zijn kennis verbindt met de woorden die hij spreekt?

---

De operatie die de stemkast beschadigde

De onderzoeker nam een klein AI-model met 0,6 miljard parameters (denk aan een zeer slimme, maar kleine student) en voerde een grote operatie uit. Hij verving 21 van de 28 hersenlagen door een nieuw, efficiënt "lineair aandacht"-systeem genaamd KDA. Dit deed hij op een enkele, standaard grafische kaart voor een computer — het soort dat een gamer zou hebben — in plaats van op een supercomputer.

Na de operatie controleerde de onderzoeker de gezondheid van de robot met standaard medische tests. De tests zeiden dat de robot het geweldig deed! Zijn "perplexity" (een maatstaf voor hoe verrast hij is door het volgende woord) was bijna net zo goed als die van het origineel. Het leek erop dat hij de flow van taal perfect begreep. Maar toen stelde men hem een simpele meerkeuzevraag: "Wat is de hoofdstad van Frankrijk? A) Londen, B) Parijs, C) Berlijn, D) Rome."

De robot faalde. Jammerlijk. Hij kreeg het antwoord slechts ongeveer 25% van de tijd goed, wat hetzelfde scoren is als wanneer je simpelweg willekeurig zou gokken. De standaardtests hadden gelogen. De robot wist de feiten diep van binnen, maar hij was de vaardigheid kwijtgeraakt om naar het juiste antwoord te wijzen.

De "A"-verslaving: Een diagnostisch detectiveverhaal

Om uit te zoeken wat er mis was, bedacht het team een slimme detective-truc genaamd de "vier-permutatie-diagnostiek". Stel je voor dat je een meerkeuzevraag hebt met vier opties: A, B, C en D. Normaal gesproken is het antwoord verborgen achter een van deze letters.

De onderzoeker nam 161 vragen en husselde de letters door elkaar. Hij stelde dezelfde vraag vier keer, maar telkens roteerde hij de opties:

1. Origineel: A=Londen, B=Parijs...
2. Geroteerd: A=Parijs, B=Berlijn...
3. Opnieuw geroteerd: A=Berlijn, C=Rome...
4. En nog een keer.

Als de robot echt aan het nadenken was, zou hij de inhoud moeten volgen (het woord "Parijs") en de juiste letter moeten kiezen, ongeacht waar deze geplaatst was. Als hij alles vergeten was, zou hij elke keer willekeurig gokken.

Maar de robot deed noch het een, noch het ander. Hij deed iets vreemds: hij werd geobsedeerd door de letter "A".

• Hij koos optie "A" 81% van de tijd, ongeacht of "A" het juiste antwoord was of niet.
• Bij 106 van de 161 vragen koos hij exact dezelfde letter (meestal "A"), zelfs toen de opties volledig waren gehusseld.

De robot was niet dom; hij zat gewoon "vast". Hij was de interface kwijtgeraakt — de mentale brug die zijn kennis verbindt met de specifieke labels (A, B, C, D) die hij moet produceren. Hij wist dat het antwoord Parijs was, maar hij kon niet uitzoeken welke letter hij moest indrukken om "Parijs" te zeggen. Het was also als een persoon die het antwoord op een raadsel kent, maar alleen kan spreken in een specifieke, kapotte code die altijd met hetzelfde woord begint.

De oplossing: Het format opnieuw aanleren

Het team realiseerde zich dat de robot getraind was op lange paragrafen tekst, maar nooit op het specifieke format van "Vraag -> Opties -> Antwoord". Hij wist niet hoe hij het spel van meerkeuzevragen moest spelen.

Om dit op te lossen, lieten ze de robot een korte, gerichte trainingssessie volgen. Ze leerden hem geen nieuwe feiten; ze lieten hem simpelweg duizenden voorbeelden zien van het format van meerkeuzevragen, waarbij hem specifiek werd geleerd om naar de opties te kijken en de juiste te kiezen. Ze gebruikten een techniek genaamd "completion-only KL", wat een chique manier is om te zeggen: "Maak je geen zorgen over het deel van de vraag, leer alleen hoe je het antwoord correct afmaakt."

Het resultaat was een spectaculair herstel:

• De score van de robot op een standaardtest (C-Eval) sprong van 28,8% naar 41,3%.
• De "A-verslaving" werd gehalveerd (van 81% naar 58%).
• De robot begon de correcte optie vaker te kiezen dan de onjuiste.

De robot was niet langer slechts aan het gokken; hij had opnieuw geleerd hoe hij zijn kennis aan de antwoordlabels moest koppelen.

De laatste hand: Het geven van een persoonlijkheid

Zodra de robot vragen correct kon beantwoorden, wilde het team hem een persoonlijkheid geven. Ze wilden dat hij zou handelen als een specifieke digitale assistent genaamd "Qingyi". Dit deden ze door de robot te laten oefenen met chatten en vragen beantwoorden in de stijl van dit personage.

Verrassend genoeg maakte dit de robot niet opnieuw kapot. Meestal zorgt het aanleren van een nieuwe persoonlijkheid aan een robot ervoor dat hij zijn oude vaardigheden vergeet (een probleem dat "catastrofale vergetelheid" wordt genoemd). Maar omdat het brein van de robot al gerepareerd en stabiel was, leerde hij de nieuwe persoonlijkheid aan zonder zijn vermogen om vragen te beantwoorden te verliezen. Hij eindigde met een score van 41,83%, wat heel dicht bij zijn score na de reparatie lag, wat bewees dat je een robot een persoonlijkheid kunt geven zonder zijn brein te beschadigen.

Wat we hebben geleerd (en wat niet)

Het paper concludeert met een paar belangrijke lessen voor iedereen die deze efficiënte AI-modellen probeert te bouwen:

1. Vertrouw de standaardtests niet: Alleen omdat een robot er op papier gezond uitziet (lage perplexity), betekent dit niet dat hij daadwerkelijk zijn werk kan doen. Je moet testen of hij instructies kan opvolgen, en niet alleen woorden kan voorspellen.
2. Het "A"-probleem is echt: Wanneer je de manier waarop een AI denkt verandert, kan hij vast komen te zitten in eenvoudige gewoontes zoals altijd de eerste optie kiezen. Dit is een "interface-beschadiging", geen verlies van kennis.
3. Kleine computers kunnen grote dingen doen: Je kunt dit soort complexe operaties uitvoeren op een enkele consumenten-GPU, maar je moet wel voorzichtig zijn. De onderzoeker ontdekte een verborgen bug waarbij de wiskunde van de computer (gebruikmakend van een format genaamd bf16) kleine updates stilletjes opslokte, waardoor de robot dacht dat hij leerde terwijl hij eigenlijk bevroren was. Ze moesten overstappen op een ander wiskundig format (FP32) om dit te herstellen.

De onderzoeker heeft al zijn code, gewichten en het "incidentrapport" van alles wat er misging vrijgegeven, zodat anderen van zijn fouten kunnen leren. Hij heeft niet alles opgelost — er is nog steeds een kloof tussen zijn kleine robot en het grote leraar-model — maar hij heeft bewezen dat je met de juiste diagnose en een beetje format-training de kapotte onderdelen van het brein van een AI kunt repareren.