The Query Knows What to Forget: A Second Erase Direction for Linear Attention

Stel je voor dat je probeert een verhaal te herinneren dat je lang geleden hebt gehoord. Je brein heeft een beperkte hoeveelheid ruimte om deze herinneringen vast te houden. Als je te veel verhalen in die kleine ruimte probeert te proppen, beginnen de details door elkaar te lopen en kun je de ontknoping van het ene verhaal verwarren met het begin van een ander. Dit is een beetje zoals hoe moderne AI-modellen omgaan met lange gesprekken. Ze gebruiken een speciaal type geheugen genaamd "lineaire aandacht" om bij te houden wat er tot nu toe is gezegd zonder dat de ruimte opraakt. In plaats van elk afzonderlijk woord op te slaan in een enorme, groeiende stapel, comprimeren ze de informatie in een "state" van vaste grootte, zoals een magisch notitieblok dat zichzelf bijwerkt terwijl er nieuwe woorden binnenkomen.

Er zit echter een addertje onder het gras. Naarmate het gesprek langer wordt, beginnen de oude herinneringen op dat notitieblok met elkaar te interfereren. Wanneer de AI probeert een specifiek stukje informatie te vinden (zoals een naam die 10.000 woorden geleden werd genoemd), maakt de ruis van alle andere woorden het moeilijk om het juiste antwoord te vinden. Wetenschappers hebben geprobeerd dit op te lossen door de AI slimmer te maken in wat hij moet verwijderen. Ze hebben systemen gebouwd die oude, irrelevante informatie kunnen "wissen" om ruimte te maken voor nieuwe informatie, maar tot nu toe waren deze gummen een beetje onhandig. Ze weten alleen wat ze moeten verwijderen op basis van het huidige woord dat wordt verwerkt, en niet op basis van waar de AI daadwerkelijk naar op zoek is.

Dit artikel introduceert een slimme nieuwe truc genaamd QED (Query-derived Erase Direction) om die onhandigheid te verhelpen. De onderzoekers, werkend met modellen van 340 miljoen parameters, ontdekten dat door de "zoekvraag" van de AI (de query) te laten beslissen wat er gewist moet worden, het model belangrijke informatie veel langer kan vasthouden. Ze trainden hun modellen op een enorme dataset van 15 miljard tokens en ontdekten dat deze nieuwe methode de AI in staat stelt om details uit veel eerdere delen van het gesprek te onthouden dan voorheen. Specifiek op een test genaamd S-NIAH-1, verdubbelde de nieuwe methode de hoeveelheid tekst die het model betrouwbaar kon doorlezen, waarbij de nuttige limiet werd opgerekt van ongeveer 8.000 woorden naar 16.000 woorden. Het artikel suggereert dat dit een belangrijke stap voorwaarts is in het beter maken van AI voor het lezen van lange documenten, hoewel de auteurs opmerken dat sommige specifieke onderdelen van hun nieuwe hulpmiddel meer tests nodig hebben om te zien of ze strikt noodzakelijk zijn.

Het Probleem: De "Eenrichtings-" Gum

Om de doorbraak te begrijpen, moeten we kijken naar hoe deze AI-modellen momenteel werken. Stel je voor dat het geheugen van de AI een drukke bibliotheek is waar boeken (informatie) constant worden uitgewisseld. Wanneer er een nieuw boek arriveert, moet de bibliothecaris (het model) beslissen welk oud boek hij weg moet gooien om ruimte te maken.

In de modellen die vóór dit artikel werden gebruikt (zoals Gated DeltaNet-2), kijkt de bibliothecaris alleen naar het nieuwe boek (de "key") om te beslissen wat hij weggooit. Het is alsof je zegt: "Dit nieuwe boek gaat over katten, dus ik gooi het oude boek over katten weg." Dit werkt redelijk, maar het heeft een blinde vlek.

Het probleem is dat de AI niet alleen naar het nieuwe boek kijkt; de AI heeft ook een specifieke vraag die hij probeert te beantwoorden (de "query"). Misschien is de vraag: "Wie is de hoofdpersoon?". De bibliothecaris moet het antwoord op die specifieke vraag vinden. Maar de oude "eenrichtings-" gum weet alleen wat hij moet verwijderen op basis van het onderwerp van het nieuwe boek, niet op basis van de gestelde vraag.

De auteurs realiseerden zich dat de "interferentie"—de ruis die de AI in de war brengt—precies daar zit waar de vraag naar zoekt. Als de vraag zoekt naar een specifiek detail, maar de bibliothecaris verwijdert alleen op basis van het onderwerp van het nieuwe boek, dan kan de verwarrende ruis precies in het pad van de vraag blijven zitten. Het is also als proberen een naald in een hooiberg te vinden terwijl de bibliothecaris alleen hooi verwijdert dat op de kleur van de naald lijkt, terwijl hij negeert dat de naald eigenlijk onder een hoop stro verborgen ligt.

De Oplossing: De "Tweerichtings-" Gum

Het artikel stelt een oplossing voor genaamd QED. In plaats van slechts één gum, voegen ze een tweede toe die wordt gestuurd door de vraag zelf.

Denk er zo over na: De AI heeft nu een "Key-Directed Eraser" (de oude) en een nieuwe "Query-Directed Eraser".

1. De Key-Directed Eraser doet nog steeds zijn werk: hij kijkt naar de nieuwe informatie en ruimt de oude zaken op die erbij passen.
2. De Query-Directed Eraser kijkt naar waar de AI momenteel naar vraagt. Als de vraag is "Wie is de schurk?", richt deze gum zich specifiek op het verwijderen van oude, verwarrende informatie die het antwoord op die vraag zou kunnen verbergen.

Cruciaal is dat deze nieuwe gum is ontworpen om "orthogonaal" te zijn aan de oude. In gewone mensentaal betekent dit dat het de delen van het geheugen schoonmaakt die de oude gum niet kan bereiken. Het is als het hebben van een stofzuiger die stof uit de hoeken van de kamer kan zuigen waar de bezem niet bij kan.

De onderzoekers testten dit door modellen te trainen op 15 miljard tokens tekst. Ze ontdekten dat wanneer ze de "vraag" (query) de gum lieten sturen, het model veel beter werd in het vinden van specifieke feiten in lange teksten.

Wat ze vonden (en wat ze niet vonden)

De resultaten waren zeer veelbelovend, maar de auteurs waren voorzichtig om de boel niet te overhypen. Hier is wat de data daadwerkelijk liet zien:

• Long-Context Superkracht: Op een test genaamd S-NIAH-1 (die controleert of een model een "naald in een hooiberg" van tekst kan vinden), verbeterde de nieuwe methode de nauwkeurigheid aanzienlijk. Bijvoorbeeld, bij een lengte van 16.000 tokens (woorden) behaalde het standaardmodel ongeveer 21,8% correctheid, terwijl het nieuwe QED-model 39,8% correctheid behaalde. Bij 32.000 tokens was de sprong zelfs nog dramatischer, van 9,4% naar 15,8%.
• Verdubbeling van de Bruikbare Lengte: De auteurs stellen dat deze verbetering de bruikbare contextlengte effectief verdubbelt. Voorheen begon het model rond de 8.000 tokens in de war te raken; met QED bleef het betrouwbaar tot 16.000 tokens.
• Geen Magische Perplexity: Interessant genoeg maakte de nieuwe methode de AI niet beter in het schrijven of het voorspellen van het volgende woord in een zin (een metriek genaamd "validation loss"). De loss bleef exact hetzelfde. Dit suggereert dat QED de AI niet in algemene zin "slimmer" maakt; het maakt hem alleen beter in het opvragen van specifieke herinneringen uit zijn gecomprimeerde staat.

Het "Ablatie"-Mysterie: Welke onderdelen doen ertoe?

Om er precies uit te komen waarom QED werkte, voerden de onderzoekers experimenten uit waarbij ze verschillende onderdelen van het nieuwe systeem uitschakelden. Dit is als het uit elkaar halen van een automotor om te zien welke bout de auto sneller laat gaan.

Ze testten drie hoofdonderdelen:

1. De Richting: Het gebruik van de "vraag" (query) om de gum te sturen.
2. De Gate: Een schakelaar die bepaalt wanneer er gewist wordt (zodat het niet de dingen verwijdert die de AI nog nodig heeft).
3. De Projectie: Een wiskundige regel om ervoor te zorgen dat de nieuwe gum niet per ongel Engels de werkzaamheden van de oude gum verstoort.

Hier komt de wending: de resultaten waren wat gemengd.

• De Richting is de Sleutel: Elke keer dat ze de "vraag" (query) gebruikten om de gum te sturen, werd het model beter. Dit deel lijkt de echte held te zijn.
• De Gate en Projectie zijn Onduidelijk: Wanneer ze de "gate" of de "projectie" uitschakelden, waren de resultaten inconsistent. Somsat het model beter presteerde, soms slechter, afhankelijk van welke willekeurige seed (startpunt) ze gebruikten voor de training. De auteurs suggereren dat hoewel deze onderdelen misschien helpen, de experimenten niet bewezen dat ze strikt noodzakelijk zijn. Het is mogelijk dat voor de specifieke grootte van het model dat ze gebruikten, de "projectie" eigenlijk niet veel deed omdat het model van nature de problemen vermeed waarvoor het ontworpen was.

De Conclusie

Het artikel concludeert dat QED een succesvolle manier is om AI-modellen te helpen dingen te onthouden in lange gesprekken. Door de "vraag" te laten helpen beslissen wat er vergeten moet worden, kan het model de ruis opruimen die normaal gesproken het geheugen blokkeert.

De auteurs zijn echter eerlijk over de beperkingen van hun bevindingen. Ze hebben niet bewezen dat de "gate" of de "projectie" essentieel zijn; ze hebben alleen bewezen dat het gebruik van de "query" om de gum te sturen de meest consistente verbetering is. Ze merkten ook op dat de kracht van deze nieuwe gum afgestemd moet worden op de specifieke taak, aangezien het aanpassen van de "sterkte" van de gum tijdens de test verschillende resultaten gaf voor verschillende modellen.

Kortom, het artikel suggereert dat als je wilt dat een AI een heel boek leest en de naam van de schurk in het laatste hoofdstuk onthoudt, je hem een "query-gestuurde gum" moet geven. Maar je zult waarschijnlijk nog meer tests moeten doen om erachter te komen hoe je precies de andere knoppen op die nieuwe machine moet afstellen.