You Do Not Fully Utilize Transformer's Representation Capacity

Moderne kunstmatige intelligentie vertrouwt vaak op een specifiek type computerprogramma genaamd een Transformer. Deze programma's zijn de motoren achter veel van de meest geavanceerde taaltools die we vandaag de gebruiken, in staat om enorme hoeveelheden tekst te lezen en mensachtige reacties te genereren. Om te begrijpen hoe ze werken, stel je een lezer voor die een lang verhaal verwerkt. Terwijl de lezer van de eerste zin naar de laatste beweegt, moet hij elk detail, elk personage en elke logische verbinding bijhouden om het geheel te begrijpen. In een standaard Transformer wordt dit geheugen afgehandeld door een enkel, smal kanaal dat informatie van de ene laag naar de volgende laag van het programma draagt. Elke laag verfijnt het begrip van de tekst en geeft de verfijnde versie door aan de volgende in de rij. Echter, net zoals een enkele gang te druk kan worden en details kan verliezen als er te veel mensen tegelijk doorheen proberen te lopen, kan dit smalle kanaal het programma dwingen om belangrijke onderscheid tussen verschillende woorden of ideeën te vervagen naarmate de tekst langer wordt of het programma dieper wordt. Dit fenomeen, bekend als representatie-instorting (representation collapse), betekent dat subtiele maar cruciale verschillen tussen tokens — de basisunits van tekst — verloren kunnen gaan, waardoor het voor het model moeilijker wordt om complexe problemen te doorgronden of lange sequenties nauwkeurig te onthouden.

Onderzoekers van T-Tech hebben een nieuwe manier voorgesteld om deze flessenhals op te lossen door een methode te introduceren die zij Layer-Integrated Memory, of LIMe, noemen. In plaats van elke stukje informatie door een enkel, onmiddellijk voorganger te dwingen, laat dit nieuwe ontwerp elk deel van het programma terugkijken en informatie rechtstreeks ophalen uit alle voorgaande lagen die het al heeft verwerkt. Denk eraan om de lezer een set plaknotities te geven die op elk stadium van hun leesreis zijn geplaatst. Wanneer ze een moeilijk concept tegenkomen, zijn ze niet langer beperkt tot alleen het briefje dat ze op dat moment vasthouden; ze kunnen terugblikken op notities van het begin, het midden, of waar dan ook tussendoor, om de meest relevante details te kiezen die hen helpen de huidige zin te begrijpen. Deze aanpak vereist niet het bouwen van een bredere gang of het toevoegen van meer geheugenopslag; in plaats daarvan reorganiseert het simpelweg hoe het bestaande geheugen wordt geraadpleegd, waardoor het programma specifieke kenmerken kan ophalen uit eerdere stadia van zijn eigen denkproces.

Het team testte dit idee door modellen te bouwen die konden leren om informatie dynamisch te routeren. Ze creëerden een systeem waarbij elk aandachtshoofd (attention head) — het deel van het programma dat beslist op welke woorden het zich moet concentreren — leert een set gewichten te bepalen, wat in essentie beslist hoeveel vertrouwen het moet schenken aan informatie van de laag direct vóór het, versus informatie van de allereerste laag of elke laag daartussenin. Dit leerproces vindt automatisch plaats tijdens de training. De onderzoekers ontdekten dat deze flexibiliteit de capaciteit van het model om complexe taken uit te voeren aanzienlijk verbeterde. In tests die betrekking hadden op wiskundig redeneren en logische puzzels, presteerden de nieuwe modellen aanzienlijk beter dan de standaardversies. Bijvoorbeeld, wanneer ze gevraagd werden om rekenproblemen met veel stappen op te lossen, faalden de standaardmodellen vaak naarmate het aantal stappen toenam, waarschijnlijk omdat ze het spoor van tussenliggende getallen kwijtraakten. De nieuwe modellen behielden echter hun nauwkeurigheid, zelfs naarmate de problemen moeilijker werden, wat suggereert dat ze beter in staat waren om de noodzakelijke numerieke onderscheiden helder te houden.

Naast het behalen van betere scores op tests, keken de onderzoekers in de modellen om te zien wat er gebeurde. Ze ontdekten dat de standaardmodellen de neiging hadden om verschillende woorden in bijna identieke representaties te comprimeren naarmate ze door diepere lagen bewogen, waardoor de lijnen tussen hen effectief vervaagden. In contrast hiermee behielden de nieuwe modellen een veel rijkere variëteit aan representaties. De interne "waarde"-vectoren (value vectors), die de kernbetekenis van de woorden dragen, bleven onderscheidend en divers, zelfs in de diepste delen van het netwerk. Deze bewaring van detail stelde de modellen in staat om verschillende redeneerpaden gescheiden te houden, wat cruciaal is voor taken die vereisen dat meerdere mogelijkheden worden verkend of een keten van logica wordt gevolgd. De studie toonde aan dat door het programma toe te staan zijn eigen geschiedenis vrijer te raadplegen, het de valkuil van het oversimplificeren van informatie kon vermijden.

De resultaten waren consistent over verschillende groottes en dieptes van modellen. In experimenten waarbij de onderzoekers zeer diepe netwerken bouwden met tot 128 lagen, stelde de nieuwe methode een model met 64 lagen in staat om even goed als, of zelfs beter te presteren dan, een standaardmodel met 128 lagen. Dit suggereert dat de kwaliteit van de informatiestroom belangrijker is dan simpelweg meer lagen bovenop elkaar te stapelen. De onderzoekers analyseerden ook de "routeringsgewichten" (routing weights) die de modellen leerden, en vonden dat de programma's systematisch kenmerken uit de vroegste lagen hergebruikten voor de lange termijn context, terwijl ze ook vertrouwden op directe buren voor details op de korte termijn. Dit patroon geeft aan dat de modellen leerden om de last van het geheugen te verdelen over het hele netwerk, in plaats van het te verzamelen in een enkele stroom.

Hoewel de nieuwe methode een kleine hoeveelheid extra tijd vereist om deze verbindingen te berekenen, is de afruil minimaal vergeleken met de winst in prestaties en efficiëntie. De aanpak werkt met bestaande hardware en vereist geen enorme toename in geheugen, wat het een praktische upgrade maakt voor huidige systemen. De studie concludeert dat de beperking van standaard Transformers niet een gebrek aan capaciteit is, maar een flessenhals in hoe die capaciteit wordt gebruikt. Door de informatiestroom tussen lagen te openen, ontsluit de nieuwe methode een hoger niveau van redeneren en representatie, wat bewijst dat de beste manier om vooruit te gaan soms is om te onthouden waar je al bent geweest.