WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

Moderne kunstmatige intelligentie die tekst genereert, vertrouwt op een structuur die een Transformer wordt genoemd, die informatie verwerkt in een reeks gestapelde lagen. Stel je een fabriekslijn voor waarbij een grondstof door station één gaat, dan door station twee, enzovoort, waarbij elk station het product verfijnt. In een standaardopstelling kan het systeem, wanneer het naar de volgende tekstpassage beweegt, alleen terugkijken naar het werk dat de station direct boven het huidige station in de vorige stap heeft uitgevoerd. Dit betekent dat de diepere, complexere inzichten die aan de bovenkant van de stapel worden gevormd, vaak ontoegankelijk zijn voor de lagere, eerdere stations wanneer zij nieuwe informatie verwerken. Hoewel het systeem een rijke geschiedenis van begrip heeft gecreëerd, worstelt het ermee om die volledige diepte efficiënt te gebruiken, wat de mate waarin het langetermijncontext kan volgen of complexe problemen kan oplossen, beperkt.

Onderzoekers aan de University of Southern California hebben een nieuwe architectuur voorgesteld genaamd WhiteMatter om deze flessenhals op te lossen. In plaats van elke laag te beperken tot zijn eigen diepte, staat WhiteMatter elke parte van het systeem toe om toegang te krijgen tot een samengestelde samenvatting van informatie van elke enkele laag uit het verleden. Het team bouwde een mechanisme dat werkt als een dynamische router, dat de verborgen toestanden (hidden states) van alle lagen van een vorig woord neemt en deze samenvoegt tot een kleinere set gedeelde kanalen. Elk laag van het huidige woord selecteert vervolgens één van deze kanalen om uit te lezen. Dit ontwerp bootst de manier na waarop het menselijk brein verre regio's verbindt via witte stof-vezels, waardoor ondiepe delen van het netwerk diepe, bewerkte informatie uit het verleden kunnen ontvangen, terwijl diepe delen nog steeds toegang hebben tot de ruwe, onmiddellijke context.

De onderzoekers testten dit systeem door modellen vanaf nul te trainen op een enorme dataset van acht miljard teksttokens. Ze vergeleken hun nieuwe WhiteMatter-modellen met standaardmodellen van dezelfde grootte en met veel grotere standaardmodellen. De resultaten lieten zien dat een WhiteMatter-model met zestien lagen beter presteerde dan een standaardmodel met vierentwintig lagen, waarbij het een aanzienlijk lager foutpercentage bereikte bij het voorspellen van het volgende woord. Deze verbetering werd bereikt, zelfs toen de onderzoekers de geheugenopslag die vereist is voor het systeem met de helft comprimeerden, wat bewees dat het model zijn hoge prestaties kon behouden terwijl het minder geheugen gebruikte. De studie toonde ook aan dat het systeem efficiënt getraind kon worden met een specifieke iteratieve methode die de computer in staat stelt om veel woorden tegelijk te verwerken, in plaats van gedwongen te worden ze één voor één te verwerken, wat gewoonlijk vereist is voor dergelijke diepe verbindingen.

De kerninnovatie ligt in de manier waarop het systeem het geheugen van voorgaande woorden beheert. In een typische opstelling wordt het geheugen voor een woord laag voor laag opgeslagen, en de volgende woorden kan alleen toegang krijgen tot het geheugen op dezelfde diepte. WhiteMatter doorbreekt deze regel door een pool van geheugenskanalen te creëren die worden bijgewerkt op basis van de inhoud van het woord zelf. Een router analyseert de verborgen toestanden van alle lagen voor een vorig woord en mengt deze tot enkele kanalen. Het aantal van deze kanalen kan worden aangepast; de onderzoekers ontdekten dat het gebruik van minder kanalen dan het totale aantal lagen de geheugenvoetafdruk verminderde zonder het vermogen van het model om complexe tekst te begrijpen op te offeren. Deze flexibiliteit maakt het systeem efficiënter, omdat het niet de volledige geschiedenis van elke laag in volle details hoeft op te slaan, maar alleen de meest relevante mengsels.

Om dit tijdens de trainingsfase werkend te krijgen, moesten de onderzoekers een circulaire afhankelijkheid overwinnen. Omdat het geheugen voor een woord afhankelijk is van de verwerking van dat woord, en de verwerking afhankelijk is van het geheugen, kan het systeem niet simpelweg alles in één enkele passage berekenen. Het team ontwikkelde een methode genaamd cyclische Gauss–Seidel-iteratie, die de tekst in groepen verwerkt. Dit stelt het systeem in staat om zijn begrip in stadia bij te werken, waarbij latere groepen in een sequentie onmiddellijk de bijgewerkte informatie van eerdere groepen binnen dezelfde passage kunnen gebruiken. Deze aanpak bleek aanzienlijk sneller dan eerdere methoden die veel meer passes vereisten om hetzelfde niveau van nauwkeurigheid te bereiken, wat de training van dergelijke diepe, onderling verbonden modellen haalbaar maakt op standaardhardware.

De experimenten bevestigden dat deze architectuur niet alleen de kwaliteit van de gegenereerde tekst verbetert, maar ook de prestaties van het model bij diverse redeneertaken optimaliseert. Bij tests op standaard benchmarks voor taalbegrip presteerden de WhiteMatter-modellen consequent beter dan hun standaardtegenhangers van dezelfde diepte en overtroffen ze zelfs grotere standaardmodellen. De configuratie met een halve geheugencapaciteit, die slechts acht kanalen gebruikte voor een zestienlaags model, behield het grootste deel van de prestatiewinst terwijl het aanzienlijk minder geheugen gebruikte dan een volledige cache. Dit suggereert dat het vermogen om informatie dynamisch van alle dieptes te mengen waardevoller is dan simpelweg het vergroten van de omvang van de geheugensopslag.

De studie onderzocht ook hoe het systeem zich gedraagt onder verschillende trainingsomstandigheden. De onderzoekers ontdekten dat de specifieke manier waarop het systeem door de gegevens iterereert tijdens de training een grote impact heeft op de uiteindelijke prestaties. Modellen die getraind werden met een schema dat het uiteindelijke, stap-voor-stap decodeerproces nauwgezet nabootst, presteerden beter en waren stabieler. Echter, zelfs met een eenvoudiger trainingsschema presteerden de WhiteMatter-modellen nog steeds beter dan de standaardmodellen, wat aangeeft dat de architecturale verandering zelf de primaire drijfveer van de verbetering is. De onderzoekers merkten op dat hoewel het trainingsproces meer rekenkracht vereist dan een standaardmodel, het decodeerproces — de feitelijke generatie van tekst — bijna even snel is, wat het systeem praktisch maakt voor real-world toepassingen.

In de bredere context van kunstmatige intelligentie adresseert dit werk een fundamentele beperking in de manier waarop diepe leermodellen informatie over tijd verwerken. Door elke laag toegang te geven tot een gesynthetiseerd beeld van de volledige geschiedenis van het netwerk, overwint WhiteMatter de isolatie die typisch is voor diepe architecturen. De bevindingen suggereren dat de efficiëntie van deze systemen niet uitsluitend voortkomt uit het groter of dieper maken ervan, maar uit hoe ze informatie over hun interne structuren verbinden en delen. Het vermogen om het geheugen van voorgaande interacties te comprimeren zonder de rijkdom van de data te verliezen, biedt een veelbelovend pad voor het bouwen van meer capabele en efficiënte taalmodellen.

De onderzoekers concludeerden dat hun aanpak succesvol diep-naar-ondiep feedback integreert, waardoor het systeem de volledige diepte van zijn representaties kan benutten. Ze toonden aan dat dit kan worden gedaan met een verminderde geheugencapaciteit, wat de aanname uitdaagt dat betere prestaties meer opslag vereisen. Hoewel het trainingsproces enige extra complexiteit met zich meebrengt, zijn de winsten in nauwkeurigheid en efficiëntie tijdens het daadwerkelijke gebruik van het model aanzienlijk. Het werk biedt een concreet voorbeeld van hoe het heroverwegen van de verbindingen tussen verschillende delen van een neuraal netwerk kan leiden tot significante verbeteringen in prestaties, wat een nieuwe richting biedt voor de ontwikkeling van toekomstige systemen voor kunstmatige intelligentie.