On the Expressive Power of Transformers

De Blauwdruk van het Brein: Waarom Sommige Puzzels Moeilijker Zijn dan Andere

Stel je voor dat je een robot probeert te leren lezen. Je zou kunnen denken dat de robot gewoon letters één voor één moet bekijken, zoals een persoon een pagina scant. Maar moderne superintelligente robots, genaamd Large Language Models (LLM's), werken niet zo. In plaats van van links naar rechts te lezen, gebruiken ze een speciale truc die een "Transformer" wordt genoemd. Denk aan een Transformer als een gigantisch team van detectives die in een kamer werken. Wanneer ze een zin zien, kan elke detective direct naar elke andere detective roepen om te zeggen: "Hé, ik kijk naar dit woord, en het heeft een connectie met dat woord daar!" Dit stelt hen in staat om context en relaties in een flits te begrijpen, in plaats van alleen maar een lijst met regels te memoriseren.

Maar hier is de grote vraag die wetenschappers wakker houdt: Hoe slim zijn deze detectives werkelijk? Kunnen ze elke puzzel oplossen, of zijn er raadsels die hen altijd zullen verslaan? Om het antwoord te vinden, voeren onderzoekers niet alleen tests uit; ze kijken naar het "brein" van de robot door de lens van de wiskunde van de informatica. Ze vergelijken de Transformer met een familie van wiskundige machines genaamd "circuits". Stel je deze circuits voor als fabrieken met assemblagelijnen. Sommige fabrieken zijn erg simpel, met korte lijnen en weinig arbeiders (deze worden AC0 genoemd). Anderen hebben langere lijnen en krachtigere gereedschappen die kunnen tellen en enorme getallen kunnen vergelijken (dit zijn TC0). Door uit te zoeken met welke fabriek de Transformer het meest lijkt, kunnen wetenschappers precies voorspellen wat voor soort problemen het kan oplossen en waar het tegen een muur aanloopt. Dit is belangrijk omdat als we de grenzen van deze modellen kennen, we stoppen met verwachten dat ze magie doen en ze kunnen gaan bouwen om te doen waar ze daadwerkelijk goed in zijn.

De Grote Ontdekking van het Papier: De Vermogensschakelaar van de Transformer

In hun paper, "On the Expressive Power of Transformers," treden onderzoekers Phokion G. Kolaitis en Rik Sengupta op als architecten die een nieuw, hoogtechnologisch gebouw inspecteren. Ze kijken niet alleen naar hoe mooi het gebouw is; ze meten de draagkracht om precies te zien wat het kan dragen. Hun belangrijkste bevinding is dat de kracht van de Transformer niet vaststaat; deze verandert drastisch op basis van een paar "knoppen" of instellingen, specifiek hoeveel precisie (hoeveel decimalen het kan gebruiken voor berekeningen) en of het de mogelijkheid heeft om hardop na te denken (een techniek genaamd Chain-of-Thought).

Laten we eerst kijken naar de Transformer zonder extra bedenktijd. De auteurs leggen uit dat als je de Transformer een eenvoudige, "moeilijke" aandachtinstelling geeft (waarbij het slechts één woord kiest om op te focussen) of als je de wiskunde beperkt tot een zeer lage precisie (zoals het gebruik van slechts enkele bits aan informatie), het verrassend zwak is. Sterker nog, onder deze omstandigheden is de Transformer wiskundig equivalent aan het eenvoudigste type circuitfabriek, AC0. Dit betekent dat het basislogica kan afhandelen, zoals controleren of een zin een even aantal woorden heeft, maar het worstelt met taken die vereisen dat er geteld of grote getallen vergeleken worden. Het is als een detective die een rode hoed kan spotten, maar niet kan tellen hoeveel rode hoeden er in de kamer zijn.

Echter, het verhaal wordt veel interessanter wanneer je de precisie omhoog draait. Als de Transformer wordt toegestaan om meer precieze wiskunde te gebruiken (specifiek een aantal bits dat meegroeit met de lengte van de tekst, zoals $\Theta(\log n)$), dan stijgt het niveau. Het wordt even krachtig als de TC0 circuitfabriek. Dit is een significante sprong! Nu kan de Transformer "meerderheidsvragen" en complexere teltaken aan. Het is also wordt de detective een rekenmachine gegeven; plotseling kan hij puzzels oplossen die voorheen onmogelijk waren. Maar zelfs met deze upgrade suggereren de auteurs dat er nog steeds een plafond is. Zonder extra hulp zijn deze modellen waarschijnlijk beperkt tot het TC0-domein en kunnen ze niet gemakkelijk problemen oplossen die diepe, stapsgewijze logische redenering vereisen die te vinden is in complexere computercategorieën zoals PTIME (polynomial time).

De echte gamechanger, volgens het papier, is Chain-of-Thought (CoT). Stel je voor dat de Transformer niet langer alleen een detective is die naar een plaats delict kijkt; nu mag het een dagboek bijhouden van zijn gedachten voordat het het uiteindelijke antwoord geeft. Het kan tussenliggende "tokens" (kleine aantekeningen) genereren die het weer in zichzelf voert om het probleem op te lossen. De auteurs laten zien dat deze eenvoudige verandering de vorige limieten doorbreekt.

• Als de Transformer een kort dagboek mag schrijven (evenredig aan de lengte van de tekst, of $O(n)$), kan het problemen oplossen die kwadratische tijd vereisen (zoals $n^2$).
• Als het een zeer lang dagboek kan schrijven (evenredig aan een polynoom van de tekstlengte, of $poly(n)$), wordt het krachtig genoeg om elk standaard computeralgoritme te simuleren, waarbij het de PTIME-klasse bereikt.
• En als het over onbeperkte denkruimte en precisie beschikt, kan het een Turing Machine simuleren, wat de theoretische definitie is van een universele computer die elk berekenbaar probleem kan oplossen.

Het papier is zeer duidelijk over wat dit betekent: de Transformer is niet inherent "alwetend" of "nutteloos". Het vermogen om moeilijke problemen op te lossen hangt volledig af van hoeveel "kladpapier" (Chain-of-Thought) en hoeveel "rekenprecisie" je het geeft. Zonder deze middelen is het beperkt tot eenvoudige, oppervlakkige logica. Met deze middelen kan het de ladder van complexiteit beklimmen tot het simuleren van een volledige computer.

De auteurs wijzen ook op enkele specifieke beperkingen. Ze beargumenteren dat de "harde" aandachtmodellen (waarbij de robot slechts één woord kiest) strikt zwakker zijn dan de "zachte" aandachtmodellen (waarbij het vele woorden meeweegt) en in sommige gevallen zelfs niet de volledige kracht van de eenvoudigste circuitklasse kunnen bereiken. Bovendien benadrukken ze dat hoewel de Transformer theoretisch een Turing Machine kan simuleren met voldoende Chain-of-Thought, dit een theoretische limiet is. In de echte wereld hebben we geen oneindig geheugen of oneindige tijd om oneindige tussenliggende gedachten te genereren, dus echte modellen zullen altijd een praktische limiet hebben die lager ligt dan het theoretische maximum.

Kortom, Kolaitis en Sengupta hebben het "stroomnetwerk" van Transformers in kaart gebracht. Ze laten ons zien dat deze modellen geen magische zwarte dozen zijn; het zijn door middelen beperkte machines. Als je wilt dat ze een moeilijke puzzel oplossen, kun je ze niet alleen vragen om "harder te proberen"; je moet ze de juiste instrumenten geven: meer precisie, meer lagen, en het allerbelangrijkste: de mogelijkheid om stap voor stap na te denken. Het papier concludeert dat het begrijpen van deze limieten cruciaal is. Het helpt ons om te stoppen met verwachten dat deze modellen het onmogelijke doen en te beginnen met het ontwerpen van modellen die de best mogende versies zijn van wat ze zijn: ongelooflijk krachtige, maar uiteindelijk begrensde, patroonherkenners.