🤖 machine learning

TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling

Dit artikel introduceert TANGO, een nieuwe taalmodelarchitectuur die standaard Transformer-sublagen vervangt door een cross-token gated residual update om superieure prestaties te behalen op wiskundige en educatieve datasets, naast de variant met lineaire complexiteit, WANGO, die bestaande modellen met lineaire tijd overtreft.

Oorspronkelijke auteurs: Joshua Nunley

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joshua Nunley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie vertrouwen de krachtigste instrumenten voor het begrijpen van taal op een structuur die de Transformer wordt genoemd. Stel je een lezer voor die een lang document scant; om een specifiek woord te begrijpen, moet deze terugkijken naar de woorden die eraan voorafgingen om de context te vatten. Standaard AI-modellen doen dit door twee afzonderlijke stappen te gebruiken. Eerst scannen ze de volledere geschiedenis van de tekst om relevante informatie uit eerdere woorden te verzamelen, een proces dat vergelijkbaar is met een bibliothecaris die snel elke boek zoekt dat relevant zou kunnen zijn voor een onderwerp. Ten tweede nemen ze die verzamelde informatie en verwerken deze via een aparte, onafhankelijke filter op elke positie in de zin om de betekenis te verfijnen. Deze tweestapsdans heeft het vakgebied goed gediend, maar is rekentechnisch zwaar; het vereist dat het model een enorme hoeveelheid berekeningen uitvoert voor elk nieuw woord dat het genereert, vooral naarmate de tekst langer wordt. Onderzoekers zoeken al lang naar een manier om deze stappen te combineren of te stroomlijnen, in de hoop modellen te bouwen die zowel slimmer als efficiënter zijn, in staat om enorme hoeveelheden informatie te verwerken zonder te verzuipen in het enorme gewicht van de wiskunde die nodig is voor de verwerking ervan.

Een onderzoeker aan de Indiana University Bloomington heeft een nieuwe aanpak geïntroduceerd die fundamenteel verandert hoe deze modellen met taal omgaan. Ze noemen hun creatie TANGO, wat staat voor Token-Aggregated Nonlinear Gating Operators. In plaats van de informatieverzameling en de informatieverfijningsstappen gescheiden te houden, voegt TANGO deze samen tot één enkele, verenigde actie. In dit nieuwe ontwerp fungeert elk woord in een zin als een bron van controle. Terwijl het model leest, genereert elk woord een specifieke set instructies, of "gates", die bepalen hoeveel belang er aan verschillende kenmerken van de tekst moet worden gehecht. Wanneer het model een nieuw woord bereikt, kijkt het niet alleen terug om de meest relevante woorden uit het verleden te vinden; het kijkt terug om te zien welke instructies die woorden uit het verleden hebben voorbereid. Het middelt deze instructies en gebruikt ze om de kenmerken van het huidige woord aan te passen, of te schalen, voordat het aan het geheugen van het model wordt toegevoegd. Dit betekent dat de invloed van een woord uit het verleden niet alleen gaat over wat het zegt, maar over hoe het het huidige woord vertelt zichzelf te interpreteren.

De onderzoeker ontwikkelde twee versies van dit systeem om verschillende afwegingen tussen nauwkeurigheid en snelheid te testen. De eerste, TANGO, kijkt naar elk enkel woord dat voorafging aan het huidige woord, ongeacht hoe ver terug het in de tekst staat. Deze "full-prefix"-aanpak stelt het model in staat om put te putten uit de volledige geschiedenis van het gesprek of document, wat resulteert in een zeer nauwkeurig begrip van de context. Omdat het model echter elk enkel woord moet vergelijken met elk vorig woord, groeit de hoeveelheid werk die het moet verrichten snel naarmate de tekst langer wordt. De tweede versie, genaamd WANGO, hanteert een praktischere aanpak voor zeer lange teksten. Het besteedt veel aandacht aan de meest recente woorden en behandelt deze met dezelfde gedetailleerde, volledige geschiedenisaandacht als het eerste model. Voor oudere woorden die buiten een recent venster vallen, gebruikt WANGO een andere, efficiëntere methode om hun invloed samen te vatten. Het houdt een lopende telling bij van de instructies die die oudere woorden genereerden, waardoor het de wijsheid van die woorden kan opnemen zonder de relatie met elk afzonderlijk woord opnieuw te hoeven berekenen. Deze aanpassing zorgt ervoor dat de werklast van het Wango-model lineair groeit naarmate de tekst langer wordt, in plaats van dat de complexiteit explodeert, wat het veel sneller maakt voor lange sequenties.

Om te zien hoe deze nieuwe ontwerpen standhielden tegenover bestaande technologie, trainde de onderzoeker zes verschillende modellen met exact dezelfde hoeveelheid data, hetzelfde aantal parameters en hetzelfde trainingsschema. Ze testten deze modellen op drie zeer verschillende uitdagingen: een grote collectie educatieve webteksten, een bibliotheek van formele wiskundige bewijzen geschreven in een programmeertaal genaamd Lean, en een reeks wiskundige problemen van DeepMind. De resultaten lieten zien dat het TANGO-model, met zijn volledige historisch overzicht, de hoogste nauwkeurigheid bereikte over alle drie de tests, waarbij het de meest betrouwbare voorspellingen deed voor het volgende woord in een sequentie. Het presteerde beter dan alle andere modellen, inclus\n_bij de modellen die traditionele methoden gebruikten om parameters over lagen te delen. Het Wango-model presteerde ook uitzonderlijk goed, met name in de categorie modellen die ontworpen zijn voor efficiëntie. Onder de architecturen die lange teksten konden verwerken zonder dat de computationele kosten uit de hand liepen, produceerde Wango de meest nauwkeurige resultaten. Het versloeg zelfs een model dat een vergelijkbare hoeveelheid berekeningen gebruikte maar vertrouwde op oudere, standaard technieken.

De studie benadrukt een significante verschuiving in de manier waarop deze systemen gebouwd kunnen worden. Door woorden toe te staan de verwerking van andere woorden te controleren via deze geaggregeerde gates, heeft de onderzoeker een manier gevonden om modellen te creëren die zowel krachtig als, in het geval van Wango, efficiënt zijn. Het TANGO-model toonde aan dat een enkele, verenigde stap voor het verzamelen en verfijnen van informatie de prestaties van de traditionele tweestapsmethode kan overtreffen, zelfs wanneer het model gedwongen wordt meer wiskundig werk te verrichten. Ondertussen bewees het Wango-model dat dit hoge niveau van prestatie niet ten koste hoeft te gaan van snelheid; door oudere informatie intelligent samen te vatten, behield het een hoge nauwkeurigheid terwijl het de computationele kosten beheersbaar hield. De onderzoeker merkte er zorgvuldig bij op dat deze bevindingen gebaseerd zijn op het vermogen van de modellen om het volgende woord in een sequentie te voorspellen, een standaardmaatstaf voor taalbegrip, en niet claimden dat de modellen de wiskundige problemen noodzakelijkerwijs perfect zelfstandig kunnen oplossen of de bewijzen kunnen schrijven. De resultaten suggereren echter dat deze nieuwe manier van het gaten van informatie een veelbelovend pad biedt voor het bouwen van AI die complexe taal en lange contexten met grotere precisie en efficiëntie kan begrijpen.

Technische Samenvatting: TANGO en WANGO

Probleemstelling

Standaard Transformer-architecturen scheiden de interactie tussen tokens (behandeld door self-attention) van de positie-gewijze niet-lineaire transformatie (behandeld door feed-forward netwerken). Deze scheiding vereist twee afzonderlijke sublagen per blok. Hoewel effectief, kan dit ontwerp suboptimaal zijn voor efficiëntie en parameterutilisatie. Bovendien vertrouwen bestaande sequence-modellen met een lineaire complexiteit vaak op benaderingen die de rijkdom van de cross-token interactie kunnen opofferen of complexe gating-mechanismen vereisen die de niet-lineaire transformatie niet volledig integreren met het attention-mechanisme.

Methodologie

Kernarchitectuur: Token-Geaggregeerde Niet-Lineaire Gating Operatoren (TANGO)

Het artikel introduceert TANGO, een decoder-blok dat de standaard self-attention en positie-gewijze feed-forward sublagen vervangt door een enkele cross-token gated residual update.

Source-Conditioned SwiGLU Gating:
- In tegenstelling tot een conventionele SwiGLU (Swish-Gated Linear Unit) waarbij een gate en features worden berekend vanuit dezelfde token, staat TANGO toe dat een gate berekend bij een bron positie ( $x_j$ ) een geprojecteerde feature moduleert op een bestemmings positie ( $x_i$ ).
- Elke positie $i$ produceert een gate-vector $g_i = \text{SiLU}(W_g x_i)$ en een geprojecteerde feature-vector $v_i = W_v x_i$ .
- Voor een bestemming $i$ berekent het model een content-afhankelijk gewogen gemiddelde van de gate-vectoren van alle causaal zichtbare bronnen ( $j \le i$ ), aangeduid als $\bar{g}_i$ .
- De residual update wordt berekend als:
  $h^+_i = h_i + W_o(\bar{g}_i \odot v_i)$
- Hier fungeert de geaggregeerde gate $\bar{g}_i$ als een diagonale schaleringsoperator op de geprojecteerde features $v_i$ van de bestemming vóór de uiteindelijke output-projectie $W_o$ .
Gewicht-aggregatiemechanismen:
Het artikel stelt twee varianten voor die verschillen in hoe ze de gewichten voor het aggregeren van bronnen berekenen:
- TANGO (Full-Prefix): Berekent softmax-gewichten op basis van geschaalde cosine-similariteiten tussen elke bestemming en elke causaal zichtbare bron. Dit resulteert in een kwadratische complexiteit ( $O(T^2)$ ) ten opzichte van de sequentielengte $T$ .
- WANGO (Windowed Aggregation): Een variant met lineaire complexiteit ( $O(T)$ $O (T)$ voor vaste window/feature dimensies).
  - Recente Bronnen (Window): Gebruikt dezelfde exponentiële cosine-similarity scores als TANGO voor bronnen binnen een achterwaartse window $L_i$ .
  - Oudere Bronnen (Prefix): Gebruikt een deterministische positieve feature map $\phi(u)$ om scores te berekenen. Dit stelt het model in staat om lopende sommen bij te houden van getransformeerde keys en hun buitenproducten met gate-vectoren. De bijdrage van oudere bronnen wordt berekend via deze lopende sommen, waardoor het niet nodig is om alle voorgaande paren opnieuw te evalueren.

Experimentele Opzet

De auteur vergelijkt TANGO en WANGO met vier baselines:

Recurrent Transformer++: Een standaard Transformer-blok dat vier keer wordt hergebruikt met gedeelde parameters.
Untied Transformer++: Vier onafhankelijk geparametriseerde Transformer-blokken.
Full-attention GAU (Gated Attention Unit): Vier onafhankelijke blokken die volledige pairwise attention gebruiken.
FLASH: Vier onafhankelijke blokken die lokale pairwise attention combineren met een globale lineaire-attention samenvatting.

Constraints:

Alle modellen zijn gematcht op het aantal non-embedding parameters (ca. 44,3M unieke parameters).
Modellen zijn getraind met identieke data-volgordes, initialisatie-seeds en trainingsbudgetten.
Experimenten worden uitgevoerd op FineWeb-Edu (natuurlijke taal), Lean (formele bewijzen en broncode) en DeepMind Mathematics.
Vergelijkingen worden gemaakt met zowel 4-blok als 8-blok sequentiële toepassingen.

Belangrijkste Bijdragen

TANGO Model: Introduceert een verenigd blok dat self-attention en feed-forward netwerken vervangt door een enkele gated update waarbij source tokens SwiGLU gates produceren die de destination features moduleren.
WANGO Model: Ontwikkelt een variant met lineaire complexiteit die exacte pairwise interacties behoudt binnen een lokale window en een feature-map prefix sums gebruikt voor oudere bronnen, waarbij dezelfde parametrisering wordt gehanteerd als TANGO.
Rigoureuze Vergelijking: Biedt een gecontroleerde vergelijking van zes architecturen onder strikt gematchte parameteraantallen, trainingsdoelen en data-volgorde, om de effecten van architecturaal ontwerp te isoleren van trainingsvariantie.

Resultaten

Prestaties op Benchmarks

FineWeb-Edu:
- TANGO behaalde de laagste gemiddelde validatie Negative Log-Likelihood (NLL) overall (3.293).
- WANGO behaalde de laagste NLL van alle architecturen met lineaire sequentielengte-schaling (3.355), waarmee het zowel FLASH (3.465) als Recurrent Transformer++ (3.392) versloeg.
- Opvallend genoeg behaalde Wango een lagere NLL dan Recurrent Transformer++ bij een bijna identieke analytische forward-pass multiply–accumulate (MAC) count (1.90T vs 1.94T voor een 8.192-token sequentie).
Lean (Broncode & Bewijsvoltooiing):
- TANGO verkreeg de laagste gezamenlijke NLL (1.719) en de laagste NLL voor zowel source-code modellering als bewijsvoltooiing afzonderlijk.
- WANGO (2.271) presteerde beter dan FLASH (2.377) maar versloeg Recurrent Transformer++ (2.530) niet in het 4-blok experiment; echter, in het 8-blok experiment presteerde WANGO (2.231) wel beter dan Recurrent Transformer++ (2.364).
DeepMind Mathematics:
- TANGO behaalde de laagste validatie NLL (0.473).
- WANGO (0.487) presteerde beter dan Recurrent Transformer++ (0.537) en Untied Transformer++ (0.556).

Computationele Complexiteit

TANGO: Kwadratisch in sequentielengte ( $O(T^2)$ ). Voor een 8.192-token sequentie vereist het ~9.44T MACs.
WANGO: Lineair in sequentielengte ( $O(T)$ ) voor vaste dimensies. Voor dezelfde sequentie vereist het ~1.90T MACs.
Recurrent Transformer++: Kwadratische complexiteit maar lagere MACs dan TANGO (~1.94T) vanwege parameterdeling en het ontbreken van volledige cross-token gating aggregatie.

Betekenis en Claims

Het artikel claimt dat TANGO de state-of-the-art validatie-likelihood bereikt onder de geteste architecturen over natuurlijke taal, formele code en wiskundige redeneertaken bij de geëvalueerde parameter schaal.

De auteur benadrukt dat WANGO aantoont dat lineaire-complexiteit modellen kwadratische-complexiteit baselines (zoals Recurrent Transformer++) kunnen verslaan wanneer ze gematcht zijn voor analytische operatie-aantallen en parametergrootte, specifiek op FineWeb-Edu. Met name de bekwaamheid van WANGO om SwiGLU gates te aggregeren via lopende sommen, stelt het model in staat om een hoge prestatie te behouden met lineaire schaling.

De auteur stelt expliciet de beperkingen van hun claims vast:

De resultaten zijn gebaseerd op validatie NLL onder teacher forcing en meten geen gegenereerde antwoordnauwkeurigheid, bewijsacceptatie-ratio's of wall-clock trainingssnelheid.
De experimenten stellen geen scaling laws vast buiten de geteste parameter count (ca. 70M totaal parameters).
De lagere NLL van TANGO moet niet geïnterpreteerd worden als een snelheid- of geheugenvoordeel, aangezien het aanzienlijk hogere computationele kosten met zich meebrengt dan WANGO of Recurrent Transformer++.

Samenvattend presenteert het artikel een nieuw architecturaal blok dat attention en feed-forward mechanismen verenigt via cross-token gating, waarbij wordt aangetoond dat deze aanpak een superieure voorspellende waarschijnlijkheid oplevert, waarbij een variant met lineaire complexiteit (WANGO) een competitief alternatief biedt voor long-context toepassingen.