INCRT: An Incremental Transformer That Determines Its Own Architecture

Dit paper introduceert INCRT, een transformer-architectuur die tijdens het trainingsproces automatisch de optimale structuur bepaalt door attention-heads dynamisch toe te voegen of te verwijderen op basis van de taakcomplexiteit, wat resulteert in modellen met aanzienlijk minder parameters die presteren op of boven het niveau van BERT-base.

De kern

Stel je voor dat je een keuken bouwt om te koken.

In de traditionele manier van het bouwen van kunstmatige intelligentie (zoals de bekende BERT-modellen), doe je alsof je een gigantische keuken bouwt voor elk denkbaar recept. Je plaatst 100 kookplaten, 50 ovens en 200 messen, gewoon omdat je niet weet of je straks een simpele salade of een complexe soufflé gaat maken.

Het probleem? Als je uiteindelijk alleen een salade maakt, heb je 80% van die apparatuur nooit gebruikt. Het is een enorme verspilling van ruimte, geld en energie. Wetenschappers hebben dit al ontdekt: in de meeste AI-modellen zitten er "dode" onderdelen die je kunt weggooien zonder dat de kwaliteit daalt. Maar ze moeten die grote keuken eerst bouwen en daarna pas gaan snoeien.

INCRT (de uitvinding uit dit paper) doet het precies andersom.

De "Slimme Tuinman"

Stel je in plaats van een keuken een tuin voor.

Bij de traditionele methode plant je eerst honderden zaden, hoopt je dat er genoeg bloemen groeien, en snijdt je daarna alles weg wat niet bloeit.

INCRT is als een slimme tuinman die met slechts één zaadje begint.

1. Kijken: Hij kijkt naar de grond (de data) en vraagt zich af: "Is er hier nog een plek waar een bloem nodig is?"
2. Meten: Hij gebruikt een speciaal meetinstrument (een wiskundige "radar") om te zien of er nog onbenutte energie in de grond zit.
3. Planten: Als de grond nog "hongerig" is, plant hij één nieuw zaadje precies op de plek waar het nodig is.
4. Stoppen: Zodra de grond verzadigd is en er geen honger meer is, stopt hij. Hij plant niets meer.

Het resultaat? Je hebt precies de juiste hoeveelheid bloemen, op de juiste plekken, zonder ooit een overbodig zaadje te hebben geplant.

Hoe werkt de "Magische Radar"?

De kern van deze uitvinding is een slimme manier om te meten of er nog werk te verzetten is.

• De "Richting" van de informatie: In een AI-model stromen informatie en patronen als water door buizen. Soms stroomt het water in een cirkel (symmetrisch), soms stroomt het in één richting (asymmetrisch). De meeste modellen zijn slecht in het onderscheiden van deze richtingen, waardoor ze veel extra "buizen" (attention heads) nodig hebben om het werk te doen.
• De Radar: INCRT kijkt continu naar de "restenergie". Als er nog een sterke stroom in een bepaalde richting is die nog niet wordt opgevangen, zegt de radar: "Hier moet een nieuwe buis komen!"
• Geen gissen: Er is geen gokken, geen lange testfase en geen handmatig instellen. De AI bepaalt zelf, stap voor stap, hoe groot hij moet zijn.

Wat zeggen de proeven?

De auteurs hebben dit getest op twee heel verschillende taken:

1. Virusvarianten herkennen: Ze lieten de AI leren om verschillende varianten van het coronavirus te onderscheiden.
   • Het resultaat: INCRT bouwde een model dat net zo goed presteerde als de enorme, vooraf getrainde BERT-modellen, maar gebruikte 7 keer minder parameters (minder "hersenen"). Het was alsof je een meesterkok bent die een perfecte maaltijd maakt met slechts één pan, terwijl de concurrent 10 pannen nodig heeft.
2. Stemmingen analyseren (SST-2): Het herkennen of een zin positief of negatief is.
   • Het resultaat: Ook hier bleek dat INCRT precies wist hoeveel "onderdelen" het nodig had. Het voorspelde het aantal benodigde onderdelen met een nauwkeurigheid van 90% of meer.

Waarom is dit belangrijk?

1. Efficiëntie: Je bouwt geen enorme, dure modellen die voor 80% leeg staan. Je bouwt alleen wat je nodig hebt.
2. Geen vooraf trainen nodig: Grote modellen zoals BERT moeten eerst maandenlang "lezen" op het hele internet voordat ze iets kunnen. INCRT leert direct van de taak die je hem geeft.
3. Zelfcorrectie: Als de taak verandert (bijvoorbeeld: er komt een nieuw virusvariant), kan INCRT merken dat de oude "buizen" niet meer werken, ze weghalen en nieuwe plaatsen. Het past zich dynamisch aan.

Samenvattend

Dit paper introduceert een Transformer (een type AI-architectuur) die zijn eigen bouwplan maakt terwijl hij leert. In plaats van een statisch, overmatig groot model te bouwen en te hopen dat het werkt, begint het klein en groeit het precies zo groot als nodig is om de taak perfect te voltooien.

Het is de overgang van "Bouwen en hopen" naar "Meten en bouwen". Een revolutie in hoe we AI-efficiëntie benaderen.

Technische samenvatting

Titel: INCRT: Een Incrementele Transformer die Zelf zijn Architectuur Bepaalt

Auteur: Giansalvo Cirrincione (Laboratoire LTI, Université de Picardie Jules Verne)

---

1. Het Probleem: Structurele Redundantie in Transformers

Huidige Transformer-architecturen worden ontworpen via "trial and error". Hyperparameters zoals het aantal attention heads, de diepte van het model en de grootte van de heads worden vastgesteld voordat het trainen begint, zonder wiskundige principes die deze keuzes koppelen aan de specifieke eisen van de taak.

• Gevolg: Systematische structurele redundantie. Studies tonen aan dat tussen de 50% en 80% van de attention heads in een getraind model verwijderd kan worden zonder meetbaar verlies aan prestaties.
• Oorzaak: De attention-mechanisme (de matrix $M = W_Q W_K^\top$) codeert zowel symmetrische (reciproque) als antisymmetrische (directionele) functies in één ongestructureerde matrix. Het leeralgoritme moet deze decompositie impliciet ontdekken, wat leidt tot het toewijzen van meer capaciteit dan nodig is.
• Huidige oplossingen: Post-hoc pruning (na het trainen van een groot model) biedt geen garantie dat het resultaat voldoende capaciteit behoudt voor de taak. Progressieve groei-methoden hebben vaak een vooraf bepaald doel en geen wiskundige stopconditie.

2. Methodologie: De INCRT Architectuur

INCRT (Incremental Transformer) lost dit op door de architectuur te laten evolueren tijdens het trainen, gebaseerd op de geometrie van de taak. Het systeem start met één head en past de structuur dynamisch aan.

Kernmechanismen:

• Residuele Directionele Energie: Het model berekent online een residuele matrix $A_{res}$, die de ongevangen directionele energie van de taak meet. Deze matrix is afgeleid van het antisymmetrische deel van de attention-motor.
• Bidirectionele PCA+MCA Poort: Voor elke laag worden twee richtingen online getraceerd:
  • $u^+$: De dominante eigenvector (maximale residuele energie), bijgewerkt met Oja's regel.
  • $u^-$: De minor eigenvector (minimale energie), bijgewerkt met het MCA EXIN-algoritme.
  • Deze poort bepaalt of een nieuwe head nodig is (groei) of dat een bestaande head overbodig is (pruning).
• Groei- en Pruning-regels:
  • Groei: Een nieuwe head wordt toegevoegd als de grootste eigenwaarde van $A_{res}$ een drempel $\theta_w$ overschrijdt. De nieuwe head wordt geïnitieerd in de richting die de grootste deficit verkleint.
  • Pruning: Heads worden verwijderd als hun bijdrage onder een lagere drempel $\phi_g$ zakt.
• Geen Vooraf Bepaalde Doel: Er is geen vaste doelgrootte of handmatig ingestelde schema. Het trainen stopt wanneer er geen ongevangen directionele energie boven de drempel meer is.

3. Belangrijkste Bijdragen en Theoretische Grondslag

Het paper levert twee fundamentele stellingen en vier aanvullende resultaten:

1. Homeostatische Convergentie (Stelling 6):

   • Het systeem convergeert altijd naar een eindige stopconfiguratie.
   • Deze configuratie is minimaal (geen overbodige heads) en voldoende (geen ongevangen energie boven de drempel).
   • Bewezen door een Lyapunov-functie die monotoon afneemt bij elke groei- of pruning-gebeurtenis, wat oscillaties uitsluit.

2. Compressed-Sensing Analogie (Stelling 7):

   • Het aantal benodigde heads $K^*$ wordt begrensd door de spectrale complexiteit van de taak:
     $$K^* = \Theta\left(\kappa_T^2 \log \frac{\Gamma_{res}^{(0)}}{\theta_w}\right)$$
   • Hierbij is $\kappa_T$ de "directionele taakcomplexiteit". Dit geeft een wiskundige bovengrens aan het aantal heads dat nodig is, gebaseerd op de spectrale breedte van de taak.

3. Aanvullende Resultaten:

   • NTK-Alignement: De groeirichting die door de poort wordt gekozen, is exact de richting die de Neural Tangent Kernel (NTK) gap het meest verkleint.
   • Drie-criteria Equivalentie: Geometrische, NTK- en praktische groeicriteria zijn wiskundig equivalent onder specifieke initialisatievoorwaarden.
   • Dynamische Aanpassing: Het model kan automatisch heads verwijderen en opnieuw toevoegen als de statistische structuur van de taak tijdens het trainen verandert (demonstreerd in een synthetisch experiment).

4. Experimentele Resultaten

De methode is getest op drie benchmarks, waarbij de voorspelde en waargenomen head-aantallen sterk overeenkwamen.

• SARS-CoV-2 Variant Classificatie (Synthetisch & Real):
  • Resultaat: INCRT bereikte 99,47% (synthetisch) en 99,91% (real) nauwkeurigheid.
  • Efficiëntie: Het gebruikte 3 tot 7 keer minder parameters dan BERT-base (bijv. 15M vs 110M) en vereiste geen pre-training.
  • Voorspelling: De voorspelde head-aantallen kwamen exact overeen met de waargenomen aantallen (ratio 1.00).
• SST-2 Sentiment Analyse:
  • Resultaat: 76,15% nauwkeurigheid (zonder pre-training).
  • Voorspelling: Ratio van 0.89. De afwijking van 11% is theoretisch voorspelbaar als een gevolg van de benaderingsfout van de online Oja-poort bij de werkende drempel.
• Vergelijking met Static Baselines:
  • Een statisch model met het voorspelde aantal heads presteerde vergelijkbaar, wat aantoont dat de "grootte-wet" de belangrijkste bijdrage is. Het incrementele mechanisme biedt het voordeel dat het deze grootte online bepaalt zonder zoekruimte.

5. Betekenis en Conclusie

INCRT vertegenwoordigt een paradigmaverschuiving in het ontwerp van neurale netwerken:

• Van "Groot en Prunen" naar "Klein en Groeien": In plaats van een overparametrisch model te trainen en te snoeien, bouwt INCRT het model op tot het precies voldoende is.
• Wiskundige Garantie: Voor het eerst wordt een architectuur gegenereerd met een wiskundige garantie voor zowel minimaliteit als sufficientie, gebaseerd op de geometrie van de data.
• Efficiëntie: Het toont aan dat voor taak-specifieke problemen (zoals genomische classificatie) een enkelvoudige laag met de juiste, dynamisch bepaalde heads de prestaties van grote, voorgeprogrammeerde modellen (zoals BERT) kan evenaren of overtreffen, met een fractie van de rekkracht.
• Toekomst: De paper suggereert dat de dominantie van BERT op specifieke taken voornamelijk komt door de mismatch tussen de vaste architectuur en de taakgeometrie, en niet door de noodzaak van enorme pre-training.

Kortom, INCRT biedt een theoretisch onderbouwde, zelfregulerende aanpak die de noodzaak van handmatige architectuur-zoekruimte (NAS) en post-hoc pruning elimineert.