INCRT: An Incremental Transformer That Determines Its Own Architecture

Die Arbeit stellt INCRT vor, einen inkrementellen Transformer, der seine eigene Architektur während des Trainings autonom anhand eines geometrischen Maßes bestimmt, indem er bei Bedarf Aufmerksamkeitsschichten hinzufügt und redundante entfernt, wodurch er ohne Vor-Training effizientere Modelle mit weniger Parametern erreicht als herkömmliche Ansätze.

Das Wesentliche

Stellen Sie sich vor, Sie bauen ein riesiges Team von Detektiven, um ein Rätsel zu lösen. Das ist im Grunde das, was ein herkömmlicher KI-Modell (ein "Transformer") tut.

Das Problem: Das "Gießkannen-Prinzip"
Bisher haben Forscher das Team so aufgebaut: "Wir brauchen 12 Stockwerke und auf jedem Stockwerk 12 Detektive." Sie entscheiden das vor dem Training, ohne zu wissen, wie schwer das Rätsel wirklich ist.
Das Ergebnis? Ein riesiges, überdimensioniertes Team. Am Ende stellt sich heraus, dass 50 % bis 80 % dieser Detektive eigentlich gar nichts tun. Sie stehen nur herum, während ein paar wenige die eigentliche Arbeit leisten. Das ist wie ein Orchester, in dem 80 % der Musiker schweigen, nur damit man sicher ist, dass genug Lautstärke für den schwierigsten Song da ist.

Die Lösung: INCRT – Das selbstorganisierte Team
Die neue Methode namens INCRT (Incremental Transformer) ändert die Spielregeln komplett. Statt ein festes Team zu bauen, startet INCRT mit nur einem einzigen Detektiv.

Stellen Sie sich INCRT wie einen cleveren Baumeister vor, der ein Haus baut, während er darin wohnt:

1. Der Start: Es beginnt klein. Ein einziger "Aufpasser" (ein sogenannter "Attention Head") schaut sich die Daten an.
2. Der Check: Dieser Aufpasser hat eine Art "Radar". Er misst ständig: "Habe ich das Problem schon vollständig verstanden, oder gibt es noch Lücken?"
3. Das Wachstum: Wenn das Radar zeigt, dass noch wichtige Informationen unentdeckt sind (eine "Lücke"), baut INCRT sofort einen neuen Detektiv hinzu. Aber nicht irgendwohin – der neue Detektiv wird genau in die Richtung geschickt, wo die Lücke am größten ist.
4. Das Aufräumen: Wenn ein Detektiv merkt, dass er eigentlich nur herumsteht und nichts beiträgt (weil andere das schon erledigen), wird er entlassen.
5. Das Ende: Der Prozess stoppt genau dann, wenn alle Lücken geschlossen sind. Nicht eine Sekunde zu früh, nicht eine Sekunde zu spät.

Die Magie dahinter: Ein mathematischer Kompass
Wie weiß das System, wann es genug ist? Es benutzt eine einfache mathematische Formel, die wie ein Kompass funktioniert.

• Wenn der Kompass zeigt: "Hier ist noch viel Energie/Information ungenutzt", wird ein neuer Kopf hinzugefügt.
• Wenn der Kompass zeigt: "Alles ist abgedeckt", hört das Bauen auf.

Das Besondere ist: Das System muss nicht raten. Es "fühlt" den Bedarf der Aufgabe. Es ist wie ein Gärtner, der genau weiß, wann er einen neuen Strauch pflanzen muss, weil der Boden dort noch Platz hat, und wann er einen kranken Strauch entfernen muss, weil er den anderen im Weg steht.

Was bringt das?
Die Ergebnisse sind beeindruckend:

• Effizienz: INCRT braucht oft nur ein Drittel bis ein Siebtel der Parameter (der "Bausteine") von herkömmlichen Modellen wie BERT.
• Geschwindigkeit: Es muss nicht erst riesig trainiert und dann beschneidet werden. Es wächst direkt zur richtigen Größe heran.
• Genauigkeit: In Tests (z. B. bei der Klassifizierung von Virusvarianten oder der Analyse von Gefühlen in Texten) war INCRT genauso gut oder sogar besser als die großen Modelle, obwohl es viel kleiner war.

Zusammenfassung in einer Metapher

• Alte Methode (BERT): Sie kaufen ein riesiges, teures Werkzeugset mit 1000 Schraubenschlüsseln, weil Sie nicht wissen, welche Schraube Sie später lösen müssen. Am Ende nutzen Sie nur 200.
• INCRT: Sie beginnen mit einem einzigen Schraubenschlüssel. Wenn Sie merken, dass er nicht passt, holen Sie sich sofort den perfekten nächsten Schlüssel. Wenn ein Schlüssel kaputt oder überflüssig wird, werfen Sie ihn weg. Am Ende haben Sie genau das Werkzeug, das Sie brauchen – nicht mehr, nicht weniger.

Fazit
INCRT ist ein Schritt weg vom "Versuch-und-Irrtum"-Design hin zu KI-Systemen, die ihre eigene Struktur aus den Daten heraus entwickeln. Sie lernen nicht nur die Antworten, sondern auch, wie groß ihr Gehirn sein muss, um diese Antworten zu finden.

Technische Zusammenfassung

1. Problemstellung

Transformer-Architekturen werden derzeit durch Trial-and-Error entworfen. Hyperparameter wie die Anzahl der Attention-Heads, die Tiefe des Modells und die Kopfgröße werden vor dem Training festgelegt, ohne mathematische Prinzipien, die diese Wahl mit den Anforderungen der spezifischen Aufgabe verknüpfen.

• Strukturelle Redundanz: Studien zeigen, dass zwischen 50 % und 80 % der Attention-Heads in trainierten Modellen entfernt werden können, ohne messbare Leistungseinbußen. Dies liegt daran, dass die Architektur Kapazität für die „schwierigste denkbare Aufgabe" vorsieht und später beschneidet.
• Geometrische Ursache: Der Attention-Mechanismus kodiert zwei geometrisch entgegengesetzte Funktionen in einer unstrukturierten Matrix $M = W_Q W_K^\top$: einen symmetrischen Teil (reziproke Token-Affinitäten) und einen antisymmetrischen Teil (gerichteter Informationsfluss). Da diese nicht getrennt sind, muss der Lernalgorithmus die Zerlegung implizit entdecken, was zu Redundanz führt.
• Limitationen bestehender Ansätze:
  • Post-hoc Pruning: Entfernt Redundanzen, bietet aber keine Garantie für die Suffizienz (das Modell könnte notwendige Kapazität verlieren).
  • Progressive Growing: Wächst Modelle auf eine vorher festgelegte Zielgröße, bestimmt aber nicht, welche Größe die Aufgabe tatsächlich benötigt.
  • NAS (Neural Architecture Search): Erfordert enorme Rechenressourcen und Suchräume.

2. Methodik: INCRT (Incremental Transformer)

INCRT ist eine Architektur, die ihre eigene Struktur während des Trainings bestimmt, ausgehend von einem einzelnen Head. Der Ansatz basiert auf der geometrischen Analyse der verbleibenden „gerichteten Energie" (directional energy) der Aufgabe.

Kernmechanismen:

• Residual-Matrix ($A_{res}$): Statt der gesamten Attention-Matrix wird eine Residual-Matrix berechnet, die die noch nicht erfasste gerichtete Varianz der Token-Repräsentationen misst. Sie wird definiert als $A_{res} = P_\perp \cdot \text{sym}(X^\top X M_a) \cdot P_\perp$, wobei $M_a$ der antisymmetrische Teil (der „Motor" des gerichteten Flusses) und $P_\perp$ ein Projektor auf den Unterraum der bereits erfassten Richtungen ist.
• Bidirektionales PCA+MCA-Gate: Für jeden Head werden online zwei Richtungen verfolgt:
  • $u^+$: Die dominante Eigenrichtung (maximale Restenergie) mittels Ojas Regel.
  • $u^-$: Die minoritäre Eigenrichtung (minimale Restenergie) mittels des MCA EXIN-Algorithmus.
  • Ein Gate-Operator $G_h$ verstärkt Komponenten in Richtung $u^+$ und unterdrückt jene in Richtung $u^-$.
• Wachstums- und Beschneidungslogik:
  • Wachstum: Ein neuer Head wird hinzugefügt, wenn der größte Eigenwert von $A_{res}$ einen Schwellenwert $\theta_w$ überschreitet (signifikante ungedeckte Energie) und der kleinste Eigenwert einen unteren Schwellenwert unterschreitet (Richtung zur Unterdrückung vorhanden).
  • Beschneiden: Heads werden entfernt, wenn ihre gerichtete Energie unter einen Schwellenwert $\phi_g$ fällt.
• Initialisierung: Neue Heads werden so initialisiert, dass sie die bereits gelernten Repräsentationen nicht zerstören (Erhaltung des Wissens). Die Varianz der Value-Matrix wird so gewählt, dass die geometrischen Kriterien mit dem Neural Tangent Kernel (NTK) übereinstimmen.

3. Theoretische Grundlagen und Beiträge

Das Paper liefert zwei zentrale Theoreme, die das Rückgrat der Methode bilden:

1. Theorem 6 (Homeostatische Konvergenz):

   • Das System konvergiert in endlich vielen Schritten zu einer Konfiguration, die minimal (keine redundanten Heads) und suffizient (keine ungedeckte gerichtete Energie über dem Schwellenwert) ist.
   • Ein Lyapunov-Funktional $W_t$ wird definiert, das monoton nicht-steigend ist. Jeder Wachstums- oder Beschneidungszyklus führt zu einer strikten Verringerung von $W_t$, was Oszillationen (ständiges Hinzufügen und Entfernen derselben Heads) ausschließt.

2. Theorem 7 (Komprimierte-Sensing-Analogie):

   • Die Anzahl der benötigten Heads $K^*$ ist durch eine obere Schranke begrenzt:
     $$K^* = \Theta\left(\kappa_T^2 \log \frac{\Gamma_{res}^{(0)}}{\theta_w}\right)$$
   • Dabei ist $\kappa_T$ ein Maß für die spektrale Komplexität der Aufgabe (Verhältnis der Gesamtenergie zur pro-Head-Erfassungsschwelle). Die Anzahl der Heads wächst quadratisch mit der spektralen Komplexität und logarithmisch mit dem Verhältnis von Anfangs- zu Zielenergie.

Zusätzliche Beiträge:

• Äquivalenz zwischen geometrischem Wachstums-Kriterium und NTK-Optimalität (Theorem 3).
• Nachweis, dass der MCA EXIN-Algorithmus fast sicher gegen den minoritären Eigenvektor konvergiert (wichtig für die Stabilität).
• Ein deterministischer Wachstumsprozess ohne Suchphase oder separate Validierungsphase.

4. Experimentelle Ergebnisse

Die Methode wurde auf drei Benchmarks getestet: SARS-CoV-2-Variantenklassifizierung (synthetisch und real) und SST-2 (Sentiment-Analyse).

• SARS-CoV-2 (Synthetisch & Real):
  • INCRT erreichte eine Vorhersage der Head-Anzahl mit einer Abweichung von nur 0–12 % zum theoretischen Wert (Verhältnis $K_{obs}/K_{pred} \approx 1.00$).
  • Leistung: INCRT erreichte auf der realen GISAID-Datenbank 99,91 % Genauigkeit mit 29,9 Mio. Parametern (einzelne Schicht, 130 Heads).
  • Vergleich: BERT-base erreicht 99,12 % mit 110 Mio. Parametern (12 Schichten, 144 Heads) und erfordert Vor-Training. INCRT ist also 3,7-mal effizienter, benötigt kein Vor-Training und ist auf dieser spezifischen Verteilung genauer.
• SST-2 (Sentiment):
  • Vorhersage der Head-Anzahl: 160 (theoretisch) vs. 142 (beobachtet). Das Verhältnis liegt bei 0,89.
  • Die Abweichung wird theoretisch durch den Approximationsfehler des Online-Gates erklärt.
  • Genauigkeit: 76,15 % (ohne Vor-Training), was im Vergleich zu BERT (93,5 %) erwartungsgemäß niedriger ist, da keine semantische Vorwissen vorhanden ist, aber die Architektur-Gesetze dennoch bestätigt wurden.
• Dynamische Anpassung: In einem Experiment mit abruptem Wechsel der Aufgabenstruktur (nicht-stationär) konnte INCRT automatisch veraltete Heads beschneiden und neue für die neue Struktur hinzufügen, ohne externe Signale.

5. Bedeutung und Fazit

INCRT stellt einen Paradigmenwechsel dar: Anstatt eine feste Architektur zu beschneiden, wird die Architektur aus der Geometrie der Daten abgeleitet.

• Effizienz: Die Ergebnisse zeigen, dass für verteilungsspezifische Aufgaben (wie Genomklassifizierung) ein korrekt dimensioniertes Einzel-Schicht-Modell die Kapazität großer, vortrainierter Modelle übertreffen kann, wenn die Heads exakt auf die gerichtete Struktur der Aufgabe ausgerichtet sind.
• Theoretische Fundierung: Die Arbeit liefert erstmals eine quantitative Theorie für die Komplexität von Attention-Heads, die auf der spektralen Komplexität der Aufgabe basiert.
• Praxis: Der Ansatz eliminiert die Notwendigkeit von Hyperparameter-Suchen für die Modellgröße und bietet eine Garantie für Minimalität und Suffizienz in einem einzigen Trainingsdurchlauf.

Zusammenfassend beweist INCRT, dass Attention-Heads nicht willkürlich hinzugefügt werden müssen, sondern dass ihre Anzahl und Struktur durch die inhärente geometrische Komplexität der Aufgabe bestimmt werden können, was zu massiven Einsparungen bei Parametern und Rechenzeit führt.