💻 computer science

Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

Dieses Paper führt das Transformer Geometry Observatory (TGO)-Framework, spezifisch TGO-I, ein, um die spektrale Geometrie von Vision Transformern zu analysieren, und zeigt auf, dass das Training die Varianz progressiv über die dimensionalen Repräsentationen umverteilt, was zu einer erhöhten effektiven Dimensionalität und verringerter Anisotropie führt, was der Intuition der Informationskonzentration entgegensteht.

Ursprüngliche Autoren: Kaustubh Kapil, Kishor P. Upla

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaustubh Kapil, Kishor P. Upla

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, komplexe Maschine namens Vision Transformer (ViT). Diese Maschine ist darauf ausgelegt, Bilder anzusehen und zu verstehen, was darauf zu sehen ist. Lange Zeit waren Wissenschaftler besessen davon, was die Maschine entscheidet (z. B. „Das ist eine Katze!“) oder worauf sie ihre Aufmerksamkeit richtet (z. B. „Sie schaut auf die Ohren“).

Doch dieses Paper, TGO-I, stellt eine andere Frage: „Wie sieht das interne ‚Gehirn‘ der Maschine eigentlich aus, während sie lernt?“

Betrachten Sie das Gehirn der Maschine nicht als eine Liste von Fakten, sondern als einen riesigen, mehrdimensionalen Raum, in dem Informationen existieren. Die Autoren haben ein spezielles „Observatorium“ (einen Satz von Werkzeugen) gebaut, um zu beobachten, wie sich die Form dieses Raums verändert, während die Maschine trainiert.

Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach erklärt:

1. Das Setup: Beobachten, wie der Raum sich entwickelt

Die Forscher trainierten einen Vision Transformer auf einem Datensatz mit 100 Arten von Bildern (eine Miniaturversion des gesamten Internets). Sie beobachteten nicht nur das Endergebnis; sie blickten bei jedem Schritt des Trainingsprozesses (von Tag 1 bis Tag 100) in das Innere der Maschine.

Sie maßen die „Geometrie“ der Daten. Stellen Sie sich die Daten als eine Wolke aus Punkten in einem Raum vor.

Am Anfang: Die Wolke könnte flach gegen eine Wand gedrückt sein (sehr schmal).
Später: Bleibt sie flach? Breitet sie sich aus? Füllt sie den ganzen Raum aus?

2. Die große Überraschung: Der „Ausbreitungseffekt“

Der gesunde Menschenverstand legt nahe, dass eine Maschine, wenn sie klüger wird, fokussierter werden sollte. Man könnte denken: „Sie sollte das Wichtigste lernen und den Rest ignorieren, um ihr gesamtes Wissen in ein paar engen, kraftvollen Richtungen zu pressen.“

Das Paper fand genau das Gegenteil.

Anstatt sich in eine enge Ecke zurückzuziehen, breitete sich die interne Repräsentation der Maschine aus, um den gesamten Raum auszufüllen.

Die Analogie: Stellen Sie sich eine Gruppe von Menschen in einem dunklen Raum vor. Zu Beginn kauern alle in einem engen Kreis zusammen und rufen dasselbe. Während das „Training“ stattfindet, kauern sie nicht enger zusammen. Stattdessen gehen sie langsam auseinander und verteilen sich im Raum, wobei jeder ein einzigartiges Stück Information bei sich trägt.
Das Ergebnis: Der „Effektive Rang“ (ein schicker Begriff dafür, wie viele verschiedene Richtungen genutzt werden) ging hoch. Die „Anisotropie“ (wie einseitig oder zusammengedrückt die Form ist) ging runter.

3. Der „CLS-Token“: Der ultimative Organisator

In diesen Maschinen gibt es einen speziellen Token namens CLS-Token. Betrachten Sie dies als den „Klassensprecher“ oder „Teamkapitän“, der alle Informationen aus dem Rest der Gruppe sammelt, um die endgültige Entscheidung zu treffen.

Das Paper fand, dass dieser „Kapitän“ der interessanteste Teil des Raums wurde.

Am Ende des Trainings war der interne Raum des CLS-Tokens der am weitesten ausgebreitete aller.
Er hatte die am wenigsten zusammengedrückte Form (niedrigste Anisotropie).
Er nutzte die meisten Dimensionen, um Informationen zu speichern.

Es ist, als hätte der Teamkapitän nicht nur ein paar Schlüsselfakten auswendig gelernt, sondern das gesamte Team so organisiert, dass die einzigartige Perspektive jedes einzelnen Mitglieds bewahrt und genutzt wird.

4. Das „Diagonale“ Muster

Die Forscher untersuchten auch, wie verschiedene Teile des Gehirns der Maschine miteinander kommunizieren (Korrelationen).

Früher: Die Teile waren sehr verheddert und voneinander abhängig (wie ein Knoten aus Kopfhörerkabeln).
Später: Der „Knoten“ entwirrte sich. Die Teile wurden unabhängiger voneinander.
Die Visualisierung: Wenn man eine Karte dieser Verbindungen zeichnete, sah sie anfangs wie ein wirres Netz von Querverbindungen aus und entwickelte sich später zu einer sauberen diagonalen Linie (wo Dinge nur mit sich selbst kommunizieren). Das bedeutet, die Maschine hat gelernt, ihre verschiedenen Merkmale (Features) deutlich und nicht-redundant zu halten.

5. Warum geschah das? (Die Theorien)

Das Paper sagt nicht genau, warum das passierte, aber es bietet drei Vermutungen (Hypothesen) an:

Token-Diversifizierung: Die Maschine lernte, jedes Teil des Bildes (jeden „Token“) einzigartig und unterscheidbar zu machen, sodass sie alle ihren eigenen Platz benötigten.
Semantische Expansion: Die Maschine entdeckte immer mehr verschiedene „Bedeutungen“ oder Merkmale und benötigte daher mehr Raum, um sie alle zu speichern.
Redundanzreduktion: Die Maschine hörte auf, sich zu wiederholen. Anstatt drei Merkmale zu haben, die dasselbe sagen, ordnete sie sie so um, dass jedes Merkmal etwas Neues und Nützliches aussagt.

Das Fazit

Der Kernpunkt von TGO-I ist, dass wir nun eine neue Art haben, KI beim Lernen zu „beobachten“. Wir dachten früher, Lernen bedeute, fokussierter und enger zu werden. Dieses Paper zeigt, dass Lernen – zumindest bei Vision Transformern – eher wie das Erweitern und Verteilen von Informationen über eine weite, flache und effiziente Landschaft aussieht.

Die Autoren nennen dies das Transformer Geometry Observatory. Sie stehen erst am Anfang; dies ist die erste „Installationen“ (TGO-I), die sich mit der Form der Daten befasste. Sie planen, in Zukunft weitere Observatorien zu bauen, um zu beobachten, wie sich der „Teamkapitän“ bewegt, wie die „Attention“ funktioniert und wie die Maschine ihren Optimierungspfad findet.

Kurz gesagt: Die Maschine wurde nicht klüger, indem sie ihren Fokus verengte; sie wurde klüger, indem sie lernte, ihr gesamtes Gehirn zu nutzen und ihr Wissen gleichmäßig zu verteilen, damit nichts verschwendet wird.

Technisches Resümee: TGO-I: Spectral Geometry Observatory

Problemstellung

Trotz der weit verbreiteten Nutzung von Vision Transformern (ViT) in der Computer Vision bleibt das grundlegende Verständnis ihrer Repräsentationsgeometrie und deren Entwicklung während des Trainings im Vergleich zu anwendungsspezifischen Adaptionen untererforscht. Die bestehende Literatur beschränkt die Analyse oft auf spezifische Schichten, isolierte Trainingsstadien oder einzelne Observablen, wodurch eine Lücke im Verständnis darüber entsteht, wie die Repräsentationsgeometrie über die Netzwerktiefe und die Trainingszeit hinweg gemeinsam evolviert. Insbesondere Fragen dazu, wie sich die dimensionale Ausnutzung verändert, wie die Varianz über die Repräsentationsrichtungen verteilt wird und wie globale Repräsentationen innerhalb von Transformer-Architekturen entstehen, mangelt es an einer systematischen empirischen Untersuchung.

Methodik

Um diese Lücken zu schließen, führen die Autoren das Transformer Geometry Observatory (TGO) ein, ein modulares Framework, das darauf ausgelegt ist, die interne Geometrie von Transformer-Repräsentationen systematisch zu instrumentieren und zu analysieren. Die erste Instanz, TGO-I, konzentriert sich spezifisch auf die Spektralgeometrie.

Das experimentelle Setup umfasst folgende Komponenten:

Modell & Datensatz: Ein ViT-Small/16 Modell, das auf dem ImageNet-100 Datensatz über 100 Epochen trainiert wurde.
Beobachtungsprotokoll: Aktivierungen werden via Forward Hooks aus dem Patch Embedding, dem Positional Embedding, allen 12 Transformer-Blöcken und der finalen CLS-Token-Repräsentation extrahiert.
Datenkonsistenz: Um die Konsistenz der Beobachtungen zu gewährleisten, werden alle spektralen Messungen auf einer festen Analyse-Teilmenge von 1.000 Validierungsbildern durchgeführt, statt auf dynamischen Trainings-Minibatches. Dies resultiert in einer aggregierten Repräsentationsmatrix der Größe $197.000 \times 384$ (wobei $B=1000$ Bilder, $T=197$ Token, $D=384$ Dimensionen).
Spektralanalyse: Das Framework berechnet die Merkmalskovarianzmatrix ( $C_l$ $C_{l}$ ) für jede Schicht und führt eine Eigendekomposition durch. Es leitet daraufhin eine Suite von spektralen Observablen ab, um die Geometrie zu charakterisieren:
- Effektiven Rang ( $r_{eff}$ ): Das Exponential der Entropie der normalisierten Eigenwertverteilung.
- Stabiler Rang ( $r_{stable}$ ): Das Verhältnis der gesamten spektralen Energie zur dominanten spektralen Richtung.
- Participation Ratio (PR): Eine Schätzung der effektiven Anzahl an Dimensionen, die zum Spektrum beitragen.
- Spektrale Entropie: Quantifiziert die Uniformität der Eigenwertverteilung.
- Spektrale Anisotropie: Misst die Dominanz der primären spektralen Richtung relativ zur Gesamtvarianz.
- Visualisierungen: Direkte Analyse von Kovarianzmatrizen, Eigenspektren, Singularwertspektren und Spektralzerfalls-Kurven.

Kernergebnisse

Die Studie zeigt ein konsistentes Muster der progressiven spektralen Umverteilung über das Netzwerk hinweg, während das Training fortschreitet:

Erhöhte dimensionale Ausnutzung: Es gibt einen konsistenten Anstieg des effektiven Rangs, des stabilen Rangs und der Participation Ratio über fast alle überwachten Schichten hinweg. Dies deutet darauf hin, dass die Varianz über eine größere Anzahl von spektralen Richtungen verteilt wird, anstatt in wenigen Richtungen konzentriert zu sein.
Verringerte Anisotropie: Die spektrale Anisotropie nimmt signifikant ab, insbesondere in tieferen Schichten. Dies deutet auf eine Reduktion der Dominanz einer einzelnen spektralen Richtung hin.
Erhöhte spektrale Entropie: Die spektrale Entropie steigt an, was darauf hindeutet, dass die Eigenwertverteilung mit der Zeit gleichmäßiger und weniger konzentriert wird.
Evolution der Kovarianzstruktur: Kovarianzmatrizen werden progressiv diagonaler. Off-Diagonal-Korrelationen schwächen sich ab, und die finale CLS-Repräsentation weist weitgehend dekorelierte Merkmalsdimensionen auf, wobei die Varianz entlang der Diagonale konzentriert ist.
Schichtspezifische Dynamik:
- Patch- und Positional Embeddings: Zeigen eine relative Stabilität in Rang und Geometrie während des Trainings.
- Transformer-Blöcke: Weisen progressive Zunahmen der effektiven Dimensionalität und Abnahmen der Anisotropie auf.
- CLS-Token: Die finale CLS-Repräsentation zeigt die ausgeprägtesten Effekte und erreicht die höchste effektive Dimensionalität, die höchste spektrale Entropie und die niedrigste Anisotropie im gesamten Netzwerk.
Spektrale Abflachung: Eigenspektren und Singularwertspektren werden progressiv flacher, wobei die Dominanz der führenden Eigenwerte im Verhältnis zum Rest des Spektrums abnimmt.

Bedeutung und Ansprüche

Das Paper positioniert TGO-I nicht als kausale Studie, die erklärt, warum diese geometrischen Verschiebungen auftreten, sondern als ein fundamentales beobachtendes Framework, das reproduzierbare Messungen der Lernmechanismen von Transformern etabliert.

Empirischer Beitrag: Die Arbeit liefert empirische Belege, die der gängigen Intuition widersprechen, wonach das Training Informationen in einer kleinen Anzahl dominanter Richtungen konzentriert. Stattdessen werden die ViT-Repräsentationen progressiv weniger spektral konzentriert und zunehmend verteilt.
Nutzen des Frameworks: TGO-I etabliert eine systematische Pipeline zur Verfolgung der geometrischen Evolution und dient als Baseline für zukünftige Untersuchungen.
Hypothesengenerierung: Während das Paper die zugrunde liegenden Mechanismen nicht definitiv beweist, motivieren die beobachteten Daten drei plausible Hypothesen für zukünftige Untersuchungen:
1. Token-Diversifizierung: Token werden zunehmend unterscheidbar und besetzen mehr spektrale Richtungen.
2. Semantische Expansion: Das Modell entdeckt und kodiert eine größere Anzahl semantisch bedeutsamer Merkmalsrichtungen.
3. Redundanzreduktion: Das Training reorganisiert bestehende Informationen in eine effizientere, weniger redundante Basis und reduziert so die statistische Abhängigkeit zwischen Merkmalen.

Die Autoren kommen zu dem Schluss, dass die Unterscheidung zwischen diesen Hypothesen zukünftige Observatorien (TGO-II bis TGO-V) erfordert, die in der Lage sind, Token-Dynamiken, Repräsentationsähnlichkeit, Attention-Geometrie und Optimierungslandschaften zu analysieren. Der primäre Wert von TGO-I liegt in seiner Fähigkeit, systematische, reproduzierbare Messungen zu generieren, die unerwartete Phänomene identifizieren und mechanistische Untersuchungen motivieren.