🤖 machine learning

Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

Dit artikel introduceert het Transformer Geometry Observatory-II (TGO-II) raamwerk om te onthullen dat Vision Transformers representatieve complexiteit en laagspecialisatie ontwikkelen door middel van progressieve manifold-expansie en rijkere transformaties, terwijl ze tijdens de training sterke token-interactiestructuren behouden.

Oorspronkelijke auteurs: Kaustubh Kapil, Kishor P. Upla

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaustubh Kapil, Kishor P. Upla

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Vision Transformer (een type AI dat "ziet") niet voor als een black box, maar als een enorme, meerverdiepingsfabriek. Elke verdieping van deze fabriek vertegenwoordigt een "laag" waar de AI de afbeelding verwerkt.

Lange tijd wisten wetenschappers dat deze fabriek beter werd in haar werk naarmate ze trainde, maar ze begrepen niet echt hoe de werkers op elke verdieping hun denken in de loop van de tijd veranderden. Ze keken vooral naar het eindproduct (herkende de AI de kat correct?) of naar de gereedschappen die de werkers gebruikten (de aandachtmechanismen).

Dit paper, TGO-II, introduceert een nieuwe "observatiepost" (een hoogtechnologisch uitkijkplatform) om precies te zien hoe de interne kaarten van de wereld van de werkers evolueren van de eerste dag van de training tot de laatste.

Hier is wat zij vonden, uitgelegd aan de hand van eenvoudige analogieën:

1. De werkers stoppen met elkaar kopiëren (Specialisatie)

De analogie: Stel je een groep stagiairs voor op Dag 1. Ze kijken allemaal naar dezelfde foto en maken bijna identieke schetsen. Ze denken allemaal op dezelfde manier.
De bevinding: Naarmate de training vordert, stoppen de werkers op de verschillende verdiepingen met hetzelfde doen. Het paper mat hoe vergelijkbaar de "schetsen" (representaties) tussen de verdiepingen waren. Ze ontdekten dat de gelijkenis daalde gedurende de training.
Wat het betekent: De fabriekverdiepingen worden specialisten. De vroege verdiepingen richten zich misschien op randen en vormen, terwijl de latere verdiepingen zich richten op complexe concepten zoals "bont" of "wielen". Ze kopiëren elkaar niet langer; ze creëren hun eigen unieke rollen.

2. De werkruimte wordt groter en complexer (Manifold Expansion)

De analogie: Stel je voor dat de stagiairs tekenen op een klein, plat stuk papier. In het begin kunnen ze alleen eenvoudige lijnen tekenen. Maar naarmate ze leren, beseffen ze dat ze meer ruimte nodig hebben. Ze beginnen een 3-D model te gebruiken, dan een holografische projectie. De "kamer" waarin ze werken, wordt groter en complexer.
De bevinding: Het paper mat de "Intrinsic Dimensionality", wat in essentie een telling is van hoeveel verschillende richtingen of "vrijheidsgraden" de AI gebruikt om een afbeelding te beschrijven. Ze ontdekten dat dit getal tijdens de training snel toenam voordat het stabiliseerde.
Wat het betekent: De AI wordt niet alleen beter in dezelfde oude trucjes; het breidt letterlijk zijn mentale werkruimte uit. Het leert afbeeldingen te beschrijven met een veel rijkere, complexere set dimensies dan het begon met.

3. De werkers blijven verbonden (Token Coupling)

De analogie: Een veelvoorkomende aanname was dat naarmate de AI slimmer wordt, de verschillende delen van de afbeelding (zoals het "oor van de kat" en de "staart van de kat") niet meer met elkaar zouden praten en onafhankelijk zouden worden, als vreemden in een menigte.
De bevinding: Het paper keek naar hoeveel de verschillende delen van de afbeelding elkaar beïnvloedden (token covariantie). Ze ontdekten dat sterke verbindingen behouden bleven gedurende het gehele trainingsproces. Het "oor" en de "staart" stopten nooit met elkaar te interageren; sterker nog, hun interactiepatronen werden zelfs nog georganiseerder en gestructureerder.
Wat het betekent: De AI wordt niet slim door de onderdelen van de afbeelding te isoleren. De AI wordt slim door de onderdelen van de afbeelding op steeds verfijndere manieren samen te laten werken. Het "team" blijft hecht, zelfs terwijl ze experts worden.

De Grote Verrassing: De "Transitiezone"

De onderzoekers merkten iets vreemds op rond de 4e en 5e verdiepingen van de fabriek.

Verdiepingen 1–4: De werkers veranderden snel, en de "kamer" werd groter.
Verdiepingen 5–12: De werkers vonden een nieuw ritme. De gelijkenis tussen de verdiepingen daalde, maar de complexiteit bleef groeien.
De hypothese: Het paper suggereert dat dit een "Transitiezone" is. De eerste paar verdiepingen verwerken de ruwe, basisinput (zoals een stukje pixels), en na verdieping 4 of 5 schakelt de AI over naar het verwerken van abstracte, hoogwaardige concepten. Het is alsof de fabriek overschakelt van "assemblagelijn"-werk naar "creatief ontwerp"-werk.

Samenvatting van de Nieuwe Theorie

Vóór dit paper dachten mensen misschien: "De AI wordt slim door de afbeelding in onafhankelijke stukjes te breken en ze afzonderlijk te analyseren."

TGO-II suggereert het tegenovergestelde: De AI wordt slim door de stukjes nauw verbonden te houden, maar door de manier waarop ze met elkaar communiceren veel complexer en gespecialiseerder te maken. Het is als een jazzband: de muzikanten stoppen niet met samen spelen (ze ontkoppelen niet); in plaats daarvan leren ze complexere harmonieën en improvisaties (manifold expansion), terwijl elke muzikant zijn eigen unieke solo-stijl vindt (specialisatie).

Wat Nu?

De auteurs geven toe dat ze nog niet precies weten wat deze complexe patronen betekenen in termen van "betekenis" (semantiek). Ze zijn van plan om "TGO-III" te bouwen om te controleren of deze complexe geometrie de AI daadwerkelijk helpt om te begrijpen wat een "kat" of een "auto" is, en "TGO-IV" om te kijken hoe de individuele delen van de afbeelding in de loop van de tijd bewegen en veranderen.

Kortom: De AI leert door zijn mentale kaart uit te breiden, zijn lagen te specialiseren en zijn interne onderdelen nauw verbonden te houden, in plaats van door dingen uit elkaar te trekken.

Technische Samenvatting: TGO-II: Representational Similarity Observatory

Probleemstelling
Hoewel Vision Transformers (ViTs) state-of-the-art prestaties hebben bereikt, blijft de geometrische evolutie van hun interne representaties tijdens gesuperviseerde training onvoldoende begrepen. Voorgaand onderzoek, inclusief het eerdere werk van de auteurs (TGO-I), heeft zich sterk gericht op aandachtmechanismen, feed-forward netwerken en spectrale eigenschappen (eigenwaarden, effectieve rang) van de feature-covariantie. Spectrale gelijkenis alleen bevestigt echter niet of lagen vergelijkbare berekeningen uitvoeren, aangezien lagen vergelijkbare spectrale kenmerken kunnen delen terwijl ze verschillende representatieruimtes bezetten. Bovendien ontbreekt het bij bestaande analyses vaak aan een systematische investigatie naar hoe representatiegelijkenis, manifold-complexiteit en token-interactiestructuren gedurende het trainingsproces samen evolueren.

Methodologie
De auteurs introduceren TGO-II (Transformer Geometry Observatory-II), een framework ontworpen om de representatieve geometrie van een ViT-Small/16 model te analyseren dat getraind is op ImageNet-100 gedurende 100 epochs. De studie maakt gebruik van een vaste subset van 1.000 validatiebeelden om consistente observeerbaarheid te waarborgen. De methodologie maakt gebruik van vier primaire analytische instrumenten:

Representatiegelijkenis: Gemeten met Centered Kernel Alignment (CKA) en Singular Vector Canonical Correlation Analysis (SVCCA) om de geometrische uitlijning en gelijkenis tussen laagrepresentaties over de tijd van training te kwantificeren.
Intrinsieke Dimensionaliteit: Geschat met de Two-Nearest Neighbor Intrinsic Dimension (TwoNN-ID) metriek om de complexiteit en de vrijheidsgraden binnen de geleerde representatie-manifold te beoordelen.
Token-interactiestructuur: Geanalyseerd via token-covariantie-matrices en een token-koppelingsratio. Deze benadering onderzoekt de paargewijze relaties tussen tokens om te bepalen of zij statistisch onafhankelijk (ontkoppeld) worden of gekoppeld blijven naarmate de training vordert.
Complementaire Perspectieven: Het framework beschouft feature-ruimte covariantie ( $C_{feat} \propto A^T A$ ) en token-ruimte covariantie ( $C_{token} \propto AA^T$ ) als complementaire perspectieven van dezelfde onderliggende representatieve geometrie, die identieke niet-nul singuliere waarden delen.

Belangrijkste Resultaten
De experimenten leverden drie primaire observaties op met betrekking tot de geometrische evolutie van ViT-representaties:

Progressieve Specialisatie: Zowel CKA- als SVCCA-scores vertonen een progressieve daling tijdens de training. Dit geeft aan dat transformer-lagen naarmate de training vordert steeds meer gespecialiseerd raken, waarbij ze onderscheidende representatieve geometrieën ontwikkelen in plaats van redundantie te behouden. Er vindt een opvallende transitie plaats tussen de lagen 4 en 5, waar de gelijkenis daalt voordat deze stabiliseert in de diepere lagen.
Manifold Expansie: De intrinsieke dimensionaliteit (TwoNN-ID) neemt consistent toe tijdens de beginfasen van de training voordat deze stabiliseert. Deze trend suggereert een progressieve expansie van de representatie-manifold naar een grotere set lokaal toegankelijke vrijheidsgraden. De dimensionaliteit piekt bij intermediaire lagen (specifiek Laag 8) en neemt af in de laatste blokken, wat wijst op een diepte-afhankelijk complexiteitsprofiel.
Persistente Token-koppeling: In tegen tegen de hypothese dat toenemende complexiteit voortkomt uit het onafhankelijk worden van tokens, onthult de token-covariantie-analyse dat sterke interactiestructuren gedurende de training aanhouden. In plaats van te convergeren naar een diagonale matrix, evolueert de token-covariantie naar georganiseerde, streepachtige structuren, met name in de diepere lagen. Dit demonstreert dat de representatieve complexiteit groeit terwijl tokens sterk gekoppeld blijven.

Belangrijkste Bijdragen

Introductie van het Framework: De voorstel van TGO-II als een systematisch observatorium voor het bestuderen van transformer-leerdynamieken via representatieve geometrie, ter aanvulling op de spectrale focus van TGO-I.
Empirisch Bewijs van Co-evolutie: Het leveren van bewijs dat toenemende representatieve complexiteit (manifold-expansie) samen bestaat met afnemende inter-laag gelijkenis (specialisatie) en persistente token-koppeling.
Weerlegging van Token-ontkoppeling: Het uitdagen van de "Token Diversificatie"-hypothese door aan te tonen dat tokens geen volledige statistische onafhankelijkheid bereiken; in plaats daarvan ontstaat complexiteit door geavanceerde transformaties van gekoppelde token-systemen.
Identificatie van Transitiezones: Het benadrukken van een duidelijke gedragsverandering rond de lagen 4–5, wat wijst op een transitie van laag-niveau token-interactieverwerking naar abstracte, context-afhankelijke representatie.

Betekenis en Claims
Het artikel stelt dat deze bevindingen motiveren tot een nieuwe werkingshypothese: Vision Transformers verhogen de representatieve complexiteit door progressief rijkere transformaties van sterk gekoppelde token-systemen, in plaats van door progressieve token-onafhankelijkheid.

De auteurs positioneren TGO-II als een noodzakelijke stap verder dan spectrale analyse, waarbij zij beargumenteren dat het begrijpen van de geometrie van de representaties zelf cruciaal is voor een compleet beeld van het leren door transformers. Het werk suggereert dat de geobserveerde spectrale expansie (opgemerkt in TGO-I) waarschijnlijk wordt gedreven door de Manifold Expansion Hypothesis, waarbij de onderliggende representatie-manifold expandeert naar hogere intrinsieke dimensies, wat rijkere feature-relaties mogelijk maakt zonder dat token-ontkoppeling vereist is.

Het artikel blijft bescheiden over semantische claims en merkt op dat hoewel er wel representatieve specialisatie wordt waargenomen, TGO-II de semantische inhoud of klasse-scheiding niet direct meet. Bijgevolg blijft de "Semantische Expansie"-hypothese onbeslist in afwachting van toekomstig werk. De auteurs presenteren deze bevindingen als een fundament voor toekomstige observatoria (TGO-III tot en met TGO-VI) gericht op het koppelen van geometrische evolutie aan semantische structuur, token-dynamiek, aandachtmechanismen en optimalisatie-landschappen.