🤖 machine learning

Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory

Dit artikel introduceert de Transformer Geometry Observatory (TGO-IV), een nieuw raamwerk dat persistente homologie en Vietoris–Rips simpliciale complexen gebruikt om de topologische evolutie van Transformer-representaties over lagen heen uitgebreid te analyseren, waardoor diepere inzichten worden geboden in hoe ruwe inputs transformeren naar taakrelevante kenmerken.

Oorspronkelijke auteurs: Kaustubh Kapil, Kishor P. Upla

Gepubliceerd 2026-08-12

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaustubh Kapil, Kishor P. Upla

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Vorm van het Denken: Hoe AI zijn Wereld Bouwt

Stel je voor dat je probeert te begrijpen hoe een gigantisch, digitaal brein leert om een kat te herkennen. Lange tijd behandelden wetenschappers deze "Transformers"—de krachtige AI-modellen achter je favoriete chatbots en beeldgeneratoren—als mysterieuze zwarte dozen. We wisten dat ze ongelooflijk goed werkten, maar we wisten niet echt hoe ze leerden. Om naar binnen te kijken, begonnen onderzoekers naar de "representaties" te kijken die de AI creëert. Denk bij deze representaties aan een wolk van gloeiende stippen die zweven in een hoogdimensionale ruimte. Elke stip is een deel van de afbeelding (zoals een stukje vacht of een oor), en de manier waarop de stippen zijn gerangschikt, vertelt de AI wat hij ziet.

Voorheen bestudeerden wetenschappers deze wolken door hun "spectrum" te meten (hoe verspreid de stippen zijn) of hun "geometrie" (hoe de stippen samenklonteren). Ze ontdekten dat de wolk naarmate de AI leert, uitzet en zichzelf organiseert in betekenisvolle vormen. Maar er was een ontbrekend puzzelstukje: de topologie. In eenvoudige termen is topologie de studie van vormen die niet geven om rekken of buigen, maar wel om gaten en verbindingen. Is de wolk één grote solide klomp? Is het een ring met een gat in het midden? Is het een verzameling losstaande eilanden? Het begrijpen van de "vorm" van deze wolken helpt ons te zien of de AI werkelijk de structuur van de wereld begrijpt of alleen patronen onthoudt. Dit is de vraag die de nieuwe studie, TGO-IV, beoogt te beantwoorden.

Het Papier: TGO-IV, de Topologische Detective

In deze nieuwe studie, getiteld TGO-IV: Developmental Topology Observatory, nemen onderzoekers Kaustubh Kapil en Kishor P. Upla van India's SVNIT een vergrootglas om de "vorm" van hoe een Vision Transformer (een type AI dat beelden ziet) leert. Ze maken deel uit van een groter team genaamd de Neuromorphic Intelligence Research Collective, en dit is de vierde aflevering van hun "Transformer Geometry Observatory"-serie. Waar de vorige delen keken naar de wiskunde van de verspreiding van de AI en de semantische betekenis, stelt TGO-IV een diepere vraag: Verandert de globale vorm van het denken van de AI naarmate hij leert, of blijft deze hetzelfde?

Om dit te beantwoorden, keken de onderzoekers niet alleen naar de stippen; ze bouwden een digitale "steiger" rondom hen. Stel je voor dat je een wolk van 197 gloeiende stippen (die de delen van een afbeelding vertegenwoordigen) hebt die zweven in een 384-dimensionale ruimte. Je kunt de vorm niet zien door alleen naar de stippen te kijken. Daarom gebruikten de onderzoekers een wiskundige truc gen ideaal Vietoris–Rips simplicial complex. Denk hierbij aan een spelletje "punten verbinden". Ze beginnen met het trekken van een lijn tussen elke twee stippen die heel dicht bij elkaar liggen. Vervolgens vergroten ze langzaam de "verbindingsradius". Naarmate de radius groeit, verbinden lijnen meer stippen, vormen er driehoeken tussen drie verbonden stippen, en verschijnen er uiteindelijk 3D-vormen (zoals tetraëders). Dit creëert een mesh (netwerk) die de vorm van de datawolk benadert.

Door te observeren hoe deze mesh verandert naarmate de radius groeit, kunnen ze "persistente homologie" volgen. Dit is een chique manier om de levensverhalen van gaten en verbindingen te tellen.

Geboorte: Een nieuwe verbinding wordt gevormd, of een lus verschijnt.
Dood: Een verbinding wordt zo groot dat een gat wordt opgevuld, of een lus sluit zich.

De onderzoekers volgden deze "geboorten" en "doden" terwijl de AI een afbeelding door zijn 12 lagen verwerkte, en dit deden ze over 100 dagen van training op 1.000 afbeeldingen uit de ImageNet-100 dataset. Ze gebruikten een specifiek model, ViT-Small/16, dat afbeeldingen verwerkt door ze op te delen in 16x16 patches, wat resulteert in 197 tokens (stippen) per afbeelding.

Wat Ze Vonden: De Grote Consolidatie

De studie onthulde een fascinerend verhaal over hoe de interne wereld van de AI stabiliseert. Dit is wat de "topologische observatoria" zagen:

1. De Eilanden Versmelten tot een Continent
Aan het begin van de training (Epoch 1) was de representatiewolk van de AI een verspreide archipel. De stippen waren ver uit elkaar, waardoor er veel geïsoleerde eilanden ontstonden. Naarmate de training vorderde, merkten de onderzoekers een enorme verschuiving op in de Betti-curves (een grafiek die telt hoeveel verbonden stukken er bestaan). De "nulde Betti-getal" ( $\beta_0$ ), die het aantal afzonderlijke eilanden telt, daalde drastisch. De stippen begonnen veel eerder in het proces te versmelten tot minder, grotere groepen. Tegen het einde van de training (Epoch 100) was de wolk een enkel, samenhangend continent geworden. De AI zag niet alleen onderdelen; hij zag het hele plaatje als één verbonden eenheid.

2. De Ringen Blijven, De Gaten Vervagen
De onderzoekers zochten ook naar "lussen" (ringen van stippen) en "holtes" (3D-bellen). Ze ontdekten dat hoewel de AI enkele lussen creëerde ( $\beta_1$ ), deze altijd schaars en verspreid waren. Nog interessanter was dat de 3D-bellen ( $\beta_2$ ) bijna volledig afwezig waren. Dit suggereert dat het denken van de AI geen complexe, meerlagige bubbels van informatie vormt. In plaats daarvan richt het zich op het verbinden van de stages tot een solide, plat(ish) structuur.

3. De Lagen Worden Meer Op Elkaar Lijken
Een van de meest verrassende bevindingen ging over de afstand tussen de lagen. De onderzoekers gebruikten twee instrumenten, Bottleneck Distance en Wasserstein Distance, om te meten hoe verschillend de vorm van de data was van de ene laag naar de volgende.

Vroege Training: De lagen waren zeer verschillend van elkaar. De vorm van de data veranderde wild terwijl het bewoog van de eerste laag naar de tweede, en dan naar de derde.
Late Training: Naarmate de AI leerde, begonnen de lagen steeds meer op elkaar te lijken. De "afstand" tussen de vormen van opeenvolgende lagen kromp. Het is alsook dat de AI niet bij elke stap het wiel opnieuw uitvond, maar begon met het verfijnen van dezelfde stabiele structuur.

Ze merkten echter een paar "pieken" op waar de vorm aanzienlijk veranderde, specifiek rond Lagen 3, 10 en 12. Zelfs nadat de AI had "geleerd", bleven deze specifieke lagen zwaar werk verrichten door de data op significante wijze te reorganiseren.

Het Grote Idee: Progressieve Topologische Stabilisatie

Op basis van deze observaties stellen de auteurs een nieuw idee voor genaamd de Progressieve Topologische Stabilisatie Hypothese.

Zij suggereren dat leren niet gaat over het instorten van de interne wereld van de AI tot een saaie, kenmerkloze vlek. In plaats daarvan is het een proces van verfijning.

De Metafoor: Stel je een chaotische menigte mensen voor bij een concert. In het begin is iedereen verspreid, schreeuwend en onverbonden (hoge $\beta_0$ , veel eilanden). Wanneer de muziek begint en het nummer opbouwt, beginnen mensen elkaars armen vast te houden, vormen ze kleine groepjes, en uiteindelijk beweegt de hele menigte als één grote, samenhangende golf. De "vorm" van de menigte wordt stabiel en verbonden, maar verdwijnt niet.
De Bevinding: De representaties van de AI worden "toenemend compact" (de stippen komen dichter bij elkaar) terwijl ze hun "niet-triviale geometrische organisatie" behouden (de structuur blijft interessant en nuttig). De AI onthoudt niet alleen; hij bouwt een stabiele, verbonden kaart van de wereld.

Wat Dit Betekent (en Wat Het Niet Betekent)

De auteurs benadrukken dat ze niet beweren de exacte vorm van het brein van de AI te zien. Omdat ze slechts 197 stippen hadden om mee te werken in een enorme 384-dimensionale ruimte, is hun "mesh" een benadering, geen perfecte reconstructie. Ze geven toe dat met zo weinig punten de "vorm" die ze zien een topologische benadering is, en geen intrinsieke waarheid. Echter, de trends die ze observeerden zijn consistent en betekenisvol.

Ze sluiten expliciet de gedachte uit dat de AI simpelweg instort tot een triviaal, nutteloos punt. Het feit dat sommige lussen ( $\beta_1$ ) het hele trainingsproces overleefden, bewijst dat de structuur complex bleef. Ze sluiten ook de gedachte uit dat de AI leert in één enkele, plotselinge sprong; in plaats daarvan zijn de veranderingen continu, waarbij de lagen meer op elkaar gaan lijken naarmate de training volwassen wordt.

De Weg Vooruit

Dit papier is slechts de vierde halte op een lange reis. De onderzoekers hebben een plan voor de toekomst:

TGO-V (Computationele Geometrie): Ze willen weten hoe de wiskunde van de AI (de dot products en aandachtsmecanismen) deze vormen daadwerkelijk creëert.
TGO-VI (Optimalisatiedynamiek): Ze willen de "physics" van het leerproces begrijpen—hoe de wiskunde van het trainingsalgoritme (gradiënten en loss landscapes) de AI dwingt om in deze stabiele vormen te landen.

Kortom, TGO-IV geeft ons een nieuwe bril. In plaats van de data van de AI alleen als een wolk van getallen te zien, kunnen we het nu zien als een levende, ademende vorm die begint als een verspreide archipel en groeit tot een stabiel, verbonden continent. Het suggereert dat wanneer een Transformer leert, hij niet alleen onthoudt; hij bouwt een stabiel, topologisch thuis voor zijn kennis.

Technische Samenvatting: TGO-IV: Ontwikkelingstopologische Observatorium

1. Probleemstelling en Motivatie

Hoewel Transformers diepgaand succes hebben getoond in taalverwerking en computervisie, blijven de mechanismen die ten grondslag liggen aan hun leerdynamiek gedeeltelijk opaak. Bestaande interpreteerbaarheidsstudies, zoals die gebruikmaken van CKA, SVCCA of spectrale analyses (bijv. TGO-I, TGO-II, TGO-III), richten zich primair op geïsoleerde lagen, verlieslandschappen of lokale geometrische eigenschappen zoals covariantiespectra en intrinsieke dimensionaliteit.

Er blijft een kritieke kloof bestaan in het begrijpen van de globale topologische structuur van representatiemanifolds terwijl deze evolueren door de forward pass. Geometrische analyses zijn inherent ongevoelig voor globale topologische invarianten; twee manifolds kunnen identieke lokale geometrie delen terwijl ze fundamenteel verschillende globale connectiviteit bezitten (bijv. gaten, holtes of verbonden componenten). Het artikel stelt dat huidige methoden er niet in slagen te bepalen of Transformer-lagen fundamentele topologische structuren behouden, creëren, samenvoegen of elimineren tijdens de ontwikkeling van representaties. TGO-IV adresseert dit door een topologisch kader te introduceren om de ontwikkelingsevolutie van Transformer-representaties te analyseren.

2. Methodologie

TGO-IV maakt gebruik van Topologische Data-Analyse (TDA), specifiek Persistente Homologie, om de evolutie van token-niveau representatie-puntenwolken door Transformer-lagen te bestuderen. In tegen tegenstelling tot visualisatietechnieken (PCA, t-SNE, UMAP) die data projecteren in lagere dimensies en metrische relaties vervormen, voert TGO-IV alle analyses direct uit binnen de oorspronkelijke hoogdimensionale embeddingruimte ( $R^d$ ).

Kernpipeline

Puntenwolk Constructie: Voor een Vision Transformer (ViT) worden de token-embeddings in elke laag $l$ behandeld als een puntenwolk $X^{(l)} = \{x^{(l)}_1, \dots, x^{(l)}_N\}$ in $R^d$ .
Simpliciaal Complex Constructie: Het artikel construeert Vietoris–Rips simpliciale complexen vanuit deze puntenwolken. Gegeven een filtratieradius $\epsilon$ , worden punten verbonden als hun paarafstand $\|x_i - x_j\| \le \epsilon$ .
Filtratie en Persistentie: Een geneste familie van complexen wordt gegenereerd door de $\epsilon$ te vergroten. Persistente Homologie volgt de "geboorte" en "dood" van topologische kenmerken (verbonden componenten, lussen, holtes) naarmate de filtratieschaal verandert.
Topologische Observatoria: Het framework maakt gebruik van een suite van complementaire metrieken om de evolutie van deze structuren te kwantificeren:
- Persistentie Diagrammen & Barcode Diagrammen: Visualiseren de levensduur van topologische kenmerken.
- Betti-curves: Kwantificeren het aantal kenmerken ( $\beta_0$ voor componenten, $\beta_1$ voor lussen, $\beta_2$ voor holtes) bij elke filtratieschaal.
- Persistentie Landschappen: Transformeren diagrammen naar functionele representaties voor statistische vergelijking.
- Bottleneck & Wasserstein Afstanden: Meten de dissimilariteit tussen de topologische signaturen van opeenvolgende lagen of trainingsstadia.

Experimentele Opstelling

Model: ViT-Small/16 getraind op ImageNet-100 voor 100 epochs.
Data: Een vaste validatiesubset van 1.000 afbeeldingen en één specifieke afbeelding voor gedetailleerde tracking.
Beperking: De auteurs merken expliciet op dat met 197 tokens in een 384-dimensionale ruimte, de bemonstering schaars is. Daarom worden de geconstrueerde complexen behandeld als topologische benaderingen in plaats van een getrouwe reconstructie van de ware intrinsieke manifold. Het doel is om consistente ontwikkelingspatronen in deze signaturen te identificeren, niet om te claimen de exacte manifold-topologie te verklaren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Eerste Topologische Observatorium: Introduceert het eerste framework dat Persistente Homologie toepast op Transformer-representaties, waarmee de TGO-serie uitbreidt van spectrale en geometrische analyse naar topologische data-analyse.
Topologie-Centrisch Framework: Formuleert een methode om Vietoris–Rips complexen te construeren uit token-niveau puntenwolken en om hun evolutie laag-voor-laag systematisch te karakteriseren.
Complementaire Observatorium Suite: Stelt een uitgebreide set metrieken voor (Persistentie Diagrammen, Barcodes, Betti-curves, Landschappen, Bottleneck- en Wasserstein-afstanden) om de geboorte, persistentie en verdwijning van topologische kenmerken te kwantificeren.
Analyse van Ontwikkelingsevolutie: Onderzoekt hoe persistente topologische signaturen ontstaan, transformeren en stabiliseren gedurende het netwerk, wat inzichten biedt die verder gaan dan conventionele geometrische en spectrale analyses.

4. Belangrijkste Resultaten en Bevindingen

De empirische analyse van het ViT-Small/16 trainingsproces onthulde verschillende consistente ontwikkelingspatronen:

Progressieve Topologische Stabilisatie: De Bottleneck Afstand en Wasserstein Afstand tussen opeenvolgende lagen namen aanzienlijk af naarmate de training vorderde. Dit geeft aan dat de persistente topologische signaturen van aangrenzende lagen steeds gelijkaardiger worden naarmate het model convergeert.
Connectiviteitsevolutie (Betti-curves): Het nulde Betti-getal ( $\beta_0$ ), dat verbonden componenten representeert, domineerde de topologie. Naarmate de training vorderde, verschoven de $\beta_0$ -curves naar kleinere filtratieradii, wat betekent dat verbonden componenten eerder samensmelten. Dit suggereert dat de representatie-puntenwolk progressief meer cohesief wordt.
Persistentie van Lussen: Het eerste Betti-getal ( $\beta_1$ ), dat één-dimensionale lussen representeert, bleef gedurende de hele training schaars maar niet nul. Dit spreekt tegen een "triviale ineenstorting" van de representatie tot een kenmerkloze puntenwolk; niet-triviale geometrische organisatie blijft behouden.
Afwezigheid van Hogere-Orde Holtes: Het tweede Betti-getal ( $\beta_2$ ) bleef bijna nul, wat aangeeft dat hogere-dimensionale holtes geen significante component zijn in de persistente topologie in deze setting.
Laagspecifieke Transities: Hoewel de globale gelijkenis toenam, bleven gelokaliseerde pieken in de topologische afstand bestaan rond specifieke lagen (bijv. Lagen 3, 10 en 12), wat suggereert dat deze stadia meer uitgesproken topologische reorganisaties uitvoeren, zelfs na convergentie.

5. Hypothese en Betekenis

Op basis van de geobserveerde trends stellen de auteurs de Progressieve Topologische Stabilisatie Hypothese voor. Deze hypothese stelt dat Transformer-representaties evolueren via een proces waarbij de puntenwolk steeds compacter wordt terwijl een niet-triviale geometrische organisatie behouden blijft. Tijdens optimalisatie worden hogere-orde topologische structuren tijdelijk gevestigd en vervolgens verfijnd, terwijl opeenvolgende lagen progressief kleinere cumulatieve topologische transformaties uitvoeren naarmate de convergentie nadert.

Betekenisclaims:

Voorbij Geometrie: Het artikel beweert een perspectief te bieden dat geometrische en spectrale analyses niet kunnen bieden: het vermogen om globale topologische transities te detecteren (bijv. het samensmelten van componenten versus het creëren van gaten) die onzichtbaar zijn voor lokale metrieken.
Mechanistisch Inzicht: Het brengt het veld dichter bij het beantwoorden van de vraag "hoe" Transformers leren door de ontwikkelingsevolutie van representaties te karakteriseren in plaats van alleen hun statische staat.
Fundament voor Toekomstig Werk: TGO-IV dient als een fundamentele stap voor het bredere Transformer Geometry Observatory (TGO) framework. De auteurs presenteren dit werk als een beschrijvende stap die de weg vrijmaakt voor toekomstige observatoria (TGO-V en TGO-VI) die gericht zijn op het verklaren van de computationele mechanismen (attention routing, gradiëntdynamiek) en de optimalisatieprincipes die verantwoordelijk zijn voor deze topologische veranderingen.

Het artikel hanteert een bescheiden toon en benadrukt dat deze bevindingen de evolutie van geconstrueerde simpliciale complexen beschrijven op basis van schaarse bemonstering, in plaats dat zij definitieve claims maken over de intrinsieke topologie van de onderliggende representatie-manifold.