Technische Samenvatting: TGO-I: Spectrale Geometrie Observatorium

Probleemstelling

Ondanks de brede adoptie van Vision Transformers (ViT) in computer vision, blijft het fundamentele begrip van hun representationele geometrie en hoe deze evolueert tijdens het trainen onderbelicht in vergelijking met applicatie-specifieke adaptaties. Bestaande literatuur beperkt de analyse vaak tot specifieke lagen, geïsoleerde trainingsstadia of individuele observeerbare grootheden, waardoor er een gat ontstaat in het begrip van hoe de geometrie van representaties gezamenlijk evolueert over de netwerkdiepte en de trainingstijd heen. Specifiek ontbreken systematische empirische onderzoeken naar hoe dimensionale benutting verandert, hoe variantie over directionele representaties wordt verdeeld, en hoe globale representaties binnen transformer-architecturen ontstaan.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs de Transformer Geometry Observatory (TGO), een modulair framework dat is ontworpen om de interne geometrie van transformer-representaties systematisch te instrumenteren en te analyseren. De eerste installatie, TGO-I, richt zich specifief op Spectrale Geometrie.

De experimentele opzet omvat de volgende componenten:

• Model & Dataset: Een ViT-Small/16 model getraind op de ImageNet-100 dataset gedurende 100 epochs.
• Observatieprotocol: Activaties worden geëxtraheerd via forward hooks van de Patch Embedding, Positional Embedding, alle 12 Transformer-blokken, en de uiteindelijke CLS token-representatie.
• Dataconsistentie: Om observationele consistentie te waarborgen, worden alle spectrale metingen uitgevoerd op een vaste analyse-subset van 1.000 validatiebeelden, in plaats van dynamische trainings-mini-batches. Dit resulteert in een geaggregeerde representatiematrix van omvang $197.000 \times 384$ (waarbij $B=1000$ beelden, $T=197$ tokens, $D=384$ dimensies).
• Spectrale Analyse: Het framework berekent de feature-covariantie-matrix ($C_l$) voor elke laag en voert een eigendecompositie uit. Vervolgens leidt het een reeks spectrale observeerbare grootheden af om de geometrie te karakteriseren:
  • Effectieve Rang ($r_{eff}$): De exponent van de entropie van de genormaliseerde eigenwaardeverdeling.
  • Stabiele Rang ($r_{stable}$): De ratio van de totale spectrale energie tot de dominante spectrale richting.
  • Participation Ratio (PR): Een schatting van het effectieve aantal dimensies dat bijdraagt aan het spectrum.
  • Spectrale Entropie: Kwantificeert de uniformiteit van de eigenwaardeverdeling.
  • Spectrale Anisotropie: Meet de dominantie van de primaire spectrale richting ten opzichte van de totale variantie.
  • Visualisaties: Directe analyse van covariantie-matrices, eigenspectra, singular value spectra en spectrale vervalcurves.

Belangrijkste Resultaten

De studie onthult een consistent patroon van progressieve spectrale herverdeling door het netwerk naarmate de training vordert:

1. Toegenomen Dimensionale Benutting: Er is een consistente toename in Effectieve Rang, Stabiele Rang en Participation Ratio over bijna alle gemonitorde lagen. Dit geeft aan dat variantie wordt verdeeld over een groter aantal spectrale richtingen in plaats van geconcentreerd te worden in enkele richtingen.
2. Afgenomen Anisotropie: Spectrale Anisotropie neemt aanzienlijk af, met name in diepere lagen. Dit sugggeert een reductie in de dominantie van een enkele spectrale richting.
3. Toegenomen Spectrale Entropie: Spectrale Entropie stijgt, wat aangeeft dat de eigenwaardeverdeling in de loop van de tijd uniformer en minder geconcentreerd wordt.
4. Evolutie van de Covariantiestructuur: Covariantie-matrices worden progressief meer diagonaal. Off-diagonaal correlaties verzwakken, en de uiteindelijke CLS-representatie vertoont grotendeels ongecorreleerde feature-dimensies met variantie geconcentreerd langs de diagonaal.
5. Laakspecifieke Dynamiek:
   • Patch en Positional Embeddings: Tonen een relatieve stabiliteit in rang en geometrie gedurende de training.
   • Transformer Blocks: Vertonen een progressieve toename in effectieve dimensionaliteit en een afname in anisotropie.
   • CLS Token: De uiteindelijke CLS-representatie vertoont de meest uitgesproken effecten, waarbij het de hoogste effectieve dimensionaliteit, de hoogste spectrale entropie en de laagste anisotropie in het netwerk bereikt.
6. Spectrale Afvlakking: Eigenspectra en singular value spectra worden progressief platter, waarbij de dominantie van leidende eigenwaarden afneemt ten opzichte van de rest van het spectrum.

Betekenis en Claims

Het artikel positioneert TGO-I niet als een causale studie die verklaart waarom deze geometrische verschuivingen optreden, maar als een fundamenteel observationeel framework dat reproduceerbare metingen vaststelt van transformer-leerdynamieken.

• Empirische Bijdrage: Het werk levert empirisch bewijs dat de algemene intuïtie tegenspreekt dat training informatie concentreert in een klein aantal dominante richtingen. In plaats daarvan worden ViT-representaties progressief minder spectraal geconcentreerd en toenemend verdeeld.
• Nut van het Framework: TGO-I vestigt een systematische pijplijn voor het volgen van geometrische evolutie, dienend als baseline voor toekomstige onderzoeken.
• Hypothesegeneratie: Hoewel het papier de onderliggende mechanismen niet definitief bewijst, motiveren de geobserveerde gegevens drie plausibele hypothesen voor toekomstig onderzoek:
  1. Token Diversificatie: Tokens worden steeds onderscheidbaarder en nemen meer spectrale richtingen in.
  2. Semantische Expansie: Het model ontdekt en codeert een groter aantal semantisch betekenisvolle feature-richtingen.
  3. Redundantie Reductie: Training reorganiseert bestaande informatie naar een efficiëntere, minder redundante basis, waardoor de statistische afhankelijkheid tussen features wordt verminderd.

De auteurs concluderen dat het onderscheiden tussen deze hypothesen toekomstige observatoria (TGO-II tot en met TGO-V) vereist die in staat zijn om token-dynamiek, representatie-gelijkenis, aandacht-geometrie en optimalisatie-landschappen te analyseren. De primaire waarde van TGO-I ligt in het vermogen om systematische, reproduceerbare metingen te genereren die onverwachte fenomenen identificeren en mechanistische vragen aanwakkeren.