💻 computer science

Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

Cet article introduit le cadre de l'Observatoire de la Géométrie des Transformers (TGO), plus précisément TGO-I, pour analyser la géométrie spectrale des Vision Transformers et révèle que l'entraînement redistribue progressivement la variance à travers les dimensions de représentation, conduisant à une augmentation de la dimensionnalité effective et à une réduction de l'anisotropie, contrairement à l'intuition de la concentration d'information.

Auteurs originaux : Kaustubh Kapil, Kishor P. Upla

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaustubh Kapil, Kishor P. Upla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une machine géante et complexe appelée Vision Transformer (ViT). Cette machine est conçue pour regarder des images et comprendre ce qu'elles contiennent. Pendant longtemps, les scientifiques se sont passionnés pour ce que la machine décide (ex : « C'est un chat ! ») ou comment elle porte son attention (ex : « Elle regarde les oreilles »).

Mais ce papier, TGO-I, pose une question différente : « À quoi ressemble réellement le "cerveau" interne de la machine pendant qu'elle apprend ? »

Considérez le cerveau de cette machine non pas comme une liste de faits, mais comme une immense pièce multidimensionnelle où vit l'information. Les auteurs ont construit un « observatoire » spécial (un ensemble d'outils) pour observer comment la forme de cette pièce change au fur et à mesure que la machine s'entraîne.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement :

1. La configuration : Observer l'évolution de la pièce

Les chercheurs ont entraîné un Vision Transformer sur un ensemble de données de 100 types d'images (une version miniature de l'internet entier). Ils n'ont pas seulement regardé la réponse finale ; ils ont jeté un coup d'œil à l'intérieur de la machine à chaque étape du processus d'entraînement (du jour 1 au jour 100).

Ils ont mesuré la « géométrie » des données. Imaginez les données comme un nuage de points dans une pièce.

Au début : Le nuage pourrait être écrasé contre un mur (très étroit).
Plus tard : Est-ce qu'il reste plat ? Est-ce qu'il s'étend ? Est-ce qu'il remplit toute la pièce ?

2. La grande surprise : L'effet de « l'étalement »

Le bon sens pourrait suggérer qu'à mesure qu'une machine devient plus intelligente, elle devrait devenir plus focalisée. Vous pourriez penser : « Elle devrait apprendre les choses les plus importantes et ignorer le reste, en concentrant tout son savoir dans quelques directions serrées et puissantes. »

Le papier a trouvé exactement le contraire.

Au lieu de se serrer dans un coin étroit, la représentation interne de la machine s'est étalée pour remplir toute la pièce.

L'analogie : Imaginez un groupe de personnes dans une pièce sombre. Au début, tout le monde est regroupé en un cercle serré, criant la même chose. Au fur et à mesure que « l'entraînement » progresse, ils ne se regroupent pas davantage. Au contraire, ils s'éloignent lentement les uns des autres, s'étalant pour remplir toute la pièce, chacun tenant une pièce unique d'information.
Le résultat : Le « Rang Effectif » (une façon sophistiquée de dire « combien de directions différentes sont utilisées ») est monté. L'« Anisotropie » (à quel point la forme est asymétrique ou écrasée) est descendue.

3. Le « CLS Token » : L'organisateur ultime

Dans ces machines, il existe un jeton spécial appelé CLS token. Considérez cela comme le « Président de classe » ou le « Capitaine d'équipe » qui rassemble toutes les informations du reste du groupe pour prendre la décision finale.

Le papier a découvert que ce « Capitaine » est devenu la partie la plus intéressante de la pièce.

À la fin de l'entraînement, l'espace interne du CLS token était le plus étalé de tous.
Il avait la forme la moins écrasée (anisotropie la plus faible).
Il utilisait le plus grand nombre de dimensions pour stocker l'information.

C'est comme si le Capitaine d'équipe ne s'était pas contenté de mémoriser quelques faits clés ; il avait organisé toute l'équipe pour que la perspective unique de chaque membre soit préservée et utilisée.

4. Le motif « Diagonal »

Les chercheurs ont également examiné comment les différentes parties du cerveau de la machine communiquent entre elles (corrélations).

Au début : Les parties étaient très emmêlées et dépendantes les unes des autres (comme un nœud de câbles d'écouteurs).
Plus tard : Le « nœud » s'est démêlé. Les parties sont devenues plus indépendantes.
Le visuel : Si vous dessiniez une carte de ces connexions, elle ressemblerait au début à un réseau de fils emmêlés, puis à une ligne diagonale propre (où les choses ne communiquent qu'avec elles-mêmes) plutôt qu'à une toile de connexions croisées désordonnée. Cela signifie que la machine a appris à garder ses différentes caractéristiques distinctes et non redondantes.

5. Pourquoi cela s'est-il produit ? (Les théories)

Le papier ne dit pas exactement pourquoi cela s'est produit, mais il propose trois hypothèses :

Diversification des jetons (Tokens) : La machine a appris à rendre chaque morceau de l'image (chaque « token ») unique et distinct, de sorte qu'ils aient tous besoin de leur propre espace.
Expansion Sémantique : La machine a découvert de plus en plus de « significations » ou de caractéristiques différentes, elle avait donc besoin de plus de place pour tout stocker.
Réduction de la Redondance : La machine a cessé de se répéter. Au lieu d'avoir trois caractéristiques qui disent la même chose, elle les a réorganisées pour que chaque caractéristique apporte quelque chose de nouveau et d'utile.

Ce qu'il faut retenir

Le point principal de TGO-I est que nous avons désormais une nouvelle façon d'« observer » l'apprentissage de l'IA. Nous pensions auparavant que l'apprentissage signifiait devenir plus focalisé et étroit. Ce papier montre que, du moins pour les Vision Transformers, l'apprentissage ressemble davantage à une expansion et une distribution de l'information à travers un paysage large, plat et efficace.

Les auteurs appellent cela le Transformer Geometry Observatory. Ils ne font que commencer ; ceci est le premier « volet » (TGO-I) qui a examiné la forme des données. Ils prévoient de construire d'autres observatoires à l'avenir pour observer comment le « Capitaine d'équipe » se déplace, comment l'« Attention » fonctionne et comment la machine optimise son chemin.

En bref : La machine n'est pas devenue plus intelligente en rétrécissant sa focalisation ; elle est devenue plus intelligente en apprenant à utiliser l'intégralité de son cerveau, en répartissant ses connaissances uniformément pour que rien ne soit gaspillé.

Résumé Technique : TGO-I : Observatoire de la Géométrie Spectrale

Énoncé du Problème

Malgré l'adoption généralisée des Vision Transformers (ViT) en vision par ordinateur, la compréhension fondamentale de leur géométrie représentationnelle et de la manière dont elle évolue pendant l'entraînement reste sous-explorée par rapport aux adaptations au niveau applicatif. La littérature existante limite souvent l'analyse à des couches spécifiques, à des étapes d'entraînement isolées ou à des observables individuels, laissant un vide dans la compréhension de l'évolution conjointe de la géométrie des représentations à travers la profondeur du réseau et le temps d'entraînement. Plus précisément, la manière dont l'utilisation dimensionnelle change, comment la variance est distribuée à travers les directions représentationnelles, et comment les représentations globales émergent au sein des architectures transformer, manquent d'une investigation empirique systématique.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent le Transformer Geometry Observatory (TGO), un cadre modulaire conçu pour instrumenter et analyser systématiquement la géométrie interne des représentations de transformers. La première installation, TGO-I, se concentre spécifiquement sur la Géométrie Spectrale.

Le dispositif expérimental comprend les composants suivants :

Modèle & Jeu de Données : Un modèle ViT-Small/16 entraîné sur le jeu de données ImageNet-100 pendant 100 époques.
Protocole d'Observation : Les activations sont extraites via des hooks de propagation directe (forward hooks) à partir de l'Embedding de Patch, de l'Embedding Positionnel, de l'ensemble des 12 blocs Transformer, et de la représentation finale du jeton CLS.
Cohérence des Données : Pour garantir la cohérence de l'observation, toutes les mesures spectrales sont effectuées sur un sous-ensemble d'analyse fixe de 1 000 images de validation, plutôt que sur des mini-lots d'entraînement dynamiques. Cela résulte en une matrice de représentation agrégée de taille $197\,000 \times 384$ (où $B=1000$ images, $T=197$ jetons, $D=384$ dimensions).
Analyse Spectrale : Le cadre calcule la matrice de covariance des caractéristiques ( $C_l$ $C_{l}$ ) pour chaque couche et effectue une décomposition en valeurs propres. Il en dérive ensuite une suite d'observables spectraux pour caractériser la géométrie :
- Rang Effectif ( $r_{eff}$ ) : L'exponentielle de l'entropie de la distribution normalisée des valeurs propres.
- Rang Stable ( $r_{stable}$ ) : Le ratio de l'énergie spectrale totale par rapport à la direction spectrale dominante.
- Ratio de Participation (PR) : Une estimation du nombre effectif de dimensions contribuant au spectre.
- Entropie Spectrale : Quantifie l'uniformité de la distribution des valeurs propres.
- Anisotropie Spectrale : Mesure la dominance de la direction spectrale principale par rapport à la variance totale.
- Visualisations : Analyse directe des matrices de covariance, des spectres de valeurs propres, des spectres de valeurs singulières et des courbes de décroissance spectrale.

Résultats Clés

L'étude révèle un schéma constant de redistribution spectrale progressive à travers le réseau au fur et à mesure que l'entraînement progresse :

Augmentation de l'Utilisation Dimensionnelle : On observe une augmentation constante du Rang Effectif, du Rang Stable et du Ratio de Participation à travers presque toutes les couches surveillées. Cela indique que la variance est distribuée à travers un plus grand nombre de directions spectrales plutôt que d'être concentrée dans quelques directions.
Diminution de l'Anisotropie : L'anisotropie spectrale diminue de manière significative, particulièrement dans les couches plus profondes. Cela suggère une réduction de la dominance de toute direction spectrale unique.
Augmentation de l'Entropie Spectrale : L'entropie spectrale augmente, indiquant que la distribution des valeurs propres devient plus uniforme et moins concentrée au fil du temps.
Évolution de la Structure de Covariance : Les matrices de covariance deviennent progressivement plus diagonales. Les corrélations hors-diagonale s'affaiblissent, et la représentation CLS finale présente des dimensions de caractéristiques largement décorrelées avec une variance concentrée le long de la diagonale.
Dynamique Spécifique aux Couches :
- Embeddings de Patch et Positionnels : Montrent une stabilité relative du rang et de la géométrie tout au long de l'entraînement.
- Blocs Transformer : Présentent des augmentations progressives de la dimensionnalité effective et des diminutions de l'anisotropie.
- Jeton CLS : La représentation CLS finale affiche les effets les plus prononcés, atteignant la dimensionnalité effective la plus élevée, l'entropie spectrale la plus haute et l'anisotropie la plus basse du réseau.
Aplatissement Spectral : Les spectres de valeurs propres et les spectres de valeurs singulières deviennent progressivement plus plats, la dominance des valeurs propres de tête diminuant par rapport au reste du spectre.

Signification et Revendications

L'article positionne TGO-I non pas comme une étude causale expliquant pourquoi ces changements géométriques se produisent, mais comme un cadre d'observation fondamental établissant des mesures reproductibles des dynamiques d'apprentissage des transformers.

Contribution Empirique : Ce travail fournit des preuves empiriques contredisant l'intuition commune selon laquelle l'entraînement concentre l'information dans un petit nombre de directions dominantes. Au contraire, les représentations ViT deviennent progressivement moins concentrées spectralement et de plus en plus distribuées.
Utilité du Cadre : TGO-I établit un pipeline systématique pour suivre l'évolution géométrique, servant de base pour de futures investigations.
Génération d'Hypothèses : Bien que l'article ne prouve pas définitivement les mécanismes sous-jacents, les données observées motivent trois hypothèses plausibles pour des recherches futures :
1. Diversification des Jetons : Les jetons deviennent de plus en plus distinguables, occupant davantage de directions spectrales.
2. Expansion Sémantique : Le modèle découvre et encode un plus grand nombre de directions de caractéristiques sémantiquement significatives.
3. Réduction de la Redondance : L'entraînement réorganise l'information existante dans une base plus efficace et moins redondante, réduisant la dépendance statistique entre les caractéristiques.

Les auteurs concluent que la distinction entre ces hypothèses nécessite de futurs observatoires (TGO-II à TGO-V) capables d'analyser la dynamique des jetons, la similitude des représentations, la géométrie de l'attention et les paysages d'optimisation. La valeur primaire de TGO-I réside dans sa capacité à générer des mesures systématiques et reproductibles qui identifient des phénomènes inattendus et motivent des enquêtes mécanistes.