Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

Résumé Technique : Émergence d'une Géométrie Ordinale dans les Transformers entraînés sur des Comparaisons Locales

Énoncé du Problème
L'article examine si les modèles Transformer, lorsqu'ils sont entraînés exclusivement sur des comparaisons locales (adjacentes) au sein d'un ordre total caché, acquièrent le même mécanisme primitif utilisé par les systèmes biologiques pour l'inférence transitive (IT). L'IT est la capacité d'inférer une relation non adjacente (par exemple, $A < C$) à partir de relations adjacentes connues ($A < B, B < C$). Alors que la cognition biologique résout cela via une « ligne numérique mentale analogique » — mise en évidence par l'effet de distance symbolique (où les comparaisons distantes sont traitées plus rapidement ou plus précisément que les adjacentes) — les Transformers ne sont pas explicitement poussés à représenter l'ordre de manière linéaire. L'étude demande si cette représentation géométrique spécifique et cette signature comportementale émergent spontanément dans les réseaux de neurones entraînés sur le paradigme classique de Bryant et Trabasso [1971].

Méthodologie
Les auteurs ont construit une tâche synthétique utilisant un ordre total caché de $N$ entités ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$).

• Données d'entraînement : Le modèle est entraîné uniquement sur des paires adjacentes dans les deux sens ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$).
• Données d'évaluation : Le modèle est évalué sur un ensemble disjoint de paires distantes ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), nécessitant la reconstruction de l'ordre global à partir des données locales seules.
• Architecture du Modèle : Un Transformer à une couche avec des plongements d'entités (entity embeddings), une tête d'attention (dans l'abstrait) ou deux (dans la section des résultats), un MLP GELU de largeur 4d, et une tête de désencodage linéaire. La relation est décodée à partir du résidu de la position finale.
• Métriques :
  1. Structure Géométrique : Analyse en Composantes Principales (ACP) sur les plongements d'entités pour mesurer la linéarité (variance sur la première composante principale, $\rho_1$) et l'alignement du rang (corrélation entre la position projetée et le rang réel).
  2. Signatures Comportementales : La confiance de décision (marge de logit) et la séparation géométrique ($g_{ij}$) sont mesurées par rapport à la distance de rang ($|i-j|$) pour détecter l'effet de distance symbolique.

Contributions Clés

1. Isolation de la Tâche Synthétique : L'article introduit une tâche contrôlée qui isole la généralisation ordinale des comparaisons locales, reflétant strictement le paradigme de l'IT biologique.
2. Émergence d'une Variété 1D : Il fournit la preuve que les Transformers organisent spontanément les plongements d'entités en une variété unidimensionnelle. L'axe principal de cette variété récupère l'ordre de rang caché avec une fidélité quasi parfaite.
3. Analogue Computationnel de l'Effet de Distance : L'étude démontre que même lorsque la précision atteint un plafond, le modèle présente l'effet de distance symbolique : tant la confiance de décision que la séparation géométrique augmentent de manière monotone avec la distance de rang entre les éléments.

Résultats
Les expériences ont été menées sur des ensembles de $N=10, 15$ et $20$ entités.

• Dynamiques de type "Grokking" : L'émergence de la généralisation hors distribution (OOD) coïncide avec une réorganisation géométrique des plongements. Cette transition est sensible à l'optimisation (spécifiquement au déclin de poids ou weight decay) et produit des dynamiques transitoires similaires au "grokking".
• Récupération Géométrique : À mesure que le modèle apprend, les plongements se replient sur une ligne où la composante principale s'aligne avec le véritable rang.
• Miroir Comportemental : À l'apogée de la précision OOD, les représentations internes du modèle et sa confiance de sortie suivent strictement l'effet de distance symbolique. Les paires distantes sont non seulement classées correctement, mais sont également associées à une confiance et une séparation géométrique plus élevées dans l'espace des plongements par rapport aux paires adjacentes.

Signification
L'article affirme ancrer une régularité comportementale vieille de 50 ans (l'effet de distance symbolique dans l'IT) dans la géométrie des représentations apprises par les réseaux de neurones. En démontrant que les Transformers développent spontanément une « ligne numérique mentale » sans supervision explicite, ce travail offre un compte rendu mécaniste de l'inférence transitive qui fait le pont entre les sciences cognitives et l'interprétabilité moderne des réseaux de neurones. Il suggère que la capacité à effectuer un raisonnement relationnel abstrait peut être un sous-produit naturel de l'optimisation de contraintes locales au sein d'un ordre total.