📊 statistics

Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers

Ce papier démontre que les transformateurs utilisent des mécanismes géométriques distincts pour l'inférence de tâches, où la reconnaissance in-distribution repose sur des combinaisons convexes de vecteurs de tâches appris tandis que l'adaptation out-of-distribution émerge par apprentissage extrapolatif dans un sous-espace presque orthogonal.

Auteurs originaux : Hao Yan, Haolin Yang, Yiqiao Zhong

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Yan, Haolin Yang, Yiqiao Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme l'IA avec laquelle vous parlez) comme un chef hautement qualifié travaillant dans une cuisine animée. Ce chef dispose de deux façons distinctes de déterminer quel plat souhaite le client en fonction de la commande qu'il vient de passer (le « contexte »).

Ce papier examine comment le cerveau du chef (les mathématiques internes du modèle) gère ces deux situations différentes. Les chercheurs ont construit une version minuscule et simplifiée d'un chef (un petit modèle d'IA) et l'ont entraîné dans un laboratoire contrôlé pour comprendre exactement ce qui se passe dans son « esprit ».

Voici la décomposition de leur découverte à l'aide d'analogies simples :

Les deux modes de pensée

Le papier révèle que l'IA utilise deux « engrenages mentaux » complètement différents selon la situation :

L'engrenage « Allée des souvenirs » (In-Distribution) :
- Le scénario : Le client commande un plat que le chef a cuisiné mille fois auparavant (par exemple : « Fais-moi une pâtes épicées »).
- Fonctionnement : Le chef n'a pas besoin de réfléchir intensément. Il se contente de puiser dans son classeur mental, de sortir le dossier spécifique « Pâtes épicées » et de suivre la recette.
- Les mathématiques : Les chercheurs appellent cela la Récupération de tâche bayésienne. L'IA examine les indices dans la conversation, calcule la probabilité qu'il s'agisse d'une tâche familière, et mélange des « vecteurs de mémoire » (comme mélanger des ingrédients) pour obtenir la bonne réponse. C'est comme faire glisser un curseur sur une table de mixage pour mélanger les bons souvenirs.
L'engrenage « Inventeur » (Out-of-Distribution) :
- Le scénario : Le client demande quelque chose que le chef n'a jamais vu auparavant (par exemple : « Fais-moi un plat qui a le goût de la couleur bleue et qui sonne comme une cloche »).
- Fonctionnement : Le chef ne peut pas sortir un dossier car le dossier n'existe pas. À la place, il doit examiner les modèles dans la demande elle-même. Il analyse la structure des mots et la logique de la demande pour inventer une solution sur le vif.
- Les mathématiques : Les chercheurs appellent cela l'Apprentissage de tâche par extrapolation. Crucialement, ils ont découvert que lorsque l'IA fait cela, elle n'utilise pas le même « classeur » (les vecteurs de mémoire). Au lieu de cela, elle bascule vers une partie complètement différente de son cerveau qui est presque perpendiculaire (à un angle de 90 degrés) par rapport à la partie mémoire.

La grande découverte : deux pièces séparées

La découverte la plus passionnante est que ces deux engrenages ne se produisent pas simplement l'un après l'autre ; ils occupent deux espaces géométriques différents à l'intérieur de l'IA.

La pièce de la mémoire : Lorsque l'IA se souvient d'une tâche, ses pensées internes restent à l'intérieur d'une « pièce » spécifique (un sous-espace) remplie de vecteurs de tâches connus.
La pièce de l'innovation : Lorsque l'IA doit déterminer une nouvelle tâche, ses pensées sautent dans une pièce différente qui est presque à angle droit par rapport à la première.

L'analogie : Imaginez que le cerveau de l'IA est un immense entrepôt.

Si la tâche est familière, le robot descend l'Allée A (le sous-espace des tâches) pour saisir une boîte préfabriquée.
Si la tâche est nouvelle, le robot ne regarde pas dans l'Allée A. Il tourne immédiatement à 90 degrés et descend l'Allée B (le sous-espace orthogonal) pour construire quelque chose de nouveau à partir de matières premières.

Le papier prouve que si vous essayez de forcer le robot à résoudre un nouveau problème en utilisant l'« Allée de la mémoire », il échoue. Il doit basculer vers l'« Allée de l'innovation » pour réussir.

Comment ils l'ont prouvé

Les chercheurs n'ont pas simplement deviné ; ils ont mené des expériences avec des données « factices » (comme lancer des dés biaisés ou prédire le mot suivant dans une langue inventée) où ils connaissaient les règles exactes.

Le test de « pilotage » : Ils ont découvert que s'ils poussaient manuellement les pensées internes de l'IA vers une direction d'« Allée de la mémoire », l'IA commençait soudainement à agir comme si elle se souvenait d'une tâche spécifique, même si l'entrée ne correspondait pas. Cela a prouvé que l'« Allée de la mémoire » contrôle la récupération.
Le test de « nouvelle tâche » : Lorsqu'ils ont donné à l'IA une nouvelle tâche, jamais vue auparavant, ils ont constaté que ses pensées internes déviaient naturellement vers l'« Allée de l'innovation » (l'espace perpendiculaire). S'ils bloquaient cette allée, l'IA échouait à apprendre la nouvelle tâche.

La touche « Non-markovienne » (L'exception)

Le papier a également testé un scénario où les règles étaient piégeuses (comme un jeu complexe de correspondance de parenthèses où vous devez vous souvenir de la toute première parenthèse ouvrante pour fermer la toute dernière). Dans ce cas, l'IA ne pouvait pas résumer la situation en un simple « vecteur de mémoire ». Elle devait garder l'ensemble de l'historique dans son esprit. Cela a montré que l'« Allée de la mémoire » ne fonctionne que lorsque la tâche peut être résumée simplement. Si la tâche est trop complexe pour être résumée, le cerveau de l'IA devient désordonné et ne s'intègre pas proprement dans l'une ou l'autre des deux pièces nettes.

Résumé

En bref, ce papier explique que l'IA ne devient pas simplement « plus intelligente » de manière générale. Elle possède une architecture géométrique spécifique :

Elle dispose d'une Allée des souvenirs pour les choses qu'elle a déjà vues, où elle mélange des concepts connus.
Elle dispose d'une Allée d'innovation perpendiculaire pour les choses qu'elle n'a pas vues, où elle construit une nouvelle logique.
La capacité à gérer de nouvelles tâches, jamais vues, dépend entièrement de la capacité de l'IA à basculer dans cette deuxième allée, perpendiculaire.

Le papier conclut que la « forme » des mathématiques internes de l'IA (sa géométrie) est directement responsable de sa capacité à se souvenir des anciennes choses ou à apprendre de nouvelles choses.

Résumé technique : La géométrie des vecteurs de tâche sous-tend les modes doubles d'inférence de tâche dans les Transformers

Énoncé du problème

Les grands modèles de langage (LLM) démontrent deux modes distincts d'inférence de tâche : la récupération bayésienne de tâche (reconnaissance et récupération de tâches vues pendant l'entraînement) et l'apprentissage extrapolatif de tâche (adaptation à des tâches nouvelles, hors distribution (OOD)). Bien que des études récentes en interprétabilité aient identifié des « vecteurs de tâche » — des directions dans l'espace des états cachés qui orientent le comportement du modèle —, les fondements théoriques reliant ces représentations internes aux comportements de généralisation externes restent absents. Plus précisément, les travaux existants ne parviennent pas à expliquer rigoureusement :

Comment la géométrie des vecteurs de tâche est façonnée par la distribution des données d'entraînement.
Quelles structures géométriques spécifiques permettent la généralisation OOD.
Comment les représentations internes médiatisent le lien entre la structure statistique et le comportement du modèle sans recourir à des méthodes d'extraction heuristiques et spécifiques au modèle.

Méthodologie

Les auteurs comblent ces lacunes en entraînant des transformers petits, uniquement décodeurs, à partir de zéro sur des distributions synthétiques de séquences de tâches latentes soigneusement contrôlées. Cette approche « boîte grise » permet une caractérisation mathématique rigoureuse des états cachés, exempte des facteurs de confusion liés au pré-entraînement sur le langage naturel.

Configuration expérimentale

Trois expériences synthétiques (E1–E3) sont utilisées, où les séquences sont générées à partir de variables latentes $z$ (tâches) non observées :

E1 (Dé biaisé) : Les latents sont des vecteurs de probabilité échantillonnés à partir d'une loi de Dirichlet a priori ; les jetons sont échantillonnés de manière i.i.d.
E2 (Régression linéaire en contexte) : Les latents sont des vecteurs de poids échantillonnés à partir d'une loi de Gauss a priori ; les séquences consistent en des paires entrée-sortie.
E3 (Mélange de chaînes de Markov) : Les latents sont des matrices de transition échantillonnées à partir d'une loi de Dirichlet a priori ; les séquences sont des chaînes de Markov.

Une quatrième expérience (E4, Langage Dyck planté) sert de contre-exemple non markovien pour tester les limites du cadre proposé.

Cadre théorique

L'article définit les vecteurs de tâche $\theta_k$ comme la différence limite entre l'état caché pour une tâche spécifique et la moyenne globale. Il établit quatre propriétés géométriques (P0–P3) caractérisant une récupération de tâche réussie :

P0 (Stabilité) : Les états cachés deviennent des fonctions déterministes de la tâche latente et du jeton courant.
P1 (Découplage) : Les états cachés se décomposent de manière additive en vecteurs de tâche et en encodages de jetons (Hypothèse de représentation linéaire).
P2 (Interpolation) : À contexte fini, les états cachés sont des combinaisons convexes de vecteurs de tâche.
P3 (Alignement) : Les coefficients de ces combinaisons convexes approximent la distribution a posteriori bayésienne sur les tâches.

Les auteurs contrastent cela avec l'Apprentissage Extrapolatif de Tâche (M2), en émettant l'hypothèse que l'inférence OOD nécessite des représentations situées en dehors du sous-espace des vecteurs de tâche.

Contributions et résultats clés

1. Unification de la géométrie de représentation et de la généralisation

L'article fournit un cadre mathématique rigoureux montrant que la récupération bayésienne de tâche est mise en œuvre internement via des combinaisons convexes de vecteurs de tâche appris.

Preuve : Dans les expériences E1–E3, les états cachés du modèle satisfont les propriétés P0–P3. Les coefficients du mélange de vecteurs de tâche ( $\beta_{t,k}$ ) suivent étroitement la distribution a posteriori bayésienne de vérité terrain ( $\alpha_{t,k}$ ) à mesure que le contexte s'accumule.
Validation causale : L'intervention sur le sous-espace des vecteurs de tâche (orientant l'état caché vers un point spécifique du simplexe des tâches) oriente avec succès la sortie du modèle pour correspondre à la prédiction du mélange correspondante, confirmant que les vecteurs de tâche contrôlent causalement l'inférence pour les tâches en distribution (ID).

2. Découverte de modes doubles d'inférence via des sous-espaces quasi-orthogonaux

L'article démontre que l'apprentissage extrapolatif de tâche (M2) pour les tâches OOD opère dans un sous-espace quasi-orthogonal au sous-espace des vecteurs de tâche ID.

Mécanisme : À mesure que la diversité des tâches augmente (en entraînant sur un mélange de quelques tâches « majeures » et de nombreuses tâches « mineures »), le modèle passe d'une dépendance exclusive à la récupération de vecteurs de tâche à l'utilisation d'une voie de calcul séparée.
Preuve géométrique : Lorsque la diversité des tâches est faible, les états cachés OOD se projettent fortement sur le sous-espace des tâches ID. À mesure que la diversité augmente, les représentations OOD dérivent vers l'orthogonalité (projection $R^2 \to 0$ ).
Validation causale : Les interventions confirment une « double dissociation » :
- La suppression du sous-espace des vecteurs de tâche dévaste les performances ID mais laisse les performances OOD largement intactes.
- La suppression du sous-espace orthogonal (identifié via une optimisation sur les tâches mineures) détruit les performances OOD tout en laissant les performances ID proches de la ligne de base.
Fondement théorique : Le théorème 2 fournit une borne inférieure sur la distance des représentations OOD par rapport au sous-espace des tâches, montrant que si la dimension intrinsèque de la carte de prédiction OOD dépasse la dimension du sous-espace des vecteurs de tâche, le modèle doit utiliser des représentations en dehors de ce sous-espace pour généraliser avec précision.

3. Limites du cadre (Cas non markovien)

Dans l'expérience sur le langage Dyck planté (E4), où les données manquent de la propriété markovienne d'ordre un requise pour une synthèse compacte, le modèle ne parvient pas à satisfaire la propriété P0. Au lieu de compresser le contexte en un résumé de faible dimension, le modèle conserve l'historique complet du préfixe dans ses états cachés. Cela met en évidence que le cadre géométrique proposé est conditionnel au processus générateur de données permettant des statistiques suffisantes.

Importance et affirmations

L'article prétend fournir la première caractérisation rigoureuse et mathématiquement fondée de la manière dont les Transformers mettent en œuvre des modes doubles d'inférence :

Inférence ID : Régi par la récupération bayésienne de tâche au sein d'un sous-espace de vecteurs de tâche, où le modèle interpole entre des tâches mémorisées.
Inférence OOD : Régi par l'apprentissage extrapolatif de tâche dans un sous-espace quasi-orthogonal, qui encode les statistiques du contexte (par exemple, unigrammes empiriques, solutions de ridge, bigrammes) plutôt que des identités de tâches spécifiques.

Les auteurs soutiennent que la géométrie des vecteurs de tâche, les distributions d'entraînement et les comportements de généralisation sont étroitement liés. Plus précisément, l'augmentation de la diversité des tâches force le modèle à développer des sous-espaces orthogonaux pour gérer la généralisation, expliquant la coexistence des modes de récupération et d'apprentissage. Ce travail suggère que l'hypothèse de représentation linéaire vaut pour les tâches ID mais nécessite une extension (via des sous-espaces orthogonaux) pour expliquer la généralisation OOD.

L'article reste modeste, notant que son analyse repose sur des données synthétiques possédant des propriétés markoviennes spécifiques et qu'un compte rendu mécanistique complet de la généralisation OOD dans le langage naturel reste un défi ouvert. Il se positionne comme une étape fondamentale visant à combler le fossé entre la géométrie de la représentation interne et les capacités de généralisation externes.