🤖 machine learning

In-Context Learning Operates as Concept Subspace Learning

Ce papier propose et valide un cadre de « sous-espace conceptuel » pour l'apprentissage en contexte, démontrant que les démonstrations structurées induisent des prédictions principalement par le biais de sous-espaces d'activation de faible dimension et alignés sur la tâche plutôt que par des représentations ambiantes de haute dimension, comme en témoignent des expériences montrant que la manipulation de ces sous-espaces spécifiques permet de restaurer efficacement les performances de la tâche tout en ignorant le reste des activations du modèle.

Auteurs originaux : Wei Tang, Xinyan Jiang, Fakhri Karray, Lijie Hu

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Tang, Xinyan Jiang, Fakhri Karray, Lijie Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot ultra-intelligent capable d'apprendre de nouvelles tâches simplement en lisant quelques exemples, sans avoir besoin d'être reentraîné. C'est ce qu'on appelle l'Apprentissage en Contexte (ICL). Si vous lui montrez « Paris est à la France comme Rome est à l'Italie », il peut deviner que « Tokyo est au Japon ».

Pendant longtemps, les scientifiques se sont demandé : Comment le robot fait-il réellement cela ? Essaie-t-il de mémoriser chaque détail des exemples de manière massive et chaotique ? Ou parvient-il d'une manière ou d'une autre à déduire la règle simple et sous-jacente ?

Cet article soutient que le robot fait ce dernier. Il suggère que lorsque le robot apprend, il ne regarde pas l'ensemble de l'image désordonnée ; au contraire, il trouve une petite « salle de contrôle » cachée à l'intérieur de son cerveau où résident les règles réelles.

Voici la décomposition utilisant des analogies simples :

1. La Grande Chambre Désordonnée vs La Petite Salle de Contrôle

Imaginez le cerveau du robot comme une immense pièce à 4 000 dimensions (imaginez une pièce avec 4 000 interrupteurs différents).

L'Ancienne Vue : Les scientifiques pensaient que le robot utilisait peut-être tous les 4 000 interrupteurs pour trouver la réponse, en mélangeant tout ensemble.
La Nouvelle Vue (Cet Article) : Les auteurs proposent que le robot ignore en réalité la majeure partie de la pièce. Il ne se soucie que d'un tout petit sous-espace – un petit groupe d'environ 70 interrupteurs sur les 4 000.
L'Analogie : Imaginez que vous essayez de régler une radio. L'« espace ambiant » est tout le spectre électromagnétique (toutes les fréquences possibles). Mais le « sous-espace conceptuel » n'est que la fréquence spécifique où la musique joue. Le robot apprend à se régler uniquement sur cette fréquence spécifique, en ignorant les interférences et le bruit partout ailleurs.

2. Le « Concept » est la Règle

L'article appelle ce petit groupe d'interrupteurs le « Sous-espace Conceptuel ».

Si la tâche est « Pays vers Capitale », le robot trouve un ensemble spécifique d'interrupteurs qui représente la « logique Pays-vers-Capitale ».
Si la tâche est « Traduire en français », il trouve un ensemble différent d'interrupteurs pour la « logique de traduction en français ».
Le robot réalise que les vraies informations nécessaires pour résoudre le problème sont compressées dans cette petite zone. Le reste des 4 000 interrupteurs n'est que du « bruit » ou des détails de fond qui ne changent pas réellement la règle.

3. L'Expérience : Le « Transplant de Cerveau »

Pour prouver cela, les chercheurs ont mené une expérience ingénieuse, comme une chirurgie cérébrale sur le robot :

Le Déroulement : Ils ont donné au robot un prompt « propre » (bons exemples) et un prompt « corrompu » (exemples mélangés, mauvais). Le robot a échoué avec le prompt corrompu.
La Chirurgie : Ils ont pris l'« état du cerveau » (l'activation des interrupteurs) du prompt propre et l'ont échangé contre celui du prompt corrompu.
- Test A (Le Cerveau Entier) : Ils ont échangé les 4 000 interrupteurs entiers. Le robot s'est amélioré.
- Test B (La Petite Salle de Contrôle) : Ils ont échangé seulement les 70 interrupteurs du « Sous-espace Conceptuel ». Surprenamment, le robot est devenu presque aussi performant ! Il a récupéré environ 79 % de sa capacité à résoudre le problème.
- Test C (Le Reste de la Pièce) : Ils ont échangé les autres 3 930 interrupteurs (ceux qui ne sont pas dans le sous-espace conceptuel). Le robot ne s'est pas amélioré du tout. Il est resté confus.

La Conclusion : Cela a prouvé que la « magie » ne résidait pas dans le cerveau entier ; elle était concentrée dans cette petite salle de contrôle spécifique à 70 interrupteurs.

4. Changer de Chaîne

Les chercheurs ont également essayé de « changer de concepts ».

Ils ont pris la salle de contrôle « traduction en français » d'une tâche et l'ont forcée dans une tâche de « traduction en espagnol ».
Résultat : Le robot a immédiatement arrêté de parler espagnol et a commencé à parler français.
Cela montre que ces petites salles de contrôle sont les vrais « cadrans » que le robot utilise pour décider quoi faire. Si vous tournez le « cadran français », le robot parle français.

5. Et les Autres Robots ?

L'équipe a testé cela sur deux cerveaux de robots différents (Llama-3 et Qwen2.5). Dans les deux cas, ils ont trouvé le même schéma : un petit sous-espace de faible dimension « salle de contrôle » détenait la clé de la tâche, tandis que le reste du cerveau était largement sans rapport avec la logique fondamentale.

Résumé

L'article affirme que lorsque ces modèles d'IA apprennent à partir d'exemples, ils ne mémorisent pas simplement un motif géant et complexe. Au contraire, ils compressent la tâche dans un tout petit « sous-espace conceptuel » efficace.

La Grande Image : Le cerveau du robot est immense et désordonné.
Le Secret : La véritable « pensée » se produit dans un petit coin organisé de ce cerveau.
La Preuve : Si vous réparez juste ce petit coin, le robot fonctionne. Si vous réparez le reste du cerveau mais laissez ce coin cassé, le robot échoue.

Cela nous aide à comprendre que ces modèles sont étonnamment efficaces pour trouver l'« essence » d'une règle, plutôt que de se perdre dans les détails.

Résumé Technique : L'Apprentissage en Contexte Fonctionne comme un Apprentissage de Sous-espace de Concepts

1. Énoncé du Problème

L'apprentissage en contexte (ICL) permet aux modèles de langage préentraînés d'inférer de nouvelles tâches à partir de quelques démonstrations sans mise à jour des poids. Bien que des explications théoriques décrivent l'ICL comme implémentant une régression, une inférence bayésienne ou une descente de gradient, ces modèles traitent souvent la tâche inférée comme un vecteur non contraint dans un espace ambiant de haute dimension. Cette perspective obscurcit la structure géométrique potentielle lorsque les démonstrations partagent des relations latentes, des règles ou des attributs sémantiques.

La question centrale abordée est : Lorsque les tâches partagent une structure conceptuelle de basse dimension, l'ICL opère-t-elle en inférant explicitement ce concept de basse dimension ? Les théories de régression existantes et les analyses d'activation n'ont pas identifié un objet latent commun induit par des invites d'ICL structurées, reliant la structure statistique de la tâche à la géométrie d'activation mécaniste.

2. Méthodologie

Cadre Théorique : ICL de Sous-espace de Concepts

Les auteurs proposent une vue de sous-espace de concepts de l'ICL. Dans ce modèle :

Paramétrisation de la tâche : Les paramètres de tâche $w$ sont contraints à un sous-espace de basse dimension engendré par une matrice orthonormale $U \in \mathbb{R}^{d \times r}$ (où $r \ll d$ ), tel que $w = U\beta$ .
Coordonnées : Les entrées $x$ existent dans l'espace ambiant, mais la tâche en dépend uniquement à travers les coordonnées de concept $z = U^\top x$ . Les directions orthogonales à $U$ sont des variables parasites.
Analyse statistique : Les auteurs analysent des proxies d'ICL de ridge et des moindres carrés. Ils prouvent que, sous des hypothèses de covariance diagonale par blocs ou quasi-diagonale par blocs, la prédiction se décompose exactement en :
1. Régression sur les coordonnées de concept : Estimation de $\beta$ dans le sous-espace de dimension $r$ .
2. Fuite hors du sous-espace : Un terme résiduel contrôlé par le couplage inter-sous-espaces.
Résultat théorique clé : Les termes d'erreur d'estimation prédominants et de sensibilité aux parasites évoluent avec la dimension du concept $r$ , et non avec la dimension ambiante $d$ . Cela implique que si un transformateur implémente une inférence de sous-espace de concepts, l'information pertinente pour la tâche devrait se concentrer dans un sous-espace d'activation de basse dimension, aligné sur la tâche.

Hypothèse Mécaniste et Intervention

La théorie motive une hypothèse mécaniste falsifiable : Si un transformateur approxime une inférence de sous-espace de concepts, l'information pertinente pour la tâche doit être concentrée dans un sous-espace d'activation compact et aligné sur la tâche.

Pour tester cela, les auteurs emploient le patching d'activation et l'échange de concepts sur de grands modèles de langage (Llama-3-8B et Qwen2.5-7B) :

Estimation du sous-espace : Ils estiment le sous-espace aligné sur la tâche $\hat{U}$ à des couches spécifiques du transformateur en effectuant une Décomposition en Valeurs Singulières (SVD) sur la covariance croisée entre les activations du flux résiduel et les vecteurs de supervision cible à travers plusieurs relations.
Expériences de patching :
- Patching de sous-espace de concepts : Remplacer uniquement la composante projetée du flux résiduel dans une invite corrompue par la composante correspondante d'une invite propre.
- Patching de l'espace complémentaire : Remplacer le complément orthogonal.
- Contrôles de rang apparié : Patching d'espaces aléatoires ou inter-tâches de même dimension.
Échange de concepts : Injecter le sous-espace de concepts d'une relation différente (par exemple, échanger « pays $\to$ capitale » contre « pays $\to$ langue ») pour voir si les prédictions se redirigent vers la relation injectée.

3. Résultats Clés

Localisation et Dimensionnalité

Émergence par couche : L'information de tâche n'est pas distribuée uniformément. Les effets de patching restent proches de zéro dans les premières couches et émergent nettement dans les dernières couches (par exemple, la couche 30 pour Llama-3-8B), suggérant qu'un « goulot d'étranglement conceptuel causal » se forme après une intégration contextuelle profonde.
Concentration de rang faible : Pour Llama-3-8B (flux résiduel de 4096 dimensions), un sous-espace de 68 à 73 dimensions (environ 1,8 % des dimensions) capture 98 % de la variance croisée entre les activations et les étiquettes de tâche. Pour Qwen2.5-7B, un sous-espace de 45 dimensions (sur 3584) suffit.

Efficacité Causale du Sous-espace

Récupération du comportement ICL : Le patching du seul sous-espace de concepts estimé dans une invite corrompue restaure 78,8 % de l'écart de précision entre les conditions propres et corrompues (Llama-3-8B).
Inefficacité des contrôles :
- Le patching du sous-espace complémentaire (les ~4023 dimensions restantes) restaure 0 % de l'écart.
- Les contrôles de rang apparié (sous-espaces aléatoires ou inter-tâches) montrent un succès de remplacement négligeable (~2-3 %), confirmant que l'effet est spécifique aux directions apprises alignées sur la tâche, et non simplement un artefact de rang faible.
Échange de concepts : L'échange du sous-espace de concepts entre relations redirige avec succès les prédictions vers la relation injectée (par exemple, 59 % de succès de remplacement), tandis que l'échange de l'espace complémentaire est inefficace.

Robustesse et Généralisation

Cohérence inter-modèles : Le schéma qualitatif vaut pour Qwen2.5-7B et une tâche de règle inter-linguale contrôlée (sélection de la langue de sortie), où un sous-espace de 92 dimensions médiatisait la sélection de la règle linguistique.
Mise à l'échelle Few-Shot : À mesure que le nombre de démonstrations augmente, l'incertitude dans les coordonnées de concept estimées se contracte, et le sous-espace capture une fraction croissante des gains few-shot.
Invariance de format : Le sous-espace appris regroupe les représentations par relation de tâche tout en supprimant les variations de format d'invite (symbolique vs QA vs verbeux), indiquant qu'il capture la sémantique de la tâche plutôt que les statistiques de surface.

4. Contributions Clés

Formalisation : L'article formule l'ICL avec variation de tâche partagée comme une estimation dans un sous-espace de concept intrinsèque plutôt que comme une régression ambiante non contrainte.
Décomposition Théorique : Il fournit une analyse statistique rigoureuse montrant que pour les proxies de ridge et des moindres carrés, les termes d'erreur dominants évoluent avec la dimension du concept $r$ , tandis que la sensibilité aux parasites est régie par le couplage inter-sous-espaces.
Validation Mécaniste : Il traduit l'hypothèse statistique en un test causal, démontrant qu'un sous-espace d'activation compact et aligné sur la tâche porte la majeure partie du signal causal récupérable pour les tâches d'ICL structurées.
Preuve Empirique : Grâce à des expériences étendues de patching et d'échange sur plusieurs modèles et tâches, il valide que le comportement ICL est médiatisé par des sous-espaces de basse dimension, distincts de l'espace ambiant de haute dimension.

5. Importance et Revendications

L'article revendique que les sous-espaces de concepts servent de médiateurs compacts et alignés sur la tâche du comportement ICL récupérable dans les familles de tâches structurées.

Portée Modeste : Les auteurs déclarent explicitement que ces résultats n'impliquent pas que le circuit complet de l'ICL soit de basse dimension, ni qu'un seul sous-espace explique tous les comportements de prompt. L'espace complémentaire peut encoder des informations auxiliaires (par exemple, calibration, désambiguïsation spécifique à l'entité) qui deviennent plus utiles avec plus de démonstrations.
Pont entre Théorie et Mécanisme : Ce travail fait le lien entre les comptes rendus statistiques de l'ICL (régression/inférence bayésienne) et les analyses causales de l'espace d'activation (interprétabilité mécaniste). Il suggère que le « vecteur de tâche » inféré par le modèle n'est pas un paramètre arbitraire de haute dimension, mais une projection sur un goulot d'étranglement géométrique spécifique et de basse dimension.
Implications : Ce cadre offre une méthode pour diagnostiquer si les modèles s'appuient sur des structures de tâche stables ou sur des artefacts de prompt superficiels. Il suggère que pour les tâches structurées, l'inférence logique centrale est concentrée dans un petit ensemble de directions, rendant le raisonnement du modèle plus inspectable et potentiellement pilotable via des interventions ciblées.