🤖 AI

Functional Subspace, where language models can use vector algebra to solve problems

Cet article émet l'hypothèse et fournit des preuves que les grands modèles de langage exploitent des sous-espaces fonctionnels au sein de leur espace d'activation, où les tâches d'apprentissage en contexte sont résolues par de simples opérations algébriques vectorielles qui accumulent des preuves.

Auteurs originaux : Jung H. Lee, Sujith Vijayan

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jung H. Lee, Sujith Vijayan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage de grande taille (LLM) non pas comme un cerveau géant et magique qui « pense » en mots humains, mais comme une immense bibliothèque à plusieurs étages où chaque livre est un élément d'information. Pendant longtemps, nous ne savions pas comment cette bibliothèque organisait ses livres ni comment elle trouvait la bonne réponse lorsque vous posiez une question.

Ce document propose une nouvelle façon fascinante d'observer cette bibliothèque. Il suggère que lorsqu'un LLM résout un problème, il ne se contente pas de « lire » toute la bibliothèque. Au lieu de cela, il construit une pièce spéciale et temporaire (un « sous-espace ») dans sa mémoire, uniquement pour cette tâche spécifique, puis résout le problème en utilisant des mathématiques simples (algèbre vectorielle) à l'intérieur de cette pièce.

Voici la décomposition de leur découverte en utilisant des analogies du quotidien :

1. La pièce « Contexte » (Apprentissage en contexte)

Vous savez comment on peut enseigner une nouvelle astuce à un ordinateur simplement en lui donnant quelques exemples dans une conversation ? Par exemple, si vous tapez :

« Chaud : Froid »
« Rapide : Lent »
« Grand : ? »

L'ordinateur devine « Petit ». Cela s'appelle l'Apprentissage en contexte (ICL). Le document demande : Comment l'ordinateur parvient-il à cela sans être reentraîné ?

Les auteurs suggèrent que l'ordinateur crée un espace de travail dédié (un sous-espace) pour cette conversation spécifique. Imaginez un chef qui, dès qu'il voit que vous commandez une salade, débarrasse immédiatement une planche à découper spécifique et rassemble uniquement les ingrédients de la salade, en ignorant les steaks et les soupes dans la cuisine. L'ordinateur isole la logique de la « salade » du reste de ses connaissances massives.

2. La recette « Algèbre vectorielle »

Une fois que l'ordinateur est dans cette pièce spéciale, il n'a pas besoin de « comprendre » le sens des mots au sens humain. Au lieu de cela, il traite les mots comme des flèches (vecteurs) pointant dans des directions spécifiques.

L'analogie : Imaginez que « Heureux » est une flèche pointant vers le Nord, et « Triste » une flèche pointant vers le Sud.
Les mathématiques : Si l'ordinateur voit le motif « Heureux : Triste », il apprend une règle : Pour obtenir la réponse, retournez la flèche de 180 degrés.
Le résultat : Lorsque vous demandez « Rapide : ? », l'ordinateur prend la flèche « Rapide », la retourne (car c'est la règle pour les antonymes) et atterrit sur « Lent ».

Le document affirme que pour ces tâches, l'ordinateur effectue essentiellement des additions et des soustractions sur ces flèches. Il ne « réfléchit » pas profondément ; il effectue un calcul géométrique simple.

3. Comment la bibliothèque construit la pièce

Le document explique comment l'ordinateur construit cette pièce en utilisant deux outils principaux dans son architecture :

Les « Piles de mémoire » (Réseaux de propagation avant) : Ils agissent comme une armoire à dossiers. Lorsque l'ordinateur voit un mot, il extrait une liste de réponses possibles associées à ce mot. Si vous dites « Londres », l'armoire peut extraire « Capitale du Royaume-Uni », « Centre financier » et « Ville pluvieuse ».
Le « Projecteur » (Auto-attention) : C'est la partie qui décide quel dossier utiliser. Si l'invite concerne la géographie, le projecteur se concentre sur le dossier « Capitale ». S'il s'agit de finance, il se concentre sur le dossier « Centre ».

Les auteurs ont découvert que, tandis que l'ordinateur traite les exemples (les paires « Chaud : Froid »), il accumule des preuves dans cette pièce spéciale. C'est comme empiler des blocs : chaque exemple ajoute un bloc au tas « antonyme ». Au moment où il atteint la question finale, le tas est assez haut pour prédire la réponse.

4. La « Magie » du sous-espace

Les chercheurs ont testé cela en examinant les « flux résiduels » internes de l'ordinateur (les données circulant à travers les couches du modèle). Ils ont utilisé un outil statistique appelé ACP (Analyse en Composantes Principales) pour trouver les « directions principales » où les données se déplaçaient.

Ce qu'ils ont découvert :

L'ordinateur crée naturellement ces pièces de faible dimension (sous-espaces).
Dans ces pièces, la relation entre la question et la réponse est presque parfaitement linéaire (comme une ligne droite).
Si l'ordinateur donne la bonne réponse, les mathématiques dans cette pièce ressemblent à une chose. S'il se trompe, les mathématiques ressemblent à autre chose. Cela prouve que l'ordinateur utilise réellement cette « pièce » et ces « mathématiques » spécifiques pour prendre sa décision.

Résumé

Le document soutient que les modèles de langage de grande taille ne font pas que deviner en se basant sur des motifs. Au contraire, lorsqu'on leur donne quelques exemples, ils :

Construisent une pièce temporaire et spécialisée dans leur mémoire.
Traduisent les mots en flèches (vecteurs).
Utilisent des mathématiques simples (comme l'addition ou la soustraction de flèches) à l'intérieur de cette pièce pour trouver la réponse.

Cela suggère que les « capacités émergentes » de l'IA — où il semble acquérir de nouvelles compétences instantanément — sont en réalité le résultat de la mise en ordre de ses connaissances existantes dans ces sous-espaces mathématiques soignés pour résoudre le puzzle en question.

Résumé technique : Sous-espace fonctionnel dans les modèles de langage de grande taille

Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) aient démontré des « capacités émergentes » remarquables, telles que l'apprentissage en contexte (ICL), les mécanismes sous-jacents permettant ces capacités restent mal compris. Des recherches antérieures ont établi que les concepts de haut niveau sont encodés comme des directions linéaires dans les espaces d'activation et que les géométries des plongements de mots portent un sens sémantique. Cependant, il est incertain de savoir comment les LLM se généralisent à de nouvelles tâches sans ajustement fin ou comment ils accumulent des preuves à partir d'exemples en contexte pour générer des réponses correctes. Le manque de compréhension de ces mécanismes d'exploitation entrave la capacité de diagnostiquer et de réparer correctement les LLM, en particulier avant leur déploiement dans des domaines critiques pour la sécurité. Cet article examine si les LLM utilisent des sous-espaces spécifiques et de l'algèbre vectorielle pour résoudre des tâches d'ICL.

Méthodologie

Les auteurs proposent l'hypothèse que les LLM projettent les jetons d'entrée dans des sous-espaces fonctionnels où les tâches peuvent être résolues par une simple algèbre vectorielle. Pour tester cela, ils ont analysé les flux résiduels et les modules fonctionnels (Attention Self et Réseaux de Neurones Feed-Forward) de six LLM préentraînés disponibles publiquement : GPT-J-6B, Meta-Llama-3.1-8B, OLMo-2-0325-32B, Pythia-12B, Gemma-3-27b-it et GPT-NEOX-20B.

La conception expérimentale a impliqué les étapes suivantes :

Génération de tâches : Les auteurs ont généré 200 invites d'ICL pour six tâches distinctes : antonymes, synonymes, paires pays-capitale, traductions anglais-français, paires entreprise-produit et paires personne-sport. Chaque invite contenait cinq paires d'exemples et une seule requête de test.
Collecte de données : Les flux résiduels ont été collectés à partir de tous les jetons sur toutes les couches de transformateur au fur et à mesure que les modèles traitaient ces invites.
Réduction de dimensionnalité : L'Analyse en Composantes Principales (ACP) a été appliquée aux flux résiduels pour identifier des sous-espaces de basse dimension potentiels. Les auteurs ont évalué la variance expliquée cumulative des 30 premières composantes principales.
Analyse de régression linéaire : Pour déterminer si les tâches d'ICL pouvaient être modélisées comme des opérations vectorielles, les auteurs ont effectué une régression linéaire sur les composantes principales. Ils ont testé si les jetons de réponse ( $\vec{a}$ ) pouvaient être décrits comme une fonction linéaire des jetons de requête ( $\vec{q}$ ) et des jetons séparateurs ( $\vec{s}$ ) selon l'équation $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$ . La qualité de cet ajustement a été mesurée à l'aide du coefficient de détermination ( $R^2$ ).
Corrélation avec la prise de décision : Pour évaluer la pertinence fonctionnelle de ces sous-espaces, les auteurs ont comparé les projections des jetons dans les composantes principales les plus performantes entre les cas où le LLM a fait des prédictions correctes et celles où il a fait des prédictions incorrectes, en utilisant des tests t pour évaluer la signification statistique.

Contributions et résultats clés

1. Existence de sous-espaces fonctionnels

L'analyse des flux résiduels a révélé que 40 % à 90 % de la variabilité dans les activations des modèles pouvait être expliquée par seulement 30 composantes principales, malgré la haute dimensionnalité des modèles (par exemple, $d \approx 5000$ ). Cela suggère que les LLM opèrent au sein de sous-espaces de basse dimension lors des tâches d'ICL.

2. L'ICL comme algèbre vectorielle

L'étude a montré que les jetons de réponse sont bien approximés par des combinaisons linéaires de jetons de requête et de jetons séparateurs au sein de sous-espaces spécifiques.

Valeurs élevées de $R^2$ : Sur l'ensemble des six modèles et tâches, des composantes principales spécifiques ont présenté des valeurs élevées de $R^2$ (approchant 1), indiquant que la relation entre les entrées et les sorties dans ces sous-espaces est largement linéaire.
Progression des couches : La qualité de l'ajustement linéaire ( $R^2$ ) avait tendance à être faible dans les premières couches et à augmenter dans les couches ultérieures, suggérant que les premières couches transforment progressivement les activations en des sous-espaces où l'ICL peut être résolu par de simples opérations vectorielles.
Cohérence : Les composantes principales avec un $R^2$ élevé étaient cohérentes à travers les couches, impliquant que des directions spécifiques encodent des concepts spécifiques à la tâche (par exemple, « antonyme » ou « capitale »).

3. Accumulation de preuves et regroupement

L'analyse théorique a suggéré que les réseaux Feed-Forward (FFN) agissent comme des mémoires associatives stockant des réponses potentielles, tandis que les couches d'Attention Self (SA) sélectionnent la prédiction correcte en fonction du contexte. Les auteurs ont émis l'hypothèse que les intersections de réponses potentielles permettent à la preuve de s'accumuler le long de bases de sous-espaces spécifiques.

Regroupement de jetons : Les visualisations des jetons dans des sous-espaces 3D (engendrés par les 3 premières composantes principales) ont montré que les jetons de requête, de séparateur et de réponse formaient des clusters distincts et bien séparés en fonction de leur type de jeton.
Corrélation avec la précision : Crucialement, les projections des jetons dans les composantes les plus performantes étaient significativement différentes ( $p < 0,05$ ) selon que le modèle générait une réponse correcte ou incorrecte. Cette corrélation s'est maintenue à travers plusieurs couches intermédiaires et tardives, suggérant que ces sous-espaces sont directement impliqués dans le processus de prise de décision du modèle.

Importance et affirmations

L'article affirme que les LLM créent nativement des sous-espaces pour accumuler des preuves à partir d'exemples en contexte et résoudre des tâches en utilisant l'algèbre vectorielle au sein de ces sous-espaces. Les auteurs posent que :

Mécanisme de généralisation : La capacité à effectuer l'ICL repose sur la projection des jetons d'entrée dans des sous-espaces où la géométrie des données correspond directement à la tâche souhaitée (par exemple, inverser une direction pour les antonymes).
Capacités émergentes : Bien que les tâches d'ICL soient plus simples que les tâches générales de codage ou de raisonnement, le mécanisme d'extraction d'informations sur la tâche et de leur application via des opérations vectorielles est fondamental pour la façon dont les LLM réussissent dans des tâches plus complexes.
Potentiel diagnostique : Si les LLM s'appuient sur ces sous-espaces fonctionnels pour la prise de décision, ces sous-espaces pourraient servir de base pour diagnostiquer le comportement du modèle et concevoir des vecteurs de pilotage pour intervenir ou réparer les sorties du modèle, en particulier dans les applications critiques pour la sécurité.

Les auteurs maintiennent un ton modeste, reconnaissant que leur analyse théorique repose sur des conditions idéalisées et que l'identification de tels sous-espaces dans des tâches de langage plus complexes et générales peut être difficile en raison d'interactions de jetons intriquées. Cependant, ils soutiennent que les résultats fournissent un lien concret entre l'hypothèse de la représentation linéaire et les mécanismes opérationnels de l'apprentissage en contexte.