📊 statistics

The Information Geometry of Softmax: Probing and Steering

Cet article démontre que la géométrie de l'information est le cadre naturel pour comprendre l'encodage sémantique dans les espaces de représentation des modèles à base de softmax, et propose une méthode de « double pilotage » qui permet de manipuler de manière optimale et robuste des concepts spécifiques tout en minimisant les perturbations des autres notions.

Auteurs originaux : Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de diriger un navire massif et complexe (un modèle d'IA) vers une destination spécifique (un nouveau concept, comme changer un mot de « il » à « elle » ou une image de « chien » à « chat »).

Pendant longtemps, les chercheurs ont essayé de diriger ces navires en poussant simplement le volant en ligne droite. Ils supposaient que l'océan était plat et uniforme, comme une immense plaque de glace. S'ils voulaient aller au Nord, ils poussaient simplement le volant vers le Nord. C'est ce qu'on appelle la direction euclidienne (Euclidean steering).

Cependant, cet article soutient que l'océan sur lequel naviguent les modèles d'IA n'est pas une glace plate. C'est en réalité un paysage courbe et accidenté où la « proximité » entre deux points dépend de la similitude du comportement du navire, et non de la distance qui les sépare sur une carte. Les auteurs appellent cela la géométrie de l'information (Information Geometry).

Voici la décomposition de leur découverte et de leur nouvelle méthode, la Direction Duale (Dual Steering), en utilisant des analogies simples :

1. Le Problème : Le piège de la « Carte Plate »

L'article commence par dire que la plupart des méthodes actuelles traitent les pensées internes de l'IA (les représentations) comme si elles existaient dans un monde plat et rectiligne.

L'analogie : Imaginez que vous mélangez deux couleurs de peinture. Si vous mélangez du rouge et du bleu en ligne droite, vous obtenez du violet. Mais si vous mélangez des probabilités (comme la chance de pluie vs la chance de soleil), le calcul est différent.
Le problème : Lorsque les chercheurs poussent l'IA en ligne droite pour changer une chose (par exemple, de « chien » à « chat »), ils renversent accidentellement de la peinture partout ailleurs. L'IA peut soudainement se mettre à parler de « bicyclettes » ou de « nuages » simplement parce que la poussée en ligne droite a perturbé l'équilibre de l'ensemble du système. C'est ce qu'on appelle une « fuite hors cible » (off-target leakage).

2. La Solution : La « Carte Courbe » (Géométrie de l'information)

Les auteurs ont réalisé que le « cerveau » de l'IA fonctionne comme une machine à probabilités. Lorsqu'une IA décide du mot suivant à prononcer, elle utilise un outil mathématique appelé Softmax pour transformer des nombres en pourcentages (probabilités).

L'intuition : Parce que l'IA traite des probabilités, l'espace dans lequel elle vit est courbe. Dans cet espace courbe, le chemin le plus « droit » n'est pas une ligne droite ; c'est une courbe qui respecte les règles de la probabilité.
L'analogie : Pensez à la Terre. Si vous voulez voler de New York à Londres, le chemin le plus court n'est pas une ligne droite à travers le sol ; c'est une courbe le long de la surface (un grand cercle). Si vous tentiez de voler en ligne droite à travers la Terre, vous vous écraseriez. De même, si vous essayez de diriger une IA en « ligne droite » à travers son espace de probabilité courbe, vous vous écrasez sur des concepts indésirables.

3. La Nouvelle Méthode : La « Direction Duale » (Dual Steering)

L'article introduit une nouvelle façon de diriger l'IA appelée Direction Duale. Au lieu de pousser l'IA en ligne droite (euclidienne), ils la dirigent le long des courbes naturelles de l'espace de probabilité.

Comment ça marche :
- Direction Euclidienne (L'ancienne méthode) : Vous saisissez le volant et vous le tirez brusquement vers « Chat ». Ce faisant, vous renversez accidentellement les statues de « Chien » et d'« Oiseau » sur le tableau de bord.
- Direction Duale (La nouvelle méthode) : Vous naviguez en utilisant une carte spéciale qui sait que le terrain est courbe. Vous dirigez le navire le long d'un chemin qui transforme le « Chien » en « Chat » sans toucher aux statues de « l'Oiseau » ou de la « Bicyclette ».
Le concept de « Dualité » : L'article explique qu'il existe deux façons de voir les données de l'IA :
1. Espace Primal : Les chiffres bruts que l'IA voit.
2. Espace Dual : Les probabilités réelles (le comportement) que l'IA produit.
  Les auteurs ont découvert que pour changer le comportement proprement, il faut effectuer la direction dans l'« Espace Dual » (le monde des probabilités) puis traduire cela en retour vers les chiffres bruts.

4. Ce qu'ils ont prouvé

Les auteurs ont prouvé mathématiquement que la Direction Duale est la méthode « juste milieu » (Goldilocks) :

Elle modifie avec succès le concept cible (par exemple, fait dire « chat » au lieu de « chien » à l'IA).
Elle minimise les dommages causés au reste. Elle maintient la probabilité de choses sans rapport (comme « ami » ou « bicyclette ») exactement identique à ce qu'elle était auparavant.

5. Tests en conditions réelles

Ils ont testé cela sur de vrais modèles d'IA (comme Gemma-3 pour le texte et MetaCLIP pour les images).

Exemple de texte : Lorsqu'ils ont demandé à l'IA de changer une phrase de « Il est mon... » à « Elle est ma... », l'ancienne méthode faisait que l'IA commençait accidentellement à parler de « amis » ou d'« oncles » de manière étrange. La nouvelle méthode a changé « Il » en « Elle » parfaitement, tout en préservant la structure de la phrase et le sens original.
Exemple d'image : En changeant une image de « chat » en « chien », l'ancienne méthode ajoutait parfois accidentellement un « hybride chien-chat » ou une « bicyclette » dans l'image. La nouvelle méthode a remplacé le chat par un chien proprement, laissant l'arrière-plan et les autres objets intacts.

Résumé

L'article affirme que les modèles d'IA ne vivent pas sur une carte plate ; ils vivent sur un paysage courbe basé sur les probabilités. Si vous essayez de les diriger avec une ligne droite, vous provoquez le chaos. En utilisant la Direction Duale, qui respecte les courbes naturelles de ce paysage, vous pouvez changer l'avis de l'IA sur une chose spécifique sans casser accidentellement tout le reste.

Note : L'article se concentre strictement sur la géométrie du fonctionnement de ces modèles et sur la façon de les diriger en utilisant des sondes linéaires (linear probes). Il ne prétend pas résoudre les problèmes généraux de sécurité de l'IA, et ne traite pas non plus d'applications cliniques ou médicales. Il s'agit purement de rendre le « volant » de l'IA plus précis et moins susceptible de causer des effets secondaires accidentels.

Résumé Technique : La Géométrie de l'Information du Softmax : Sondage et Pilotage

Énoncé du Problème

Les approches actuelles pour interpréter et manipuler les modèles d'IA reposent souvent sur l'hypothèse de la représentation linéaire, qui postule que les concepts de haut niveau correspondent à des directions spécifiques dans l'espace de représentation vectorielle du modèle. Bien que cette hypothèse ait permis de développer des méthodes pour identifier et piloter des concepts (ex: sentiment, véracité), les techniques existantes sont fréquemment fragiles et moins efficaces qu'un ajustement fin (fine-tuning) direct. Une limitation principale identifiée par les auteurs est l'hypothèse implicite selon laquelle les espaces de représentation possèdent une géométrie euclidienne plate. Le papier soutient que pour les modèles utilisant des distributions softmax (incluant les Transformers, les LLM et les modèles contrastifs comme CLIP), la géométrie naturelle de l'espace de représentation n'est pas euclidienne mais relève de la géométrie de l'information. Par conséquent, les opérations euclidiennes standards (comme l'ajout d'un vecteur de sondage directement à une représentation) peuvent échouer à préserver la structure sémantique ou provoquer une dérive « hors cible » involontaire, où la masse de probabilité fuit vers des concepts non apparentés.

Méthodologie

Le papier opérationnalise l'idée que la géométrie des vecteurs de représentation $\lambda$ doit refléter la proximité des distributions de probabilité induites $P_\lambda$ .

1. Cadre de la Géométrie de l'Information

Les auteurs établissent que la géométrie induite par la divergence de Kullback-Leibler (KL) entre les distributions softmax est une géométrie de Bregman (dualement plate). Cette structure introduit une dualité entre :

Espace Primal ( $\Lambda$ ) : L'espace des vecteurs de représentation $\lambda$ .
Espace Dual ( $\Phi$ ) : L'espace des valeurs attendues (embeddings moyens) $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$ , où $A(\lambda)$ est le log-normalisateur.

Le papier distingue deux chemins d'interpolation naturels :

Interpolation Primale (e-géodésique) : Une ligne droite dans l'espace primal. Elle minimise une somme pondérée des divergences KL inverses, se comportant comme un opérateur ET qui met l'accent sur les régions de haute probabilité communes.
Interpolation Duale (m-géodésique) : Une ligne droite dans l'espace dual. Elle minimise une somme pondérée des divergences KL directes, se comportant comme un opérateur OU qui crée un mélange linéaire de distributions, préservant simultanément les caractéristiques sémantiques des deux points de terminaison.

2. Pilotage Dual (Dual Steering)

La principale contribution méthodologique est le Pilotage Dual, une technique pour modifier les représentations afin d'exhiber un concept cible tout en minimisant les changements sur les concepts hors cible.

Le Problème du Pilotage Euclidien : Le pilotage standard ajoute un vecteur de sondage $\beta_W$ (un élément de l'espace dual) directement à la représentation primale $\lambda$ . Il s'agit d'une « erreur de type » dans une géométrie non euclidienne et cela conduit souvent à une dérive hors cible.
La Solution du Pilotage Dual : Au lieu de mettre à jour $\lambda$ directement, le Pilotage Dual met à jour la coordonnée duale $\phi(\lambda)$ en ajoutant le vecteur de sondage : $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$ .
Garantie Théorique : Sous l'hypothèse de distributions factorisables par concept (où la distribution de sortie peut être factorisée en une distribution de concept cible et une distribution hors cible), les auteurs prouvent que le Pilotage Dual identifie le minimiseur de la divergence KL qui modifie le concept cible tout en minimisant la divergence KL de la distribution hors cible. Cela préserve efficacement les probabilités relatives des tokens non apparentés.

3. Implémentation Pratique

Puisque l'espace dual est un ensemble convexe borné, une mise à jour linéaire dans l'espace dual peut sortir de la région admissible. Pour y remédier, les auteurs proposent une Mise à Jour de Newton Régularisée :

Approximer le changement des coordonnées duales en utilisant la Hessienne du log-normalisateur (qui correspond à la matrice de covariance des vecteurs de désincorporation/unembedding).
Résoudre le système linéaire $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ pour trouver le pas correspondant dans l'espace primal.
Appliquer une régularisation de Tikhonov ( $\alpha I$ ) à la matrice de covariance pour gérer la déficience de rang (qui survient lorsque le softmax est fortement concentré sur peu de tokens), garantissant que la mise à jour reste bien définie et pousse la distribution vers des régions d'entropie plus élevée si nécessaire.
Utiliser la méthode du Gradient Conjugué pour résoudre efficacement le système linéaire sans inverser explicitement la grande matrice de covariance.

Résultats Clés

Les auteurs évaluent le Pilotage Dual sur Gemma-3-4B (LLM) et MetaClip-2 (Vision-Langage) à travers divers concepts binaires (ex: verbe $\Rightarrow$ troisième personne, chien $\Rightarrow$ chat, anglais $\Rightarrow$ français).

Préservation des Concepts Hors Cible : Les résultats empiriques montrent que le Pilotage Dual surpasse significativement le pilotage euclidien dans la préservation des distributions hors cible. Alors que le pilotage euclidien provoque souvent des « fuites » (attribuant une probabilité significative à des tokens non apparentés comme « ami » lors du pilotage de « père » $\Rightarrow$ « mère »), le Pilotage Dual maintient la masse de probabilité des paires contrefactuelles et des tokens neutres.
Métriques de Robustesse : Le Pilotage Dual atteint des divergences KL et des différences de rang plus faibles pour les distributions hors cible par rapport aux méthodes euclidiennes, même lorsque la probabilité du concept cible approche 1.
Comportement d'Interpolation : Les visualisations confirment que l'Interpolation Duale (m-géodésique) agit comme un mélange linéaire de distributions, tandis que l'Interpolation Primale (e-géodésique) supprime les sorties spécifiques aux points de terminaison au profit des caractéristiques partagées.

Signification et Revendications

Le papier affirme que la structure non euclidienne de la géométrie de l'information intrinsèque est critique pour lier les manipulations géométriques aux tâches sémantiques comme le pilotage.

Insight Théorique : Il démontre que l'hypothèse de la représentation linéaire doit être comprise dans le contexte de la géométrie de l'information (spécifiquement la dualité de Bregman) plutôt que dans une géométrie euclidienne plate pour être robuste.
Utilité Pratique : Le Pilotage Dual fournit une méthode théoriquement fondée pour manipuler les représentations de manière robuste, minimisant les effets secondaires indésirables, offrant ainsi un modèle pour améliorer la fiabilité des méthodes d'interprétabilité et de contrôle.
Portée : Bien que les résultats soient dérivés de modèles basés sur le softmax, les auteurs suggèrent que l'idée de haut niveau consistant à exploiter la géométrie intrinsèque est largement applicable. Ils notent explicitement que ce travail sert de modèle pour les recherches futures sur la manière dont la géométrie influence la robustesse des méthodes de contrôle, particulièrement dans les couches intermédiaires des modèles.

Les auteurs restent modestes concernant l'« hypothèse de sondage » (selon laquelle un sondage linéaire capture parfaitement un concept à travers tout l'hyperplan), reconnaissant que dans la pratique, cette hypothèse peut ne pas strictement tenir, bien que le Pilotage Dual surpasse néanmoins empiriquement les méthodes euclidiennes.