Résumé Technique : Exploiter l'Espace Latent pour le Contrôle et la Confiance

1. Énoncé du Problème

Alors que les modèles de langage (LM) sont passés de générateurs peu fiables à des systèmes de mille milliards de paramètres, la complexité de leurs représentations internes a augmenté, menant souvent la communauté du NLP à les traiter comme des « boîtes noires ». Bien que ces modèles soient de plus en plus déployés dans des scénarios à enjeux moyens à élevés impliquant des outils externes et de la prise de décision, la dépendance repose encore sur une simple observation comportementale plutôt que sur une compréhension fondamentale des composants internes du modèle. Le document identifie deux lacunes critiques :

1. Contrôle : L'absence de mécanismes pour diriger précisément le comportement du modèle (par exemple, générer des séquences exactes ou des concepts spécifiques) sans réentraînement ni ajustement fin (fine-tuning).
2. Confiance : L'incapacité des modèles de langage à fournir des estimations de confiance bien calibrées pour leurs sorties, particulièrement dans les contextes d'appel d'outils (tool-calling) et de prise de décision à enjeux élevés. Les probabilités brutes du modèle sont connues pour être mal calibrées, et les méthodes de calibration post-hoc existantes sacrifient souvent l'utilité de la prise de décision au profit d'une erreur de calibration plus faible.

2. Méthodologie et Contributions

Le document présente quatre pistes de recherche organisées en deux thèmes principaux : le Contrôle (Sections 2–3) et la Confiance (Sections 4–5).

Thème A : Le Contrôle via les Vecteurs de Direction (Steering Vectors)

Les auteurs proposent d'utiliser des vecteurs de direction ($z_{steer}$) pour intervenir dans l'espace latent des modèles de langage au moment de l'inférence, sans mettre à jour les paramètres du modèle.

• Modèles basés sur LSTM (Subramani et al., 2019) :

  • Méthode : Les auteurs définissent un espace de phrase comme une trajectoire dans un espace d'états cachés de dimension $d$. Ils introduisent un terme de biais $z_{steer}$ ajouté aux états cachés et cellulaires à chaque étape temporelle. Ce vecteur est optimisé via des méthodes basées sur le gradient (par exemple, le gradient conjugué non linéaire) pour maximiser la log-probabilité d'une séquence cible.
  • Mécanisme : Le processus implique une « estimation directe » (cartographier une séquence en un vecteur) et une « estimation inverse » (injecter le vecteur pour générer une séquence via une recherche par faisceau/beam search).
  • Résultats : Ils ont démontré que des modèles LSTM gelés pouvaient être dirigés pour générer des séquences exactes avec une récupérabilité quasi parfaite (correspondance exacte au niveau du jeton $\geq 0,99$) pour les modèles de grande taille. Ils ont noté que les séquences à faible entropie (langage naturel) étaient plus faciles à récupérer que les séquences aléatoires à haute entropie, bien que les vecteurs puissent encoder des séquences allant jusqu'à 28 jetons parfaitement, même dans des données aléatoires.

• Modèles basés sur les Transformers (Subramani et al., 2022) :

  • Méthode : Le concept a été généralisé aux transformers. Ici, $z_{steer}$ est injecté comme un terme de biais à une seule couche (spécifiquement après la couche feed-forward) et à un seul pas de temps (généralement le premier).
  • Contrôle Fin : Des expériences sur GPT-2 ont montré que l'injection de vecteurs au premier pas de temps de couches spécifiques (par exemple, l'auto-attention de la couche 6 ou le feed-forward de la couche 7) permettait une récupération de séquence de près de 100 % via un décodage glouton (greedy decoding).
  • Direction de Concepts : Les auteurs ont introduit le Steering DiffMean, où la différence entre les vecteurs de direction moyens de sentiment positif et négatif ($z_{pos} - z_{neg}$) est utilisée pour inverser le sentiment d'une entrée au moment de l'inférence.
  • Résultats : L'espace latent s'est révélé relativement lisse, l'interpolation linéaire entre les vecteurs produisant des transitions fluides en syntaxe et en sémantique. Les vecteurs de direction se sont avérés être de meilleures représentations pour la similitude sémantique que les états cachés moyennés (mean-pooled).

Thème B : La Confiance via la Calibration de l'Espace Latent

Les auteurs proposent de tirer parti des composants internes du modèle pour construire des estimateurs de confiance qui sont mieux calibrés que les probabilités brutes du modèle.

• MICE (Model-Internal Confidence Estimators) (Subramani et al., 2025a) :

  • Motivation : Basée sur l'observation que les prédictions affinées lentement à travers les couches sont plus dignes de confiance que celles qui apparaissent soudainement dans la couche finale.
  • Méthode : Pour une requête donnée, le modèle génère des sorties intermédiaires ($y^{(i)}$) de chaque couche en utilisant une « lentille de logit » (logit lens). Ces sorties intermédiaires sont comparées à la sortie finale ($y^{(final)}$) à l'aide de BERTScore. Ces scores de similitude, combinés à la confiance brute, sont injectés dans un classificateur (Forêt Aléatoire ou Régression Logistique) pour prédire l'exactitude.
  • Métrique : Les auteurs ont introduit l'Expected Tool-Calling Utility (ETCU) pour évaluer les estimateurs de confiance, traitant les limites de l'Expected Calibration Error (ECE) qui ne parvient pas à distinguer les estimateurs de taux de base des oracles ou à prendre en compte les niveaux de risque des tâches.
  • Résultats : MICE a surpassé les bases post-hoc traditionnelles (Histogram Regression, Nadaraya-Watson Kernel Regression) sur le jeu de données de l'outil STE, particulièrement dans les scénarios à risque moyen à élevé où les bases avaient tendance à s'abstenir totalement.

• ACUTE (Activation-Based Confidence, Utility, and Trust Estimators) (Subramani et al., 2026) :

  • Améliorations : ACUTE répond aux limites de MICE en supprimant la dépendance aux modèles auxiliaires coûteux de type BERTScore et l'hypothèse simplificatrice de l'ETCU selon laquelle l'abstention produit toujours une récompense nulle.
  • Méthode : Au lieu de BERTScore, ACUTE utilise les activations brutes des couches du modèle comme caractéristiques pour le classificateur. Il introduit EURO (Expected Utility Renormalized by the Oracle), une métrique bornée entre un oracle (1) et un anti-oracle (0), qui équilibre la calibration avec l'utilité de la décision à travers différents niveaux de risque.
  • Résultats : Testé sur MMLU (QA à choix multiples), APIGen (appel d'outils) et SCITLDR (résumé scientifique) sur six LLM. ACUTE (utilisant spécifiquement les activations de couches tardives ou les activations réduites par PCA) a systématiquement surpassé les confiances brutes et les bases post-hoc sur l'AUC-EURO tout en maintenant un smooth ECE (smECE) faible.

3. Résultats Clés

• Contrôle : Les vecteurs de direction permettent la génération exacte de séquences dans des modèles gelés. Pour les transformers, l'injection d'un vecteur au premier pas de temps de couches intermédiaires permet une récupération quasi parfaite. Le contrôle de concept (par exemple, le transfert de sentiment) est réalisable via l'arithmétique vectorielle dans l'espace latent.
• Confiance : Les confiances brutes du modèle sont mal calibrées. Les méthodes post-hoc tendent souvent à devenir des estimateurs de taux de base, sacrifiant l'utilité.
• Performance :
  • MICE : A démontré une meilleure utilité de décision dans les scénarios d'appel d'outils par rapport aux bases, en ajustant correctement les taux d'abstention selon le risque.
  • ACUTE : A obtenu des performances supérieures à travers diverses tâches (QA, appel d'outils, résumé) et familles de modèles (Llama, Gemma), montrant que les caractéristiques basées sur les activations fournissent des signaux robustes pour l'estimation de la confiance sans modèles auxiliaires.

4. Signification et Revendications

Le document affirme que ses contributions offrent des « recettes exploitables » pour démystifier et exploiter les espaces latents des modèles de langage.

• Opérationnalisation des composants internes : Le travail va au-delà du traitement des modèles comme des boîtes noires en montrant que les représentations internes (trajectoires dans LSTM, vecteurs par couche dans les Transformers, et motifs d'activation) peuvent être directement manipulées pour le contrôle et utilisées pour la confiance.
• Décodeurs Universels : La capacité de diriger les modèles pour générer des séquences exactes suggère que les modèles de langage peuvent fonctionner comme des décodeurs universels, réduisant potentiellement le besoin de fine-tuning spécifique à une tâche au profit du steering lors de l'inférence.
• IA de Confiance : En développant des estimateurs de confiance qui sont à la fois bien calibrés et conscients de l'utilité (via EURO), le document plaide pour un passage des simples sorties de probabilité vers des mécanismes de confiance centrés sur la prise de décision, ce qui est crucial pour les applications à enjeux élevés.
• Direction Future : Les auteurs positionnent leur travail comme une étape vers l'ouverture de la boîte noire, encourageant la communauté à étudier les espaces latents pour construire des technologies de langage plus contrôlables, mieux calibrées et plus dignes de confiance.

Le document reste modeste dans sa portée, reconnaissant des limites telles que le coût computationnel des premières méthodes (la dépendance de MICE à BERTScore) et les jeux de données spécifiques utilisés, tout en présentant ces points comme des défis solubles adressés dans les itérations suivantes (ACUTE).