💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Cet article propose une méthode de cartographie des modèles de langage basée sur des vecteurs de log-vraisemblance ou d'information mutuelle ponctuelle, permettant de visualiser et d'analyser les distributions conditionnelles, les relations entre modèles et les effets des modifications de prompts dans un espace où les distances approximent la divergence de Kullback-Leibler.

Auteurs originaux : Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Publié 2026-03-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothèque remplie de centaines de livres d'histoires, écrits par des auteurs très différents. Certains écrivent comme des poètes, d'autres comme des scientifiques, d'autres encore comme des enfants. Comment pouvez-vous comparer ces auteurs sans avoir à lire chaque livre mot pour mot ?

C'est exactement le problème que résout cette recherche, mais au lieu de livres, il s'agit de modèles d'intelligence artificielle (comme ceux qui écrivent des textes pour nous).

Voici une explication simple de leur découverte, en utilisant des analogies du quotidien.

1. Le problème : Comment mesurer la "personnalité" d'une IA ?

Jusqu'à présent, pour comparer deux IA, on les faisait écrire des textes et on regardait si les textes se ressemblaient. C'est un peu comme comparer deux cuisiniers en goûtant leurs plats : c'est subjectif, et si le cuisinier a une mauvaise journée, le plat sera mauvais, même si c'est un grand chef.

De plus, les chercheurs voulaient comprendre comment l'IA réagit à une question précise (le "prompt"), pas juste comment elle parle en général. C'est la différence entre écouter quelqu'un bavarder dans la rue (comportement général) et écouter sa réponse à une question spécifique (comportement conditionnel).

2. La solution : La "Carte des Réponses"

Les auteurs proposent une méthode géniale : au lieu de faire écrire les IA, on leur pose des questions et on regarde à quel point elles sont sûres de leur réponse.

Imaginez que chaque IA est un musicien.

On leur donne une partition (la question).
Au lieu de les faire jouer, on regarde la probabilité qu'ils jouent chaque note.
On transforme ces probabilités en une liste de chiffres (un vecteur).

Ensuite, on place chaque musicien sur une grande carte géante (une "carte de modèles").

Si deux musiciens jouent presque les mêmes notes pour les mêmes partitions, ils se retrouveront collés l'un à l'autre sur la carte.
Si l'un joue du jazz et l'autre de la musique classique, ils seront loins l'un de l'autre.

La distance entre eux sur cette carte nous dit à quel point leurs "personnalités" de réponse sont différentes. C'est comme mesurer la distance entre deux maisons : plus elles sont proches, plus elles ont le même style de vie.

3. La carte magique : "Le Décalage de la Question" (Prompt Shift)

C'est ici que ça devient vraiment fascinant. Les chercheurs ont découvert que si vous changez légèrement la question, l'IA se déplace sur la carte d'une manière très prévisible.

Imaginez que vous êtes sur une carte géographique :

Si vous ajoutez "Réfléchis étape par étape" à la question, c'est comme si vous preniez un tapis roulant qui vous pousse vers le nord.
Si vous répétez la question deux fois, c'est comme un tapis roulant qui vous pousse vers l'est.

Le plus incroyable ? Si vous faites les deux en même temps (répéter + réfléchir), l'IA se déplace exactement comme si vous aviez combiné les deux tapis roulants. C'est ce qu'ils appellent la compositionnalité additive.

Analogie : C'est comme si vous saviez que "Ajouter du sel" déplace le goût d'un plat vers la droite, et "Ajouter du poivre" le déplace vers le haut. Vous pouvez alors prédire exactement où le goût ira si vous mettez les deux, sans même avoir à cuisiner le plat !

Cela permet de prédire comment une IA va réagir à une nouvelle question, juste en regardant la carte, sans avoir à la tester.

4. Le filtre "PMI" : Enlever le bruit de fond

Parfois, une IA donne une bonne réponse non pas parce qu'elle comprend la question, mais simplement parce que c'est une phrase qu'elle adore dire en général (comme un perroquet qui répète "Bonjour" tout le temps).

Pour corriger cela, les chercheurs utilisent un outil appelé PMI (Information Mutuelle Ponctuelle).

Imaginez que vous écoutez quelqu'un parler dans une pièce bruyante. Le bruit de fond, c'est ce que la personne dit tout le temps, même sans qu'on lui pose de question.
Le filtre PMI, c'est comme mettre des bouchons d'oreilles pour le bruit de fond.
Une fois le bruit enlevé, on ne voit plus que la vraie réaction de la personne à votre question.

Grâce à ce filtre, la carte montre mieux quelles IA ont été entraînées sur quelles données. Par exemple, une IA entraînée sur des données médicales se retrouvera très proche d'autres IA médicales sur cette carte "nettoyée", même si elles sont très différentes par ailleurs.

En résumé

Cette recherche nous donne une boussole et une carte pour naviguer dans le monde des intelligences artificielles.

Elle transforme le comportement complexe des IA en points sur une carte.
Elle montre que changer la question déplace l'IA de manière prévisible et additive (comme des vecteurs).
Elle permet de nettoyer le bruit pour voir ce que l'IA apprend vraiment.

C'est un outil puissant pour choisir la bonne IA pour la bonne tâche, ou pour comprendre comment les IA évoluent, sans avoir à les faire "parler" des heures durant.

1. Problématique

L'essor des grands modèles de langage (LLM) a conduit à une diversité croissante de modèles, rendant nécessaire le développement de cadres systématiques pour comparer leurs comportements.

Limites des approches existantes :
- Les méthodes basées sur les internes du modèle (poids, activations) peinent à comparer des architectures différentes.
- Les méthodes basées sur les textes générés sont affectées par le bruit stochastique de la génération et la variabilité des représentations d'embedding.
- Les travaux antérieurs sur les vecteurs de log-vraisemblance (Oyama et al., 2025b) se concentraient sur les distributions non conditionnelles ( $p(y)$ ), ce qui ne capture pas le comportement des LLM en tant que modèles conditionnels ( $p(y|x)$ ) essentiels pour les tâches de dialogue et de réponse aux questions.

L'objectif est donc de définir un espace partagé permettant de comparer les distributions conditionnelles de nombreux modèles sans générer de texte, tout en quantifiant les distances entre ces modèles de manière interprétable.

2. Méthodologie

Les auteurs proposent une approche fondée sur des vecteurs de log-vraisemblance conditionnelle et des vecteurs d'information mutuelle ponctuelle (PMI).

A. Vecteur de Log-Vraisemblance Conditionnelle

Pour un ensemble de données $D = \{(x_s, y_s)\}_{s=1}^N$ (paires prompt-réponse), chaque modèle $p_i$ est représenté par un vecteur $\ell_i \in \mathbb{R}^N$ :
$\ell_{is} = \log p_i(y_s | x_s)$
Contrairement aux méthodes précédentes qui calculent $\log p(y_s)$ , cette méthode conditionne la vraisemblance sur le prompt $x_s$ .

Centrage : Les vecteurs sont centrés ( $\xi_i = \ell_i - \bar{\ell}_i$ ) pour éliminer les biais globaux.
Interprétation de la distance : La distance euclidienne au carré entre deux vecteurs centrés approxime la divergence de Kullback-Leibler (KL) moyenne entre les distributions conditionnelles des modèles sur la distribution des prompts :
$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$

B. Vecteurs PMI (Pointwise Mutual Information)

Pour isoler l'influence de la dépendance entre le prompt et la réponse de la distribution marginale de la réponse, les auteurs introduisent le vecteur PMI :
$\Delta \ell_{is} = \log p_i(y_s | x_s) - \log p_i(y_s)$
Ce vecteur représente l'augmentation de log-vraisemblance due à la présence du prompt. Il met l'accent sur la structure de dépendance spécifique au couple $(x, y)$ , réduisant l'impact des préférences intrinsèques du modèle pour certains textes (distribution non conditionnelle).

C. Cartes de Modèles (Model Maps)

Les vecteurs (centrés) sont projetés dans un espace de faible dimension (via t-SNE ou PCA) pour créer des "cartes de modèles". Ces cartes visualisent les relations structurelles entre les modèles, leurs performances et leurs origines d'entraînement.

D. Analyse du Décalage de Prompt (Prompt Shift)

L'étude examine comment la modification d'un prompt (ex: ajout d'une chaîne "Chain-of-Thought" ou répétition du prompt) déplace la position d'un modèle dans l'espace vectoriel. Les auteurs testent l'additivité de ces décalages : le décalage induit par une transformation composite est-il approximativement la somme des décalages individuels ?

3. Contributions Clés

Cadre de comparaison conditionnelle : Introduction d'un espace commun basé sur les vecteurs de log-vraisemblance conditionnelle, où les distances approximent la divergence KL entre distributions conditionnelles.
Découverte de l'additivité des décalages de prompt : Démonstration que les modifications de prompts induisent des déplacements systématiques dans l'espace vectoriel qui suivent une compositionnalité additive approximative (similaire aux embeddings de mots). Cela permet de prédire l'effet de combinaisons de prompts.
Intégration des vecteurs PMI : Proposition d'une méthode pour soustraire la composante non conditionnelle, révélant parfois plus clairement les différences liées aux données d'entraînement.
Validation empirique : Démonstration que ces cartes capturent des structures globales significatives (architectures, performances, données d'entraînement).

4. Résultats Expérimentaux

Les expériences ont été menées sur un ensemble de 552 modèles (limités à 70B de paramètres) utilisant deux jeux de données : Tulu3 et Infinity-Instruct.

Structure Globale et Attributs :
- Les modèles d'une même famille architecturale (ex: Llama, Qwen, Mistral) forment des clusters cohérents sur la carte.
- La position spatiale corrèle avec les scores de performance (Open LLM Leaderboard v2) : les modèles performants se regroupent dans des régions spécifiques.
Décalage de Prompt (Prompt Shift) :
- L'ajout d'indications comme "Let's think step by step" (CoT) ou la répétition du prompt déplace systématiquement les modèles dans l'espace.
- Additivité : La relation $v_{rep+cot} \approx v_{cot} + v_{rep}$ est vérifiée avec une faible erreur relative (médiane ~6%). Cela suggère que l'on peut prédire le comportement d'un modèle face à un prompt composite en sommant les vecteurs de décalage de ses composants.
Comparaison PMI vs Log-Vraisemblance Conditionnelle :
- Les cartes basées sur les vecteurs PMI reflètent mieux la correspondance entre les données d'entraînement et le jeu de données d'évaluation.
- Les modèles entraînés sur Tulu3 se regroupent plus étroitement sur la carte PMI lorsqu'évalués sur Tulu3, tandis que cette tendance s'atténue sur la carte de log-vraisemblance brute.
Validation des Distances :
- La distance estimée via les vecteurs log-vraisemblance présente une forte corrélation ( $\rho = 0.94$ ) avec une estimation Monte Carlo de la divergence KL réelle.
- Elle est également corrélée aux distances sémantiques basées sur les embeddings de texte généré, mais avec une stabilité supérieure (moins de bruit).

5. Signification et Implications

Ce travail offre une nouvelle perspective pour l'analyse des LLM :

Analyse sans génération : Il permet d'analyser et de comparer le comportement de milliers de modèles de manière déterministe et efficace, sans avoir à générer du texte (ce qui est coûteux et stochastique).
Prédiction de l'effet des prompts : La propriété d'additivité ouvre la voie à la prédiction de l'impact de stratégies de prompting complexes (combinaisons de CoT, répétitions, etc.) sur la performance d'un modèle, même pour des modèles non observés lors de l'entraînement de la carte.
Compréhension de l'entraînement : L'utilisation des vecteurs PMI permet de mieux visualiser l'influence des données d'entraînement sur le comportement conditionnel des modèles, aidant à identifier les biais ou les spécialisations liées aux corpus.
Cadre unifié : Il établit un lien théorique entre les distances vectorielles et la divergence KL, fournissant une métrique interprétable pour l'évolution et le distillation des modèles.

Limitations notables : L'étude se concentre sur des modèles aux poids publics, utilise principalement des données de type instruction, et repose sur des projections 2D/3D qui peuvent masquer certaines géométries complexes de l'espace d'origine. De plus, l'approximation de l'information mutuelle (MI) repose sur des hypothèses qui peuvent ne pas toujours tenir pour des modèles très performants.