📊 statistics

A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror

Ce papier propose un cadre mathématique permettant de visualiser les distributions de réponses des grands modèles de langage dans un espace euclidien via un « miroir » commun, afin d'analyser leur géométrie et de récupérer les paramètres d'ajustement utilisés pour générer ces réponses.

Auteurs originaux : Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

Publié 2026-04-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (comme ceux qui génèrent du texte pour vous) sont des boîtes noires magiques. Vous leur posez une question, et ils vous répondent. Mais à l'intérieur de cette boîte, il y a des milliers de boutons de réglage invisibles (comme le "température" qui rend la réponse plus ou moins créative, ou des biais cachés) que nous ne pouvons pas voir directement.

Le défi ? Comprendre comment ces boutons invisibles changent la réponse, même si nous ne pouvons pas ouvrir la boîte pour les regarder.

Voici comment les auteurs de cette recherche ont résolu le problème, expliqué simplement :

1. Le problème : Comparer des réponses sans voir les boutons

Imaginez que vous avez deux cuisiniers (deux modèles d'IA). L'un utilise beaucoup de sel, l'autre peu. Vous ne pouvez pas voir les bols de sel, mais vous pouvez goûter leurs plats.

Si le plat A est très salé et le plat B ne l'est pas, vous savez qu'il y a une différence.
Mais comment savoir exactement combien de sel a été utilisé juste en goûtant ? C'est ce que les chercheurs appellent la "récupération de paramètres".

2. La solution : La "Miroir Euclidien" (Le Miroir Magique)

Les chercheurs ont inventé un outil mathématique qu'ils appellent un "Miroir Euclidien".

Imaginez que les réponses de l'IA sont des nuages de points dans un espace très compliqué et difficile à visualiser (un espace "non-euclidien"). C'est comme essayer de dessiner une carte du monde sur une peau d'orange : c'est déformé et compliqué.

Le Miroir Euclidien, c'est comme un miroir plat et magique qui projette ces nuages de points déformés sur un mur lisse (un espace simple à 2 ou 3 dimensions).

La règle du miroir : Si deux réponses sont très différentes dans la "boîte noire", elles apparaîtront très loin l'une de l'autre sur le mur. Si elles sont similaires, elles seront proches.
L'astuce géniale : Ce miroir ne se contente pas de montrer les réponses ; il les organise selon les boutons de réglage. Sur ce mur, le bouton "Température" pourrait être l'axe horizontal (gauche-droite) et le bouton "Biais" l'axe vertical (haut-bas).

3. Comment ça marche en pratique ? (L'analogie de la carte au trésor)

Voici les étapes de leur méthode, comparées à la création d'une carte :

L'exploration : On demande à l'IA de répondre à la même question 100 fois avec différents réglages (ex: température 0.1, 0.2, 0.3...).
La mesure : On compare toutes ces réponses entre elles pour voir à quel point elles sont différentes (comme mesurer la distance entre des îles).
Le dessin de la carte (MDS) : On utilise un algorithme pour placer ces réponses sur une carte 2D (le miroir) en respectant les distances mesurées.
Le résultat : On obtient une surface lisse. Si vous regardez cette surface, vous verrez que les réponses "froides" (prévisibles) sont d'un côté, et les réponses "chaudes" (créatives) de l'autre.

4. L'application magique : Deviner les réglages cachés

C'est ici que la magie opère. Imaginez que quelqu'un vous donne une réponse d'IA, mais vous ne savez pas quels réglages ont été utilisés. C'est comme recevoir un plat cuisiné sans savoir combien de sel le cuisinier a mis.

Grâce à notre Miroir Euclidien (la carte que nous avons dessinée) :

On place la réponse mystère sur la carte.
On regarde où elle tombe.
On lit les coordonnées : "Ah ! Elle est tombée à l'endroit où la température était de 0.6 et le biais de 50% !"

Le chercheur a prouvé mathématiquement que si on a assez d'exemples, cette méthode permet de retrouver les réglages cachés avec une grande précision.

En résumé

Cette recherche propose une nouvelle façon de cartographier l'invisible. Au lieu de regarder les codes internes complexes des IA, ils regardent leurs réponses, les transforment en une carte simple et lisse, et utilisent cette carte pour comprendre comment l'IA "pense" et pour deviner quels boutons ont été actionnés pour créer une réponse spécifique.

C'est comme si, en regardant juste l'empreinte digitale laissée par un objet, vous pouviez reconstituer exactement la forme de l'objet et la main qui l'a tenu.

1. Problématique et Contexte

Les modèles de langage de grande taille (LLM) fonctionnent souvent comme des « boîtes noires » dont les performances dépendent d'un vaste ensemble de paramètres de réglage (tuning parameters) non observés, tels que la température, les biais de logit, ou l'accès à des données d'entraînement spécifiques.

Le défi : Il est difficile d'analyser précisément comment ces paramètres influencent la distribution des réponses du modèle. Comparer les modèles par leurs poids internes est impossible car ces derniers sont souvent propriétaires.
L'objectif : Développer un cadre mathématique permettant de :
1. Quantifier les différences entre les distributions de réponses des LLM en fonction de leurs paramètres.
2. Représenter ces différences dans un espace euclidien de basse dimension.
3. Récupérer (recovered) les paramètres inconnus d'un modèle à partir de ses réponses (inférence de paramètres latents).

2. Méthodologie : Le Miroir Euclidien Joint

L'article propose un cadre général traitant les réponses des LLM comme des réalisations de distributions de probabilité de haute dimension, indexées par un vecteur de paramètres $x$ .

A. Définition du Miroir Euclidien Joint

Le concept central est le Miroir Euclidien Joint (Joint Euclidean Mirror). Soit $\mathcal{F}$ un ensemble de distributions de réponses paramétrées par $x \in \mathcal{X} \subset \mathbb{R}^d$ , et $D$ une métrique de dissimilarité sur $\mathcal{F}$ .
Un miroir est une fonction continue $f: \mathcal{X} \to \mathbb{R}^c$ telle que la distance euclidienne entre les images reflète exactement la distance entre les distributions originales :
$\|f(x) - f(x')\| = D(F_x, F_{x'})$
Si une telle fonction existe, l'espace des distributions est dit « exactement réalisable euclidien ». Cela permet de projeter la géométrie complexe des distributions de texte dans un espace vectoriel simple.

B. Procédure d'Estimation (Algorithme 1)

Étant donné des échantillons de réponses pour un ensemble fini de paramètres connus, l'estimation du miroir se fait en trois étapes :

Estimation de la matrice de distance : Calcul de la dissimilarité empirique entre les distributions observées. L'article privilégie la distance de Wasserstein ( $W_p$ ), car elle capture non seulement les différences de localisation (moyenne) mais aussi de forme et d'étalement des distributions, ce qui est crucial pour les réponses stochastiques des LLM.
Mise à l'échelle multidimensionnelle classique (CMDS) : Application du CMDS sur la matrice de distance estimée pour obtenir les coordonnées des points miroirs $\hat{f}(x_i)$ dans $\mathbb{R}^c$ .
Ajustement de surface (Surface Fitting) : Interpolation des points estimés pour reconstruire la fonction continue $\hat{f}$ sur tout l'espace des paramètres. L'article propose l'utilisation d'une interpolation de Delaunay (triangulation) pour garantir une approximation par morceaux linéaires.

C. Procédure de Récupération de Paramètres (Algorithme 2)

Pour un échantillon de réponses non étiqueté (provenant d'une distribution $F_{x^*}$ avec $x^*$ inconnu) :

On calcule les distances entre l'échantillon inconnu et les échantillons de référence.
On projette l'échantillon inconnu dans l'espace miroir estimé via le CMDS pour obtenir un point $\hat{f}^*$ .
On estime le paramètre inconnu $\hat{x}$ en minimisant la distance euclidienne entre $\hat{f}^*$ et la surface estimée $\hat{f}(s)$ :
$\hat{x} = \arg \min_{s \in \mathcal{X}} \| \hat{f}(s) - \hat{f}^* \|$

3. Résultats Théoriques

Les auteurs établissent des garanties de consistance asymptotique pour leur méthode :

Convergence des distances (Proposition 1) : Sous des hypothèses de moments sur les distributions, la matrice de distance empirique converge vers la matrice théorique lorsque le nombre d'échantillons $n$ et le nombre de paramètres $m$ augmentent (avec une vitesse dépendant de la dimension des données).
Convergence du miroir (Théorème 1 & 2) : L'estimateur du miroir $\hat{f}$ converge uniformément vers le vrai miroir $f$ (à une isométrie euclidienne près) lorsque $n, m \to \infty$ .
Consistance de la récupération (Théorème 3) : Si le miroir est inversible et que la dimension du miroir correspond à celle de l'espace des paramètres ( $c=d$ ), l'estimateur $\hat{x}$ converge vers le vrai paramètre $x^*$ avec une probabilité tendant vers 1.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur deux types de données :

Données simulées (Distributions Gaussiennes) :
- Ils génèrent des distributions dont le miroir exact est connu.
- Les résultats montrent que l'erreur de reconstruction du miroir diminue avec l'augmentation de la taille de l'échantillon $n$ .
- La récupération de paramètres devient quasi-parfaite pour de grandes valeurs de $n$ , confirmant la consistance théorique.
Application aux LLMs (ChatGPT) :
- Expérience : Des requêtes sont envoyées à un LLM en faisant varier deux paramètres : la température ( $t$ , contrôle du hasard) et un poids de prompt ( $w$ , influence sur le contenu spécifique).
- Observation : L'analyse des valeurs propres de la matrice de distance (scree plot) suggère que la structure sous-jacente est de basse dimension (environ 5 dimensions).
- Visualisation : Le miroir estimé montre que la température et le poids du prompt agissent selon des directions quasi-orthogonales dans l'espace d'embedding.
- Récupération : L'algorithme de récupération de paramètres permet d'estimer avec succès les valeurs de $t$ et $w$ utilisées pour générer de nouvelles réponses, démontrant une relation linéaire robuste entre les valeurs vraies et estimées.

5. Contributions Clés et Signification

Cadre mathématique unifié : Première formalisation du problème de récupération de paramètres latents dans les LLMs via une structure géométrique rigoureuse (Miroir Euclidien).
Indépendance vis-à-vis des poids du modèle : La méthode ne nécessite pas l'accès aux poids internes du modèle, se basant uniquement sur les réponses (approche « boîte noire »).
Utilisation de la distance de Wasserstein : Contrairement aux approches précédentes basées sur la distance entre les moyennes (DKPS), l'usage de la distance de Wasserstein permet de capturer la variabilité et la forme des distributions de réponses, essentiel pour les paramètres de stochasticité comme la température.
Applications potentielles :
- Détection d'anomalies : Identifier si un modèle a été entraîné sur des données sensibles ou privées.
- Ingénierie de prompts : Isoler les caractéristiques clés des prompts qui influencent le plus la sortie.
- Comparaison de modèles : Évaluer et comparer objectivement différents LLMs ou différentes configurations de réglage sans accès au code source.

En résumé, cet article fournit un outil puissant pour « cartographier » le comportement des LLMs, transformant des réponses textuelles complexes en géométrie vectorielle interprétable, permettant ainsi de déduire les conditions de génération (paramètres) à partir des résultats observés.