📊 statistics

Total Variation Distance Estimation in Autoregressive Models

Cet article présente des algorithmes efficaces pour estimer la distance de variation totale entre deux distributions autorégressives de longueur $n$ sous les modèles d'accès par échantillon, logit et logit bruité, offrant des améliorations significatives par rapport aux méthodes antérieures et démontrant une utilité pratique pour quantifier les différences distributionnelles entre les moteurs d'inférence de LLM modernes.

Auteurs originaux : Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Publié 2026-07-23

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les différences invisibles entre les jumeaux de l'IA

Imaginez que vous avez deux jumeaux identiques. Ils ont été élevés dans la même maison, mangent la même nourriture et possèdent le même ADN. Si vous leur posez une question, vous vous attendez à ce qu'ils donnent exactement la même réponse, mot pour mot. Dans le monde de l'Intelligence Artificielle, et plus particulièrement des modèles de langage étendus (LLM), l'« ADN » est constitué des poids du modèle — la puissance de calcul mathématique stockée dans un fichier. Mais dans le monde réel, les choses ne sont pas aussi simples. Tout comme des jumeaux peuvent réagir différemment selon qu'ils sont fatigués, affamés ou qu'ils parlent à un ami, les modèles d'IA peuvent produire des résultats différents selon l'ordinateur sur lequel ils fonctionnent, le nombre de questions auxquelles ils répondent simultanément, ou même de minuscules bugs invisibles dans le code logiciel.

Pour mesurer à quel point deux choses sont différentes, les scientifiques utilisent souvent un outil appelé « Distance de Variation Totale » (TV). Voyez cela comme un « compteur de décalage ». Si vous avez deux sacs de billes et que vous en tirez une de chaque sac, la distance TV vous indique la probabilité maximale que les deux billes soient de couleurs différentes. C'est un score parfait pour savoir « quelle est la probabilité que ces deux choses ne soient pas d'accord ? ». Cela diffère d'autres outils qui tentent de mesurer à quel point un modèle est « surpris », lesquels peuvent s'effondrer complètement si les modèles ne sont pas d'accord sur un seul mot. La grande question que se posent les chercheurs est la suivante : si deux entreprises prétendent faire fonctionner exactement le même modèle d'IA, vous offrent-elles réellement la même expérience, ou y a-t-il des différences cachées tapies dans le code ?

La mission du papier : attraper les fantômes dans la machine

Ce document, intitulé « Total Variation Distance Estimation in Autoregressive Models », est une histoire de détective sur la recherche de ces différences cachées. Les auteurs, une équipe de l'Université du Texas à Austin, ont réalisé que bien que deux moteurs d'IA puissent sembler identiques sur le papier, la façon dont ils génèrent réellement du texte peut diverger en raison de facteurs tels que le « batching » (répondre à de nombreuses questions à la fois) ou la « quantification » (simplifier les nombres pour gagner de l'espace). Ils voulaient construire un moyen fiable de mesurer la Distance de Variation Totale entre deux moteurs d'IA afin de voir à quel point ils divergent.

Les auteurs ont découvert que mesurer cette distance est délicat car les modèles d'IA ne se contentent pas de recracher des réponses ; ils les construisent mot après mot, comme une réaction en chaîne. Si vous n'avez accès qu'à la réponse finale (comme un échantillon), c'est comme essayer de deviner l'intrigue d'un film en regardant seulement la dernière scène. Pour résoudre cela, ils ont développé trois différents « superpouvoirs » ou manières de regarder sous le capot, et ils ont constaté que plus on peut voir, plus la tâche devient facile.

1. Le superpouvoir de l'« Échantillon » (La supposition à l'aveugle)
La façon la plus basique de vérifier une IA est de lui poser une question et de voir ce qu'elle dit. C'est ce qu'on appelle l'« accès par échantillon » (sample access). Les auteurs ont constaté que si vous n'avez que cette vue, vous devez poser énormément de questions à l'IA pour obtenir une mesure précise. Plus précisément, le nombre de questions nécessaires croît avec le carré de la longueur de l'histoire ( $n^2$ ) et la taille de la liste « active » du vocabulaire ( $K$ ). C'est comme essayer de cartographier une immense forêt en suivant un seul sentier ; vous devez le parcourir de très nombreuses fois pour être sûr de ne pas avoir manqué une clairière cachée. Leur méthode améliore les tentatives précédentes, la rendant plus rapide, mais elle nécessite toujours un nombre massif de requêtes.

2. Le superpouvoir du « Logit » (La vision par rayons X)
De nombreux systèmes d'IA affichent également leurs « logits », qui sont les chiffres bruts que le modèle utilise pour décider du mot suivant, avant de les transformer en un choix final. C'est comme voir le processus de pensée interne de l'IA. Les auteurs ont montré que si vous avez accès à ces chiffres, la tâche devient incroyablement facile. Vous n'avez besoin que d'un nombre de requêtes qui croît linéairement avec la longueur de l'histoire ( $n$ ). C'est un bond en avant gigantesque — comme passer de la marche à travers la forêt au survol de celle-ci en hélicoptère. Ils ont prouvé que c'est la façon la plus rapide de procéder ; on ne peut pas le faire plus vite que cela.

3. Le superpouvoir du « Logit Bruité » (La fenêtre embrumée)
C'est ici que cela devient vraiment intéressant. Dans le monde réel, ces chiffres de « logit » ne sont pas toujours parfaits. Parfois, l'ordinateur est occupé, ou le logiciel est légèrement buggé, et les chiffres reviennent un peu flous ou « bruités ». Les auteurs ont réalisé que si l'on traite ce bruit comme une quantité connue (comme savoir à quel point votre fenêtre est embrumée), on peut tout de même obtenir une excellente mesure. Ils ont créé une méthode qui mélange harmonieusement les approches « aveugle » et « rayons X ». Si le bruit est faible, vous agissez comme si vous aviez la vision par rayons X. Si le bruit est élevé, vous agissez davantage comme si vous étiez à l'aveugle. C'est l'outil le plus pratique car il fonctionne même lorsque l'IA ne se comporte pas parfaitement.

Mise à l'épreuve : Le duel du monde réel

Pour prouver l'efficacité de leurs méthodes, les auteurs ne sont pas restés en laboratoire. Ils ont mis en place une expérience réelle comparant deux moteurs d'IA populaires, vllm et sglang, faisant fonctionner exactement le même modèle (Qwen3-0.6B). Ils voulaient voir si ces deux moteurs, censés être identiques, produisaient réellement le même texte.

Ils ont découvert que les moteurs divergeaient effectivement. La Distance de Variation Totale entre eux était d'environ 0,586 pour une histoire de 500 mots. Ce chiffre représente la différence maximale de probabilité entre les deux moteurs pour n'importe quel résultat possible. En termes pratiques, cela signifie que si vous exécutiez un test spécifique pour distinguer les deux moteurs, le meilleur test possible réussirait environ 59 % du temps. C'est une mesure de la capacité à distinguer les deux moteurs, plutôt qu'une probabilité directe qu'une phrase aléatoire générée par l'un soit différente de l'autre.

L'étude a également révélé pourquoi ils divergeaient. Parfois, un moteur choisissait un mot que l'autre moteur considérait comme impossible (un « décalage de support » ou support mismatch), provoquant un pic de distance. D'autres fois, ils choisissaient les mêmes mots mais leur attribuaient des probabilités légèrement différentes. Les auteurs ont également remarqué que le « bruit » dans le système changeait selon la configuration des moteurs. Par exemple, si vous demandiez aux moteurs de répondre à 256 questions à la fois, le bruit augmentait, rendant les mesures plus floues. Mais leur nouvelle méthode « multiniveau » était assez intelligente pour gérer cela. En posant la même question de nombreuses fois et en faisant la moyenne des résultats, ils pouvaient filtrer le bruit et trouver la distance réelle.

La conclusion

Le papier conclut que nous pouvons désormais mesurer de manière fiable à quel point deux moteurs d'IA sont différents, même lorsqu'ils fonctionnent sur des matériels différents ou utilisent différentes astuces logicielles. Ils ont prouvé que, bien qu'il soit difficile de le faire si l'on ne voit que les réponses finales, cela devient beaucoup plus facile si l'on peut jeter un coup d'œil aux chiffres internes. Plus important encore, ils ont montré que même lorsque ces chiffres sont un peu bruités, nous pouvons toujours obtenir une image précise en utilisant leurs nouvelles astuces statistiques.

Cela est crucial car, à mesure que l'IA se généralise, les entreprises doivent savoir si leur version « bon marché » d'un modèle est réellement la même que la version « coûteuse », ou si une nouvelle mise à jour logicielle plus rapide modifie secrètement le comportement de l'IA. Les auteurs ont fourni la règle pour mesurer ces différences invisibles, garantissant que lorsque nous disons que deux IA sont les mêmes, elles le sont réellement. Leur code est désormais disponible pour tous, transformant cette mathématique complexe en un outil pratique pour l'avenir de l'IA.

Résumé technique : Estimation de la distance de variation totale dans les modèles autorégressifs

1. Énoncé du problème

Les déploiements modernes de Large Language Models (LLM) impliquent souvent des choix d'implémentation et des optimisations d'inférence (par exemple, le batching, les kernels personnalisés, la quantification, le décodage spéculatif) qui peuvent amener deux moteurs servant « le même modèle » à produire des distributions de sortie sensiblement différentes. Bien que des travaux antérieurs se soient concentrés sur la mesure de ces différences via la divergence de Kullback-Leibler (KL), l'article soutient que la divergence KL est souvent mal adaptée à cette tâche. La divergence KL est non bornée lorsque les distributions ont des supports disjoints (un cas fréquent dû à la troncature top- $k$ ou à des bugs), ce qui rend son estimation à une précision $\epsilon$ impossible à partir d'échantillons finis sans récupération du support.

En revanche, la distance de variation totale (Total Variation - TV) est bornée dans $[0, 1]$ , interprétable et robuste aux petites différences d'implémentation qui modifient le support. L'article traite le problème de l'estimation de la distance TV entre deux distributions autorégressives de longueur $n$ , $\pi$ et $\mu$ , sur un alphabet de tokens $\Sigma$ (de taille $m$ ), avec une erreur additive $\epsilon$ . L'étude considère trois modèles d'accès distincts à ces distributions :

Accès par échantillonnage (Sample Access) : Interroger un préfixe et recevoir un échantillon de la distribution du prochain token.
Accès par logits (Logit Access) : Interroger un préfixe et recevoir le vecteur complet des log-probabilités du prochain token (exact).
Accès par logits bruités (Noisy Logit Access) : Interroger un préfixe et recevoir un estimateur sans biais de la distribution du prochain token avec une variance relative bornée $\sigma^2$ .

2. Méthodologie et résultats théoriques

L'article fournit des algorithmes et des bornes inférieures pour l'estimation de la TV sous chaque modèle d'accès, formalisant les compromis entre la complexité des requêtes, la longueur de la séquence $n$ , la taille du support $K$ et le niveau de bruit $\sigma$ .

A. Accès par logits (Exact)

Méthodologie : Les auteurs observent que $O(n)$ requêtes à des oracles de logits de préfixes permettent le calcul exact du rapport de vraisemblance $\pi(x)/\mu(x)$ pour toute séquence $x$ . Ils adaptent un estimateur de rapport de vraisemblance issu de [CR14], qui estime la distance TV en échantillonnant des séquences d'une distribution et en évaluant le rapport de vraisemblance sous l'autre.
Résultat (Théorème 2) : Un algorithme existe qui estime la distance TV avec une erreur $\epsilon$ en $O(n/\epsilon^2)$ requêtes. Cette borne est démontrée comme étant serrée (à une constante multiplicative près) via une construction de borne inférieure qui réduit l'estimation de la TV à l'apprentissage d'un paramètre de Bernoulli caché $p$ , où la révélation d'un seul échantillon de $p$ nécessite $\approx n$ requêtes.
Signification : C'est la première formalisation de l'estimation de la distance TV sous accès par logits, offrant une dépendance linéaire vis-à-vis de la longueur de la séquence $n$ et éliminant la dépendance vis-à-vis de la taille de l'alphabet $m$ ou de la taille du support $K$ .

B. Accès par échantillonnage

Méthodologie : Sous accès par échantillonnage, l'algorithme ne peut pas calculer directement les rapports de vraisemblance. L'article propose un estimateur qui améliore la borne de l'état de l'art $O(n^3 m / \epsilon^5)$ de [MKP25]. La nouvelle approche évite de « dompter » les distributions (ajout de bruit uniforme) ce qui introduisait auparavant une dépendance vis-à-vis de la taille complète de l'alphabet $m$ . Au lieu de cela, elle exploite la structure spécifique des modèles autorégressifs et la taille maximale du support $K$ des distributions du prochain token.
Résultat (Théorème 1) : L'algorithme proposé estime la distance TV avec une erreur $\epsilon$ en $\tilde{O}(n^2 K / \epsilon^2)$ requêtes. Une borne inférieure correspondante de $\Omega(n K / \epsilon^2 \log K)$ est fournie.
Signification : Cela améliore la dépendance vis-à-vis de $n$ de cubique à quadratique, vis-à-vis de $1/\epsilon$ de $1/\epsilon^5$ à $1/\epsilon^2$ , et remplace la taille de l'alphabet $m$ par la taille du support $K$ , qui est souvent bien plus petite en pratique (par exemple, lors d'un échantillonnage top- $k$ ).

C. Accès par logits bruités

Méthodologie : Reconnaissant que les moteurs d'inférence réels introduisent du bruit (dû au batching, aux variations de kernels ou aux problèmes de précision), les auteurs modélisent l'accès comme un estimateur sans biais avec une variance relative $\sigma^2$ . Ils emploient un schéma de réduction de variance par Monte Carlo multi-niveaux (MLMC).

Ils construisent une somme télescopique d'estimateurs $Z_\ell$ à différents niveaux de précision (contrôlés par le nombre de répétitions $r_\ell$ ).
En couplant les échantillons entre les niveaux (en utilisant la même trajectoire $X$ pour les niveaux adjacents), ils garantissent que la variance de l'estimateur de différence décroît géométriquement.
Cela permet de troquer des requêtes moins coûteuses mais à forte variance aux niveaux grossiers contre des requêtes plus coûteuses mais à faible variance aux niveaux fins.
Résultat (Théorème 3) : L'algorithme estime la distance TV avec une erreur $\epsilon$ en $\tilde{O}((n + n^2 \sigma^2)/\epsilon^2)$ requêtes.
Signification : Ce résultat interpole de manière fluide entre la borne d'accès par échantillonnage (où $\sigma^2 \approx K$ ) et la borne d'accès par logits (où $\sigma^2 = 0$ ). Il démontre que même avec des oracles bruités, la distance TV reste estimable là où la divergence KL pourrait être infinie.

3. Évaluation empirique

Les auteurs valident leurs résultats théoriques à travers des expériences comparant deux moteurs d'inférence de production, vllm et sglang, servant des poids identiques de Qwen3-0.6B.

Caractérisation du bruit : Ils ont mesuré l'écart type relatif $\sigma$ des log-probabilités à travers différents backends (cuDNN, FlashAttention-2) et conditions de batching. Ils ont constaté que si certaines configurations sont déterministes de manière isolée, les conditions de service introduisent un bruit significatif.
Estimation de la distance : La distance TV estimée entre vllm et sglang s'est révélée substantielle (par exemple, $\approx 0,58$ pour une longueur de séquence $n=500$ ). La distance a été décomposée en une composante de « support partagé » (différences de log-probabilité) et une composante de « décalage de support » (tokens présents dans le top- $k$ d'un moteur mais pas de l'autre), cette dernière contribuant de manière significative à la distance totale.
Efficacité du MLLC : Les expériences ont confirmé l'utilité du calendrier multi-niveaux. Par rapport aux stratégies de répétition à niveau unique fixe, le calendrier multi-niveaux choisi lors de l'étude pilote a atteint la même précision avec jusqu'à $1,28\times$ moins de requêtes d'oracle. Les résultats ont également souligné que la distance estimée est sensible aux configurations de service (taille de batch) et au contenu du prompt.

4. Contributions clés et importance

Bornes théoriques : L'article établit des bornes de complexité de requête serrées pour l'estimation de la distance TV dans les modèles autorégressifs sous trois modèles d'accès, résolvant la dépendance vis-à-vis de la longueur de la séquence $n$ et de la taille du support $K$ .
Robustesse au bruit : Il introduit un modèle pour l'accès par logits bruités qui capture les incohérences d'inférence du monde réel, montant que la distance TV peut être estimée même lorsque les valeurs de logits sont non déterministes.
Pertinence pratique : Le travail fournit un outil pour auditer les fournisseurs de LLM et vérifier que les optimisations d'inférence (comme la quantification ou différents backends) n'altèrent pas de manière significative la distribution de sortie.
Limites de la KL : L'article renforce l'argument selon lequel la distance TV est une métrique plus pratique que la divergence KL pour comparer les LLM, particulièrement lorsque les décalages de support (communs dans l'échantillonnage top- $k$ ) rendent la KL infinie ou inestimable.

Les auteurs concluent que bien que la distance TV soit estimable, la complexité des requêtes dépend fortement du niveau de bruit et du modèle d'accès spécifique, et que la séparation entre la dépendance linéaire et quadratique de $n$ pour différents modèles d'accès reste une question ouverte pour des travaux futurs.