💬 NLP

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

L'article introduit UnpredictaBench, un nouveau benchmark et une nouvelle métrique (KS@N) conçus pour évaluer la capacité des grands modèles de langage à échantillonner avec précision à partir de distributions sous-jacentes réelles, révélant que les modèles actuels éprouvent des difficultés significatives face au caractère aléatoire distributionnel malgré leur utilisation croissante dans les simulations.

Auteurs originaux : Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un chef pour cuisiner un repas pour une fête. Vous ne voulez pas seulement un plat délicieux ; vous voulez un buffet qui représente parfaitement le menu complet. Si le menu indique « 50 % de pâtes, 30 % de salade, 20 % de soupe », vous vous attendez à ce que le buffet respecte approximativement ces proportions.

UNPREDICTABENCH est un test conçu pour voir si les modèles de langage étendus (LLM) peuvent agir comme ce chef. Les chercheurs ont voulu savoir : les modèles d'IA peuvent-ils générer des résultats aléatoires qui correspondent réellement à la « recette » (la distribution statistique) qui leur est donnée ?

Voici la décomposition de l'article en utilisant des analogies simples :

1. Le Problème : Le Chef « Prudent »

Les auteurs ont remarqué que, bien que les modèles d'IA soient excellents pour le raisonnement, ils sont très mauvais pour être véritablement aléatoires.

Le Problème : Lorsqu'on demande à une IA de simuler un événement aléatoire (comme lancer un dé ou simuler un krach boursier), l'IA a tendance à s'ennuyer ou à jouer la carte de la « prudence ». Au lieu de disperser ses réponses pour correspondre au chaos du monde réel, elle s'effondre en une réponse unique et prévisible.
L'Analogie : Imaginez demander à une IA de simuler 100 lancers de pièces. Une vraie pièce vous donnerait environ 50 piles et 50 faces, de manière éparpillée. L'IA, cependant, pourrait donner 50 piles d'affilée, ou simplement dire « Pile » à chaque fois parce qu'elle pense que c'est la réponse la plus « logique ». Elle échoue à capturer l'imprévisibilité du monde réel.

2. Le Test : UNPREDICTABENCH

Pour corriger cela, les chercheurs ont construit un test géant appelé UNPREDICTABENCH.

La Configuration : Ils ont créé 448 défis différents. Certains étaient des problèmes mathématiques simples (comme « Donnez-moi un nombre issu d'une courbe de Gauss »), d'autres des énigmes de code, et d'autres encore des scénarios du monde réel (comme « Que se passe-t-il si deux voitures arrivent à un feu de signalisation en même temps ? »).
L'Objectif : Ils ont demandé à l'IA de générer 100 échantillons pour chaque problème.
Le Score (KS@100) : Ils ont utilisé une règle statistique appelée test de Kolmogorov-Smirnov (pensez-y comme à un « Appariement de Formes »).
- Si les 100 réponses de l'IA ressemblaient à la forme parfaite du monde réel, elle obtenait un score élevé.
- Si les réponses de l'IA étaient regroupées ou ressemblaient à une ligne plate, elle obtenait un score faible.
- Le Résultat : Le score le plus élevé obtenu par un modèle n'était que d'environ 32 %. Cela signifie que même l'IA la plus intelligente échoue à imiter le véritable hasard plus des deux tiers du temps.

3. Les Résultats : Qui a échoué et pourquoi ?

Les chercheurs ont testé de nombreux modèles, des plus petits modèles open-source aux modèles d'entreprise massifs et coûteux.

L'Effondrement : La plupart des modèles ont souffert d'un « effondrement de mode » (mode collapse). Imaginez un DJ qui est censé jouer un mélange de rock, de jazz et de pop. Au lieu de cela, il joue la même chanson de rock en boucle parce qu'il pense que c'est la « meilleure » chanson. L'IA fait cela avec les nombres ; elle choisit un nombre « plausible » et s'y tient.
La Taille n'a pas d'importance : Les modèles plus gros n'étaient pas nécessairement meilleurs. Certains modèles massifs ont moins bien performé que des modèles minuscules.
Le Raisonnement n'a pas aidé : Les chercheurs ont essayé de dire à l'IA de « réfléchir plus intensément » avant de répondre. Cela a aidé un peu, mais cela n'a pas résolu le problème de fond. L'IA ne pouvait toujours pas générer une dispersion de nombres véritablement aléatoire.
L'Ajustement des Instructions (Instruction Tuning) l'a empiré : Les modèles qui ont été affinés pour être « utiles » et « sûrs » sont devenus moins bons pour être aléatoires. Être « utile » semble inciter l'IA à donner une réponse unique et confiante plutôt qu'une réponse désordonnée et aléatoire.

4. La Métaphore : Les Dés Cassés

Considérez un LLM comme un lanceur de dés magique.

Ce que nous voulons : Un dé équitable qui tombe sur 1, 2, 3, 4, 5 et 6 avec une fréquence égale au fil du temps.
Ce que l'IA fait : Elle lance le dé, voit un « 3 », et décide : « 3 est un nombre très raisonnable. Je vais relancer un 3 à nouveau. » Et encore. Et encore.
La Conséquence : Si vous utilisez cette IA pour simuler une épidémie ou un krach économique, vos prédictions seront fausses car l'IA ne simule pas le chaos de l'événement, mais simule sa propre confiance dans un résultat unique.

5. La Conclusion

L'article conclut que les modèles d'IA actuels ne sont pas prêts à remplacer les humains dans les simulations qui nécessitent un véritable hasard (comme la modélisation économique ou les expériences scientifiques). Ils sont trop « déterministes » (prévisibles).

Les chercheurs ont créé ce benchmark pour nous montrer exactement où l'IA échoue. Tant que nous ne pourrons pas apprendre à ces modèles à être véritablement imprévisibles et à disperser leurs réponses comme un véritable processus aléatoire, nous ne pourrons pas leur faire confiance pour simuler des systèmes complexes et chaotiques.

En bref : L'IA est une excellente conteuse, mais une très mauvaise joueuse de dés. Elle connaît les règles du jeu, mais elle ne peut pas réellement jouer de manière aléatoire.

Résumé Technique : UNPREDICTABENCH

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme des substituts au comportement humain et aux systèmes stochastiques dans des applications telles que les simulations économiques, la modélisation épidémiologique et les environnements multi-agents. Bien que les LLM démontrent une capacité à raisonner sur les distributions de probabilité et à estimer des probabilités, il existe un écart critique dans leur capacité à générer des échantillons qui reflètent fidèlement les distributions cibles sous-jacentes. Les modèles actuels présentent souvent une tendance à s'effondrer (« collapse ») vers une réponse unique plausible ou une plage étroite de sorties, échouant à capturer la véritable imprévisibilité et la variance inhérentes aux processus stochastiques du monde réel. Les travaux existants visant à améliorer la diversité des sorties sont insuffisants pour ces tâches de simulation, qui nécessitent des échantillons calibrés par rapport à une distribution cible spécifique plutôt que de simples sorties variées. Il manque une évaluation systématique pour déterminer si les LLM peuvent produire des résultats incertains qui sont statistiquement cohérents avec les distributions de vérité terrain.

Méthodologie

Pour combler cette lacune, les auteurs introduisent UNPREDICTABENCH, un benchmark conçu pour évaluer le caractère aléatoire distributionnel des LLM.

Construction du Benchmark

Le benchmark se compose de 448 instances de test dérivées de 40 distributions de probabilité cibles (allant de unimodales à multimodales, de discrètes à continues). Les tâches sont classées en sept types pour sonder la compréhension distributionnelle à travers diverses représentations :

Texte Explicite : La distribution et ses paramètres sont nommés explicitement ; le modèle doit générer un échantillon.
Texte Implicite : Un scénario du monde réel est décrit sans nommer la distribution ; le modèle doit inférer le processus stochastique et l'échantillonner.
Code Explicite : Le modèle prédit la sortie d'un programme Python qui échantillonne directement à partir d'une distribution (par exemple, via NumPy).
Code Implicite : Le modèle prédit la sortie d'un programme où la distribution cible est induite par des transformations (par exemple, des ratios de variables gamma) sans dénomination explicite.
Multimodal : Échantillonnage à partir de mélanges de deux ou plusieurs distributions composantes.
Mélange (Shuffling) : Générer une permutation aléatoire uniforme d'une liste (encodée via des codes de Lehmer pour l'évaluation).
Scénarios du Monde Réel : Tâches préparées manuellement impliquant des environnements intrinsèquement incertains (par exemple, conditions de course, dynamique MCMC, simulations de réseaux).

Métrique d'Évaluation : KS@N

La principale métrique d'évaluation est le KS@N, qui quantifie la fidélité distributionnelle en utilisant le test statistique de Kolmogorov-Smirnov (KS).

Procédure : Pour un problème donné, le modèle génère $N$ échantillons indépendants (typiquement $N=100$ ). Ceux-ci sont comparés à un ensemble de référence de $M=10\,000$ échantillons tirés de la distribution de vérité terrain.
Calcul : Un test KS à deux échantillons est effectué pour obtenir une valeur p (p-value). Si la valeur p dépasse un seuil strict ( $p_{threshold} = 0,0001$ ), les échantillons du modèle ne sont pas rejetés comme étant incohérents avec la vérité terrain.
Score : Le KS@N est défini comme la fraction des problèmes où les échantillons du modèle ne sont pas rejetés. Un score plus élevé indique un meilleur calibrage distributionnel.
Métriques Complémentaires : L'étude rapporte également la Distance de Wasserstein-1 Débiaisée (WDZ) pour capturer le comportement des queues de distribution et les décalages de position, ainsi que la Divergence de Jensen-Shannon (JSD) pour mesurer les écarts de forme au niveau de la densité.

Résultats Clés

Les auteurs ont évalué un ensemble diversifié de modèles à poids ouverts et propriétaires (incluant GPT-4o/5.4, Claude Sonnet, Llama 3, Qwen, Nemotron et DeepSeek).

Performance Générale : Aucun modèle n'a atteint un score KS@100 supérieur à 40 %. Le modèle le plus performant, Nemotron-3 Super 120B, a atteint 32,64 %, tandis que de nombreux modèles de pointe (par exemple, GPT-5.4, Claude Sonnet 4.6) ont obtenu des scores inférieurs à 15 %. La plupart des modèles se situent entre 0 % et 20 %.
Modes d'Échec : Les modèles échouent de deux manières distinctes : (1) par manque de représentation interne de la distribution cible, ou (2) en comprenant la forme globale mais en s'effondrant vers une plage de sortie étroite (mode collapse).
Difficulté des Tâches :
- Le mélange (Shuffling) et les tâches de code ont été les plus difficiles, aucun modèle ne dépassant 40 % et plusieurs performants s'effondrant à 0 %.
- Les scénarios du monde réel ont produit les scores individuels les plus élevés pour certains modèles (par exemple, Llama-3.2-1B a atteint 59,09 %), probablement en raison de plages de sortie effectives plus étroites dans ces scénarios spécifiques.
- Les distributions multimodales se sont révélées nettement plus difficiles pour les modèles ayant des tendances déterministes fortes, provoquant souvent un effondrement total.
Impact des Interventions :
- Raisonnement : L'activation des jetons de raisonnement a amélioré la performance finale de la sortie pour certains modèles, mais a révélé que d'autres « en savent plus qu'ils ne disent », car leurs jetons de raisonnement contenaient un ensemble de candidats plus large que leurs sorties finales.
- Ajustement par Instruction (Instruction Tuning) : L'ajustement par instruction n'a apporté que des bénéfices marginaux et, dans certains cas, a activement réduit la diversité des sorties par rapport aux modèles de base.
- Température : Des températures plus élevées (par exemple, $T=1,2$ ) ont généralement amélioré le KS@100 en augmentant la diversité, bien que les modèles plus faibles aient parfois souffert d'une augmentation des déviations dans les queues de distribution.
- Prompting de Liste : Demander aux modèles de générer des listes d'échantillons (par exemple, 10 à la fois) a amélioré la couverture globale pour les modèles capables, mais a nui aux performances d'autres modèles (par exemple, Llama-3.2-1B).

Signification et Revendications

L'article positionne UNPREDICTABENCH comme une première étape nécessaire vers l'utilisation des LLM comme des substituts fiables pour des systèmes stochastiques complexes.

Fondement Statistique : Contra-irement aux évaluations de type « LLM-as-a-judge », UNPREDICTABENCH propose une métrique statistiquement fondée (KS@N) qui mesure directement la fidélité distributionnelle par rapport aux vérités terrains connues.
Corrélation avec l'Utilité : Le benchmark présente une forte corrélation avec les métriques d'utilité des benchmarks de créativité (NoveltyBench, CREATE), suggérant que la fidélité distributionnelle capture un aspect réel de la qualité du modèle pertinent pour la génération créative et diversifiée.
Limitations Actuelles : Les auteurs soulignent que même la simulation de distributions simples reste un défi majeur pour les modèles actuels. L'écart important entre la performance actuelle et le plafond théorique (Machine Aléatoire) indique que les LLM ne sont pas encore prêts pour des tâches de simulation à enjeux élevés nécessitant un hasard fidèle.
Feuille de Route Future : Le benchmark fournit un modèle pour des travaux futurs, offrant une courbe de difficulté scalable (via l'augmentation de $N$ ) et un banc d'essai unifié pour étudier le hasard, le calibrage de l'incertitude et les effets des objectifs d'entraînement (par exemple, RLHF) sur le comportement stochastique.

L'article conclut que si les LLM peuvent raisonner sur le hasard, leur capacité à le produire reste fondamentalement défaillante, ce qui nécessite des recherches supplémentaires sur les architectures de modèles et les stratégies d'entraînement qui préservent la diversité des sorties sans sacrifier le calibrage.