💬 NLP

Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

Cette étude démontre que les grands modèles de langage actuels échouent systématiquement à générer des nombres aléatoires fidèles à des distributions statistiques, révélant l'absence d'un échantillonneur interne fonctionnel et la nécessité d'outils externes pour les applications exigeant des garanties statistiques.

Auteurs originaux : Minda Zhao, Yilun Du, Mengyu Wang

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minda Zhao, Yilun Du, Mengyu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎲 Le Grand Dilemme des IA : Pourquoi elles sont de mauvaises joueuses de dés

Imaginez que vous demandez à un ami très intelligent, qui a lu tous les livres du monde, de lancer un dé 1 000 fois et de vous noter les résultats. Vous vous attendez à ce que le chiffre 1 sorte autant que le chiffre 6, et que les résultats soient totalement imprévisibles, comme un vrai dé.

C'est exactement ce que les chercheurs ont demandé aux Grands Modèles de Langage (les IA comme ChatGPT, Gemini, etc.). Et la réponse est surprenante : les IA sont de très mauvaises joueuses de dés.

Voici les trois grandes découvertes de l'étude, expliquées avec des métaphores :

1. L'IA perd sa mémoire quand elle est seule (Le problème du "Batch" vs "Indépendant")

Les chercheurs ont testé les IA de deux façons :

Le mode "Marathon" (Batch) : On demande à l'IA : "Écris-moi 1 000 nombres aléatoires d'un coup."
- Résultat : Ça marche à peu près. L'IA utilise ce qu'elle vient d'écrire pour s'auto-corriger. C'est comme si elle regardait ses propres notes pour s'assurer qu'elle ne répète pas trop souvent le chiffre 3.
Le mode "Solitaire" (Indépendant) : On demande à l'IA 1 000 fois, une par une : "Donne-moi UN nombre aléatoire." Chaque fois, on coupe la connexion, on efface la mémoire, et on redemande.
- Résultat : Catastrophe. 10 modèles sur 11 échouent totalement. L'IA oublie qu'elle doit être aléatoire. Elle commence à avoir des "préférences secrètes" (comme un joueur de dés qui triche inconsciemment en lançant toujours le 6).

L'analogie : C'est comme un chef d'orchestre qui joue bien quand il a toute la partition sous les yeux (le mode Marathon), mais qui joue faux dès qu'on lui demande de jouer une seule note, isolée, sans contexte.

2. Plus c'est compliqué, plus l'IA triche (La complexité tue la randomisation)

Les chercheurs ont demandé aux IA de générer des nombres selon différentes règles mathématiques (des distributions) :

Niveau 1 (Facile) : Des nombres simples et égaux (comme une pièce de monnaie).
Niveau 3 (Difficile) : Des formes mathématiques complexes avec des queues de distribution bizarres.

Ce qu'ils ont vu : Plus la règle mathématique est complexe, plus l'IA se trompe. Pour les règles simples, elle fait à peu près le job. Pour les règles complexes, elle panique et se contente de deviner ou de copier des motifs qu'elle a vus dans ses livres d'entraînement, au lieu de vraiment "calculer" le hasard.

L'analogie : C'est comme un élève qui sait réciter par cœur la table de multiplication (le simple), mais qui, dès qu'on lui demande de résoudre un problème de physique complexe (le complexe), invente des réponses qui semblent logiques mais qui sont fausses.

3. Plus on demande de nombres, plus l'erreur grandit (L'effet "Grosse Quantité")

Normalement, si vous lancez un dé plus souvent, vos résultats devraient se rapprocher de la réalité parfaite.
Avec les IA, c'est l'inverse. Plus on demande à l'IA de générer de nombres (100, puis 1 000, puis 2 000), plus ses erreurs s'accumulent et deviennent visibles.

L'analogie : Imaginez un photocopieur qui a un léger défaut de couleur. Si vous copiez une page, on ne le voit pas. Si vous en copiez 1 000, l'image devient totalement déformée. L'IA accumule ses petites erreurs de "hasard" jusqu'à ce que le résultat soit totalement biaisé.

🌍 Pourquoi est-ce grave dans la vraie vie ?

Ce n'est pas juste un jeu mathématique. Si les IA sont utilisées pour créer des choses réelles, cela pose de gros problèmes :

Les examens scolaires : Si une IA crée 1 000 questions à choix multiples, elle devrait mettre la bonne réponse (A, B, C ou D) de manière égale. Or, l'étude montre qu'elle a des préférences. Par exemple, elle mettra la bonne réponse "C" dans 54% des cas et "A" dans seulement 4%. Un élève malin pourrait tricher en choisissant toujours "C" !
Les images générées : Si on demande à une IA de créer des images de personnes pour un jeu vidéo, en demandant un équilibre précis entre hommes/femmes et différentes ethnies, l'IA va ignorer les consignes. Elle pourrait créer 97% de femmes ou 100% de personnes d'une seule ethnie, créant des biais discriminatoires sans le vouloir.

💡 La conclusion en une phrase

Les IA actuelles sont de brillants imitateurs de langage, mais elles n'ont pas de "cerveau" interne pour générer du vrai hasard. Elles ne savent pas jouer aux dés.

Si vous avez besoin de vrais nombres aléatoires pour des applications importantes (sécurité, statistiques, justice), ne faites pas confiance à l'IA toute seule. Il faut lui donner un outil externe (comme une calculatrice ou un générateur de nombres aléatoires classique) pour faire ce travail, et laisser l'IA juste écrire le texte autour.

1. Problématique

L'article s'attaque à une lacune fondamentale des modèles de langage (LLM) : leur incapacité à effectuer un échantillonnage probabiliste natif fidèle. Alors que les LLMs sont de plus en plus intégrés dans des pipelines stochastiques (génération de données synthétiques, agents autonomes, simulations), la capacité à générer des échantillons conformes à des distributions de probabilité spécifiées est devenue une exigence fonctionnelle critique.

Les auteurs soulignent que les pratiques actuelles reposent souvent sur des contournements (faire générer du code Python appelant des bibliothèques comme numpy.random), ce qui suggère que les modèles ne possèdent pas de compétence fonctionnelle interne pour simuler le hasard. L'étude vise à déterminer si les LLMs peuvent générer des échantillons à partir de distributions sans outils externes, et si leurs biais internes compromettent l'intégrité statistique des applications en aval.

2. Méthodologie

L'étude présente la première audit à grande échelle et statistiquement puissant de l'échantillonnage natif des LLMs de pointe.

Échelle de l'évaluation :
- Modèles : 11 modèles de pointe (incluant GPT-4o/5.2, Gemini-3, DeepSeek-V3.2, Llama-3.3/4, Qwen3, etc.).
- Distributions : 15 distributions probabilistes divisées en trois niveaux de complexité (Tier) :
  - Tier I (Basique) : Uniforme, Gaussienne, Bernoulli.
  - Tier II (Borne/Discret) : Beta, Binomiale, Poisson, Exponentielle.
  - Tier III (Complexe/Queue lourde) : Cauchy, Student's t, Chi-deux, F, Gamma, Weibull, Laplace, Logistique.
- Taille d'échantillon : $N=1000$ échantillons par configuration, permettant une évaluation de la convergence statistique.
Protocole Expérimental Dual :
Pour dissocier les modes d'échec, deux protocoles sont utilisés :
1. Génération par Lots (Batch Generation) : Le modèle génère $N=1000$ échantillons en une seule réponse (dépendance contextuelle).
2. Requêtes Indépendantes (Independent Requests) : $N=1000$ appels sans état (stateless), un échantillon par appel (absence de contexte partagé).
Métriques d'Évaluation :
- Tests de validité statistique : Test de Kolmogorov-Smirnov (KS) pour les distributions continues et Test du Chi-deux ( $\chi^2$ ) pour les distributions discrètes (seuil $\alpha = 0.01$ ).
- Métriques de fidélité géométrique : Distance de Wasserstein-1 ( $W_1$ ) et Divergence de Kullback-Leibler (KL) pour quantifier l'écart entre la distribution empirique générée et la distribution cible.
Applications en Aval :
- Génération de QCM : Vérification de l'uniformité de la position des réponses correctes (A, B, C, D).
- Synthèse de Prompts Text-to-Image : Vérification de la conformité aux distributions démographiques (genre, ethnie) et attributs physiques (taille, couleur).

3. Contributions Clés

Preuve de l'absence d'échantillonneur interne : Démonstration que les LLMs actuels ne possèdent pas de mécanisme interne fonctionnel pour l'échantillonnage probabiliste.
Asymétrie Protocole-Dépendante : Révélation d'un écart massif entre la génération par lots (modérément efficace grâce à l'autocorrection contextuelle) et les requêtes indépendantes (échec quasi-total).
Dégradation par Complexité et Horizon : Identification que la fidélité de l'échantillonnage diminue de manière monotone avec la complexité de la distribution et s'aggrave à mesure que le nombre d'échantillons ( $N$ ) augmente (phénomène d'inverse scaling).
Propagation des Biais : Mise en évidence de la manière dont ces échecs statistiques se transmettent aux applications réelles, créant des biais systémiques dans la génération de contenu.

4. Résultats Principaux

Échec des Requêtes Indépendantes :
- Dans le protocole de requêtes indépendantes, 10 modèles sur 11 échouent à passer aucune des distributions testées.
- La distance de Wasserstein ( $W_1$ ) explose (ex: de $\approx 0.01$ en mode lot à $\approx 0.15$ en mode indépendant pour la distribution uniforme), indiquant un biais intrinsèque fort.
Performance Modeste en Mode Lot :
- La génération par lots atteint un taux de réussite médian de seulement 7 %, bien que le meilleur modèle (GPT-4o) atteigne 40 %.
- Cela suggère que la "stochasticité" observée en mode lot est une propriété émergente de la conditionnalité autoregressive (le modèle se corrigeant sur ses propres sorties précédentes) plutôt qu'une compréhension réelle des probabilités.
Impact de la Complexité et de la Taille :
- Complexité : Les taux de réussite chutent du Tier I au Tier III. Les distributions à queues lourdes (Cauchy, Chi-deux) sont ingérables pour tous les modèles.
- Taille d'échantillon (N) : Contrairement à la convergence attendue ( $O(N^{-1/2})$ ), la fidélité se dégrade lorsque $N$ augmente. Les écarts statistiques deviennent significatifs et indéniables à mesure que l'horizon de génération s'allonge.
Conséquences en Aval :
- QCM : Malgré des instructions explicites d'uniformité, les modèles montrent des biais positionnels sévères (ex: GPT-OSS place 54,6 % des réponses correctes en position C).
- Prompts Text-to-Image : Les modèles violent systématiquement les cibles démographiques (ex: sur-représentation massive de certains groupes ethniques ou effondrement de la variance pour la taille, passant de $\sigma=10$ à $\sigma \approx 1$ ).

5. Signification et Implications

Les résultats de cette étude ont des implications profondes pour le développement et le déploiement des LLMs :

Limitation Fondamentale : Les LLMs apprennent à imiter les statistiques de surface des distributions présentes dans leurs données d'entraînement, mais n'ont pas acquis la structure mathématique sous-jacente nécessaire pour générer du hasard véritable.
Nécessité d'Outils Externes : Pour toute application exigeant une garantie statistique (simulation scientifique, génération de données équitables, prise de décision aléatoire), il est impératif d'utiliser des outils externes (calculatrices, bibliothèques numériques) plutôt que de compter sur la génération native du modèle.
Risque de Biais Systémique : L'utilisation de LLMs pour générer des données d'entraînement ou des scénarios de simulation sans vérification externe risque d'introduire et d'amplifier des biais dans les systèmes d'IA en aval, compromettant l'équité et la validité scientifique.

En conclusion, l'article conclut que les LLMs actuels sont de « mauvais joueurs de dés » et qu'ils manquent d'un échantillonneur interne fonctionnel, nécessitant une approche hybride (modèle + outil) pour les tâches stochastiques critiques.