Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models

Cet article analyse comment les erreurs d'arrondi inhérentes à la précision numérique finie se propagent dans les modèles de langage de grande taille, révélant des comportements chaotiques universels qui divisent leur fonctionnement en trois régimes distincts : stable, chaotique et dominé par le signal.

L'essentiel

🌪️ Le Chaos Invisible : Pourquoi les IA ne sont pas toujours fiables

Imaginez que vous demandez à un grand chef cuisinier (une IA, ou "Grand Modèle de Langage") de préparer un plat complexe. Vous lui donnez la même recette exacte, avec les mêmes ingrédients, et vous lui demandez de le faire deux fois de suite.

Normalement, vous vous attendez à ce que les deux plats soient identiques. Mais avec les IA modernes, c'est parfois comme si, au milieu de la préparation, un grain de poussière microscopique tombait dans la casserole. Ce grain est si petit que l'œil humain ne le voit pas, mais pour le chef, cela change tout : le premier plat est parfait, le second est brûlé ou salé à l'envers.

C'est exactement ce que cette étude découvre : les IA sont victimes d'une instabilité numérique invisible.

---

🧱 Le Problème : Des briques de Lego imparfaites

Pour comprendre pourquoi cela arrive, il faut regarder comment l'ordinateur "pense".
Les IA utilisent des nombres pour calculer. Mais les ordinateurs ne peuvent pas stocker des nombres infinis avec une précision parfaite. Ils utilisent une approximation, un peu comme si vous deviez construire une tour avec des briques Lego, mais que certaines briques avaient une taille légèrement différente selon l'endroit où vous les prenez.

• L'erreur de base : Quand l'IA fait un calcul, elle doit arrondir un nombre. C'est comme si vous deviez dire "3,14159265..." mais que votre cerveau ne retient que "3,14".
• L'effet avalanche : Dans une IA moderne, il y a des dizaines de couches de calcul (comme des étages dans un gratte-ciel). Si une petite erreur d'arrondi se produit au premier étage, elle ne disparaît pas. Elle voyage vers le haut. Parfois, elle s'amplifie comme une avalanche de neige : un tout petit grain de poussière devient un énorme bloc de glace qui fait tout s'effondrer.

🎢 Les Trois États de l'IA

Les chercheurs ont découvert que l'IA ne réagit pas toujours de la même façon à ces petites erreurs. Ils ont identifié trois "zones" ou états, comme une voiture qui roule sur une route :

1. La Zone de Stabilité (Le "Mur de Glace") :
   Imaginez que vous poussez un rocher contre un mur de glace. Peu importe la force, le rocher ne bouge pas.

   • Ce qui se passe : L'IA reçoit une petite perturbation (une erreur d'arrondi), mais elle est si faible que le système l'ignore complètement. La réponse de l'IA reste exactement la même. C'est rassurant, mais c'est rare.

2. La Zone du Chaos (Le "Toboggan sans fin") :
   C'est là que ça devient dangereux. Imaginez que vous êtes au sommet d'un toboggan très raide. Un tout petit souffle de vent (une erreur microscopique) suffit pour vous faire glisser vers la gauche ou vers la droite, et vous finissez dans des endroits totalement différents.

   • Ce qui se passe : Une erreur infime (aussi petite que 0,00000000000001) est amplifiée de façon explosive à travers les couches de l'IA. Résultat : deux réponses identiques en apparence donnent des résultats totalement opposés. C'est la cause des échecs dans les systèmes où plusieurs IA travaillent ensemble.

3. La Zone du Signal (Le "Phare dans la tempête") :
   Imaginez que vous criez très fort dans une tempête. Même si le vent (le bruit numérique) souffle fort, votre voix (la vraie question que vous posez) est si claire qu'elle domine tout.

   • Ce qui se passe : Si la question est très importante ou très différente, l'IA ignore le bruit de fond numérique et donne la bonne réponse.

🔍 Ce que les chercheurs ont vu en détail

Les chercheurs ont utilisé des outils très précis pour regarder à l'intérieur de l'IA (comme un microscope pour les mathématiques) et ont vu des choses surprenantes :

• L'effet "Tout ou Rien" : Souvent, l'IA reste parfaitement stable pendant des milliers de calculs, puis soudain, pour une raison inconnue, elle "saute" vers une autre réponse. C'est comme un escalier : on marche sur une marche plate pendant longtemps, puis on tombe d'un coup sur la marche du dessous.
• Le Chaos est partout : On pensait que seuls les calculs "difficiles" (les directions mathématiques complexes) étaient instables. Non ! Même les calculs "faciles" et les calculs "difficiles" réagissent de la même façon : ils sont tous fragiles face à ces erreurs d'arrondi.
• La précision ne suffit pas : Même si on utilise des ordinateurs plus puissants (avec des nombres plus précis), on ne fait que déplacer le problème. On recule un peu la zone de chaos, mais on ne l'élimine pas.

💡 La Solution : La Moyenne Magique

Si l'IA est si instable, peut-on la réparer ? Les chercheurs proposent une astuce simple, un peu comme si vous demandiez à 10 amis de faire le même calcul, puis de prendre la moyenne de leurs réponses.

• L'idée : Au lieu de demander une seule réponse à l'IA, on lui demande de faire le même calcul 10 ou 100 fois, en ajoutant un tout petit peu de "bruit" aléatoire à chaque fois.
• Le résultat : Les erreurs d'arrondi sont aléatoires (elles vont dans des directions différentes), donc quand on fait la moyenne, elles s'annulent entre elles. Le vrai message de l'IA (la réponse correcte) reste visible.
• L'avantage : C'est rapide et peu coûteux. Cela permet d'avoir une réponse fiable là où l'IA était auparavant imprévisible.

🚀 Pourquoi c'est important pour nous ?

Aujourd'hui, on commence à utiliser des IA pour faire des choses importantes : conduire des voitures autonomes, gérer des réseaux électriques, ou même aider des médecins.

Si deux agents IA travaillent ensemble pour résoudre un problème, et que l'un d'eux change de réponse à cause d'une erreur d'arrondi invisible, tout le système peut échouer. Cette étude nous dit : "Attention, la fiabilité absolue est impossible avec la technologie actuelle, mais on peut apprendre à naviguer dans ce chaos."

C'est comme apprendre à naviguer en mer : on ne peut pas arrêter les vagues (les erreurs numériques), mais on peut apprendre à construire un bateau plus stable et à utiliser des cartes pour éviter les zones de tempête.

Résumé technique

1. Problématique : L'Imprévisibilité des Systèmes Multi-Agents

L'article aborde un problème critique émergeant avec l'intégration croissante des Grands Modèles de Langage (LLM) dans des workflows d'agents autonomes complexes. Bien que ces systèmes améliorent la résolution de problèmes collaboratifs, ils souffrent d'un taux d'échec élevé (23 % à 31 % dans certaines études citées) qui ne peut être attribué uniquement à des limitations algorithmiques.

Hypothèse centrale : Une fraction significative de ces échecs provient de l'instabilité numérique induite par l'arithmétique à virgule flottante.

• Non-déterminisme : Sur des infrastructures hétérogènes (différentes architectures GPU, réductions parallèles non déterministes), les opérations flottantes ne sont ni associatives ni déterministes.
• Sensibilité extrême : Les mécanismes d'attention des Transformers ont des nombres de conditionnement qui croissent exponentiellement avec la longueur de la séquence. De minuscules perturbations (de l'ordre de l'épsilon machine, $\sim 10^{-14}$) peuvent entraîner des changements drastiques dans les sorties, même avec des graines aléatoires fixes.
• Lacune de recherche : Les travaux antérieurs traitent l'instabilité comme un problème d'ingénierie à résoudre par des modes d'exécution déterministes, sans caractériser les dynamiques chaotiques sous-jacentes ni comprendre comment les erreurs d'arrondi se propagent et s'amplifient à travers les couches du réseau.

2. Méthodologie

Les auteurs adoptent une approche rigoureuse pour quantifier la stabilité des LLM face à des perturbations directionnelles spécifiques.

• Indice de Conditionnement Directionnel Absolu ($\kappa_{abs}$) : Au lieu d'utiliser le nombre de conditionnement standard (pire cas), ils définissent une mesure locale de stabilité basée sur la dérivée directionnelle :
  $$\kappa_{abs}(f, x, v) \approx \frac{\|f(x + \epsilon v) - f(x)\|_2}{\epsilon}$$
  où $f$ est le modèle, $x$ l'entrée, $v$ une direction de perturbation normalisée, et $\epsilon$ l'amplitude de la perturbation.
• Cible d'analyse : Pour éviter le bruit introduit par l'échantillonnage probabiliste (softmax), l'analyse se concentre sur les logits non normalisés (la sortie avant la dernière couche de projection), spécifiquement l'état caché final du backbone Transformer.
• Configuration Expérimentale :
  • Modèles : Meta-Llama-3.1-8B et OpenAI-GPT-OSS-20B.
  • Matériel : GPU NVIDIA (pour le Llama) et CPU Intel (pour le GPT-OSS afin de forcer la précision Float32).
  • Données : TruthfulQA (connaissances générales) et AdvBench (prompts adversariaux).
  • Précisions : Comparaison entre BFloat16, Float32 et Float64.

3. Contributions Clés

L'article identifie trois contributions majeures :

1. Identification de Dynamiques Chaotiques : Les LLM exhibent un comportement chaotique où des perturbations de l'ordre de l'épsilon flottant ($\sim 10^{-14}$) subissent soit une amplification exponentielle, soit une atténuation complète au sein des premières couches du Transformer. Les nombres de conditionnement directionnels absolus dépassent $10^6$.
2. Caractérisation de Trois Régimes de Stabilité : Les auteurs définissent trois régimes d'opération distincts :
   • Régime Constant : Les perturbations sont inférieures à un seuil dépendant de l'entrée et s'annulent, produisant des sorties bit-à-bit constantes.
   • Régime Chaotique : Les erreurs d'arrondi dominent et entraînent une divergence des sorties.
   • Régime Dominé par le Signal : Les variations réelles de l'entrée surpassent le bruit numérique.
3. Validation Empirique Universelle : Ces phénomènes sont validés sur plusieurs architectures, jeux de données et niveaux de précision, démontrant qu'il s'agit de phénomènes universels et non d'artefacts spécifiques à un modèle.

4. Résultats et Analyse

A. Sensibilité Pilotée par l'Échelle ($\epsilon$)

Contrairement à la théorie classique où la sensibilité est dictée par le spectre de la matrice Jacobienne (valeurs singulières), les résultats montrent que pour de très petites perturbations ($\epsilon$), la sensibilité effective est pilotée par l'échelle de la perturbation et la granularité de la représentation flottante (ULP - Unit in the Last Place). La structure directionnelle s'effondre : des directions avec des valeurs singulières très différentes (du plus grand au plus petit) réagissent de manière similaire.

B. Effet d'Avalanche et Effondrement Spectral

• Propagation en profondeur : À des échelles microscopiques ($\epsilon = 10^{-10}$), la dépendance directionnelle s'effondre. Les erreurs s'amplifient de manière similaire quelle que soit la direction initiale, créant un « effet d'avalanche » où les erreurs d'arrondi s'accumulent à travers les couches.
• Plateaux Constants : L'analyse de la continuité microscopique révèle des « plateaux » où le modèle reste inchangé malgré des perturbations successives, ponctués de sauts discrets rares mais massifs. Cela explique pourquoi l'instabilité médiane est nulle (la plupart des pas ne changent rien) mais la moyenne est énorme (les rares sauts sont gigantesques).

C. Frontières de Décision Chaotiques

Près des points de décision (où les deux tokens les plus probables ont des logits presque égaux), l'espace de sortie est fragmenté en centaines de régions déconnectées.

• Densité de franchissement : Les perturbations microscopiques provoquent des inversions de décision erratiques (« salt-and-pepper ») sur tout le plan de perturbation, y compris dans les directions à faible valeur singulière.
• Universalité de l'instabilité : La magnitude maximale de perturbation stable ($s_{max}$) est d'environ $10^{-10}$ pour toutes les 4096 directions singulières, malgré une variation de cinq ordres de grandeur des valeurs singulières elles-mêmes. Cela prouve que les limites de stabilité sont déterminées par la dynamique d'arrondi dépendante de l'entrée, et non par la structure spectrale du modèle.

D. Impact de la Précision et Atténuation

• Précision : Changer de BFloat16 à Float64 déplace simplement les seuils de transition (les régimes constants deviennent plus larges en Float64), mais ne supprime pas le comportement chaotique fondamental.
• Atténuation par Moyennage de Bruit : Les auteurs proposent une stratégie simple : moyenner plusieurs passes avant (avec injection de bruit aléatoire). Cela permet de lisser les erreurs d'arrondi non déterministes et de révéler la sensibilité algorithmique réelle du modèle. Avec seulement 10 à 100 échantillons, l'estimation de la condition converge vers la vraie valeur singulière, éliminant les artefacts numériques.

5. Signification et Conclusion

Ce travail établit que l'instabilité numérique est une contrainte fondamentale sur la reproductibilité des LLM, en particulier dans les déploiements hétérogènes et multi-agents.

• Implications pour les systèmes multi-agents : Les échecs observés (23-31 %) ne sont pas dus à des bugs logiciels mais à la nature chaotique des calculs flottants. Des agents échangeant des représentations intermédiaires sur différentes architectures peuvent diverger radicalement.
• Conseils pratiques : Pour les applications critiques, il ne suffit pas de fixer les graines aléatoires. Il faut comprendre les régimes de stabilité, potentiellement utiliser des stratégies de moyennage pour la robustesse, et concevoir des architectures qui maximisent les « régimes constants ».
• Perspective : L'étude ouvre la voie à la détection de frontières de décision en temps réel et à l'adaptation de la précision des calculs pour garantir la fiabilité des systèmes d'IA autonomes.

En résumé, les LLM opèrent à la frontière du chaos numérique, où de minuscules erreurs d'arrondi peuvent soit disparaître, soit déclencher une avalanche de divergence, rendant la prédiction des sorties extrêmement difficile sans une compréhension profonde de ces dynamiques.