💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

Cet article présente Errorquake-10k, un benchmark complet démontrant que les grands modèles de langage à poids ouverts présentent des distributions de sévérité d'erreur à queue lourde distinctes, même à niveaux de précision équivalents, prouvant ainsi que ces profils de sévérité fournissent des informations critiques et non redondantes sur la fiabilité des modèles que les taux d'erreur scalaires ne parviennent pas à capturer.

Auteurs originaux : Jason Z Wang

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jason Z Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez une équipe d'assistants pour rédiger des rapports pour votre entreprise. Vous utilisez un test standard : vous leur posez 10 000 questions et comptez le nombre de fois où ils donnent une mauvaise réponse.

Dans le monde de l'IA, on appelle cela le taux d'erreur. Si l'Assistant A se trompe dans 58 % des réponses, et que l'Assistant B se trompe aussi dans 58 % des cas, le rapport standard indique : « Ils sont également mauvais. »

Cet article soutient que ce rapport est dangereusement trompeur.

Les auteurs, Jason Z Wang et ses collègues, introduisent une nouvelle façon d'analyser les erreurs appelée ERRORQUAKE. Ils suggèrent que toutes les erreurs ne se valent pas. Une date erronée est une « égratignure sur l'ongle », mais une décision de justice totalement inventée qui pourrait envoyer quelqu'un en prison est un « effondrement de bâtiment ». Les deux comptent pour « une erreur » dans l'ancien système, mais les conséquences sont aux antipodes.

Voici la décomposition de leurs conclusions en utilisant des analogies simples :

1. L'analogie du séisme (L'idée centrale)

Les auteurs empruntent un concept à la sismologie (l'étude des séismes). Les sismologues savent que les séismes suivent un schéma spécifique : il y a beaucoup de micro-tremblements, moins de tremblements de magnitude moyenne, et très peu de séismes massifs et catastrophiques. Ils utilisent un nombre appelé la valeur $b$ pour décrire ce schéma.

Valeur $b$ élevée : Beaucoup de petites secousses agaçantes, mais presque pas de catastrophes majeures. (Pensez à un modèle qui fait beaucoup de fautes de frappe ou de légers glissements factuels).
Valeur $b$ faible : Moins d'erreurs au total, mais celles qui surviennent sont disproportionnellement énormes et catastrophiques. (Pensez à un modèle qui est majoritairement silencieux, mais qui, lorsqu'il parle, invente une loi ou une découverte scientifique imaginaire).

La découverte : Les auteurs ont testé 21 modèles d'IA open-source différents. Ils ont découvert que même lorsque deux modèles avaient le même taux d'erreur (par exemple, les deux se trompent 58,6 % du temps), leurs valeurs $b$ étaient totalement différentes.

Exemple : Un modèle (DeepSeek-V3.2) avait une « valeur $b$ faible », ce qui signifie que ses erreurs étaient à queue lourde (rares mais catastrophiques). Un autre modèle (Ministral-14B) avait une « valeur $b$ élevée », ce qui signifiait que ses erreurs étaient plus légères et moins dangereuses.
À retenir : On ne peut pas juger de la sécurité d'un modèle simplement en comptant la fréquence de ses échecs. Il faut regarder à quel point il échoue lorsqu'il le fait.

2. L'avertissement de la « queue lourde »

L'article qualifie ces schémas dangereux de « distributions d'erreurs à queue lourde ».
Imaginez un sac de billes.

Distribution normale : La plupart des billes sont de la même taille.
Distribution à queue lourde : La plupart sont de minuscules cailloux, mais cachés dans le sac se trouvent quelques rochers géants. Si vous vous contentez de compter le « nombre de billes », vous manquez le fait que l'une d'elles pourrait vous écraser le pied.

Les auteurs ont constaté que les modèles d'IA plus grands et plus puissants (les modèles « denses ») ont tendance à avoir des queues plus lourdes.

Le paradoxe : À mesure que les modèles grandissent, ils font moins de petites erreurs (comme des fautes de frappe ou des glissements mineurs). Cependant, les erreurs qu'ils font sont plus susceptibles d'être des mensonges convaincants et élaborés (des fabrications).
Analogie : Un jeune enfant peut trébucher et tomber souvent (beaucoup de petites erreurs). Un géant peut marcher parfaitement pendant des heures, mais s'il trébuche, il renverse une maison (moins d'erreurs, mais catastrophiques).

3. Le « sismomètre » vs le « compteur »

Les benchmarks actuels sont comme un compteur manuel : ils se contentent de cliquer sur « Faux » chaque fois qu'un modèle se trompe.
Les auteurs ont construit un nouvel outil, ERRORQUAKE-10K, qui agit comme un sismomètre.

Au lieu de simplement cliquer sur « Faux », il évalue l'erreur sur une échelle de 0 à 4.
- 0 : Parfait.
- 0,5–1,0 : Un glissement mineur (ex: « La réunion est à 14h » au lieu de 15h).
- 2,0–3,0 : Une erreur sérieuse qui pourrait induire un lecteur en erreur.
- 3,5–4,0 : Une fabrication complète (ex: « La réunion s'est tenue dans un univers parallèle »).
Ils ont testé cela avec des experts humains et ont constaté que les humains et les juges IA étaient en accord sur ces évaluations.

4. Pourquoi est-ce important ? (Le mécanisme)

L'article examine pourquoi ces queues lourdes se produisent. Ils ont découvert un changement dans le type d'erreur à mesure que la gravité augmente :

Faible sévérité : Les erreurs sont généralement des échecs de récupération (le modèle a oublié un fait ou a consulté le mauvais chiffre).
Haute sévérité : Les erreurs sont généralement des fabrications (le modèle a inventé avec assurance quelque chose qui n'a jamais existé).

Crucialement, les modèles plus grands sont plus enclins à ces fabrications de haute sévérité. À mesure que les modèles grandissent, ils deviennent meilleurs pour mémoriser des faits (moins d'erreurs de récupération) mais semblent devenir meilleurs pour « halluciner » des mensonges convaincants lorsqu'ils ne connaissent pas la réponse.

5. L'essentiel

L'article conclut que l'industrie doit cesser de rapporter uniquement le « taux d'erreur » (le compte du clic du compteur).

Ancienne méthode : « Le modèle A et le modèle B se trompent tous deux 58 % du temps. »
Nouvelle méthode : « Le modèle A et le modèle B se trompent tous deux 58 % du temps, mais le modèle A est comme une bombe à retardement (queue lourde), tandis que le modèle B est juste un voisin bruyant (queue légère). »

La recommandation : Chaque fois que vous rapportez la fréquence à laquelle une IA commet des erreurs, vous devez également rapporter la distribution de la sévérité (la valeur $b$ ). Cela indique si le modèle est sujet à des glissements agaçants ou à des mensonges catastrophiques, une information que le simple taux d'erreur occulte totalement.

Ce que l'article ne prétend PAS :

Il ne dit pas que ces modèles sont « sûrs » ou « dangereux » pour des tâches spécifiques du monde réel (comme la médecine ou le droit) sans tests supplémentaires.
Il ne prétend pas que les modèles plus grands sont globalement « moins bons » ; ils sont simplement différents dans leur façon d'échouer.
Il ne propose pas de solution à ce problème, seulement un moyen de le mesurer.

Résumé Technique : ERRORQUAKE : Distributions de sévérité d'erreur à queue lourde dans les modèles de langage à poids ouverts

1. Énoncé du Problème

Les benchmarks de hallucination standards (ex. : TruthfulQA, HaluEval) réduisent la performance des modèles à un taux d'erreur scalaire unique ( $\varepsilon$ ), traitant tous les types d'erreurs comme équivalents. Cette approche occulte une dimension critique de l'échec du modèle : la sévérité de l'erreur. Un modèle qui cite une mauvaise date de publication et un modèle qui fabrique un avis juridique entier contribuent tous deux d'un seul compte à $\varepsilon$ , pourtant leurs conséquences en aval diffèrent de plusieurs ordres de grandeur.

L'article soutient qu'à précision égale, les modèles de langage (LLM) à poids ouverts présentent des différences substantielles dans la forme de la distribution de la sévérité de leurs erreurs. Plus précisément, le « comportement de la queue » (la fréquence des erreurs catastrophiques par rapport aux erreurs mineures) varie considérablement d'un modèle à l'autre, une propriété invisible aux taux d'erreur scalaires. Empruntant à la sismologie, les auteurs proposent de caractériser ce comportement de queue en utilisant la pente $b$ de la relation magnitude-fréquence de Gutenberg-Richter : $\log_{10} N(M \ge m) = a - b m$ . Une petite valeur de $b$ indique peu d'erreurs mais des erreurs catastrophiques ; une grande valeur de $b$ indique de nombreuses petites erreurs avec une sévérité bornée.

2. Méthodologie

2.1 Le Benchmark ERRORQUAKE-10K

Les auteurs introduisent ERRORQUAKE-10K, un benchmark comprenant 10 000 requêtes réparties sur 8 domaines (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) et 5 niveaux de difficulté (T1–T5).

Structure : 1 250 requêtes par domaine ; T1–T2 sont des requêtes factuelles faciles, tandis que T4–T5 incluent des questions pièges conçues pour susciter des fabrications confiantes.
Modèles évalués : 21 modèles d'instruction-tuning à poids ouverts (de 3B à environ 37B de paramètres actifs) issus de 10 familles, incluant des architectures denses et MoE.

2.2 Échelle de Notation de la Sévérité

Les réponses sont notées sur une échelle continue de 0.0 à 4.0 (quantifiée par incréments de 0,5, soit 9 niveaux distincts) :

0.0 : Correct.
0.5–1.0 : Imprécisions préservant l'essentiel.
1.5–2.0 : Erreurs factuelles modérées.
2.5–3.0 : Erreurs substantielles induisant en erreur un lecteur typique.
3.5–4.0 : Fabrication (assertion confiante d'informations inventées).

2.3 Pipeline d'Évaluation

Système à Double Juge : Chaque réponse est notée par deux juges issus d'un pool de 8 modèles en round-robin (excluant le modèle cible).
Agrégation : La note finale est la moyenne si les juges sont d'accord à $\pm$ 1,0 ; sinon, une médiane de trois avec un bris d'égalité est utilisée.
Validation Humaine : Un échantillon stratifié de 519 items a été noté par trois experts humains pour valider le pipeline de notation par LLM.
- Fiabilité : La fiabilité inter-juges humaine est excellente (ICC(2, k=3) = 0,85).
- Corrélation : Les classements de sévérité dérivés par l'humain sont fortement corrélés aux classements des juges LLM ( $\rho = 0,89$ ).
- Taux de Sur-appel (Overcall) : Les juges LLM sur-appellent la sévérité (score 2,0) à 33,5 %, contre 13,7 % pour les humains.

2.4 Analyse Statistique

Ajustement de la Distribution : Cinq familles candidates (loi de puissance discrète, loi de puissance tronquée, exponentielle, exponentielle étirée, log-normale) sont ajustées aux scores strictement positifs.
Estimation des Paramètres : L'indice de distribution de sévérité ( $b$ ) est estimé à l'aide de la formule d'Aki avec une correction de discrétisation sur les scores quantifiés sur grille.
Intervalles de Confiance : Des bootstraps de percentile à 95 % (2 000 rééchantillonnages) sont utilisés pour déterminer les intervalles de confiance de $b$ .

3. Contributions Clés

Théorème de Non-Réductibilité (C1) : Une preuve théorique montrant que le profil de sévérité ( $b$ ) et le taux d'erreur ( $\varepsilon$ ) sont informationnellement non redondants. Empiriquement, $I(b; \text{modèle} \mid \varepsilon) = 1,56$ bits, ce qui signifie que 64,5 % de la variance de $b$ entre les modèles n'est pas expliquée par $\varepsilon$ .
Discriminateur de Précision Égale (C3) : La principale découverte empirique selon laquelle $b$ distingue les modèles même lorsque leurs taux d'erreur sont identiques.
Taxonomie des Mécanismes de Sévérité (C4) : Une classification en 6 catégories (récupération, fabrication, amplification, raisonnement, format, métacognition) montrant que les mécanismes d'erreur changent de catégorie avec la sévérité.
Corrélation de Mise à l'Échelle (C5) : Une analyse de la relation entre la taille du modèle et la forme de la queue de la distribution de sévérité.
Libération de Ressources (C7) : La publication du benchmark ERRORQUAKE-10K, de l'outil de notation et du code d'analyse.

4. Résultats Clés

4.1 Discrimination à Précision Égale

Sur 210 paires parmi les 21 modèles, 85 paires présentent des intervalles de confiance à 95 % disjoints pour $b$ lorsque leurs taux d'erreur sont appariés ( $|\Delta\varepsilon| < 0,05$ ) sur la notation par consensus humain.

Exemple : DEEPSEEK-V3.2 et MINISTRAL-14B ont des taux d'erreur identiques ( $\varepsilon = 0,586$ ) mais des pentes de queue significativement différentes ( $\Delta b = 0,47$ ).
Robustesse : Ce résultat est maintenu à travers les jackknifes inter-domaines, les différentes règles d'agrégation des juges et les sous-ensembles avec une haute couverture de double juge.

4.2 Caractérisation de la Distribution

Nature à Queue Lourde : 17 des 21 modèles sont mieux ajustés par des familles non exponentielles (exponentielle étirée ou loi de puissance tronquée), confirmant la présence de « queues lourdes » (décroissance plus lente que l'exponentielle) sur la grille de sévérité discrète.
Définition Opérationnelle : « Queue lourde » signifie ici que la famille ayant le BIC le plus bas est non exponentielle ou que la masse résiduelle dans les bacs supérieurs ( $M \ge 2,5$ ) est plus grande que ce qu'un ajustement exponentiel prédit.

4.3 Corrélation de Mise à l'Échelle (Scaling)

Modèles Denses : Il existe une corrélation négative entre la taille du modèle (log des paramètres actifs) et la valeur $b$ ( $\rho_s = -0,86$ sur les données humaines).
Interprétation : Les modèles denses plus grands commettent moins de petits glissements (décroissance de la masse plus abrupte) mais une fraction relativement plus élevée de fabrications catastrophiques (queue supérieure plus faible).
Note : Cette corrélation est spécifique à la pente de la queue supérieure ; la vitesse de décroissance de la masse globale évolue dans la direction opposée.

4.4 Taxonomie des Mécanismes

Changement de Sévérité : Les erreurs de faible sévérité (0,5–1,0) sont principalement des récupérations (71 %). Les erreurs de haute sévété (2,0–4,0) sont principalement des fabrications (39 %).
Couplage de Taille : Les petits modèles (3–9B) présentent 44,7 % d'erreurs de récupération, tandis que les grands modèles (≥24B) montrent 29,2 % d'erreurs de fabrication. Le basculement vers la fabrication dans les modèles plus grands explique leurs queues plus lourdes.

4.5 Limites de Prédiction

L'hypothèse pré-enregistrée selon laquelle l'ajustement de $b$ sur les niveaux faciles (T1/T2) prédit les comptes d'erreurs catastrophiques sur les niveaux difficiles (T4/T5) a échoué à son critère principal.

Résultat : La corrélation de rang était faible ( $\rho_s = 0,443$ ), et la prédiction du taux absolu a échoué (0/21 modèles ont sur-prédit ; 17/21 ont sous-prédit).
Raison : Les requêtes difficiles déplacent l'ensemble de la distribution de sévérité vers le haut (un décalage de niveau), ce que la loi de Gutenberg-Richter (qui capture la pente relative) ne peut extrapoler à partir de données faciles seules.

5. Signification et Revendications

L'article affirme que la distribution de la sévérité doit être rapportée aux côtés de la précision car elle porte une information discriminante que le taux d'erreur ne possède pas.

Valeur Informationnelle : Le profil de sévérité n'est pas une simple reformulation redondante du taux d'erreur. Deux modèles ayant la même précision peuvent avoir des risques de défaillance catastrophique très différents (différant d'un ordre de grandeur en termes d'événements catastrophiques attendus par million de requêtes).
Risque de Déploiement : Ignorer la distribution de la sévérité conduit à de mauvais diagnostics de risque. Un modèle possédant une « queue plus lourde » (un $b$ plus faible) présente un risque plus élevé de fabrication catastrophique malgré un taux d'erreur identique à celui d'un modèle à « queue plus légère ».
Paradoxe de l'Échelle (Scaling) : Les lois d'échelle peuvent améliorer la précision globale tout en aggravant simultanément la composition des échecs résiduels (passant des récupérations aux fabrications), une nuance invisible pour les taux d'erreur standards.

Les auteurs positionnent ce travail comme un outil de diagnostic pour la sélection et l'audit de modèles dans des contextes factuels à enjeux élevés, plutôt que comme un simple classement basé sur un chiffre unique. Ils notent explicitement les limites, incluant l'exclusion des modèles propriétaires de pointe, la dépendance aux requêtes générées par LLM, et l'échec de la tâche de prédiction du passage de micro-erreurs à la catastrophe.