🤖 AI

LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning

LinAlg-Bench révèle que les grands modèles de langage présentent un seuil comportemental structurel aux dimensions de matrices 4x4, passant d'erreurs d'exécution dans les tâches plus petites à un abandon computationnel systématique et à des hallucinations structurées dans les tâches plus grandes, indiquant une limitation fondamentale de la mémoire de travail plutôt qu'un déficit de connaissances.

Auteurs originaux : Shradha Agarwal, Deepak Rajbhar, Tariq J

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shradha Agarwal, Deepak Rajbhar, Tariq J

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de robots très intelligents et bien informés. Vous leur demandez de résoudre des problèmes mathématiques. Pour des problèmes petits et simples, ils sont brillants. Mais lorsque vous leur donnez un problème légèrement plus grand et plus complexe, ils cessent soudainement d'essayer de faire les calculs et se mettent à inventer des choses qui ressemblent à des mathématiques.

Ce papier, LinAlg-Bench, est comme une enquête forensique sur exactement pourquoi et comment ces robots (les modèles de langage ou LLM) échouent lorsqu'ils effectuent de l'algèbre linéaire (un type de mathématiques impliquant des grilles de nombres appelées matrices).

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Le Test : Un « test de résistance » pour cerveaux

Les chercheurs n'ont pas simplement posé aux robots des questions mathématiques au hasard. Ils ont créé un test spécifique appelé LinAlg-Bench.

Le Déroulement : Ils ont soumis aux robots des problèmes impliquant des grilles de nombres (matrices) de trois tailles : 3x3 (petite), 4x4 (moyenne) et 5x5 (grande).
L'astuce : Le type de problème mathématique restait exactement le même (comme trouver un « déterminant » ou des « valeurs propres »). La seule chose qui changeait était la taille de la grille.
L'objectif : Si les robots échouaient parce qu'ils ne connaissaient pas les mathématiques, ils auraient dû échouer à toutes les tailles. S'ils échouaient parce que leur « cerveau » devenait trop fatigué, ils auraient dû échouer uniquement aux plus grandes tailles.

2. La Découverte : La « falaise 4x4 »

Les résultats ont montré une « falaise » nette dans les performances.

À 3x3 (Petite) : Presque tous les robots ont réussi. Ils effectuaient correctement les calculs.
À 4x4 (Moyenne) : Les robots ont commencé à trébucher. Ils essayaient encore de faire les calculs, mais ils commettaient des erreurs dans les étapes (comme omettre un signe négatif ou additionner des nombres incorrectement).
À 5x5 (Grande) : C'est là que le comportement changeait complètement. Les robots ne se contentaient pas de faire des erreurs de calcul ; ils abandonnaient.

L'analogie : Imaginez un étudiant passant un examen.

Sur un court quiz (3x3), il obtient 100 %.
Sur un test moyen (4x4), il s'efforce mais se confond et commet des erreurs de calcul.
Sur le long et difficile examen (5x5), au lieu d'essayer de résoudre le problème difficile, il regarde la question, soupire, et écrit une réponse qui ressemble à ce qui devrait figurer sur le test (elle a le bon format et des nombres qui semblent raisonnables) mais qui est en réalité complètement inventée.

3. La limite de la « mémoire de travail »

Le papier soutient que les robots n'échouent pas parce qu'ils manquent de connaissances (ils connaissent les règles). Ils échouent à cause d'une limite de mémoire de travail.

L'analogie : Pensez à votre cerveau comme à un bureau.
- Pour un problème 3x3, vous pouvez étaler toutes les feuilles de papier sur le bureau et le résoudre.
- Pour un problème 5x5, les feuilles de papier sont trop nombreuses pour le bureau. Vous devez en tenir certaines dans votre main tout en écrivant les autres.
- Le « bureau » des robots est trop petit. Lorsque le problème devient trop grand, ils ne peuvent pas garder toutes les étapes intermédiaires dans leur « main » en même temps. Au lieu d'admettre qu'ils sont submergés, ils se mettent à halluciner.

4. L'hallucination du « rôle d'outil »

L'une des découvertes les plus fascinantes est comment les robots abandonnent.

Lorsque les mathématiques deviennent trop difficiles (à 5x5), les robots font souvent semblant d'utiliser une calculatrice ou un programme informatique qu'ils n'ont pas réellement.
L'analogie : C'est comme un étudiant qui ne connaît pas la réponse à une question difficile, alors il dit : « Eh bien, si j'avais un super-ordinateur, il me dirait que la réponse est 42 », puis il écrit simplement « 42 ».
Le papier appelle cela la « confabulation consciente des contraintes ». Les robots sont assez intelligents pour savoir que la réponse devrait suivre certaines règles (comme la somme des nombres correspondant à une valeur spécifique), alors ils inventent une réponse qui respecte ces règles, même s'ils n'ont pas réellement effectué le travail.

5. Le piège de la « stratégie »

Les chercheurs ont essayé d'aider les robots en les forçant à utiliser une méthode mathématique plus efficace (comme en leur disant : « N'utilisez pas la méthode longue, utilisez la méthode courte ! »).

Le résultat : Cela n'a pas aidé. Même lorsqu'ils étaient forcés d'utiliser la méthode « facile », les robots échouaient toujours.
Pourquoi ? Le problème n'était pas quelle méthode ils utilisaient ; c'était qu'ils ne pouvaient pas garder les étapes dans l'ordre sans perdre le fil. C'est comme dire à un coureur fatigué de faire des pas plus courts ; s'ils sont déjà épuisés, des pas plus courts ne les aideront pas à finir la course.

6. Les trois niveaux de robots

Le papier a classé les 10 modèles d'IA différents en trois groupes en fonction du moment où ils échouaient :

Niveau 1 (Les plus forts) : Ils pouvaient gérer les problèmes mathématiques 5x5 majoritairement correctement, mais même eux commençaient à « abandonner » et à inventer des choses lorsqu'on leur demandait le type de réponse le plus complexe (valeurs propres).
Niveau 2 (Le milieu) : Ils géraient les problèmes moyens correctement mais s'effondraient complètement sur les plus difficiles.
Niveau 3 (Les plus faibles) : Ils commençaient à échouer plus tôt et abandonnaient très rapidement, inventant souvent des réponses même pour des problèmes de taille moyenne.

La conclusion

Le papier conclut que ces modèles d'IA n'échouent pas de manière aléatoire. Leur échec est structurel.

Ils sont excellents pour les petites tâches.
Ils peinent avec les tâches moyennes en raison d'erreurs de calcul.
Ils abandonnent complètement la tâche sur des tâches grandes et complexes et se mettent à inventer des mensonges qui semblent plausibles parce que leur « mémoire de travail » interne s'épuise.

Les auteurs ont publié toutes leurs données et leurs outils afin que d'autres scientifiques puissent étudier cette limite de « mémoire de travail » et tenter de la corriger. Ils ont prouvé que pour ces modèles, faire les mathématiques est plus difficile que de connaître les mathématiques.

Résumé Technique : LinAlg-Bench

Énoncé du Problème

Les évaluations actuelles des modèles de langage de grande taille (LLM) dans le raisonnement mathématique confondent souvent la difficulté avec la nouveauté, ne mesurant que la précision de la réponse finale sans distinguer les déficits de connaissances des échecs d'exécution. Le compte rendu statistique dominant suggère que les modèles échouent en raison de données d'entraînement insuffisantes ou d'un plafond de capacité général. Cet article soutient que l'échec des LLM sous une charge de calcul récursive n'est pas aléatoire mais structurellement contraint. Plus précisément, il postule que les modes d'échec évoluent de manière prévisible en fonction de la famille d'algorithmes et de la dimension de la matrice, passant d'erreurs d'exécution à l'abandon du calcul à un seuil de complexité mesurable. L'algèbre linéaire a été sélectionnée comme terrain d'essai car ses opérations sont algorithmiquement précises, s'échelle naturellement via la dimension de la matrice sans altérer la tâche sous-jacente, et se décompose en une hiérarchie cognitive où chaque niveau ajoute exactement une exigence de calcul.

Méthodologie

Les auteurs introduisent LinAlg-Bench, un benchmark diagnostique conçu pour isoler la profondeur de calcul des connaissances mathématiques.

Jeu de données : Le benchmark comprend 660 problèmes à entrées entières vérifiés par rapport au calcul symbolique SymPy, répartis sur 9 types de tâches et 3 dimensions de matrices ( $3\times3$ , $4\times4$ , $5\times5$ ). Cela résulte en 6 600 sorties de modèles évaluées de manière exhaustive.
Modèles : Dix modèles de pointe ont été évalués en zéro-shot à une température de 0, couvrant des architectures diverses (Dense, MoE), des paradigmes d'entraînement (optimisés pour le raisonnement, RLHF, Hybride) et des fournisseurs (OpenAI, Google, Anthropic, Meta, Alibaba, Mistral, DeepSeek).
Taxonomie Cognitive : Les tâches sont organisées en cinq niveaux cognitifs :
1. Lecture : Extraction pure des entrées (Trace, Transposition).
2. Arithmétique : Calcul parallèle et indépendant (Produit Matrice-Vecteur, Multiplication, Puissance).
3. Séquentiel : Suivi d'état via des opérations sur les lignes (Rang, Nullité).
4. Récursif : Gestion profonde et récursive des signes (Déterminant via développement par cofacteurs).
5. Compositionnel : Construit sur le Déterminant comme sous-routine (Valeurs propres).
Pipeline Forensique : Un pipeline automatisé en trois étapes « LLM-comme-Juge » classe 1 156 réponses incorrectes en dix balises d'erreur principales (par exemple, SIGN_ERROR, HALLUCINATION, MEMORY_LOSS) et quatre extensions spécifiques aux valeurs propres. La classification suit le « principe de la première erreur », balisant la première étape où le calcul diverge de la vérité terrain. Le pipeline a été validé par rapport à 593 étiquettes annotées par des humains, atteignant un accord global de 92,6 %.
Étude d'Ablation : Une étude ciblée a imposé des stratégies algorithmiquement efficaces (élimination de Gauss) à des modèles qui favorisaient naturellement le développement par cofacteurs, afin de tester si le nombre d'opérations ou la profondeur d'exécution constituait le véritable goulot d'étranglement.

Résultats Clés

1. Le Seuil de Fabrication à l'Abandon

La découverte empirique centrale est une transition comportementale nette à l'échelle $4\times4$ .

En dessous du Seuil ( $3\times3$ ) : Les modèles tentent le calcul et échouent au sein de celui-ci. Les échecs sont dominés par des erreurs d'exécution telles que SIGN_ERROR (33,0 %) et ARITHMETIC.
Au-dessus du Seuil ( $5\t5$ ) : Les modèles abandonnent le calcul avant de le tenter. Le mode d'échec dominant se déplace vers HALLUCINATION (47,1 %), spécifiquement Effondrement_Complet, où les modèles fabriquent des réponses par jeu de rôle d'outil (simulant des appels Python/NumPy/WolframAlpha auxquels ils n'ont pas accès) ou par confabulation cohérente avec les contraintes.
Universalité : Cette transition est quasi-universelle à travers tous les niveaux de modèles et architectures, suggérant une limite de mémoire de travail plutôt qu'un déficit de connaissances.

2. Performance par Niveaux et Modes d'Échec

Les modèles se séparent en trois niveaux distincts basés sur leur frontière de performance :

Niveau 1 (par exemple, OpenAI-o1, Gemini-3.0-Pro, DeepSeek-V3) : Maintiennent une précision $\ge74\%$ sur les déterminants $5\times5$ mais convergent vers une précision de valeurs propres proche de zéro. Ils exhibent la transition « fabrication à abandon » mais maintiennent l'exécution récursive plus longtemps.
Niveau 2 (par exemple, GPT-5.2, Mistral-Large) : Résistent partiellement aux charges récursives mais s'effondrent au niveau compositionnel.
Niveau 3 (par exemple, GPT-4o, Llama-3.3-70B, Claude-4.5-Sonnet) : S'effondrent entièrement au niveau récursif (précision des déterminants $5\times5$ $\le12\%$ ).

3. Confabulation Consciente des Contraintes

Lorsque les modèles échouent à calculer les valeurs propres à $5\times5$ , ils ne génèrent pas de nombres arbitraires. Au lieu de cela, ils fabriquent des valeurs qui satisfont des contraintes mathématiques partielles :

45 % des sommes de valeurs propres fabriquées correspondent à la trace de la matrice.
85 % des magnitudes fabriquées respectent la borne de la norme de Frobenius.
Cette « confabulation consciente des contraintes » représente un mode d'hallucination structuré où les modèles exploitent des connaissances partielles pour satisfaire des contraintes de surface tout en échouant au calcul central.

4. Stratégie vs Profondeur d'Exécution

L'étude remet en question l'hypothèse selon laquelle l'efficacité algorithmique (nombre d'opérations) est le principal goulot d'étranglement.

Observation : Dans des conditions zéro-shot naturelles, les modèles rigideement verrouillés sur le développement par cofacteurs ( $O(n!)$ ) s'effondrent plus fréquemment que ceux utilisant l'élimination de Gauss ( $O(n^3)$ ).
Ablation : Lorsque les modèles ont été explicitement forcés d'utiliser l'élimination de Gauss, la précision ne s'est pas rétablie de manière significative (par exemple, Mistral-Large n'est passé qu'à 26,9 % ; les autres sont restés proches de 0 %).
Conclusion : Le goulot d'étranglement n'est pas l'algorithme sélectionné mais la profondeur d'exécution autorégressive. L'élimination de Gauss nécessite une chaîne strictement séquentielle d'arithmétique fractionnée hautement dépendante ; une seule erreur dans une étape précoce se propage de manière irréversible, effondrant le résultat. Le développement par cofacteurs, bien que mathématiquement plus coûteux, consiste en étapes entières parallèles et indépendantes qui sont plus sûres pour les transformateurs à exécuter.

Importance et Revendications

LinAlg-Bench contribue une taxonomie forensique et une découverte empirique falsifiable concernant la nature structurelle de l'échec mathématique des LLM.

Contrainte Structurelle : L'échec des LLM n'est pas aléatoire mais déterminé par la famille d'algorithmes et la dimension de la matrice. La transition de l'erreur d'exécution à l'abandon du calcul est un seuil mesurable cohérent avec une limite de mémoire de travail.
Nouveau Mode d'Échec : L'article documente la confabulation consciente des contraintes et l'effondrement par jeu de rôle d'outil comme des mécanismes d'hallucination distincts et structurés qui surviennent sous une surcharge de calcul, que les benchmarks standard basés sur la précision classeraient à tort comme corrects ou ne détecteraient pas.
Hypothèses Mécanistiques : Les résultats génèrent des hypothèses testables pour l'interprétabilité mécanistique, telles que l'implication de circuits de parité de couches tardives dans les échecs de suivi des signes et la suppression de ces circuits lors d'un effondrement complet.
Méthodologie d'Évaluation : L'article soutient que les benchmarks diagnostiques devraient générer des hypothèses mécanistiques falsifiables plutôt que de simplement produire des classements de leader. Il démontre qu'un benchmark maintenant l'algorithme fixe tout en faisant évoluer la dimension peut isoler la profondeur de calcul des connaissances mathématiques.

Les auteurs déclarent explicitement que le seuil de fabrication à l'abandon et l'explication par la mémoire de travail sont des revendications directement soutenues par les données, invitant à la vérification par des outils d'interprétabilité mécanistique et une réplication inter-domaines. Toutes les données, les sorties de modèles, les étiquettes d'erreur et le pipeline de juge sont publiquement disponibles.