Large Language Models are Algorithmically Blind

Cette étude révèle que les grands modèles de langage souffrent d'une « cécité algorithmique » fondamentale, échouant systématiquement à raisonner correctement sur les processus computationnels malgré leurs vastes connaissances déclaratives.

L'essentiel

🕵️‍♂️ Le Titre : "Les IA sont aveugles aux algorithmes"

Imaginez que vous avez un super-intellectuel (un Grand Modèle de Langage, ou LLM) qui a lu tous les livres du monde. Il connaît par cœur les recettes de cuisine, l'histoire de Rome et la théorie de la relativité. Il peut même vous expliquer, avec des mots très précis, comment fonctionne un moteur de voiture.

Mais, selon cette étude, si vous lui demandez : "Si je mets ce moteur dans cette voiture précise, avec ce type de route et ce carburant, combien de kilomètres va-t-il faire avant de tomber en panne ?", il va échouer lamentablement.

C'est ce que les chercheurs appellent "l'aveugle algorithmique". L'IA a la théorie, mais elle est incapable de prédire la réalité pratique.

---

🧪 L'Expérience : Le Test de Vérité

Pour vérifier cela, les chercheurs (de l'Inde) ont organisé un grand test, un peu comme un examen de conduite pour les IA.

1. Le Terrain de Jeu : Ils ont utilisé un domaine complexe appelé la "découverte causale" (trouver les liens de cause à effet dans des données, comme comprendre pourquoi une maladie survient).
2. Les Joueurs : Ils ont pris 8 IA de pointe (les plus intelligentes du moment, comme GPT-5, Claude, Gemini, etc.).
3. La Tâche : On a donné à chaque IA une description d'un problème et d'un algorithme (une méthode de calcul). On leur a demandé de prédire une fourchette de résultats (par exemple : "La précision sera entre 60 % et 90 %").
4. La Réalité (Le "Ground Truth") : Pendant ce temps, les chercheurs ont fait tourner les vrais algorithmes sur des ordinateurs, 100 fois chacun, pour obtenir le résultat réel et exact.

📉 Le Résultat : Un Échec Total

Le résultat est sans appel et très surprenant :

• Les IA sont "aveugles" : Dans 84 % des cas, la fourchette de prédiction donnée par l'IA ne contenait même pas le vrai résultat. C'est comme si un météorologue prédisait qu'il pleuvra entre 10h et 14h, alors qu'il pleut à 16h.
• Elles sont pires que le hasard : Si vous fermiez les yeux et tiriez un nombre au hasard, vous auriez de meilleures chances de tomber juste que d'utiliser ces IA. Sept IA sur huit ont fait pire que le hasard !
• Elles sont trop confiantes (mais fausses) : Les IA donnaient des fourchettes énormes (par exemple, "La précision sera entre 1 % et 99 %"). C'est une fourchette si large qu'elle devrait presque toujours être juste. Pourtant, même avec ces fourchettes gigantesques, elles rataient le vrai résultat la plupart du temps. C'est comme si un tireur visait un mur entier mais manquait quand même la cible.

🧠 Pourquoi ça rate ? La Mémoire vs La Compréhension

C'est ici que l'analogie devient intéressante. Pourquoi une IA si intelligente fait-elle une erreur aussi bête ?

Les chercheurs ont découvert que les IA ne comprennent pas comment fonctionnent les algorithmes. Elles font de la mémoire.

• L'analogie du "Par cœur" : Imaginez un étudiant qui a appris par cœur les réponses d'un examen de l'année dernière.
  • Si vous lui posez la même question (un problème connu, comme le jeu "Sachs" ou "Asia" qui apparaissent souvent dans les livres), il donne une réponse correcte (ou presque).
  • Mais si vous lui posez une question légèrement différente (un nouveau problème synthétique qu'il n'a jamais vu), il panique. Il essaie de deviner en se basant sur des souvenirs flous, et il se trompe complètement.

L'étude montre que les IA réussissent un peu mieux sur les problèmes qu'elles ont "lus" dans leurs données d'entraînement, mais dès qu'elles doivent appliquer leur logique à une situation nouvelle, elles s'effondrent. Elles ne savent pas raisonner, elles savent seulement rappeler.

💡 La Leçon pour nous, humains

Cette étude nous donne un avertissement important pour l'avenir :

1. Ne faites pas confiance aux IA pour choisir des outils techniques : Si vous demandez à une IA "Quel algorithme est le meilleur pour mon projet ?", elle va probablement vous donner une réponse qui sonne bien mais qui est fausse.
2. Elles ne savent pas gérer l'incertitude : Les IA pensent qu'elles savent, mais elles ne savent pas combien elles ne savent pas. Elles sont dangereusement confiantes dans leurs erreurs.
3. La différence entre "Savoir dire" et "Savoir faire" : Une IA peut vous expliquer la théorie de la gravité, mais elle ne peut pas prédire si votre fusée va exploser au décollage.

En résumé

Ces géants de l'intelligence artificielle sont comme des encyclopédistes brillants mais aveugles. Ils peuvent décrire le monde avec des mots magnifiques, mais ils sont incapables de prédire comment ce monde va se comporter dans la réalité. Pour l'instant, pour les tâches techniques et mathématiques précises, l'humain (ou le test réel) reste bien meilleur que l'IA.

Résumé technique

Titre : Large Language Models are Algorithmically Blind

Auteurs : Sohan Venkatesh, Ashish Mahendran Kurapath, Tejas Melkote (Manipal Institute of Technology, Inde)
Domaine : Intelligence Artificielle, Évaluation des LLM, Découverte Causale

---

1. Problématique

Les Grands Modèles de Langage (LLM) démontrent une vaste connaissance déclarative, mais leur capacité à raisonner sur les processus computationnels et à prédire les performances d'algorithmes reste mal comprise.

• Question centrale : Les LLM peuvent-ils prédire de manière calibrée comment un algorithme (ici, de découverte causale) se comportera sur une instance de problème donnée ?
• Enjeu : Si les LLM pouvaient fournir des estimations d'incertitude calibrées, ils pourraient servir de sélecteurs d'algorithmes « zero-shot », réduisant le besoin d'évaluations empiriques coûteuses.
• Hypothèse de travail : Les LLM pourraient simplement faire du « pattern matching » sur des textes d'entraînement plutôt que d'effectuer un raisonnement algorithmique réel.

2. Méthodologie

Les auteurs ont conçu une évaluation rigoureuse utilisant la découverte causale comme banc d'essai, car elle offre des métriques objectives, des algorithmes diversifiés et des benchmarks standardisés.

A. Configuration Expérimentale

• Données (Ground Truth) :

  • 13 jeux de données : 9 benchmarks classiques (ex: Sachs, Asia, Alarm) et 4 jeux de données synthétiques générés à partir de DAGs aléatoires (pour tester la généralisation hors distribution).
  • 4 algorithmes de découverte causale : PC, FCI, LiNGAM, NOTEARS.
  • 4 métriques d'évaluation : Précision, Rappel, F1, et Distance de Hamming Structurelle (SHD).
  • Exécution : Chaque algorithme a été exécuté 100 fois avec rééchantillonnage bootstrap par condition (13 datasets × 4 algo = 52 conditions), générant 5 200 exécutions au total pour établir la vérité terrain (moyenne empirique et intervalles de confiance à 95 %).

• Modèles Évalués :

  • 8 LLMs de pointe (frontier models) : Claude-Opus-4.6, GPT-5.2, DeepSeek-V3.2, DeepSeek-R1, Qwen3, Gemini-3, LLaMA-3.3, Qwen2.5.

• Protocole de Prompting :

  • Pour chaque condition, les modèles ont reçu 3 formulations de prompts différentes (directe, avec raisonnement étape par étape, et focalisée sur l'incertitude).
  • Tâche : Prédire les plages de valeurs (intervalles) pour les 4 métriques avant l'exécution de l'algorithme.

• Métrique d'Évaluation Principale :

  • Couverture Calibrée (Calibrated Coverage) : La fraction des cas où l'intervalle prédit par le LLM contient la vraie moyenne algorithmique. Une couverture idéale pour un intervalle de confiance à 95 % devrait être proche de 95 %.

3. Contributions Clés

1. Banc d'essai rigoureux : Établissement de la découverte causale comme test standard pour évaluer le raisonnement algorithmique des LLM, combinant diversité algorithmique et métriques standardisées.
2. Étude de calibration à grande échelle : Première étude comparant 8 modèles, 13 datasets, 4 algorithmes et 4 métriques contre une vérité terrain issue de 5 200 exécutions.
3. Découverte de l'« Aveugle Algorithmique » : Démonstration que les LLMs échouent systématiquement à former des attentes calibrées basées uniquement sur la structure du problème.
4. Preuve de mémorisation vs raisonnement : Démonstration que la performance marginale au-dessus du hasard est due à la mémorisation de statistiques de benchmarks plutôt qu'à une compréhension algorithmique.

4. Résultats Principaux

A. Échec Systématique de la Calibration

• Couverture globale : Les LLMs atteignent une couverture calibrée moyenne de 15,9 % (contre une attente théorique de 95 % ou même un hasard de 36,5 %).
• Performance inférieure au hasard : 7 modèles sur 8 performent moins bien qu'un devin aléatoire (baseline à 36,5 %).
• Le meilleur modèle (Claude) : Atteint 39,4 %, soit un léger avantage par rapport au hasard, mais ce résultat est attribué à la mémorisation de statistiques spécifiques aux benchmarks plutôt qu'à un raisonnement supérieur.

B. Largeur des Intervalles et Mauvaise Calibration

• Les intervalles prédits par les LLMs sont 8 à 27 fois plus larges que les vrais intervalles de confiance algorithmiques.
• Malgré cette largeur excessive (qui devrait théoriquement augmenter la couverture), les LLMs manquent encore la vraie moyenne dans la majorité des cas. Cela indique une croyance mal calibrée (miscalibration) et non une prudence conservatrice.

C. Preuves de Mémorisation (Memorization)

Les auteurs identifient trois signaux comportementaux prouvant que les LLMs ne raisonnent pas mais récupèrent des données mémorisées :

1. Dissociation Algorithme × Métrique : Les modèles réussissent mieux sur certaines métriques (ex: SHD pour NOTEARS) uniquement parce que ces statistiques spécifiques sont fréquentes dans la littérature d'entraînement, alors qu'ils échouent sur des métriques similaires pour d'autres algorithmes moins documentés.
2. Effondrement sur les données synthétiques :
   • La couverture chute de 17,7 % (benchmarks) à 11,7 % (synthétiques).
   • Sur les réseaux synthétiques plus grands (60 nœuds), la couverture s'effondre à 6,2 %.
   • Cas spécifique LiNGAM : Ce modèle, très documenté dans les benchmarks, voit sa performance s'effondrer totalement (-23,2 %) sur les données synthétiques, tandis que NOTEARS (moins documenté) reste stable. Cela prouve que la performance dépend de l'exposition aux données d'entraînement, et non de la difficulté algorithmique intrinsèque.
3. Compression de la largeur des intervalles : Les LLMs produisent des intervalles beaucoup plus étroits pour les benchmarks connus (qu'ils ont mémorisés) que pour les données synthétiques inconnues.

D. Instabilité des Prompts

• La sensibilité aux formulations de prompts (Coefficient de Variation élevé) indique une instabilité fondamentale dans les croyances des modèles concernant les performances algorithmiques. Un véritable raisonnement serait robuste face à de légères variations de formulation.

5. Signification et Conclusion

• Définition de l'« Aveugle Algorithmique » : Les auteurs définissent ce terme comme l'incapacité d'un modèle à traduire sa connaissance déclarative des hypothèses algorithmiques en attentes calibrées sur la performance empirique, basées uniquement sur la structure du problème.
• Implications Pratiques :
  • Les LLMs ne doivent pas être utilisés comme sélecteurs d'algorithmes « zero-shot » ou estimateurs d'incertitude calibrés pour la découverte causale.
  • Les recommandations actuelles manquent de validité quantitative et sont souvent pires que des heuristiques simples ou des tirages aléatoires.
• Limites des interventions actuelles : L'ajout de connaissances (RAG) ou l'amélioration du raisonnement (Chain-of-Thought) ne résoudra pas ce problème fondamental, car il ne s'agit pas d'un manque de faits, mais de l'absence d'un modèle de performance structuré reliant les hypothèses algorithmiques aux propriétés des jeux de données.
• Avenir : Il est nécessaire d'évaluer empiriquement les performances avant de déployer des LLMs pour la sélection d'algorithmes dans n'importe quel domaine computationnel.

En résumé, l'article démontre que malgré leur apparence de raisonnement, les LLMs actuels échouent à prédire les performances algorithmiques de manière fiable, révélant une limite fondamentale entre la connaissance textuelle et la compréhension procédurale des systèmes computationnels.