Flaws in the LLM Automation Narrative

Résumé Technique : Les failles du récit de l'automatisation par les LLM

Énoncé du problème
Le récit prédominant entourant les modèles de langage étendus (LLM) postule qu'ils performent au niveau d'experts humains sur des tâches de l'économie de la connaissance. Cette affirmation est largement soutenue par des ensembles de données de référence (ex: GDPVal) qui mesurent la proportion de questions correctement répondues. Les auteurs soutiennent que ce paradigme d'évaluation souffre de trois failles critiques qui exagèrent les capacités des LLM :

1. Contamination des benchmarks : Une haute performance résulte souvent du fait que les LLM ont déjà rencontré les questions et les réponses des benchmarks dans leurs données d'entraînement, plutôt que de démontrer une intelligence générale.
2. Stochasticité ignorée : Les benchmarks standards mesurent rarement la variance des réponses. La capacité d'un LLM à produire une sortie correcte dans une instance donnée ne garantit pas la cohérence dans les instantiations futures.
3. Métriques de performance binaires : Les évaluations actuelles se concentrent sur la précision (correct/incorrect) tout en ignorant la magnitude des erreurs. Dans des contextes à enjeux élevés (ex: codage, finance), une erreur catastrophique (ex: supprimer une base de données) est bien plus conséquente qu'une erreur mineure, pourtant les métriques actuelles ne parviennent pas à saisir cette distinction.

Ces limitations contribuent à une divergence où les LLM performent bien sur les benchmarks mais échouent dans les déploiements réels, générant souvent un retour sur investissement nul.

Méthodologie
Pour remédier à ces failles, les auteurs ont conçu une nouvelle tâche de benchmarking basée sur la compétition de données de l'American Causal Inference Conference (ACIC) 2016. Ce cadre a été choisi car :

• Il implique l'écriture de code informatique exécutable pour analyser 7 700 ensembles de données uniques, réduisant le risque de contamination des données d'entraînement (car les ensembles de données spécifiques et le code n'étaient pas publics).
• Il inclut une « vérité terrain » (effets de traitement simulés) permettant une mesure précise de l'erreur.
• Il fournit un groupe de comparaison naturel composé de statisticiens de niveau doctorat (PhD).

Conception expérimentale :

• Modèle : L'étude a évalué ChatGPT Codex 5.2, sélectionné parce qu'OpenAI affirme explicitement que ses modèles possèdent une expertise de niveau doctorat.
• Tâche : Le modèle a été sollicité avec les mêmes instructions détaillées données aux participants humains en 2016 pour générer un script exécutable unique capable d'analyser l'ensemble des 7 700 ensembles de données.
• Procédure : Les auteurs ont généré 20 scripts exécutables indépendants à partir du LLM. Chaque script a été exécuté contre l'ensemble du jeu de données.
• Métriques : Contrairement aux benchmarks binaires, l'étude a utilisé des métriques continues pour mesurer la magnitude de l'erreur et la variance :
  • Erreur Quadratique Moyenne (RMSE) : Mesure la magnitude moyenne des erreurs.
  • Biais Standardisé : Mesure la direction et la cohérence de la surestimation ou de la sous-estimation.
  • Couverture d'Intervalle : La proportion d'intervalles d'incertitude à 95 % contenant la valeur réelle.
  • Longueur d'Intervalle : La largeur des intervalles d'incertitude (normalisée par l'écart-type de la variable de résultat).

Résultats Clés

1. Taux d'échec catastrophique : Sur les 20 scripts générés, 3 (15 %) n'ont pas pu s'exécuter en raison d'erreurs de codage. Parmi les 17 qui ont fonctionné, 5 ont produit des erreurs « catastrophiquement larges ». Par exemple, deux scripts présentaient des valeurs RMSE dépassant 100 milliards d'écarts-types de la variable de résultat.
2. Performance moyenne inférieure : La majorité des soumissions de LLM ont performé de manière nettement moins bonne que les experts humains (niveau PhD). Bien qu'un sous-ensemble de 8 soumissions de LLM (celles utilisant les forêts causales via le package R grf) ait atteint un RMSE et un biais comparables à des performeurs humains de niveau intermédiaire, aucune soumission de LLM n'a égalé les meilleurs performeurs humains.
3. Variance extrême : La découverte la plus significative est la disparité en matière de cohérence.
   • Experts Humains : Ont montré une faible variance (Écart-type du RMSE ≈ 0,029).
   • LLM (ChatGPT Codex 5.2) : A montré une variance astronomique (Écart-type du RMSE ≈ 58 milliards). Même après avoir supprimé les pires valeurs aberrantes, la variance du LLM restait de plusieurs ordres de grandeur supérieure à celle des humains.
4. Erreurs d'implémentation : Les LLM tentant d'implémenter des méthodes statistiques complexes (comme l'Inverse Propensity Treatment Weighting) à partir de zéro ont systématiquement échoué en raison d'erreurs conceptuelles. La performance s'est améliorée uniquement lorsque le LLM utilisait des packages R existants et robustes (ex: grf) qui font abstraction des détails complexes d'implémentation.
5. Quantification de l'incertitude : Les soumissions de LLM ont systématiquement « sous-couvert » (n'ont pas inclus la valeur réelle dans 95 % des intervalles) et ont produit des longueurs d'intervalle souvent des milliards de fois plus larges que nécessaire, indiquant un échec de la quantification de l'incertitude.

Contributions Clés

• Nouvelle approche de benchmarking : L'étude introduit un benchmark qui mesure explicitement la magnitude de l'erreur et la variance de la réponse, allant au-delà de la simple précision.
• Preuve empirique contre la parité avec les « experts » : Les résultats fournissent une preuve directe que, dans une tâche complexe d'analyse de données, les LLM de pointe ne performent pas de manière cohérente au niveau des experts humains (PhD).
• Identification des risques de fiabilité : L'article souligne que le risque principal des LLM n'est pas un manque de capacité, mais un manque de cohérence et de fiabilité. La fréquence des erreurs catastrophiques les rend inaptes aux flux de travail automatisés sans une supervision humaine rigoureuse.

Signification et Revendications
Les auteurs affirment que leurs conclusions remettent en question le « récit de l'automatisation par les LLM » qui suggère que les LLM sont prêts à remplacer les experts humains. Ils soutiennent que :

• Les paradigmes de benchmarking actuels sont insuffisants car ils ignorent la magnitude des erreurs et la nature stochastique des sorties des LLM.
• La divergence observée entre les scores élevés aux benchmarks et la faible performance dans le déploiement industriel s'explique par le défaut de mesure de la variance et de la propension aux erreurs catastrophiques.
• Bien que les LLM puissent produire des résultats compétitifs lorsqu'ils sont guidés par des outils robustes (comme des packages R spécifiques), ils peinent à implémenter des méthodes statistiques complexes à partir de zéro.
• La variance élevée et la propension aux erreurs catastrophiques suggèrent que les LLM ne peuvent pas encore être déployés de manière fiable comme substituts aux experts humains dans des domaines à enjeux élevés sans une intervention humaine significative.

L'article conclut que la compréhension et la documentation de cette variabilité sont essentielles pour évaluer les risques sociétaux du déploiement des LLM, car l'accent actuel mis sur la « précision moyenne » occulte la réalité des résultats peu fiables et potentiellement dangereux.