Nonstandard Errors in AI Agents

Cette étude révèle que les agents d'IA de pointe produisent des résultats empiriques divergents en raison de choix analytiques variables, mais que leur exposition à des exemples de référence permet de réduire considérablement cette dispersion, bien que cette convergence repose davantage sur l'imitation que sur une véritable compréhension.

L'essentiel

🍳 Le Grand Défi de la Cuisine Robotique

Imaginez que vous avez un recette très floue (par exemple : "Faites un plat délicieux avec ces légumes") et que vous donnez cette recette à 150 robots chefs (les agents IA) différents. Vous leur donnez exactement les mêmes ingrédients (les données financières du marché boursier) et le même objectif.

La question que se posent les auteurs de cette étude est simple : Est-ce que tous ces robots vont produire exactement le même plat ?

La réponse, selon cette étude, est un grand NON. Et c'est même pire que ce qu'on pensait : les robots ne sont pas d'accord entre eux, tout comme les humains ne le sont pas.

🤖 1. Le Chaos des Choix (Les "Erreurs Non Standard")

Même avec les mêmes ingrédients, les robots font des choix très différents, ce qui change totalement le résultat final. C'est ce qu'ils appellent des "erreurs non standard".

• L'analogie du volume : Imaginez qu'on demande aux robots de mesurer "combien de légumes on a mangé".

  • Le groupe A (les robots "Sonnet") dit : "On a mangé 6 kg de légumes !" (Ils comptent le poids).
  • Le groupe B (les robots "Opus") dit : "Non, on a mangé -5 kg !" (Ils comptent le nombre de pièces, et comme les pièces sont petites, le résultat est négatif).
  • Résultat : Ils ne sont pas d'accord sur la direction même de la tendance ! L'un dit que ça augmente, l'autre dit que ça diminue.

• L'analogie de l'efficacité : Pour savoir si le marché est "efficace", certains robots utilisent une règle (l'autocorrélation) et d'autres une autre règle (le rapport de variance). C'est comme si certains chefs mesuraient la température avec un thermomètre à mercure et d'autres avec un thermomètre infrarouge : les chiffres ne sont pas comparables.

🎨 2. Les Styles de Cuisine (Les "Styles Empiriques")

Ce qui est fascinant, c'est que les robots ne choisissent pas au hasard. Ils ont des personnalités fixes selon leur modèle :

• Les robots "Sonnet" sont des traditionalistes : ils préfèrent les mesures simples, les calculs quotidiens et les méthodes classiques.
• Les robots "Opus" sont des modernes : ils adorent les transformations mathématiques complexes (logarithmes) et les mesures mensuelles.

C'est comme si vous aviez deux écoles de cuisine : l'école "Tradition" qui fait toujours des ragoûts, et l'école "Fusion" qui fait toujours des sushis. Même avec les mêmes légumes, ils ne cuisineront jamais la même chose.

🗣️ 3. Le Jury et les Chefs Célébrés (La Réaction aux Critiques)

Les chercheurs ont fait passer les robots par trois étapes pour voir si on pouvait les mettre d'accord :

1. Cuisson seule : Chaque robot fait son plat. -> Résultat : Grande divergence.
2. Critique des pairs (Le Jury) : Les robots lisent les critiques écrites des autres robots.
   • Ce qui se passe : Ça ne change presque rien ! Les robots font des modifications, mais c'est du chaos. L'un change un peu de sel, l'autre change de four. Le résultat global reste dispersé. C'est comme si un jury disait "c'est trop salé" à l'un et "c'est trop sucré" à l'autre, sans que personne ne s'accorde sur la recette idéale.
3. Voir les plats des champions (Les Meilleurs Plats) : On montre aux robots les 5 meilleurs plats créés par les autres.
   • Ce qui se passe : Magie ! Soudain, presque tous les robots copient le plat des champions.
   • Le problème : Ils ne copient pas parce qu'ils ont compris pourquoi c'est bon. Ils copient aveuglément. Si les champions ont choisi de compter les pièces au lieu du poids, tous les robots passent au comptage de pièces, même si le poids était plus logique pour leur situation.

💡 Pourquoi est-ce important pour nous ?

Cette étude nous donne trois leçons cruciales pour l'avenir :

1. Ne faites jamais confiance à un seul robot : Demander à une seule IA de faire une analyse économique est risqué. Elle pourrait choisir la "mauvaise" règle de mesure par hasard et vous donner un faux résultat.
2. Les robots ne sont pas des oracles : Ils apprennent des humains. Si les humains ne sont pas d'accord sur la meilleure façon de mesurer quelque chose (comme le volume ou l'efficacité), les robots vont aussi ne pas être d'accord. Leur désaccord nous dit en fait : "Attention, cette question est mal définie !"
3. La solution : Le "Multivers" : Au lieu de demander à un seul robot de faire le travail, il faut en lancer des dizaines avec des paramètres différents, regarder toutes les réponses possibles, et dire : "Voici la fourchette de résultats plausibles". C'est la seule façon d'avoir une image fidèle de la réalité.

En résumé : Les robots sont incroyablement intelligents, mais ils sont aussi capables de se tromper de la même manière que les humains, et parfois même de manière plus rigide. Ils ne sont pas des machines à vérité absolue, mais des miroirs de l'incertitude humaine.

Résumé technique

1. Problématique et Contexte

L'utilisation de l'intelligence artificielle (IA) dans la recherche empirique s'accélère, avec des agents capables d'automatiser la collecte de données, le codage, l'estimation statistique et la rédaction de rapports. Cependant, une question fondamentale demeure : si différents agents IA analysent les mêmes données et testent la même hypothèse, produiront-ils les mêmes résultats ?

La littérature existante sur les erreurs humaines (notamment les travaux de Menkveld et al., 2024) a documenté l'existence d'erreurs non standard (NSE) : une incertitude supplémentaire provenant de la variation des choix analytiques entre différents chercheurs (degrés de liberté du chercheur). Cette étude cherche à déterminer si ce phénomène persiste lorsque les chercheurs humains sont remplacés par des agents IA autonomes, qui partagent la même architecture et les mêmes données d'entraînement.

2. Méthodologie Expérimentale

Les auteurs ont conçu une expérience inspirée du projet #fincap de Menkveld et al., mais entièrement automatisée avec des agents IA.

• Agents Déployés : 150 agents de codage autonomes Claude Code (Anthropic) ont été déployés.
  • 100 agents utilisant le modèle Sonnet 4.6.
  • 50 agents utilisant le modèle Opus 4.6.
  • Chaque agent opère dans un conteneur isolé (Singularity) avec accès en lecture seule aux données, sans communication inter-agents.
• Données : Données de transactions et de cotes NYSE TAQ (millisecondes) pour le SPDR S&P 500 ETF (SPY) sur la période 2015–2024 (environ 66 Go, 7 milliards de lignes).
• Hypothèses : Les agents devaient tester six hypothèses sur les tendances de la qualité du marché (efficacité du marché, spread bid-ask, volume, volatilité, impact des prix). Certaines hypothèses étaient abstraites (ex: "efficacité du marché"), laissant le choix de la mesure à l'agent, tandis que d'autres étaient bien définies.
• Protocole en Trois Étapes :
  1. Phase 1 (Analyse Indépendante) : Chaque agent produit un rapport de recherche complet (code, figures, estimations) de manière autonome.
  2. Phase 2 (Revue par les pairs IA) : Les agents reçoivent des critiques écrites anonymes de la part d'évaluateurs IA et révisent leurs rapports.
  3. Phase 3 (Exposition aux Meilleurs Articles) : Les agents sont exposés aux 5 rapports les mieux notés (modèles exemplaires) et effectuent une révision finale.

3. Contributions Clés

Cette étude apporte plusieurs contributions majeures à la littérature sur la fiabilité de l'IA et la science des données :

1. Preuve de l'existence des NSE chez les IA : Elle démontre que les agents IA, même avec la même architecture, produisent des résultats empiriques divergents significatifs.
2. Structure des erreurs IA : Elle identifie que la divergence provient principalement du choix de la mesure (mesure discrète) plutôt que de la méthode d'estimation (paradigme), contrairement aux humains qui divergent aussi sur les paradigmes d'estimation.
3. Styles Empiriques Stables : Elle révèle que différentes familles de modèles (Sonnet vs Opus) développent des préférences méthodologiques systématiques et stables ("styles empiriques").
4. Dynamique de la Convergence : Elle évalue l'efficacité de la revue par les pairs et de l'exposition aux exemplaires pour réduire l'incertitude, montrant des résultats contre-intuitifs.

4. Résultats Principaux

A. Existence et ampleur des erreurs non standard (NSE)

Les agents produisent des estimations d'effets très variables.

• Pour l'hypothèse sur l'efficacité du marché (H1), l'intervalle interquartile (IQR) des estimations est de 2,43 %/an, avec des résultats allant de -0,74 % à +1,7 %.
• Pour le volume de transaction (H4), l'IQR atteint 10,69 %/an. Cette divergence est entièrement due au choix de la mesure : les agents utilisant le volume en dollars trouvent une croissance de ~+6 %/an, tandis que ceux utilisant le volume en actions trouvent une baisse de ~-4,6 %/an.

B. Structure des erreurs : Choix de la mesure vs Paradigme

Contrairement aux chercheurs humains (qui utilisent souvent des changements relatifs ou des différences log), tous les agents IA ont convergé vers une régression linéaire sur une tendance temporelle (OLS).

• Uniformité du paradigme : 100 % des agents utilisent une régression OLS (56 % niveau, 44 % logarithmique).
• Divergence des mesures : L'essentiel de la NSE provient de "fourches" discrètes dans le choix de la mesure (ex: autocorrélation vs ratio de variance, volume en dollars vs actions). Une fois la mesure fixée, les agents s'accordent étroitement (IQR très faible).

C. Styles Empiriques par Modèle

Les modèles Sonnet et Opus montrent des préférences systématiques :

• Sonnet : Privilégie l'autocorrélation (87 %), les régressions de niveau (Level OLS) et la fréquence quotidienne.
• Opus : Choisit universellement le ratio de variance (100 %), préfère les régressions logarithmiques (Log OLS) et utilise plus souvent la fréquence mensuelle.
  Ces préférences sont stables et reflètent des biais méthodologiques encodés dans l'entraînement des modèles.

D. Effets du Feedback (Revue par les pairs vs Exemplaires)

• Revue par les pairs (Phase 2) : A un effet négligeable sur la réduction de la dispersion. L'IQR reste inchangé. Les agents modifient leurs rapports de manière idiosyncrasique (non dirigée), ce qui ne conduit pas à une convergence agrégée.
• Exposition aux meilleurs articles (Phase 3) : Provoque une convergence dramatique (réduction de l'IQR de 80 % à 99 % pour les familles de mesures convergentes).
  • Mécanisme : Les agents imitent les choix des articles exemplaires, soit en affinant leur estimation au sein d'une famille de mesures, soit en migrant vers une nouvelle famille de mesures (ex: 71 % des agents utilisant l'autocorrélation passent au ratio de variance après avoir vu les meilleurs articles).
  • Risque : Pour certaines hypothèses abstraites, l'exposition aux exemplaires peut augmenter la dispersion si les meilleurs articles proposent des mesures contradictoires, ou conduire à une imitation irrationnelle sans justification économique (ex: changement de mesure de volume sans raison analytique).

5. Signification et Implications

• Fiabilité des recherches automatisées : Une seule estimation générée par une IA ne doit pas être considérée comme une vérité absolue. Le choix de la mesure peut inverser les conclusions.
• Limites inférieures de l'erreur humaine : Les NSE observés chez les IA (qui partagent les mêmes données d'entraînement) pourraient constituer une borne inférieure pour les erreurs non standard humaines. Si les IA divergent sur un choix de mesure, c'est que la question de recherche elle-même est ambiguë, et les humains divergeront probablement encore plus.
• Nécessité de l'analyse "Multiverse" : Pour les recherches automatisées, il est crucial d'adopter l'analyse multivers (exécuter l'analyse avec plusieurs définitions de mesures et configurations de modèles) pour capturer l'incertitude inhérente.
• Interprétation de la variabilité IA : La variabilité des agents IA n'est pas nécessairement un défaut, mais un reflet fidèle de l'incertitude méthodologique présente dans la littérature scientifique elle-même. Éliminer cette variabilité par l'alignement (RLHF) pourrait masquer des incertitudes réelles et produire des résultats précis mais trompeurs.

En conclusion, l'article met en garde contre l'utilisation naïve des agents IA pour l'évaluation de politiques ou la recherche empirique sans mécanismes de validation robustes (comme l'analyse multivers), soulignant que l'automatisation ne résout pas l'ambiguïté inhérente à la définition des problèmes de recherche.