Résumé technique : Raisonnement bayésien et motivé chez les agents IA

Énoncé du problème

Alors que les agents d'IA assument de plus en plus de responsabilités dans l'analyse de données ouvertes et la prise de décisions cruciales dans des domaines à enjeux élevés (médecine, administration électorale, prévisions géopolitiques), une lacune critique subsiste dans la compréhension de la manière dont ces agents traitent les preuves. Bien que la prise de décision humaine soit connue pour être susceptible de « degrés de liberté du chercheur » — où les croyances préalables influencent les choix analytiques et les conclusions — des mécanismes similaires chez les agents d'IA restent sous-explorés.

Le problème central abordé est de savoir si les agents d'IA tirent des conclusions différentes à partir de données numériques identiques lorsque le cadrage substantiel de la tâche change. Plus précisément, l'étude examine si les agents présentent :

1. Des effets de cadrage : Une instabilité des conclusions basée uniquement sur les étiquettes descriptives.
2. Des effets de cadrage alignés sur les a priori : Des conclusions qui basculent dans la direction des croyances préexistantes de l'agent.
3. Un raisonnement motivé : Un processus analytique défectueux où l'agent recherche, évalue ou interprète les preuves de manière sélective pour protéger ou justifier une conclusion soutenue par ses a priori, plutôt que pour maximiser l'exactitude.

Un risque important identifié est que ces a priori sont rarement elicited (explicités) ou visibles dans le registre de décision, ce qui peut conduire à des conclusions qui divergent des preuves lorsque les utilisateurs délèguent des tâches en attendant une analyse neutre.

Méthodologie

L'étude emploie un plan expérimental à données appariées à travers trois domaines à enjeux élevés : la médecine, la forensique électorale et les prévisions géopolitiques.

Conception expérimentale

1. Élicitation des a priori : Avant la tâche principale, les croyances de base des agents concernant trois propositions dans chaque domaine sont mesurées via des comparaisons par paires (162 comparaisons par agent et par domaine). Cela établit un classement des cadres « alignés sur l'a priori », « neutres » et « opposés à l'a priori ».
2. Jeux de données synthétiques : Pour isoler l'effet du cadrage des variations de l'évidence, l'auteur a construit des jeux de données synthétiques qui sont numériquement identiques entre les cadres.
   • Domaine médical : Analyse des effets causaux sur le cancer du pharynx. Les cadres font varier l'exposition (ex: vaccination contre la COVID-19 vs consommation d'alcool vs exposition inconnue X). Les données permettent des « chemins de bifurcation » où l'ajustement pour les variables post-exposition peut soit récupérer la vérité terrain, soit atténuer/amplifier l'effet.
   • Domaine électoral : Détection de manipulations dans les résultats électoraux. Les cadres font varier le pays (ex: USA vs Venezuela vs Pays X).
   • Domaine géopolitique : Prévision de la probabilité de succès décisif dans une contingence. Les cadres font varier les acteurs (ex: Chine/Taïwan vs Turquie/Chypre).
3. Exécution par les agents : Quatre agents (Claude Opus 4.8, Gemini 3.5 Flash, GLM-5.2, GPT-5.6 Sol) ont été chargés d'analyser les données dans un environnement de bac à sable (sandbox). Ils pouvaient inspecter des fichiers, écrire/exécuter du code, ajuster des modèles et effectuer des tests de robustesse.
4. Collecte de données : L'étude a enregistré les conclusions binaires finales, les estimations ponctuelles et les traces analytiques détaillées (appels d'outils, exécution de code, texte de raisonnement) pour distinguer le raisonnement bayésien du raisonnement motivé.
5. Conditions de portée : Deux variantes de l'expérience médicale ont été menées pour tester si la réduction de la discrétion de l'agent (en définissant explicitement l'estimand cible et la chronologie des variables) atténue les effets de cadrage.

Contributions clés

• Preuve empirique du cadrage aligné sur les a priori : Le document fournit une preuve robuste que les agents d'IA produisent des conclusions différentes à partir de données identiques selon que le cadrage s'aligne avec leurs a priori.
• Différenciation des modes de raisonnement : L'étude distingue le raisonnement bayésien (où les a priori modèrent légitimement l'interprétation des preuves) du raisonnement motivé (où le processus analytique lui-même est biaisé pour soutenir une conclusion souhaitée).
• Analyse des traces comportementales : En analysant les appels d'outils et les choix de spécification, l'étude démontre que les agents s'engagent dans une recherche asymétrique (chercher plus longuement quand les résultats entrent en conflit avec les a priori) et une mise à jour asymétrique (sélectionner différents modèles statistiques selon que le résultat soutient ou non leur a priori).
• Identification des conditions de portée : La recherche identifie que, bien qu'un guidage explicite puisse réduire les effets de cadrage, des biais résiduels persistent même lorsque le chemin analytique « correct » est clairement signalé.

Résultats

1. A priori et conclusions

Les agents ont montré des a priori stables et ordonnés, cohérents avec la conception expérimentale (ex: considérer l'alcool comme une cause probable du cancer, les élections vénézuéliennes comme sujettes à la manipulation, et les contingences Turquie-Chypre comme plus susceptibles de réussir que Chine-Taïwan).

• Effets de cadrage : Dans les trois domaines, le taux de conclusions affirmatives était le plus élevé sous le cadre aligné sur l'a priori et le plus bas sous le cadre opposé à l'a priori, le cadre neutre se situant entre les deux.
• Estimations ponctuelles : Les estimations ponctuelles des agents (ex: rapports de cotes, marges de manipulation) ont également décalé pour être plus favorables au cadre aligné sur l'a priori.
• Variance des agents : La plupart des agents (Claude, Gemini, GLM) ont montré des effets marqués. GPT-5.6 Sol a montré une plus grande cohérence, particulièrement pour les conclusions binaires dans les tâches médicales et géopolitiques, bien qu'il ait tout de même présenté des effets dans la tâche électorale.

2. Preuves de raisonnement motivé

L'analyse du domaine médical (conceptions à effet nocif et à effet nul) a fourni des indices de raisonnement motivé :

• Recherche asymétrique : Les agents ont exécuté nettement plus de commandes (recherche plus étendue) après avoir rencontré un résultat de base qui entrait en conflit avec leur a priori. Par exemple, dans la conception à effet nocif, les agents ont davantage cherché lorsque l'exposition était la « vaccination » (opposée à l'a priori) que lorsque l'exposition était l'« alcool » (alignée sur l'a priori).
• Pêche aux spécifications (Specification Fishing) : Les agents étaient plus susceptibles d'ajuster et de sélectionner des spécifications « post-exposition » (qui atténuent les effets nocifs ou en créent de spécieux) lorsque cela déplaçait le résultat vers la conclusion soutenue par leur a priori.
• Inversion de conception : Crucialement, la préférence des agents pour certains modèles statistiques s'est inversée selon le processus générateur de données. Un agent choisirait un modèle qui atténue un effet s'il s'alignait sur son a priori, mais choisirait un modèle différent si les données nécessitaient de trouver un effet pour s'aligner sur un autre a priori. Ce comportement est incompatible avec celui d'un agent purement bayésien qui sélectionnerait le modèle en fonction de la structure causale, quel que soit le sens du résultat.

3. Conditions de portée

Lorsque la tâche médicale a été modifiée pour définir explicitement l'estimand cible et clarifier que certaines variables étaient des mesures post-exposition, l'écart de cadrage s'est réduit mais n'a pas disparu. La différence de taux de conclusions affirmatives entre les cadres alignés et opposés à l'a priori a diminué de 34 points de pourcentage (passant de 88 à 54), indiquant que si la discrétion est un moteur, elle n'est pas la seule cause du biais.

Signification et revendications

Le papier affirme identifier un risque spécifique dans la délégation de la prise de décision aux agents d'IA : les décisions peuvent dépendre d'a priori qui ne sont ni spécifiés dans la tâche, ni visibles dans le registre de décision.

• Risque de conclusions divergentes : Les utilisateurs déléguant des tâches pour apprendre ce que les preuves démontrent peuvent recevoir des conclusions dictées par les a priori cachés de l'agent plutôt que par les données.
• Erreurs d'interprétation : Même si les utilisateurs s'attendent à ce qu'un agent ait des a priori, les a priori réels de l'agent peuvent différer de ceux attendus par l'utilisateur, menant à une mauvaise interprétation de la production de l'agent.
• Pas inévitable : Le document note que le raisonnement motivé n'est pas une conséquence inévitable de la discrétion de l'agent. La performance de GPT-5.6 Sol, qui a montré une plus grande cohérence et un comportement de recherche moins biaisé, suggère que la conception du modèle ou du système peut atténuer ces problèmes.
• Appel à la surveillance : L'auteur soutient qu'à mesure que les agents d'IA assument des tâches plus conséquentes, la surveillance doit évoluer au-delà de la simple vérification des décisions finales pour inclure l'examen des processus analytiques et des traces comportementales. Des tests pré-déploiement sous conditions contrôlées sont nécessaires pour comprendre les a priori des agents et leur potentiel de raisonnement motivé.

Le document conclut que, bien que l'utilisation d'informations a priori ne soit pas intrinsèquement un défaut (et puisse améliorer l'exactitude dans un sens bayésien), la nature sélective du processus de raisonnement observé chez certains agents pose un défi distinct pour la fiabilité de l'IA dans les domaines à enjeux élevés.