Ideological Bias in LLMs' Economic Causal Reasoning

1. Problématique

L'article s'interroge sur l'existence d'un biais idéologique systématique dans la capacité des Grands Modèles de Langage (LLM) à raisonner sur les effets causaux en économie. Alors que les LLM sont de plus en plus déployés pour l'analyse de politiques publiques et les rapports économiques, leur fiabilité est cruciale. Le problème central réside dans le fait que de nombreuses interventions économiques (ex. : augmentation du salaire minimum) suscitent des interprétations divergentes selon les cadres idéologiques :

• Perspective interventionniste (pro-gouvernement) : Privilégie l'intervention active pour corriger les défaillances du marché et réduire les inégalités.
• Perspective libérale/marchande (pro-marché) : Privilégie les résultats déterminés par le marché et la responsabilité individuelle.

Les recherches existantes sur les biais des LLM se concentrent souvent sur des opinions exprimées (sondages) ou sur des tâches de logique formelle, négligeant la façon dont les modèles raisonnent sur des faits vérifiables (signes causaux empiriques) dans des domaines où les attentes théoriques sont intrinsèquement contestées.

2. Méthodologie

A. Construction du Jeu de Données (Extension d'EconCausal)

Les auteurs ont étendu le benchmark EconCausal, qui contient 10 490 triplets causaux (Traitement $T$, Résultat $O$, Signe de l'effet $S$) extraits de revues économiques et financières de premier plan.

• Identification des cas contestés : Pour chaque triplet, quatre LLM (GPT, Claude, Qwen, Grok) ont été interrogés pour attribuer un signe attendu selon une perspective interventionniste et une perspective marchande, sans connaître le résultat empirique réel.
• Critère de sélection : Un triplet est classé comme « idéologiquement contesté » si au moins trois des quatre modèles attribuent des signes différents aux deux perspectives.
• Résultat : 1 056 triplets (10,1 % de l'ensemble) ont été identifiés comme contestés. Parmi ceux-ci :
  • 436 (58,1 %) correspondent à la vérité terrain interventionniste.
  • 315 (41,9 %) correspondent à la vérité terrain marchande.
• Validation : Une sous-partie a été validée par deux professeurs d'économie, confirmant la stabilité du processus d'étiquetage (accord inter-évaluateurs de 93,33 %).

B. Évaluation des Modèles

• Modèles testés : 20 LLM de pointe (modèles fermés : GPT, Claude, Gemini, Grok ; modèles ouverts : Llama, Qwen) de différentes tailles.
• Tâche : Prédire le signe causal ($+, -, \text{None}, \text{Mixed}$) étant donné le contexte et la paire $(T, O)$.
• Métriques principales :
  • Précision globale sur les sous-ensembles contestés et non contestés.
  • $\Delta acc$ (Écart de précision) : $Acc_{intervention} - Acc_{marché}$. Mesure l'asymétrie de performance.
  • $B_{dir}$ (Biais directionnel) : Mesure la proportion d'erreurs qui penchent vers l'interventionnisme par rapport au marché.

C. Analyses de Robustesse

• Appariement par difficulté : Pour écarter l'hypothèse que les items « vérité marché » sont intrinsèquement plus difficiles, les auteurs ont apparié les triplets selon une échelle de difficulté (1-5).
• Steering par contexte (In-Context Learning) : Test de l'influence d'exemples de contexte (interventionnistes vs marchands) sur les prédictions.
• Analyse de calibration : Étude de la confiance du modèle face aux différentes orientations.

3. Résultats Clés

A. Difficulté et Asymétrie de Performance

• Difficulté accrue : Les items contestés sont systématiquement plus difficiles que les items non contestés pour tous les modèles (baisse de précision de ~11 à 13 points de pourcentage).
• Biais directionnel massif : Sur 20 modèles, 18 montrent une précision significativement supérieure lorsque la vérité empirique correspond aux attentes interventionnistes.
  • Écart moyen ($\Delta acc$) : +9,7 % pour les modèles fermés et +15,1 % pour les modèles ouverts.
  • Seuls les modèles Claude (Sonnet 4.6, Opus 4.6) montrent une légère préférence inverse.
• Nature des erreurs : Les erreurs ne sont pas aléatoires. Elles sont systématiquement orientées vers l'interventionnisme. La majorité des modèles ont un score $B_{dir}$ positif, indiquant qu'ils commettent plus d'erreurs en faveur de l'interventionnisme que du marché.

B. Hétérogénéité par Sous-domaine

Le biais n'est pas uniforme. Il est particulièrement prononcé dans les domaines politiques sensibles :

• Santé et Redistribution : Écarts de précision les plus élevés (+20,9 % et +18,0 %).
• Fiscalité : Seul domaine montrant une inversion légère du motif.
  Cela suggère que le biais est concentré sur des domaines où l'intervention étatique est un sujet idéologique saillant.

C. Limites du Steering par le Contexte

L'ajout d'exemples en contexte (ICL) pour orienter le modèle vers une idéologie spécifique (ex. : fournir un exemple pro-marché pour un cas de vérité marché) échoue à corriger le biais :

• Sur les cibles de vérité interventionniste, les exemples interventionnistes améliorent la performance, mais les exemples marchands ne la corrigent pas efficacement.
• Sur les cibles de vérité marché, les exemples interventionnistes continuent souvent de dominer, réduisant la précision.
• Calibration : Les exemples de contexte peuvent augmenter la confiance du modèle (métrique de certitude) sans améliorer la précision, voire créer une surconfiance erronée.

D. Origines du Biais

• Pré-entraînement vs Alignement : La comparaison entre les versions de base et les versions instruct (tunées) de modèles Qwen montre que le biais interventionniste existe déjà au stade de base et est souvent amplifié par le fine-tuning (alignement).
• Évolution temporelle : L'analyse par date de publication (Figure 4) suggère que les modèles plus récents tendent à réduire ce biais, mais la tendance reste présente.

4. Contributions Principales

1. Nouveau concept : Introduction des « relations causales contestées idéologiquement » comme nouvelle lentille pour étudier le raisonnement des LLM, au-delà de la simple dépendance au contexte.
2. Benchmark étiqueté : Construction d'un sous-ensemble étiqueté d'EconCausal distinguant les cas contestés des cas non contestés, permettant une évaluation contrôlée.
3. Analyse empirique systématique : Démonstration que les LLM sont non seulement moins précis sur les questions controversées, mais systématiquement moins fiables dans une direction idéologique spécifique (favorisant l'interventionnisme).
4. Nouvelles métriques : Définition de l'écart de précision ($\Delta acc$) et du score de biais directionnel ($B_{dir}$) pour détecter ces asymétries que les benchmarks standards masquent.

5. Signification et Implications

• Risque pour les politiques publiques : L'utilisation de LLM pour l'analyse économique présente un risque de « tilt » invisible. Un modèle peut sembler globalement compétent tout en étant systématiquement biaisé dans ses conclusions sur des sujets controversés, influençant ainsi les décisions politiques de manière asymétrique.
• Limites des métriques actuelles : La précision moyenne globale est une métrique insuffisante. Il est impératif d'évaluer la fiabilité directionnelle des modèles, surtout dans les domaines à fort enjeu politique.
• Détection difficile : Contrairement aux biais d'opinion, ce biais de raisonnement est subtil car les utilisateurs interprètent souvent les prédictions causales comme des faits empiriques objectifs, sans soupçonner qu'elles reflètent des priors idéologiques intégrés lors de l'entraînement.

En conclusion, l'article met en évidence une asymétrie de fiabilité structurelle dans les LLM économiques, soulignant la nécessité d'évaluations « conscientes de la direction » avant leur déploiement dans des workflows d'analyse à haut risque.