Evaluating Bivariate Causal Statements Based on Mutual Compatibility

Résumé Technique : Évaluation des Énoncés Causaux Bivariés Basée sur la Compatibilité Mutuelle

Énoncé du Problème
Dans de nombreux domaines réels tels que la médecine et l'économie, établir une vérité de terrain causale par l'expérimentation est souvent irréalisable ou excessivement coûteux. Par conséquent, l'inférence causale repose fortement sur l'expertise humaine ou, de plus en plus, sur les résultats issus des Grands Modèles de Langage (LLM). Ces sources fournissent généralement des énoncés causaux bivariés (relations de cause à effet par paires) plutôt que des graphes causaux multivariés complets. Bien que les humains et les LLM trouvent plus facile d'évaluer des relations par paires, l'agrégation de ces énoncés en un modèle global cohérent est un défi. Les méthodes existantes pour évaluer les affirmations causales sans vérité de terrain reposent souvent sur la cohérence avec les données ou sur des algorithmes de découverte spécifiques. Cet article traite de la question fondamentale de savoir comment évaluer la fiabilité de collections d'énoncés causaux bivariés lorsqu'aucune vérité de terrain n'est disponible, spécifiquement en évaluant leur compatibilité mutuelle.

Méthodologie
Les auteurs proposent deux cadres distincts pour évaluer les énoncés causaux bivariés, selon la nature de l'information fournie : quantitative (coefficients linéaires) ou qualitative (existence/direction graphique).

1. Compatibilité pour les Énoncés Causaux Bivariés Linéaires
Cette approche cible les énoncés quantifiant les effets causaux totaux par paires via des coefficients linéaires ($\alpha_{ij}$).

• Fondement Théorique : Les auteurs démontrent que pour toute liste acyclique d'énoncés bivariés linéaires, il existe un Modèle d'Équations Structurelles (SEM) linéaire multivarié unique dont les marginales par paires correspondent exactement aux énoncés donnés. Puisqu'un modèle unique existe toujours, les contraintes de compatibilité "strictes" traditionnelles (au-delà de l'acyclicité) ne s'appliquent pas.
• Le Postulat de Confusion : Pour évaluer la plausibilité, les auteurs introduisent un postulat : un modèle causal multivarié générique ne devrait pas présenter plus de confusion que ses modèles marginaux bivariés. L'intuition est que la marginalisation d'un modèle multivarié réduit les voies causales observées, augmentant ainsi la confusion inobservée dans les marginales. Si le modèle multivarié induit nécessite moins de confusion que les marginales pour expliquer les données, cela implique une annulation spécifique et peu probable des voies causales (violant le postulat).
• Mécanisme de Notation :
  • Mesure de Confusion : Ils définissent un score de confusion basé sur le résidu au carré des covariances non expliquées par les chemins causaux observés. Pour un modèle bivarié, il s'agit de $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$. Pour le modèle multivariat, il s'agit du résidu au carré après avoir pris en compte tous les chemins dirigés et tous les chemins de type "back-door" entièrement observés.
  • Score de Compatibilité : Le score est défini comme la somme, sur toutes les paires, de la différence entre la confusion bivariée et la confusion multivariée :
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • Interprétation : Un score négatif indique une violation du postulat de confusion, servant de preuve pour falsifier les énoncés. Un score positif ne garantit pas l'exactitude mais indique que les énoncés induisent un modèle plausible.
• Garanties Théoriques : L'article prouve que pour des modèles causaux aléatoires satisfaisant l'absence de biais et l'indépendance des mécanismes, l'espérance du score de compatibilité est positive. Il fournit également des bornes de concentration en échantillon fini montrant que les estimations empiriques du score convergent vers le score réel avec une complexité d'échantillonnage polynomiale.

2. Incompatibilité pour les Énoncés Causaux Bivariés Graphiques
Cette approche cible les énoncés qualitatifs indiquant la présence/absence d'effets causaux et de confusion, modélisés comme des Graphes Mixtes Dirigés Acycliques (ADMG).

• Compatibilité Graphique : Sous l'hypothèse de fidélité (faithfulness), une collection d'ADMG bivariés est compatible si et seulement si ils sont les marginalisations d'un seul ADMG global. Cela nécessite trois conditions :
  1. La partie dirigée du graphe d'union est acyclique.
  2. La partie dirigée est transitivement close.
  3. Si un chemin de confusion existe entre deux nœuds, un arc bidirectionnel doit exister entre eux.
• Score d'Incompatibilité : Étant donné que trouver le graphe le plus proche compatible est un problème NP-difficile (lié au problème de l'édition de transitivité acyclique), les auteurs proposent un algorithme heuristique pour approximer le nombre minimum de modifications d'arêtes (ajouts/suppressions) nécessaires pour satisfaire les trois conditions. Le score est la somme des modifications nécessaires pour :
  1. Briser les cycles (Ensemble d'arcs de rétroaction).
  2. Imposer la clôture transitive.
  3. Imposer la propriété de clôture des chemins de confusion.
• Propriétés : Le score heuristique est une borne supérieure sur la véritable incompatibilité. Si le score est de zéro, les énoncés sont parfaitement compatibles ; s'il est élevé, cela indique une incohérence significative.

Résultats Clés

• Expériences Synthétiques :
  • Cas Linéaire : Le score de compatibilité distingue avec succès les énoncés corrects des incorrects. À mesure que du bruit (erreur) est ajouté aux coefficients de vérité de terrain, la fraction d'énoncés ayant des scores positifs diminue. Le score est robuste aux variables cachées et s'améliore avec le nombre de variables observées et la densité du modèle.
  • Cas Graphique : Le score d'incompatibilité augmente de manière monotone avec le nombre d'erreurs injectées dans les graphes synthétiques. Pour les graphes creux, il approxime étroitement le nombre réel d'erreurs ; pour les graphes denses, il sert de borne supérieure fiable.
• Évaluation par LLM :
  • Les auteurs ont appliqué ces méthodes à des affirmations causales générées par divers LLM (ex: Claude, GPT, Gemma, Qwen) concernant des indicateurs socio-économiques (densité de population, taux d'alphabétisation, revenu, etc.).
  • Résultats Linéaires : Les scores de compatibilité varient considérablement selon les modèles, les modèles à plus grande capacité obtenant généralement des scores plus élevés (plus plausibles). De nombreux LLM ont reçu des scores négatifs, indiquant que leurs énoncés générés étaient internes et incohérents.
  • Résultats Graphiques : La plupart des sorties de LLM ont entraîné des scores d'incompatibilité non nuls. Curieusement, certains modèles à faible score ont produit des graphes extrêmement denses (affirmant une confusion partout), ce qui satisfait trivialement les conditions de compatibilité mais manque d'informativité. En filtrant pour les graphes informatifs (densité d'arêtes plus faible), une corrélation est apparue entre des scores d'incompatibilité plus faibles et une plus grande capacité de modèle.

Signification et Revendications
L'article affirme fournir une méthode fondamentale pour évaluer la fiabilité de l'information causale dérivée d'experts humains ou de l'IA en l'absence de vérité de terrain.

• Falsification vs Vérification : Les auteurs soulignent que leurs méthodes sont principalement des outils de falsification. Un score de compatibilité négatif ou un score d'incompatibilité élevé fournit une preuve que l'ensemble des énoncés est incorrect ou incohérent. Un score positif ne prouve pas l'exactitude mais indique que les énoncés passent un "test de cohérence" concernant la plausibilité mutuelle.
• Indépendance vis-à-vis de la Fidélité (Cas Linéaire) : Une contribution clé est la capacité du cadre linéaire à évaluer les énoncés sans dépendre de l'hypothèse de fidélité, qui est souvent violée en pratique.
• Application Pratique : Ce travail démontre que ces métriques peuvent différencier la qualité du raisonnement causal de différents LLM, suggérant une utilité pour le filtrage post-entraînement, les pipelines de validation ou l'évaluation automatisée des affirmations causales générées par l'IA.

Les auteurs restent modestes, notant qu'un score élevé ne garantit pas la vérité et que les travaux futurs pourraient étendre ces cadres à des listes d'énoncés incomplètes ou incorporer des énoncés sur de petits sous-ensembles de variables.