NoisyCausal: A Benchmark for Evaluating Causal Reasoning Under Structured Noise

Résumé Technique : NoisyCausal

Énoncé du Problème
Le raisonnement causal en langage naturel nécessite l'identification de variables, la compréhension de leurs interactions et le raisonnement sur les effets et les interventions, souvent dans des conditions de bruit ou d'ambiguïté. Bien que les grands modèles de langage (LLM) démontrent de solides capacités de raisonnement général, ils éprouvent fréquemment des difficultés à distinguer la corrélation de la causalité, en particulier lorsque les observations sont partiellement incorrectes ou contiennent des informations non pertinentes. Les benchmarks existants (par exemple, COPA, CausalQA, Cladder) reposent principalement sur des scénarios propres et idéalisés présentant des structures causales simples ou implicites. Ces jeux de données échouent souvent à refléter les conditions réelles où les données sont bruyantes, incomplètes ou confondues par des variables spuriaires. Par conséquent, les modèles actuels réussissent souvent par correspondance de motifs ou heuristiques superficielles plutôt que par une véritable compréhension causale, limitant ainsi leur robustesse et leur interprétabilité.

Méthodologie
L'article introduit NoisyCausal, un benchmark synthétique conçu pour évaluer le raisonnement causal sous un bruit structuré, ainsi qu'un cadre de raisonnement modulaire guidé par un graphe.

1. Construction du Benchmark NoisyCausal :

   • Pipeline : Le jeu de données est généré via un pipeline en cinq étapes : (1) échantillonnage d'un graphe acyclique dirigé (DAG) avec des motifs topologiques divers (chaînes, fourches, collideurs) ; (2) ancrage sémantique par l'attribution d'étiquettes du monde réel (par exemple, médicament, infection) et de métadonnées ; (3) échantillonnage des valeurs des variables à partir d'un Modèle Causal Structurel (SCM) pour assurer la cohérence causale ; (4) injection de bruit structuré ; et (5) assemblage de questions en langage naturel.
   • Types de Bruit : Le benchmark introduit six catégories de bruit contrôlables pour simuler les imperfections du monde réel :
     • Perturbation de Valeur (VP) : Inversion des valeurs des variables.
     • Injection de Variables Non Pertinentes (IV) : Ajout de variables spuriaires non causales.
     • Masquage Partiel (PM) : Cachage des valeurs des variables observées.
     • Échange Causal (CS) : Échange des valeurs des nœuds liés pour briser la logique conditionnelle.
     • Confounders Latents (CI) : Simulation de variables cachées influençant plusieurs nœuds.
     • Perturbation de Question (QP) : Modification des questions pour les faire contredire le SCM sous-jacent.
   • Échelle : Le jeu de données contient 10 617 paires question-réponse couvrant diverses combinaisons de bruit et niveaux de difficulté.

2. Cadre de Raisonnement Guidé par Graphe :

   • Au lieu d'une inférence boîte noire de bout en bout, la méthode proposée décompose le raisonnement en trois étapes :
     1. Extraction de Variables : Le LLM identifie les entités clés et les facteurs latents à partir du contexte.
     2. Construction de Graphe Causal : Le LLM construit un DAG spécifique à la tâche, prédit la directionnalité causale entre les paires de variables.
     3. Inférence Structurée : Le contexte de fond, les valeurs observées et le graphe construit sont formatés en un prompt structuré. Le LLM effectue ensuite une inférence ancrée dans cette structure symbolique explicite plutôt que de se fier uniquement aux motifs statistiques.

Contributions Clés

• Benchmark NoisyCausal : Une nouvelle suite d'évaluation présentant des graphes causaux explicites, des scénarios en langage naturel et un bruit structuré contrôlable, conçue pour tester la robustesse face aux distracteurs, aux confondants et à l'observabilité partielle.
• Cadre Modulaire : Une architecture de raisonnement qui intègre les LLM avec des abstractions causales explicites. Elle utilise le graphe causal comme intermédiaire interprétable pour guider le LLM, séparant l'extraction de structure de l'inférence.
• Validation Empirique : Démonstration que la combinaison de la structure causale avec le raisonnement des LLM améliore significativement les performances et la robustesse par rapport aux bases de référence standard de type prompting et Chaîne de Pensée (CoT).

Résultats Expérimentaux

• Performance sur NoisyCausal : La méthode guidée par graphe a atteint une précision de 80,7 % sur des données propres, surpassant GPT-4 (62,8 %) et Causal CoT (73,4 %). Sous bruit structuré, la méthode proposée a maintenu une stabilité élevée (par exemple, 77,3 % sur Perturbation de Valeur, 73,5 % sur Confondants Latents), tandis que les LLM standards et les bases de référence CoT ont montré une dégradation significative (par exemple, GPT-3.5 est tombé à 43,8 % sur Perturbation de Question).
• Généralisation : Le modèle s'est généralisé au benchmark externe Cladder sans ajustement spécifique à la tâche, atteignant une précision de 82,3 %, surpassant toutes les bases de référence.
• Études d'Ablation :
  • Le retrait du graphe causal ou l'utilisation d'un graphe réorienté aléatoirement a provoqué des baisses de performance significatives (environ 15–20 %), confirmant la nécessité d'une guidance structurelle correcte.
  • Les performances ont décliné de manière gracieuse à mesure que les types de bruit étaient combinés, passant de 73,47 % (1 type de bruit) à 57,98 % (les 6 types de bruit).
  • Le cadre s'est révélé plus sensible à une directionnalité causale incorrecte (Inversion de Direction) qu'à la suppression d'arêtes.
• Découverte de Structure : GPT-4 a obtenu des scores F1 élevés (>85 %) dans l'extraction de graphes causaux à partir de texte propre, bien que les performances se soient dégradées avec le bruit. Les prompts structurés ont produit une qualité d'extraction supérieure aux instructions en langage naturel.
• Perturbation Incohérente avec les Croyances (BIP) : Lorsqu'exposés à des prompts contenant des idées fausses courantes contredisant le graphe causal, les modèles standards ont subi des baisses de précision (jusqu'à 6 %), tandis que le modèle guidé par graphe est resté robuste (baisse de seulement 1,2 %).
• Transférabilité : Le fine-tuning de LLaMA-7B sur NoisyCausal a amélioré ses performances sur le benchmark CausalQA rédigé par des humains de 5,1 points de pourcentage, suggérant que les compétences apprises se transfèrent à des tâches du monde réel.

Signification et Revendications
L'article soutient que les LLM actuels échouent souvent dans le raisonnement causal car ils reposent sur des associations statistiques issues des corpus de préentraînement plutôt que sur des dépendances mécaniques. Les auteurs affirment que NoisyCausal sert d'outil diagnostique critique pour isoler des modes d'échec spécifiques (par exemple, sensibilité aux distracteurs, confusion) qui sont difficiles à démêler dans les corpus naturels.

La signification principale réside dans la démonstration que combiner des abstractions causales avec un raisonnement piloté par le langage produit une inférence plus fidèle et plus robuste. En guidant les LLM avec des structures symboliques explicites, le cadre proposé atténue la tendance à confondre corrélation et causalité, même dans des conditions bruyantes. Les auteurs positionnent cette approche comme une étape vers des LLM « conscients de la causalité », soulignant que l'ancrage structurel est essentiel pour réaliser une IA robuste dans des environnements incertains.

Limitations
Les auteurs reconnaissent que le cadre repose sur l'extraction de variables et la construction de graphes basés sur des LLM, ce qui peut introduire des erreurs en cascade. La conception actuelle manque d'optimisation de bout en bout, et bien que le benchmark soit diversifié, la généralisation au monde réel vers des discours multimodaux ou à domaine ouvert reste à tester. Des travaux futurs sont suggérés pour inclure l'estimation de la confiance, l'entraînement conjoint et l'évaluation sur des données multimodales réelles.