Résumé Technique : CausalDS – Évaluation de la Raisonnement Causal dans les Agents de Science des Données

1. Énoncé du Problème

Les benchmarks actuels pour les modèles de langage (LLM) en science des données et en raisonnement causal souffrent d'une fragmentation qui ne parvient pas à capturer la complexité de l'analyse causale du monde réel. Les évaluations existantes isolent généralement des capacités spécifiques :

• Les benchmarks de science des données (ex. : DS-1000, MLE-bench) mettent l'accent sur le codage, l'utilisation d'outils et l'analyse ouverte, mais manquent d'une structure de génération de données causales cachée et fondée sur des principes.
• Les benchmarks de raisonnement causal (ex. : CLadder, CausalGraph2LLM) testent le raisonnement sur des graphes symboliques, l'intervention et la logique contrefactuelle, mais opèrent souvent à des niveaux purement symboliques ou utilisent des exemples sélectionnés dans la littérature existante.

Cette séparation crée une lacune où les modèles peuvent s'appuyer sur une « inférence causale amortie » (mémorisation de motifs à partir de jeux de données existants) plutôt que sur un véritable raisonnement sensible à la structure, un mode de défaillance qualifié de « perroquet causal ». De plus, une science des données causale réaliste exige qu'un agent ne se contente pas de répondre à des questions causales, mais qu'il sache également interpréter des descriptions de domaine, inspecter des données observationnelles, déterminer l'identifiabilité, estimer des quantités, quantifier l'incertitude et reconnaître quand une question est sans réponse (abstention). Aucun benchmark existant n'évalue conjointement le raisonnement symbolique, l'exécution de la science des données, la quantification de l'incertitude, l'abstention épistémique et l'utilisation d'outils au sein d'un cadre unique, synthétique mais réaliste.

2. Méthodologie : Le Cadre CausalDS

CausalDS comble cette lacune en générant des scènes de science des données causales synthétiques qui servent d'unité de benchmark. Chaque scène consiste en un Modèle Structurel Causal (SCM) caché, un récit en langage naturel, des données tabulaires observationnelles et une suite de tâches couvrant la hiérarchie des trois échelons de Pearl.

2.1 Pipeline de Génération de Scènes

Le processus de génération suit un pipeline strict pour garantir que la vérité de terrain est connue tout en maintenant la cohérence narrative :

1. Échantillonnage de Graphes : Des Graphes Orientés Acycliques (DAG) sont échantillonnés à partir de motifs canoniques (chaînes, fourches, confondeurs, colliders, etc.) et peuvent être étendus via un « greffage basé sur des ancres », où des motifs auxiliaires sont attachés par des nœuds partagés pour augmenter la complexité tout en préservant le flux narratif.
2. Instanciation du SCM : Chaque graphe est instancié avec un Modèle Structurel Causal utilisant des profils de mécanismes typés (continus et binaires) tirés de registres qui mélangent des règles biochimiques/booléennes empiriques avec des régimes synthétiques.
3. Couche d'Observation : Un choix de conception critique distingue le SCM conceptuel des données transmises à l'agent. Les variables conceptuelles peuvent être remplacées par des ensembles de mesures bruitées (proxys). Cette couche augmente la difficulté de l'analyse de données sans altérer le statut d'identifiabilité causale sous-jacent.
4. Verbalisation : Les nœuds abstraits sont mappés vers des noms de variables pertinents pour le domaine (optionnellement amorcés par CauseNet) et vérifiés par un auditeur pour s'assurer que le récit en langage naturel reflète fidèlement le graphe caché sans introduire d'« arêtes accidentelles ».
5. Dérivation de Tâches : À partir de chaque scène, des tâches sont dérivées à travers le Rung 1 (association/prédiction), le Rung 2 (intervention/identification/estimation) et le Rung 3 (contrefactuel/médiation).

2.2 Environnement d'Évaluation

Les agents interagissent avec un environnement de bac à sable (utilisant mini-swe-agent) où ils doivent :

• Lire les fichiers fournis (récits, schémas de données, données observationnelles).
• Exécuter du code (Python/bash) pour effectuer des analyses.
• Écrire des fichiers de réponse dans un format spécifique.
• Gérer des observations imparfaites et décider de s'abstenir lorsque la cible est non-identifiable.

2.3 Notation et Métriques

L'évaluation est entièrement déterministique et note cinq axes distincts :

• Raisonnement Causal Symbolique : Récupération de graphe et logique d'identification.
• Exécution de la Science des Données : Précision des estimations et des prédictions.
• Quantification de l'Incertitude : Calibration des intervalles de confiance.
• Abstention Épistémique : Identification correcte des requêtes non-identifiables et refus de répondre.
• Utilisation d'Outils/Efficacité : Utilisation de jetons (tokens) et nombre d'appels d'outils.

Un score composite (CausalDSScore) agrège les performances, pénalisant à la fois les erreurs de contenu et les échecs d'abstention sur les tâches non-identifiables.

3. Principales Contributions

• Scènes Fondées sur des SCM : Le premier benchmark générant des SCM cachés, synthétisant des données observationnelles et calculant une vérité de terrain privée pour l'évaluation, tout en ancrant les axes de composition (types de variables, structures de graphes) à des distributions empiriques de jeux de données réels pour assurer le réalisme.
• Verbalisation Libre et Fidèle au Graphe : Un pipeline qui mappe les nœuds de graphes abstraits à des variables de domaine cohérentes et génère des récits en langage naturel, audités pour garantir que le récit ne dévie pas de la structure causale sous-jacente.
• Couche d'Observation Séparée : Un mécanisme permettant de varier la difficulté de la science des données (via des proxys bruités) indépendamment de l'identifiabilité causale, permettant de tester la capacité d'estimation sans changer la question causale.
• Suite de Tâches Étendue : Un ensemble complet de tâches couvrant les trois échelons de la hiérarchie de Pearl, incluant la prédiction, l'association, la récupération de graphe, l'identification, l'estimation d'effet, les diagnostics de biais et le raisonnement contrefactuel.
• Évaluation Déterministe Sensible à l'Abstention : Un système de notation qui traite l'abstention sur les estimands non-identifiables comme un résultat de premier rang, empêchant les modèles d'être récompensés pour l'hallucination de réponses à des questions sans réponse.

4. Résultats Expérimentaux

Les auteurs ont évalué six modèles (trois modèles fermés de pointe : Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5 ; et trois modèles à poids ouverts : Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) sur un examen de 100 scènes à composition réaliste.

• Dissociation des Performances : Les cinq axes d'évaluation ne se résument pas à une seule capacité. Les modèles diffèrent significativement en termes de correction de contenu, de quantification de l'incertitude, de reconnaissance de l'abstention et d'efficacité de l'utilisation des outils.
• Classement : Claude Opus 4.8 a obtenu le meilleur CausalDSScore global (0,278), dominant en taux de réussite, erreur normalisée et rapport signal sur bruit (SNR). C'était le seul modèle à atteindre une correction de contenu parfaite (100 %) sur les tâches binaires tout en maintenant de solides performances d'abstention.
• L'Abstention comme Différenciateur : La capacité à reconnaître les requêtes non-identifiables a été un différenciateur majeur. Les modèles de pointe (particulièrement GPT-5.5 et Claude) ont montré des taux de réussite d'abstention nettement plus élevés (jusqu'à 75 %) par rapport aux modèles à poids ouverts (aussi bas que 18,8 % pour Gemma 4 26B).
• Quantification de l'Incertitude : Tous les modèles ont fait preuve de surconfiance. La couverture empirique des intervalles ATE nominaux à 95 % s'est effondrée entre 20,0 % et 71,4 %, Claude Opus 4.8 étant le plus performant (71,4 %).
• Utilisation d'Outils et Efficacité : Les modèles de pointe (Claude, GPT-5.5) ont utilisé une stratégie de type « near one-shot » avec moins d'appels d'outils (2,1–3,4 par tâche) et une consommation de jetons moindre, tandis que les modèles à poids ouverts ont itéré lourdement (11–18 appels/tâche) et consommé beaucoup plus de jetons.
• Dureté de l'Observation : Sous les variantes d'observation les plus difficiles (proxys bruités), les performances ont chuté, particulièrement pour les modèles à poids ouverts. GPT-5.5 a montré la plus forte baisse de calibration de l'estimation continue (erreur normalisée moyenne montant à 3,10), tandis que Claude Opus 4.8 maintenait une erreur contrôlée.

5. Signification et Revendications

L'article affirme que CausalDS fournit une évolution nécessaire des benchmarks en intégrant le raisonnement symbolique, l'estimation quantitative et l'utilisation d'outils agentiques dans un cadre unique et réaliste. La principale conclusion empirique est que la compétence en science des données causales est décomposée : les modèles peuvent maîtriser les parties (lire la structure, produire des estimations) mais échouer sur l'ensemble (connaître la qualité de l'estimation ou si une réponse est licite).

Les auteurs soutiennent qu'un agent compétent en science des données causales doit valider les cinq axes simultanément. Le benchmark expose que les modèles de pointe actuels approchent cette capacité, Claude Opus 4.8 émergeant comme le plus proche d'un « agent de science des données causales complet », tandis que les modèles à poids ouverts et les modèles plus petits peinent considérablement sur les axes épistémiques (abstention et incertitude) et l'efficacité de l'utilisation des outils. Le travail souligne que « savoir quand s'abstenir » est une compétence distincte et avancée qui distingue les agents robustes de ceux sujets à l'hallucination.