Résumé Technique : Causal Ensemble Agent (CEA)

Énoncé du Problème

La découverte causale vise à révéler des structures causales à partir de données observationnelles, une tâche cruciale pour la prise de décision dans des domaines tels que la santé et l'économie. Cependant, l'identification de graphes causaux précis reste difficile en raison de deux limitations majeures des approches existantes :

1. Divergence des méthodes statistiques : Différents algorithmes de Découverte Causale Statistique (SCD) produisent souvent des résultats contradictoires sur un même jeu de données en raison de biais inductifs et de fonctions d'objectif distincts. Bien que des méthodes d'ensemble existent, elles reposent généralement sur des critères numériques ou des schémas de pondération conçus manuellement, échouant ainsi à exploiter les riches informations spécifiques au domaine, telles que les descriptions de variables.
2. Limitations de la découverte basée sur les LLM : Les approches récentes utilisant des modèles de langage de grande taille (LLM) pour inférer directement des relations causales via des requêtes souffrent souvent d'un manque de fiabilité et de hallucinations. Ces méthodes peuvent être induites en erreur par des noms de variables vagues ou des descriptions incomplètes, et manquent fréquemment d'alignement avec les données réelles, ce qui les rend sujettes à la génération d'assertions causales incorrectes.

Méthodologie : Causal Ensemble Agent (CEA)

Les auteurs proposent le Causal Ensemble Agent (CEA), un cadre d'ensemble hiérarchique qui traite le LLM non pas comme un expert causal direct, mais comme un méta-arbitre. Le CEA agrège les intuitions structurelles de multiples experts SCD hétérogènes et les repondère dynamiquement uniquement lorsque cela est nécessaire.

Cadre Fondamental

Le cadre fonctionne de manière grossière à fine à travers trois couches hiérarchiques :

1. Squelettes de Graphes : Identification des adjacences non orientées.
2. V-structures : Identification des colliders non protégés ($A \to B \leftarrow C$).
3. Orientations d'Arêtes : Détermination de la direction des arêtes.

Mécanismes Clés

• Agrégation Linéaire d'Opinions (Linear Opinion Pooling) : Pour chaque relation candidate, le CEA calcule un score de support empirique ($\hat{p}_i(r)$) pour chaque expert $e_i$ en utilisant le rééchantillonnage par bootstrap. Ces scores sont agrégés via une agrégation linéaire d'opinions : $\hat{p}(r) = \sum \alpha_i \hat{p}_i(r)$, initialement avec des poids uniformes ($\alpha_i = 1/m$).
• Détection de Litige Sensible à la Marge (Margin-Aware Dispute Detection) : Le système identifie les relations « contestées » où la confiance agrégée est proche de la frontière de décision (c'est-à-dire $|\hat{p}(r) - \tau_\kappa| \le \delta \tau_\kappa$). Les relations éloignées de la frontière sont acceptées sans intervention du LLM.
• Le LLM comme Méta-Arbitre : Pour les relations contestées, un LLM est invoqué pour effectuer une méta-analyse. Il ne prédit pas la relation directement. Au lieu de cela, il évalue :
  • Contexte Méta : Sémantique des variables, profils de données (statistiques, ratios échantillon/caractéristiques) et type de relation structurelle (squelette vs orientation).
  • Opinions des Experts : La méthodologie, les hypothèses et la position spécifique (support/opposition) de chaque expert.
  • Sortie : Le LLM attribue un score de poids brut ($w_i \in [0, 10]$) à chaque expert pour cette relation spécifique. Ces scores sont normalisés pour mettre à jour les poids de pondération ($\alpha'_i$), affinant ainsi le score de support en $\hat{p}'(r)$.
• Construction Hiérarchique : Le DAG (Graphe Acyclique Dirigé) final est construit en intégrant le squelette de consensus, les v-structures valides et les orientations d'arêtes résolues, garantissant l'acyclicité par la clôture de la règle de Meek et des vérifications de cycles.

Contributions Clés

1. Redéfinition du Rôle du LLM : Le papier introduit un nouveau rôle pour les LLM dans la découverte causale en tant que méta-arbitres chargés de trancher entre des hypothèses concurrentes fondées sur les données. Cela permet l'intégration de connaissances du domaine sans sacrifier l'alignement avec les données ni introduire d'arêtes hallucinées.
2. Cadre d'Ensemble Hiérarchique : Le CEA agrège les croyances des experts de manière grossière à fine (squelettes, v-structures, orientations) avec un repondérage guidé par le LLM et sensible à la marge. Cela garantit que le LLM n'est invoqué que pour les cas d'incertitude, réduisant ainsi les coûts de calcul et les risques d'hallucination.
3. Supériorité Empirique : Des expériences approfondies démontrent que le CEA atteint les meilleures performances globales sur divers benchmarks synthétiques et réels, surpassant à la fois les méthodes SCD individuelles et les bases de comparaison existantes basées sur les LLM ou les ensembles.

Résultats Expérimentaux

Les auteurs ont évalué le CEA sur huit jeux de données (cinq synthétiques : Alarm, Asia, Child, Insurance, Sachs ; trois réels : Alzheimer, Arctic Sea, Sangiovese) en utilisant deux métriques : RNB (Ratio entre la distance de Hamming normalisée et la distance de Hamming de base, plus la valeur est basse, mieux c'est) et AUC (Aire sous la courbe précision-rappel, plus la valeur est haute, mieux c'est).

• Performance : Le CEA a obtenu les meilleurs résultats sur tous les jeux de données, montrant une réduction relative moyenne du RNB de 28,3 % et une amélioration de l'AUC de 6,2 % par rapport aux bases de comparaison les plus fortes hors CEA.
• Robustesse : Le CEA a démontré une performance constante à travers différentes tailles d'échantillons et domaines, atténuant efficacement le problème de la « sélection du solveur » où les méthodes individuelles échouent dans certains domaines spécifiques.
• Efficacité : En limitant les requêtes au LLM aux seules relations contestées, le CEA a réduit les coûts de requête du LLM de 84,0 % à 88,8 % par rapport à un questionnement exhaustif par paires via le LLM.
• Études d'Ablation :
  • Supprimer le repondérage guidé par le LLM (en utilisant des poids uniformes) a provoqué une chute significative des performances (augmentation de 41,9 % du RNB), confirmant la nécessité d'un étalonnage sensible au contexte.
  • Utiliser le LLM comme un expert causal direct (au lieu d'un méta-arbitre) a également dégradé les performances et soulevé des préoccupations concernant la fuite de benchmark (mémorisation des structures de graphes).
  • La capacité du LLM à attribuer des poids alignés avec la performance empirique des experts (par exemple, dévaluer LiNGAM sur des données discrètes) a été vérifiée par une analyse d'alignement poids-performance.

Signification et Revendications

Le papier affirme que le CEA réconcilie efficacement les sorties conflictuelles de méthodes statistiques hétérogènes en exploitant les LLM pour un étalonnage sensible au contexte plutôt que pour une prédiction directe. En ancrant le graphe final dans des sorties de SCD fondées sur les données et en utilisant le LLM uniquement pour résoudre les incertitudes basées sur la connaissance du domaine et les caractéristiques du jeu de données, le CEA offre une approche robuste, scalable et fiable de la découverte causale. Les auteurs soulignent que cette approche atténue les risques d'hallucination et de fuite de benchmark associés aux requêtes directes de LLM tout en améliorant considérablement la robustesse cross-domaine.