Résumé Technique : CauTion – Savoir quand faire confiance aux LLM pour la découverte causale par ensemble

1. Énoncé du Problème

La découverte causale à partir de données observationnelles fait face à des limitations fondamentales lorsqu'elle repose uniquement sur des méthodes statistiques. Les approches basées sur les contraintes (ex: PC, FCI) sont sensibles à la taille des échantillons finis et ne peuvent récupérer qu'une Classe d'Équivalence de Markov (MEC), laissant de nombreuses directions d'arêtes non résolues. Les méthodes basées sur le score ou l'optimisation continue (ex: GES, NOTEARS) souffrent souvent d'optima locaux, de sensibilité aux hyperparamètres et d'hypothèses de distribution qui peuvent ne pas se vérifier en pratique.

Pour combler ces lacunes, les modèles de langage de grande taille (LLM) ont été introduits pour fournir des connaissances métier et des priors sémantiques. Cependant, les méthodes existantes augmentées par LLM souffrent de trois défauts critiques :

1. Coûts de jetons élevés et exposition aux erreurs : Les méthodes globales interrogent les LLM sur l'ensemble des $O(n^2)$ paires de variables, ce qui entraîne des coûts prohibitifs et expose l'intégralité du graphe aux hallucinations potentielles du LLM.
2. Amplification des erreurs : Les méthodes uniquement non orientées (ex: LLM-MEC) restreignent les requêtes aux arêtes non résolues mais souffrent d'une accumulation d'erreurs ; une seule erreur du LLM peut déclencher une cascade d'orientations incorrectes via les règles de Meek.
3. Biais algorithmique et fiabilité non vérifiée : La plupart des méthodes reposent sur un algorithme unique centré sur les données, rendant les résultats vulnérables aux biais algorithmiques spécifiques. De plus, elles intègrent souvent les connaissances du LLM sans vérifier sa fiabilité par rapport au jeu de données spécifique, traitant le LLM comme un oracle infaillible.

2. Méthodologie : Le Cadre CauTion

Les auteurs proposent CauTion, un cadre qui intègre les connaissances métier des LLM dans un ensemble d'algorithmes de découverte causale statistique via un filtrage par consensus et une arbitrage calibré sur la confiance. Le pipeline opère en trois étapes distinctes :

Étape 1 : Ensemble d'algorithmes et filtrage par consensus

Le cadre agrège les sorties de plusieurs algorithmes de découverte causale (spécifiquement PC, GES et CAMML dans les expériences). Pour chaque paire de variables, les votes sont accumulés pour classer les arêtes en deux ensembles :

• Ensemble de Consensus ($\mathcal{C}$) : Paires où tous les algorithmes sont d'accord (ex: tous votent pour $A \to B$ ou tous votent pour l'absence d'arête). Ces arêtes sont résolues directement sans intervention du LLM. Sur le jeu de données Win95pts ($n=76$), cette étape résout environ 96,6 % des arêtes avec une précision de 99,6 %, servant de pseudo-vérité de terrain à haute confiance.
• Ensemble de Litige ($\mathcal{D}$) : Paires où les algorithmes sont en désaccord ou incertains. Ceux-ci sont transmis à l'étape d'arbitrage.

Étape 2 : Arbitrage calibré sur la confiance

Cette étape détermine quand faire confiance au LLM en estimant la fiabilité relative du LLM et de l'ensemble d'algorithmes sans annotations externes.

• Estimation de la fiabilité :
  • Calibration du LLM : Le LLM est interrogé sur un échantillon stratifié de l'Ensemble de Consensus (faisant office de labels de substitution) pour estimer sa précision sur les tâches d'existence et de direction d'arêtes.
  • Calibration de l'algorithme : Une évaluation "Leave-One-Out" (LOO) est effectuée où la prédiction de chaque algorithme est comparée au vote majoritaire des autres algorithmes pour estimer sa précision.
• Calcul du poids de confiance : Sur la base des précisions calibrées, les poids de confiance ($\alpha_{exist}$ et $\alpha_{dir}$) sont calculés. Ces poids quantifient la fiabilité relative du LLM par rapport à l'ensemble d'algorithmes. Si les deux sources performent proche du niveau du hasard, le système revient à un pondération égale.
• Vote calibré : Pour les arêtes de l'Ensemble de Litige :
  • Le système vérifie d'abord si la marge de vote de l'ensemble d'algorithmes dépasse un seuil dérivé des poids de confiance. Si les algorithmes sont confiants, le LLM est ignoré.
  • Si la marge de l'algorithme est faible, le LLM est interrogé. La décision finale est une agrégation pondérée par la confiance du vote de l'algorithme et de la réponse du LLM.
  • Les requêtes de direction utilisent une technique de double cadrage (interroger $A \to B$ et $B \to A$) pour atténuer le biais de position, ne conservant que les réponses cohérentes.

Étape 3 : Réparation de cycles

Le processus de vote produit un graphe orienté qui peut contenir des cycles. Une étape de réparation de cycles garantit que la sortie finale est un Graphe Acyclique Dirigé (DAG) valide.

• Les cycles sont détectés, et les arêtes à l'intérieur de ceux-ci sont évaluées selon leurs marges d'incertitude algorithmique.
• Les arêtes incertaines sont présentées au LLM avec le chemin du cycle et les interprétations des variables. Le LLM est invité soit à Retourner (Flip) la direction de l'arête, soit à Supprimer (Remove) l'arête.
• Si le LLM ne peut pas résoudre le cycle ou si aucune action ne reste, les arêtes ayant la plus faible probabilité d'existence sont supprimées de manière itérative jusqu'à ce que le graphe soit acyclique.

3. Contributions Clés

L'article souligne trois contributions principales :

1. Conceptuelle : Il recadre l'augmentation des LLM pour la découverte causale comme un problème d'arbitrage calibré sur la confiance. Cette perspective traite les LLM et les algorithmes statistiques comme des sources de preuves complémentaires mais imparfaites, soulignant que la connaissance du LLM ne doit être intégrée qu'après que sa fiabilité a été calibrée par rapport à un ensemble de méthodes statistiques.
2. Méthodologique : La proposition de CauTion, un cadre qui combine le consensus entre algorithmes, l'arbitrage du LLM conscient de la fiabilité et la réparation de cycles préservant le DAG. Il restreint de manière unique les requêtes LLM aux arêtes contestées et réduit l'influence du LLM lorsque sa précision de domaine estimée est faible.
3. Empirique : Démonstration que CauTion surpasse systématiquement les bases de référence centrées sur les données et augmentées par LLM sur six benchmarks. Les gains de performance sont montrés comme augmentant avec la taille du graphe, et la méthode fait preuve d'une forte robustesse aux variations de sélection du backend LLM.

4. Résultats Expérimentaux

Les expériences ont été menées sur six jeux de données du dépôt bnlearn (Cancer, Insurance, Water, Alarm, Barley, Win95pts) avec des nombres de variables allant de 5 à 76.

• Performance : CauTion a obtenu la distance de Hamming structurelle (SHD) la plus faible et les scores F1 les plus élevés sur tous les jeux de données. Sur le plus grand jeu de données, Win95pts ($n=76$), CauTion a atteint un SHD de 27, surpassant de manière significative la deuxième meilleure base de référence augmentée par LLM (SCP) qui avait un SHD de 63.
• Scalabilité : L'écart de performance entre CauTion et les bases de référence s'est élargi à mesure que l'échelle du graphe augmentait, validant la conception du cadre pour la gestion de structures plus grandes et plus complexes.
• Robustesse : CauTion a démontré une stabilité supérieure à travers six backends LLM différents (allant de modèles faibles comme Llama-3.1-8B à des modèles forts comme Claude-Sonnet-4.6). En revanche, les méthodes entièrement pilotées par LLM (ex: LLM-BFS, CORR-LLM) ont montré une dégradation sévère des performances et une variance élevée lors de l'utilisation de modèles plus faibles.
• Efficacité : En filtrant plus de 90 % des arêtes via le consensus, CauTion a considérablement réduit l'utilisation de jetons par rapport aux méthodes globales de LLM. Pour Win95pts, CauTion a utilisé environ 26k jetons, tandis que les méthodes globales comme SCP en ont utilisé plus de 3 millions.

5. Signification et Revendications

L'article affirme que CauTion répond au compromis fondamental entre le risque élevé d'erreur des méthodes globales de LLM et le biais des méthodes statistiques à algorithme unique. En introduisant un mécanisme de calibration de la confiance, le cadre garantit que la connaissance métier du LLM n'est exploitée que lorsque les preuves statistiques sont insuffisantes et que le LLM est empiriquement calibré pour être fiable pour la tâche spécifique.

Les auteurs affirment que ce travail fait progresser la méthodologie de la découverte causale, offrant une voie vers une récupération de structure plus fiable dans des domaines tels que la médecine, l'épidémiologie et l'économie. Ils reconnaissent des limites, notant que l'ensemble actuel utilise un ensemble fixe de trois algorithmes et que les expériences ont été menées sur des benchmarks à variables discrètes, laissant la généralisation aux données continues ou de type mixte pour une validation future.