Résumé technique : Moyenne de modèles guidée dynamiquement par un expert pour la découverte causale

Énoncé du problème

Les praticiens de la découverte causale font face à un « éventail vertigineux » d'algorithmes, sans consensus clair sur la méthode performant le mieux pour des cas d'usage spécifiques. Cette diversité, combinée aux réalités des données limitées et bruitées, impose souvent de recourir à l'expertise humaine, car les algorithmes individuels violent fréquemment des hypothèses théoriques (par exemple, la suffisance causale) ou échouent à surpasser systématiquement les autres sur des données réelles. Bien que l'ensemblage (moyenne de modèles) soit une stratégie naturelle pour améliorer la robustesse, les méthodes existantes pour l'ensemblage en découverte causale sont limitées. Certaines reposent sur des métadonnées irréalistes concernant les graphes de vérité terrain, tandis que d'autres se concentrent sur des priors statiques plutôt que sur la résolution dynamique des divergences. De plus, l'intégration des connaissances expertes a généralement été limitée à des contraintes statiques ou à des algorithmes spécifiques, plutôt que de servir de médiateur pour un ensemble diversifié.

Méthodologie

Les auteurs proposent une stratégie de moyenne de modèles guidée dynamiquement par un expert qui intègre un ensemble diversifié d'algorithmes de découverte causale avec un expert imparfait (humain ou modèle de langage de grande taille). L'innovation centrale réside dans le découplage de la détermination de l'existence des arêtes et de leur orientation, et dans l'utilisation sélective de l'expert pour résoudre les désaccords.

Composantes méthodologiques clés :

1. Séparation de l'existence et de l'orientation :

   • Existence des arêtes : La méthode repose principalement sur des algorithmes pilotés par les données pour détecter la présence d'arêtes. Elle reconnaît que, si les algorithmes peuvent diverger sur l'orientation, ils s'accordent souvent sur l'existence d'une connexion.
   • Orientation des arêtes : Une fois une arête établie, la méthode détermine sa direction. Elle reconnaît que les algorithmes ont souvent du mal avec l'orientation (produisant des CPDAG avec des arêtes non orientées) et que les experts (en particulier les LLM) peuvent être meilleurs pour déterminer l'ordre causal que pour détecter l'existence d'une relation.

2. Stratégie de requête dynamique :

   • La méthode exécute un ensemble de $M$ algorithmes de découverte causale pour produire un ensemble de graphes $\mathcal{G}$.
   • Ajout d'arêtes : Les arêtes sont envisagées pour ajout en fonction d'un seuil de fréquence $\theta_1$. Si le pourcentage de modèles contenant une arête directe dépasse $\theta_1$ mais reste inférieur à un vote majoritaire (0,5), le système interroge l'expert pour valider l'existence de l'arête.
   • Détermination de l'orientation : Pour les arêtes acceptées, si plusieurs orientations valides existent, la méthode vérifie si une orientation spécifique dépasse un seuil $\theta_2$ parmi les modèles contenant l'arête. Sinon, ou si l'orientation est ambiguë, l'expert est interrogé pour déterminer la direction.
   • Budget de requêtes ($B$) : Pour refléter les contraintes réalistes sur l'accès à l'expert (temps/coût), la méthode opère sous un budget de requêtes fixe. Une fois le budget épuisé, les décisions par défaut reposent sur le vote majoritaire.
   • Requêtes pilotées par le désaccord : Le système priorise l'interrogation de l'expert uniquement pour les arêtes où l'ensemble présente un désaccord significatif, maximisant ainsi la valeur de l'apport expert limité.

3. Modèle d'expert :

   • La méthode traite l'expert comme « imparfait », capable d'erreurs. Dans les expériences, un expert simulé fournit des réponses correctes avec des probabilités $p_{exist}^e$ et $p_{orient}^e$.
   • L'approche suppose que l'expert répond en se basant sur un ordre causal plausible (chaînes directes ou indirectes) plutôt que strictement sur des arêtes directes, reflétant la difficulté d'élucider des connaissances structurelles précises en pratique.

Contributions clés

L'article fait trois contributions principales :

1. Stratégie d'ensemblage novatrice : Il introduit la première méthode utilisant des connaissances expertes demandées dynamiquement spécifiquement pour médier les divergences dans la moyenne de modèles de découverte causale.
2. Requêtes découplées : En traitant séparément l'existence et l'orientation des arêtes, la méthode exploite les forces complémentaires des algorithmes pilotés par les données (détection) et de l'apport expert (direction), en interrogeant sélectivement l'expert uniquement dans les cas de forte incertitude ou de désaccord.
3. Validation empirique : La méthode est évaluée par rapport à des bases de référence solides (incluant des méthodes d'ensemblage existantes et des algorithmes individuels) sur des graphes réels bien connus utilisant des données propres et bruitées, démontrant des améliorations de performance constantes.

Résultats expérimentaux

Les auteurs ont évalué leur méthode sur six réseaux de référence (par exemple, Asia, Sports, Alarm, Pathfinder) avec des tailles d'échantillon variables ($n \in \{100, 1000, 10000, 100000\}$) et des niveaux de bruit.

• Performance : La méthode proposée a systématiquement surpassé des bases de référence solides, incluant des algorithmes individuels (PC-Stable, FCI, Tabu, GES, etc.) et des approches d'ensemblage existantes (Moyenne de modèles Bayesys, Aslani & Mohebbi).
• Métriques : Des améliorations ont été observées sur la fonction de score équilibrée (BSF), le score F1, la distance de Hamming structurelle (SHD) et la distance d'intervention structurelle (SID). La méthode a montré des améliorations générales en rappel tout en maintenant une précision comparable à d'autres méthodes d'ensemblage.
• Comparaison avec Tabu-AL : La méthode a significativement surpassé Tabu-AL (une base de référence utilisant des connaissances expertes dynamiques sur un seul algorithme) d'au moins 11 % en moyenne sur la plupart des métriques, soulignant la valeur de l'ensemblage d'algorithmes diversifiés avec médiation experte.
• Étude de cas LLM : Les expériences utilisant un LLM (gpt-5-nano) comme expert ont montré des performances cohérentes avec les paramètres de l'expert simulé ($p_{exist}^e \approx 70\%$, $p_{orient}^e \approx 90\%$), validant la faisabilité d'utiliser des LLMs dans ce cadre.
• Budget de requêtes : Un budget modéré de $2N$ (où $N$ est le nombre de nœuds) a offert le meilleur équilibre entre précision et rappel.

Importance et affirmations

L'article positionne ce travail comme la première méthode exploitant les connaissances expertes pour l'ensemblage d'algorithmes de découverte causale. Son importance est encadrée par la nécessité pratique de gérer les contraintes des données réelles où aucun algorithme unique n'est universellement supérieur.

• Affirmations modestes : Les auteurs déclarent explicitement que leur méthode ne fournit aucune garantie formelle de récupération du graphe causal vrai dans des conditions idéales. Au lieu de cela, elle repose sur une validation empirique pour combiner les forces d'algorithmes diversifiés avec des experts imparfaits dans des conditions réalistes plausibles.
• Pragmatisme : L'approche est conçue pour des scénarios où l'accès aux experts est limité et imparfait, offrant une alternative robuste au recours à un seul algorithme ou à des priors statiques.
• Travaux futurs : Les auteurs notent des limites, notamment l'utilisation de données catégorielles synthétiques et l'absence de garanties théoriques formelles. Ils suggèrent que des travaux futurs pourraient explorer différents types de données, distributions de bruit et pondération adaptative des modèles basée sur la performance prédite.

En résumé, l'article présente un cadre pragmatique et flexible qui utilise une intervention experte ciblée pour résoudre les incertitudes dans les ensembles causaux, démontrant qu'une telle stratégie produit une précision structurelle supérieure par rapport aux méthodes existantes sur des données propres et bruitées.