Résumé Technique : ReplaySCM

Énoncé du Problème

Les benchmarks actuels de raisonnement causal pour les grands modèles de langage (LLM) évaluent principalement des sorties locales, telles que des réponses à des questions causales spécifiques, des valeurs contrefactuelles prédites ou des arêtes de graphes individuelles. Bien qu'utiles, ces tâches ne vérifient pas si un système peut synthétiser un modèle causal réutilisable et exécutable capable de généraliser sous de nouvelles interventions jamais vues.

Ce papier introduit ReplaySCM, un benchmark conçu pour évaluer l'induction de mécanismes causaux exécutables à partir de preuves interventionnelles finies. Le défi central consiste à induire un Modèle Causal Structurel (SCM) qui, lorsqu'il est « rejoué » à la fois sur des mondes d'entraînement et sur des mondes d'intervention réservés, produit un comportement sémantiquement identique à la vérité terrain, indépendamment de la forme syntaxique des formules induites.

Méthodologie

Conception du Benchmark

ReplaySCM se compose de 1 300 éléments générés à partir de petits SCM booléens acycliques, finis, binaires et entièrement observés.

• SCM Latent : Chaque problème est ancré dans un SCM latent où les mécanismes endogènes sont des expressions booléennes sur des racines observées et d'autres variables endogènes.
• Mondes d'Intervention : Le benchmark fournit plusieurs mondes d'entraînement générés en exécutant le SCM latent sous des interventions dures (verrouillage des variables sur des valeurs spécifiques). Un ensemble de mondes réservés est retenu pour l'évaluation.
• Format de Sortie : Les modèles doivent produire une carte de mécanismes dans un Langage Spécifique au Domaine (DSL) booléen restreint contenant les opérateurs not, and, or, xor, et iff.
• Protocole d'Évaluation : L'évaluateur analyse la soumission, vérifie sa légalité et son acyclicité, et rejoue le SCM soumis sur les mondes d'entraînement et réservés.
  • Notation : La créditation est basée sur le comportement de rejouage sémantique, et non sur la correspondance de chaînes. Tout SCM exécutable qui induit la table de vérité correcte sur les mondes notés est considéré comme correct, même si ses formules booléennes diffèrent syntaxiquement de la référence.

Échelle de Divulgation Structurelle

Le benchmark fait varier les informations structurelles divulguées au modèle pour isoler des capacités de raisonnement spécifiques :

1. Ordonné (Ord-Full) : Révèle l'ordre topologique complet.
2. Ordonnancement par Blocs : Révèle des blocs de précédence grossiers mais cache l'ordre intra-bloc.
3. Ordre Caché : Révèle la partition racine/endogène mais cache l'ordre endogène.
4. Racines Cachées : Cache à la fois l'ordre et l'ensemble des racines, obligeant le modèle à prédire d'abord l'ensemble des racines.

Réduction de l'Ambiguïté et Audit de Support

Pour répondre au caractère sous-contraint des preuves finies, les auteurs emploient une échelle d'audit de support à trois niveaux :

• Original : Mondes d'entraînement standards.
• Mondes Supplémentaires : Ajoute 3 à 4 mondes d'entraînement simulés par référence pour augmenter la couverture des motifs de prédécesseurs locaux (de ~0,89 à ~0,98).
• Audit par Contre-exemple (CEx) : Ajoute davantage de mondes pour atteindre une couverture locale complète (1,0) et cible spécifiquement les alternatives sémantiques découvertes. Dans le CEx, aucune alternative découverte par les LLM, la recherche exacte symbolique ou les recherches bnlearn+DSL ne reste cohérente avec les mondes d'entraînement.

Tâches Complémentaires

• SCM-Alternative : Étant donné un SCM de référence valide, le modèle doit trouver une alternative sémantiquement distincte qui correspond aux mondes d'entraînement et fournir une intervention séparatrice et un témoin.
• Lignes de Base Non-LLM : Inclut bnlearn+DSL (proposition de structure + ajustement booléen exact) et la recherche exacte symbolique (recherche directe de mécanismes booléens) pour calibrer la difficulté de la tâche.

Contributions Clés

1. Benchmark d'Induction de SCM Exécutable : Introduit un benchmark publié publiquement évalué par un rejouage exact sur les mondes d'entraînement et réservés, allant au-delà du simple score de réponse locale.
2. Échelle de Structure Révélée Appariée : Organise le benchmark pour isoler l'impact de la divulgation structurelle (Ordonné vs Ordre Caché vs Racines Cachées) sur les mêmes SCM latents.
3. Contrôle de l'Ambiguïté : Met en œuvre un générateur qui filtre les raccourcis triviaux et suit l'ambiguïté résiduelle via des filtres de support, des audits bornés et l'échelle d'audit de support à trois niveaux (Original, Mondes Supplémentaires, CEx).
4. Évaluation Complète : Compare les LLM de pointe à des évaluateurs partagés et à des lignes de base non-LLM, offrant une vue calibrée de la difficulté de l'induction de mécanismes exécutables.

Résultats

L'Induction de Mécanismes Exécutables Reste Non Résolue

Les LLM de pointe (par exemple, GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) performent bien en deçà d'un rejouage exact parfait.

• TrainExact vs HeldoutExact : Bien que certains modèles atteignent une haute validité et une inférence partielle de la structure des parents, HeldoutExact (rejouage strict sur tous les mondes réservés) reste faible, en particulier dans les paramètres à ordre caché.
• L'Écart « Train-Exact » : Les réponses qui échouent à s'adapter aux mondes d'entraînement échouent presque invariablement sur les mondes réservés. Cependant, même les réponses qui sont TrainExact (s'adaptent exactement à tous les mondes d'entraînement) échouent souvent sur les mondes réservés, indiquant que l'ajustement aux données observées ne garantit pas le mécanisme sous-jacent correct.

Impact de l'Information Structurelle

Les performances se dégradent considérablement lorsque l'information structurelle est retenue :

• Ordonné vs Ordre Caché : Il y a une baisse substantielle des performances lorsque l'ordre topologique est caché. Par exemple, sur le pool à ordre caché, GPT-5.4 atteint un TrainExact de 0,628 mais chute à 0,292 sur HeldoutExact.
• Racines Cachées : Les performances s'effondrent lorsque l'ensemble des racines est caché, car le modèle doit simultanément prédire l'ensemble des racines et induire des mécanismes.

Structure Sémantique vs Mécanisme Exact

• Inférence Partielle : Les modèles infèrent souvent des relations fonctionnelles-parent informatives (F1 Parent élevé) mais échouent à correspondre à la carte exacte des parents ou aux mécanismes locaux requis pour un rejouage complet.
• SCM-Alternative : Lorsqu'un SCM de référence valide est fourni, les performances pour trouver des alternatives sémantiquement distinctes sont significativement plus élevées que pour inférer le SCM à partir de zéro. Cela suggère que l'édition locale d'un objet causal est plus facile que l'inférence globale à partir de données interventionnelles.

Résultats de l'Audit de Support

• Mondes Supplémentaires : L'augmentation des données d'entraînement améliore le rejouage sur les mondes réservés et réduit l'écart entre entraînement et réservé, mais l'écart de performance Ordonné/Ordre Caché persiste.
• Audit par Contre-exemple (CEx) : Même après l'ajout de mondes pour éliminer toutes les alternatives découvertes par les LLM et la recherche symbolique, le paramètre à ordre caché reste plus difficile que l'ordonné. Cela indique que la difficulté ne provient pas uniquement de l'ambiguïté due à l'échantillonnage fini, mais reflète un défi fondamental dans l'inférence de structures cachées.

Signification et Affirmations

Le papier affirme que ReplaySCM complète les benchmarks existants au niveau des réponses et de la découverte de graphes en évaluant la généralisation des objets causaux exécutables.

• Séparation des Capacités : Le benchmark démontre une séparation claire entre « décrire la structure causale » (inférer les dépendances) et « construire un objet causal exécutable » (synthétiser des mécanismes qui généralisent). Les modèles peuvent produire des explications plausibles ou des ensembles d'arêtes, mais échouent lorsque leurs mécanismes proposés sont rejoués sous de nouvelles interventions.
• La Structure Cachée est Difficile : La principale découverte empirique est que l'inférence de structures cachées (ordre ou racines) est significativement plus difficile que de produire un objet de réponse valide ou d'ajuster des mécanismes locaux isolés.
• Pas d'Affirmation d'Unicité : Les auteurs déclarent explicitement que ReplaySCM ne prétend pas prouver l'identification unique du SCM latent. Au lieu de cela, il fournit un terrain d'essai contrôlé pour évaluer la généralisation du rejouage exécutable à partir de preuves interventionnelles finies, en utilisant des audits d'ambiguïté bornés pour écarter les raccourcis faciles liés aux échantillons finis.

Le travail suggère que, bien que les LLM de pointe puissent inférer des structures de dépendance partielles, ils peinent à assembler les cartes exactes des parents et les mécanismes booléens nécessaires à une simulation causale robuste, un écart qui persiste même avec des preuves plus fortes et des priors structurels.