🤖 machine learning

Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

Cet article introduit Linear-LLM-SCM, un cadre de référence pour évaluer la capacité des grands modèles de langage à estimer les coefficients causaux quantitatifs dans les modèles causaux structurels linéaires gaussiens, révélant des limitations significatives de leur précision et de leur stabilité à travers des ensembles de données du monde réel.

Auteurs originaux : Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot super intelligent qui a lu presque tous les livres, articles et sites web d'Internet. Vous lui posez une question, et il répond avec l'assurance d'un professeur chevronné. Mais voici le hic : bien que ce robot soit incroyable pour vous dire que deux choses sont liées (comme « fumer provoque la toux »), il peine souvent à vous dire à quel point elles sont liées (comme « fumer augmente la toux de exactement 15 % »). C'est la différence entre le raisonnement qualitatif (connaître l'histoire) et le raisonnement quantitatif (connaître les mathématiques). Dans le monde de la science, nous utilisons ce qu'on appelle des « modèles causaux » pour cartographier ces histoires. Considérez un modèle causal comme un organigramme ou une recette où des flèches montrent comment un ingrédient modifie un autre. Habituellement, les scientifiques doivent triturer des chiffres issus d'expériences réelles pour déterminer les quantités exactes de la recette. Mais et si nous pouvions simplement demander à notre robot super intelligent de deviner ces chiffres en se basant sur ce qu'il a lu ? C'est la grande question que les chercheurs se posent aujourd'hui : un IA qui connaît tout sur le monde peut-elle aussi faire les mathématiques pour prédire l'avenir avec précision ?

Cet article, intitulé « Linear-LLM-SCM », met en place un terrain de jeu pour tester précisément cela. Les chercheurs ont créé un jeu où ils ont donné à sept différents « Large Language Models » (le nom sophistiqué de ces robots super intelligents) une carte d'un système du monde réel — un Graphe Acyclique Dirigé, ou DAG pour faire court. Vous pouvez voir un DAG comme une carte routière à sens unique représentant les causes et les effets, où l'on ne peut pas circuler en boucle. La carte montrait quels variables (comme « taux de glucose » ou « dépenser de l'argent ») influençaient les autres. La tâche des robots était d'agir comme des statisticiens experts et d'écrire les équations mathématiques exactes qui décrivent ces relations, plus précisément en devinant les « coefficients » (les nombres qui indiquent la force de l'effet).

L'équipe a testé sept cartes du monde réel différentes, allant de la façon dont les gens dépensent leur argent à la croissance des plantes dans les algues. Ils ont demandé aux robots de regarder la carte et les descriptions des variables, puis de recracher une équation de régression (une formule mathématique) pour chaque partie de la carte. Ils ont ensuite comparé les suppositions des robots par rapport à la « vérité de terrain » (ground truth) — les chiffres réels et corrects que les scientifiques avaient déjà mesurés dans le monde réel.

Les résultats étaient un mélange de « pas mal » et de « oups ». Les chercheurs ont constaté que si les robots pouvaient parfois deviner la bonne direction (effet positif ou négatif), les chiffres réels étaient totalement erratiques. Même lorsque les chercheurs demandaient aux robots d'être aussi cohérents que possible (en réglant une « température » à zéro, ce qui revient à dire au robot d'arrêter de deviner et de simplement calculer), les réponses variaient encore énormément d'un essai à l'autre. Par exemple, sur la carte « Cachexie » (liée à la fonte musculaire), un robot a deviné un coefficient de 1,07, tandis qu'un autre a dit 1,04, mais la variation était suffisamment élevée pour être inquiétante. Sur la carte « Algale », un modèle de robot plus petit (Llama 3.1 8B) a complètement échoué à écrire une équation lisible.

L'équipe a également soumis les robots à un test de résistance pour voir s'ils étaient robustes. Premièrement, ils ont changé les unités de mesure (comme passer de micromètres à nanomètres). Étonnamment, cela a parfois fait paraître les réponses des robots meilleures par accident, probablement parce que les chiffres devenaient plus faciles à écrire, et non parce que les robots comprenaient mieux la physique. Deuxièmement, ils ont piégé les robots en ajoutant de fausses connexions à la carte (des arêtes spécieuses). Lorsque la carte présentait une fausse flèche pointant d'une chose vers une autre sans que cela n'ait d'effet, les performances des robots chutaient. Ils étaient confus, et leur capacité à classer l'importance des différents facteurs se dégradait.

La principale conclusion est que, bien que ces modèles d'IA soient excellents pour comprendre l'histoire de la cause et de l'effet, ils sont actuellement peu fiables pour faire les mathématiques afin de prédire la taille exacte de ces effets. L'étude suggère que l'utilisation de ces robots pour des décisions à enjeux élevés, comme dans le domaine de la santé ou des contextes cliniques, est risquée pour l'instant car leurs chiffres peuvent être incohérents et sensibles à de petits changements dans la présentation du problème. Les auteurs ne disent pas que les robots sont inutiles ; ils disent que nous devons être très prudents et ne pas leur confier les chiffres finaux tant qu'ils ne sont pas beaucoup plus stables. Ils ont même rendu leur cadre de test public afin que d'autres scientifiques puissent continuer à essayer de résoudre ce problème, avec l'espoir qu'un jour, nos assistants numériques puissent non seulement raconter l'histoire, mais aussi faire les mathématiques parfaitement.

Résumé Technique : Linear-LLM-SCM

Énoncé du Problème
Bien que les grands modèles de langage (LLM) aient démontré un potentiel dans l'identification de relations causales qualitatives (tâches de Type 1), leur capacité à effectuer un raisonnement causal quantitatif — spécifiquement l'estimation des tailles d'effet qui paramètrent les relations fonctionnelles dans des domaines continus (tâches de Type 3) — reste peu explorée. La recherche actuelle suggère que les LLM peinent à découvrir des structures causales à partir de données et à estimer quantitativement les conséquences. De plus, les méthodes actuelles d'estimation d'effets causaux basées sur les LLM reposent souvent sur des domaines discrets, nécessitent des données observationnelles numériques ou utilisent des architectures spécialisées pour échantillonner des distributions conditionnelles plutôt que d'élucider directement des paramètres structurels. Ce document traite de la lacune consistant à évaluer si les LLM peuvent directement estimer des paramètres d'effets causaux linéaires continus pour des modèles structurels causaux (SCM) pré-spécifiés en utilisant uniquement la structure causale et la sémantique des variables, sans données observationnelles.

Méthodologie : Cadre Linear-LLM-SCM
Les auteurs introduisent Linear-LLM-SCM, un cadre "plug-and-play" conçu pour évaluer les LLM sur la paramétrisation de SCM Linéaire-Gaussien. Le cadre opère sous l'hypothèse que les LLM ont appris des informations quantitatives ou qualitatives de leurs corpus d'entraînement, incluant la littérature scientifique formalisée sous forme de SCM ou de régressions linéaires.

Exigences d'Entrée : Le système nécessite une structure de graphe acyclique dirigé (DAG) ( $G$ ), des descriptions de variables ( $D$ ) incluant les unités et un court texte, ainsi que des contraintes de variables ( $R$ ) (bornes inférieures/supérieures). Les paramètres d'effet de vérité terrain sont fournis pour l'évaluation.
Décomposition et Prompting : Au lieu de fournir l'intégralité du DAG au modèle, le cadre décompose le graphe en ensembles parents-enfants locaux. Il parcourt le DAG selon un ordre topologique. Pour chaque nœud cible, le LLM est sollicité avec :
- Un persona d'expert du domaine et un résumé du phénomène.
- Les descriptions, unités et plages de la variable cible et de ses parents directs.
- Des instructions pour produire une équation structurelle linéaire (intercept et coefficients bêta) dans un format de chaîne spécifique.
Analyse des Réponses : Le système extrait les coefficients bêta de la sortie textuelle du LLM, analysant l'équation linéaire pour la comparer à la vérité terrain.
Feedback Itératif : Pour imposer une cohérence globale au sein du DAG, le cadre inclut un mécanisme de feedback itératif. Il effectue des vérifications de cohérence analytiques par rapport à des contraintes strictes pré-spécifiées (ex: plages de variables) et réitère l'élucidation si les contraintes sont violées.
Métriques d'Évaluation : Le cadre compare les paramètres élucidés à la vérité terrain en utilisant quatre métriques :
- M1–M3 : Distances de la norme L2 entre les vecteurs de paramètres (avec différentes méthodes d'agrégation). M2 et M3 sont invariants d'échelle ou normalisés pour traiter les problèmes de plage de variables.
- M4 : Une métrique capturant l'ordre relatif de la taille d'effet par nœud.

Protocole Expérimental

Modèles : L'étude a évalué quatre LLM pré-entraînés à usage général : Gemini 2.5 Flash (Mixture-of-Experts parcimonieux), Llama 3.1 8B (dense), Llama 3.3 70B (dense) et GPT-5.4.
Jeux de Données : Sept DAGs du monde réel ont été sélectionnés à partir du dépôt BnRep, filtrés pour des contextes Linéaire-Gaussien continus et un maximum de 15 nœuds.
Conditions :
- Estimation Directe : Paramétrage standard par rapport à la vérité terrain.
- Conditions Adversaires (RQ2) :
  - Ajustement d'Unités (Unit Tweaking) : Changement des unités des variables (ex: $\mu$ M à nM) pour tester la robustesse.
  - Spécification Erronée du DAG (DAG Misspecification) : Introduction d'arêtes spécieuses dans la structure du DAG pour simuler des erreurs de modélisation ou des limitations observationnelles.
Protocole : Chaque condition a été exécutée 25 fois avec une température réglée à zéro pour minimiser la stochasticité, rapportant les moyennes avec des intervalles de confiance à 95 %.

Résultats Clés

Estimation Directe (RQ1) :
- La performance a varié considérablement selon les DAGs et les modèles. Aucun modèle n'a dominé tous les indicateurs sur tous les DAGs.
- GPT-5.4 et Gemini 2.5 Flash ont généralement obtenu les meilleurs résultats sur M3 (distance) et M4 (ordre).
- Llama 3.3 70B a généralement surpassé le plus petit Llama 3.1 8B, suggérant un bénéfice du nombre de paramètres plus élevé pour cette tâche.
- Le petit modèle (Llama 3.1 8B) n'a pas réussi à générer des équations analysables pour le DAG algal2.
Stochasticité : Même à température zéro, les modèles plus larges (Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4) ont présenté une variabilité substantielle entre les exécutions, avec des distributions non gaussiennes. Cette non-déterminisme est identifié comme un mode de défaillance critique pour les applications de sécurité critique.
Robustesse (RQ2) :
- Sensibilité aux Unités : Le changement d'unités a parfois amélioré les métriques de manière contre-intuitive, potentiellement grâce à une précision numérique accrue dans la représentation textuelle (ex: $1 \to 1000$ ).
- Perturbation Structurelle : L'ajout d'arêtes spécieuses (erreur de spécification du DAG) a généralement dégradé les performances. La plupart des modèles ont montré une augmentation de la distance (M3) et une réduction de la précision de l'ordre (M4) sous des conditions structurelles adverses, indiquant une robustesse limitée face à l'incertitude structurelle.

Principales Contributions

Introduction du Cadre : Le papier présente Linear-LLM-SCM, un nouveau cadre pour évaluer les LLM sur la paramétrisation causale quantitative dans des domaines continus sans données observationnelles.
Pipeline Open-Source : Les auteurs ont rendu public le pipeline d'évaluation, permettant aux chercheurs d'y intégrer leurs propres DAGs, métadonnées de variables et LLM.
Benchmarking Empirique : L'étude fournit un benchmark systématique à travers sept DAGs réels et quatre architectures de LLM diverses, soulignant les limites actuelles des LLM en tant que paramétriseurs causaux quantitatifs.
Analyse des Modes de Défaillance : Le travail identifie des modes de défaillance spécifiques, notamment la haute variabilité des estimations de coefficients, la sensibilité aux perturbations structurelles et l'incapacité des modèles plus petits à analyser systématiquement des équations complexes.

Signification et Revendications
Le papier positionne son travail comme une étape nécessaire vers la compréhension des capacités et des limites des LLM dans des domaines critiques pour la sécurité, tels que la santé, où une connaissance causale quantitative d'expert est requise. Les auteurs affirment explicitement que les LLM ne devraient pas être utilisés actuellement pour l'estimation d'effets causaux quantitatifs dans la santé réelle ou le support à la décision clinique en raison de la variabilité observée et du manque de robustesse.

La signification réside dans :

Mise en évidence de la Lacune : Démontrer que si les LLM peuvent encoder des connaissances causales qualitativement, leur raisonnement quantitatif dans les domaines linéaires continus est actuellement peu fiable.
Implications de Sécurité : La stochasticité observée et la sensibilité au bruit structurel posent des risques pour les applications de sécurité critique, nécessitant des recherches supplémentaires sur les tests de sécurité et les stratégies de mitigation avant tout déploiement.
Ressource pour la Communauté : En fournissant un cadre modulaire, les auteurs visent à encourager d'autres études sur l'élucidation d'effets causaux basés sur les LLM, en se concentrant spécifiquement sur l'amélioration de la robustesse et la réduction de la variance.

Les auteurs concluent que les travaux futurs devraient étendre le cadre aux formes fonctionnelles non linéaires et étudier les méthodes pour atténuer le bruit structurel, ainsi que vérifier si les sorties d'incertitude textuelle des LLM sont calibrées.

Articles similaires