Eliciting associations between clinical variables from LLMs via comparison questions across populations

Résumé technique : Élicitation des associations entre variables cliniques à partir de modèles de langage de grande taille (LLM) via des questions de comparaison

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont entraînés sur une vaste littérature biomédicale englobant des populations de patients diversifiées, encodant potentiellement des structures complexes de corrélation et de causalité entre les variables cliniques. Cependant, interroger directement les LLMs pour obtenir des relations statistiques spécifiques (par exemple, « Quelle est la corrélation entre X et Y dans la population Z ? ») est semé d'embûches. L'élicitation directe produit souvent des réponses basées sur un rappel spécifique plutôt que sur des connaissances agrégées, souffre de la sycophancie (adaptation aux croyances perçues de l'utilisateur), est sensible à l'ordre des invites et peut générer des sorties hallucinées ou rationalisées a posteriori. De plus, les LLMs ne peuvent pas être traités comme des agents auto-réfléchis ; ils doivent être considérés comme des sujets expérimentaux dont les représentations internes sont inférées par le comportement. Le défi consiste à récupérer des structures d'association significatives et des liens causaux potentiels à partir des LLMs sans accès à leurs activations internes ou à leurs poids, tout en tenant compte des variations spécifiques à la population.

Méthodologie
Les auteurs proposent un cadre qui traite le LLM comme un sujet expérimental, utilisant des questions de comparaison structurées pour inférer des corrélations implicites et appliquant la Prédiction Causale Invariante (ICP) pour identifier des candidats causaux robustes.

1. Questions de comparaison par triplets :
   Au lieu de demander une corrélation numérique, la méthode interroge le LLM avec des questions par triplets impliquant trois patients artificiels (1, 2 et 3).

   • Configuration : Pour une paire de variables $X_j$ et $X_k$, les valeurs de $X_j$ sont spécifiées pour les trois patients. La valeur de $X_k$ est spécifiée uniquement pour le Patient 3.
   • Tâche : Le LLM est interrogé pour savoir si le Patient 3 est plus similaire au Patient 1 ou au Patient 2, en tenant compte de la valeur de $X_k$.
   • Mécanisme : En faisant varier systématiquement les valeurs de $X_k$ pour le Patient 3 tout en maintenant les patients de référence constants, la méthode observe comment l'équilibre de la décision de similarité se déplace. Si $X_j$ et $X_k$ sont fortement corrélés dans la représentation du LLM, la valeur de $X_k$ influencera significativement la décision.

2. Modèle de décision de substitution :
   Les réponses binaires (Patient 1 contre Patient 2) sont modélisées à l'aide d'un substitut statistique. Les auteurs supposent une représentation « rationnelle » du LLM où le modèle effectue une estimation par variance inverse pour prédire l'état réel d'un patient basé sur des mesures bruitées et des indices indirects.

   • La probabilité de choisir le Patient 2 est modélisée comme une fonction logistique de la différence entre l'état estimé du Patient 3 et un point médian de référence.
   • Les coefficients logistiques ajustés ($\beta$) sont mathématiquement liés à la corrélation de population sous-jacente ($\rho$).
   • Estimateur symétrique : Pour éliminer les termes parasites liés à l'échelle des variables et au poids relatif des indices, la méthode inverse les rôles de $X_j$ et $X_k$ dans un deuxième ensemble de requêtes. La corrélation est récupérée à partir du produit des rapports de pentes des deux requêtes directionnelles, produisant une estimation symétrique $\hat{\rho}$.

3. Déplacements d'environnement induits par l'invite et ICP :
   Pour passer de la corrélation à l'inférence causale, la méthode emploie la Prédiction Causale Invariante (ICP).

   • Environnements synthétiques : Les auteurs créent différents « environnements » en variant le texte de l'invite pour spécifier différentes sous-populations (par exemple, différentes valeurs moyennes pour des variables spécifiques comme l'historique tabagique ou l'exposition à la pollution de l'air).
   • Application de l'ICP : Des matrices de corrélation sont estimées pour chaque environnement sollicité par l'invite. L'ICP teste des sous-ensembles de prédicteurs candidats pour voir si leurs pentes de régression sur une variable cible restent invariantes à travers ces environnements. Les corrélations fallacieuses se brisent généralement sous les changements de distribution, tandis que les liens causaux réels restent stables.
   • Filtrage conservateur : Une variable est retenue comme parent candidat uniquement si elle ne peut pas être exclue de tous les ensembles invariants, garantissant un ensemble conservateur de candidats causaux.

Contributions clés

• Extraction basée sur les triplets : Un cadre novateur pour récupérer des corrélations par paires à partir de jugements de similarité des LLMs sans nécessiter l'accès aux composants internes du modèle (activations ou poids).
• Environnements sollicités par l'invite pour l'évaluation causale : Une méthode pour estimer des corrélations spécifiques à l'environnement en manipulant les descriptions d'invites de sous-populations, permettant l'application de l'ICP à des données dérivées des LLMs.
• Démonstration clinique : Validation dans deux domaines cliniques distincts : la maladie pulmonaire obstructive chronique (MPOC) et la sclérose en plaques (SEP).

Résultats
La méthode a été évaluée à l'aide des modèles gpt-oss-120b et gpt-oss-20b d'OpenAI sur des ensembles de données de MPOC (marqueurs de la fonction pulmonaire) et de SEP (biomarqueurs et échelles cliniques).

• Adéquation du modèle et stabilité : Le modèle de décision de substitution a bien ajusté les réponses binaires par triplets. Les surfaces de décision étaient lisses et monotones, avec des frontières de décision cohérentes avec les signes de corrélation attendus (par exemple, des pentes négatives pour des paires positivement corrélées).
• Plausibilité clinique :
  • MPOC : Les corrélations extraites ont montré une structure forte et cohérente. Les variables de spirométrie (FEV1, FEV1/CV) formaient un bloc serré, et des relations physiologiques connues (par exemple, l'association négative entre le FEV1/CV et les métriques de piégeage aérien) ont été récupérées.
  • SEP : Les corrélations étaient généralement plus faibles que dans la MPOC, probablement en raison d'une littérature plus sparse ou plus hétérogène dans les données d'entraînement. Cependant, des paires établies (par exemple, T25FW et T2-LV) ont été récupérées.
• Comparaison avec les requêtes directes : Les estimations basées sur les triplets étaient significativement moins bruitées et plus stables que les requêtes numériques directes. Les requêtes directes produisaient des distributions dispersées (écarts-types de 0,1 à 0,3) et étaient moins sensibles aux déplacements d'environnement, tandis que les estimations par triplets variaient de manière appropriée à travers les environnements, une condition préalable à l'ICP.
• Inférence causale (ICP) :
  • MPOC : L'ICP a identifié un petit ensemble de parents candidats conservateurs : années-paquet $\to$ DLCO, PM2,5 $\to$ CVT, et IMC $\to$ R5-R20. Ceux-ci s'alignent sur les connaissances cliniques établies (par exemple, le tabagisme réduisant la capacité de diffusion).
  • SEP : L'ICP a identifié le volume des lésions T1 noires comme parent de l'EDSS et le sGFAP comme parent du 9HPT, cohérent avec les preuves méta-analytiques sur la charge lésionnelle et le handicap.
• Robustesse : Les estimations étaient stables à travers différents choix de valeurs de référence et ont montré une structure relative cohérente à travers les tailles de modèle (120b vs 20b), bien que le modèle plus petit ait produit des magnitudes de corrélation absolues légèrement plus faibles.

Signification et affirmations
L'article affirme que l'élicitation indirecte via des comparaisons par triplets offre une « voie prudente » des corrélations implicites dans les LLMs vers des affirmations causales qui sont congruentes avec les modèles de réponse du modèle. La signification réside dans :

1. Surmonter les limites des requêtes directes : La méthode évite l'hallucination et la sycophancie associées aux requêtes numériques directes en s'appuyant sur des jugements de similarité relative.
2. Sondage comportemental : Elle traite les LLMs comme des sujets expérimentaux, inférant leur représentation interne des relations cliniques par le biais d'expériences comportementales contrôlées plutôt que de supposer qu'ils peuvent s'autodéclarer véridiques.
3. Découverte causale sans données : Elle démontre une voie pour effectuer une prédiction causale invariante en utilisant uniquement des environnements « synthétiques » conçus par l'ingénierie des invites, contournant ainsi le besoin de multiples ensembles de données cliniques au niveau individuel, souvent difficiles à obtenir.

Les auteurs restent modestes, notant que la méthode récupère des associations impliquées par le modèle plutôt que des vérités cliniques empiriques. La traduction des pentes ajustées en corrélations repose sur des hypothèses relationnelles spécifiques, et l'étude est limitée à deux domaines et à un ensemble spécifique de modèles. Néanmoins, le cadre fournit un outil exploratoire viable pour sonder la structure d'association représentée au sein des LLMs.