Résumé Technique : L'Illusion de l'Intervention dans les Expériences Simulées par les LLM

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour simuler le comportement humain dans le cadre d'expériences synthétiques, telles que l'évaluation d'agents d'IA ou la conduite d'enquêtes à grande échelle. L'hypothèse prédominante est qu'en initialisant des LLM identiques avec le même persona (par exemple, « un homme de 30 ans ») et en les exposant à différentes interventions (par exemple, Agent A vs Agent B), les chercheurs peuvent imiter un essai contrôlé randomisé (RCT) pour estimer des effets causaux.

Cependant, cet article soutient que de telles expériences synthétiques souffrent de dérive utilisateur, les rendant plus proches d'études observationnelles que d'essais randomisés. Parce que les LLM sont entraînés sur des données observationnelles et fonctionnent par raisonnement abductif, ils infèrent des attributs latents non spécifiés ($X \setminus L$) pour maintenir la cohérence avec le contexte de l'intervention ($A$). Par conséquent, deux utilisateurs synthétiques initialisés avec les mêmes attributs observés ($L$) peuvent dériver vers des populations latentes distinctes en fonction de l'intervention qu'ils reçoivent. Cela crée un biais de sélection (confusion), où la distribution des attributs latents de l'utilisateur diffère selon les conditions de traitement ($P(X | A=1, L) \neq P(X | A=0, L)$), faussant l'effet de traitement estimé ($\tau_{obs}$) par rapport à l'effet causal réel ($\tau_{ATE}$).

Méthodologie

Formalisation du Biais

Les auteurs formalisent le problème en utilisant le cadre des résultats potentiels. Dans un RCT idéal, l'attribution aléatoire garantit que les facteurs de fond sont équilibrés. Dans les simulations LLM, le processus génératif factorise la distribution conjointe comme $P(L, A, X, Y)$ plutôt que l'ordre causal $P(X, L, A, Y)$. Lorsqu'une intervention $A$ est introduite, le LLM infère des attributs latents $X \setminus L$ qui sont cohérents avec $A$, créant un chemin de retour ouvert de $A$ vers $Y$ à travers des attributs utilisateur non observés. Cela induit un terme de biais $\delta_{SB}$ tel que $\tau_{ATE} = \tau_{obs} - \delta_{SB}$.

Diagnostic : Résultats de Contrôle Négatif

Pour détecter cette dérive sans observer le persona latent complet, les auteurs proposent d'utiliser des résultats de contrôle négatif ($Z$). Ce sont des variables qui :

1. Ne devraient pas être causalement affectées par l'intervention $A$ (invariantes sous traitement).
2. Dépendent des mêmes attributs latents non observés ($X \setminus L$) qui entraînent la dérive dans le résultat principal.

Des exemples incluent des attributs démographiques (race, citoyenneté) ou des croyances stables qui ne devraient pas changer en fonction du fait qu'un utilisateur interagit avec un agent IA « positif » ou « négatif ». Les auteurs quantifient la dérive en utilisant la Distance de Variation Totale (TVD) entre les distributions de $Z$ sous différentes conditions d'intervention ($A=0$ vs $A=1$). Une TVD non nulle indique que l'intervention a déplacé la population latente d'utilisateurs, signalant une confusion.

Atténuation : Ajustement Itératif des Confondants

Pour réduire le biais, les auteurs proposent une procédure itérative pour éliciter et spécifier des confondants supplémentaires ($L'$) qui servent de proxy aux attributs latents non observés.

1. Élicitation : Le système demande à l'utilisateur synthétique des attributs spécifiques (par exemple, revenu, religion, ou questions ciblées liées à l'intervention) après l'intervention.
2. Échantillonnage : De nouveaux confondants sont échantillonnés à partir d'une distribution de mélange uniforme par traitement pour garantir que la population ajustée reflète un scénario randomisé.
3. Itération : Ces attributs élicités sont ajoutés à la spécification du persona ($\tilde{L} = L \cup L'$), et l'expérience est relancée. Cette boucle continue jusqu'à ce que la TVD des résultats de contrôle négatif se stabilise ou descende en dessous d'un seuil.

Les auteurs soulignent qu'il s'agit d'une approche itérative et ciblée plutôt que d'une spécification en un seul coup de tous les attributs possibles, afin d'éviter la dégradation de la fenêtre de contexte et le biais d'échantillonnage.

Contributions Clés

1. Formalisation de la Dérive Utilisateur : L'article fournit un cadre d'inférence causale démontrant que les expériences simulées par LLM souffrent intrinsèquement d'un biais de sélection dû aux déplacements dépendants de l'intervention dans les attributs latents de l'utilisateur.
2. Diagnostic Empirique : Il introduit l'utilisation de résultats de contrôle négatif et de la Distance de Variation Totale comme outil pratique pour diagnostiquer la dérive utilisateur et le biais de sélection à travers diverses familles de LLM.
3. Stratégie d'Atténuation : Il démontre que l'élicitation itérative et ciblée de confondants lors de la spécification du persona peut réduire considérablement le biais de sélection et stabiliser les estimations d'effet dans les contextes d'enquête et d'évaluation d'agents multi-tours.

Résultats

Les auteurs ont évalué leur approche sur plusieurs modèles (Qwen3, GPT-OSS, Gemma, Gemini) et jeux de données (OpinionQA, Book Opinions, MovieLens).

• Présence de Dérive : À l'itération 0 (référence), une TVD substantielle a été observée dans les résultats de contrôle négatif pour la plupart des modèles et jeux de données, confirmant que des personas initiaux identiques dérivent vers des populations latentes différentes en fonction de l'intervention. Notamment, les modèles dotés de capacités de raisonnement abductif plus fortes (par exemple, Gemma-4) ont présenté plus de dérive que les modèles plus petits et moins performants.
• Effet de l'Ajustement : L'ajustement itératif des confondants a généralement réduit la TVD, indiquant une réduction de la dérive utilisateur.
  • Dans les contextes d'enquête (OpinionQA), la TVD a diminué de manière constante au fil des itérations.
  • Dans les contextes d'évaluation d'agents, les résultats ont varié ; certains modèles (par exemple, Gemma-4) ont montré des réductions claires, tandis que d'autres (par exemple, GPT-OSS-20B) ont montré une TVD plate ou faiblement changeante, suggérant que le conditionnement basé sur les invites n'est pas uniformément efficace dans les contextes multi-tours.
• Impact sur les Estimations d'Effet : Les effets de traitement observés ($\tau_{obs}$) ont considérablement changé au cours des premières itérations d'ajustement avant de se stabiliser. Cela confirme que les estimations naïves étaient confondues par la dérive utilisateur.
• Nuances de Conception : L'étude a révélé que l'ajout d'attributs démographiques génériques au début pouvait parfois augmenter la TVD (biais de sélection) avant que des confondants spécifiques à la tâche ne la réduisent. Cela souligne l'importance de sélectionner des confondants pertinents pour le traitement et le résultat spécifiques.

Signification et Revendications

L'article conclut que les évaluations utilisant des utilisateurs synthétiques doivent être traitées par défaut comme des études observationnelles, et non comme des expériences randomisées. L'« illusion de l'intervention » découle du fait que la nature générative du LLM permet à l'intervention d'influencer rétroactivement l'état latent de l'utilisateur simulé.

Les auteurs affirment que :

1. Sans diagnostic et atténuation, les expériences avec des utilisateurs synthétiques risquent de produire des estimations causales trompeuses en raison d'un biais de sélection non observé.
2. Les résultats de contrôle négatif fournissent un outil de diagnostic nécessaire pour détecter ce biais.
3. L'ajustement itératif et ciblé des confondants est une stratégie viable pour améliorer la validité interne, bien qu'il ne garantisse pas l'élimination de tout biais, en particulier si une variation latente substantielle reste non mesurée.

Ce travail sert de cadre d'avertissement pour les chercheurs utilisant des LLM pour simuler des réponses humaines, appelant à passer d'une hypothèse de validité causale à un diagnostic actif et une correction de la dérive utilisateur.