📊 statistics

What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Cet article développe un cadre de résultats potentiels pour l'inférence causale dans les conversations médiées par l'IA, en distinguant divers objets causaux tels que les conditions d'assignation, les messages spécifiques et les caractéristiques conversationnelles réalisées afin de clarifier les estimands distincts et les hypothèses d'identification requises lorsque les conversations sont générées de manière endogène plutôt que simplement reçues.

Auteurs originaux : Adriane Fresh, Aiden Shin

Publié 2026-07-07

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adriane Fresh, Aiden Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un scientifique essayant de comprendre ce qui pousse les gens à changer d'avis. Par le passé, vous leur auriez peut-être remis un dépliant ou un script fixe à lire. C'est facile à étudier : tout le monde reçoit exactement le même morceau de papier, donc si leur avis change, vous savez que c'est grâce à ce papier.

Mais aujourd'hui, les chercheurs utilisent de plus en plus les conversations comme « traitement ». Au lieu d'un dépliant, ils font intervenir une personne (ou une IA) pour discuter avec le sujet. Le problème est qu'une conversation n'est pas un dépliant. C'est une danse.

Cet article soutient que lorsque vous étudiez les conversations, vous devez être très prudent quant à ce que vous mesurez réellement. Si vous ne l'êtes pas, vous pourriez penser que vous mesurez l'effet de « la politesse », alors que vous mesurez simplement l'effet d'« avoir été assigné à un robot poli ».

Voici la décomposition des idées principales de l'article, en utilisant des analogies de la vie quotidienne.

1. Le problème de la « piste de danse »

Imaginez que vous vouliez étudier comment la musique affecte la façon dont les gens dansent.

L'ancienne méthode (Traitement statique) : Vous mettez tout le monde dans une pièce et vous jouez la « Chanson A » en boucle. Tout le monde entend exactement la même chanson. S'ils dansent différemment, c'est à cause de la chanson. Facile.
La nouvelle méthode (Traitement conversationnel) : Vous mettez des gens sur une piste de danse avec un partenaire. Vous dites au Partenaire A d'être « gentil » et au Partenaire B d'être « désagréable ».

Voici le piège : la danse n'est pas seulement ce que fait le partenaire ; c'est ce que les deux font ensemble.

Si vous associez un partenaire « désagréable » à un danseur timide et poli, le danseur timide pourrait l'apaiser. La danse s'avère alors très douce.
Si vous associez ce même partenaire « désagréable » à un danseur bruyant et agressif, la danse pourrait se transformer en une dispute hurlante.

Même si les deux couples ont été assignés à la même condition de « partenaire désagréable », l'expérience réelle (la danse) était totalement différente. L'article appelle cela l'endogénéité : la conversation est créée conjointement par les deux personnes. Vous ne pouvez pas simplement dire que « le partenaire désagréable a provoqué la dispute », car la dispute dépendait aussi de la personnalité de l'autre personne.

2. Les cinq choses différentes que vous pourriez mesurer

L'article explique que les chercheurs confondent souvent cinq choses différentes. Voyez-les comme les couches d'un oignon :

L'assignation (Le billet) : C'est le billet que vous remettez au participant. « Vous recevez le Robot Gentil ». C'est facile à mesurer. Cela vous indique ce qui se passe quand on assigne quelqu'un à une condition. Mais cela ne dit pas quel a été le ressenti réel de la conversation.
La phrase d'ouverture (Le premier pas) : C'est la toute première chose que dit le robot. « Bonjour, parlons de politique ». C'est spécifique, mais cela ne rend pas compte de la façon dont la conversation se déroule après ce premier pas.
La politique (Le carnet de règles) : C'est l'ensemble des instructions que suit le robot. « Soyez toujours poli, mais si la personne s'énerve, restez calme ». C'est un « régime ». C'est une bonne mesure du fonctionnement d'un système spécifique, mais cela reste un ensemble de nombreuses conversations possibles.
Le message (Le pas spécifique) : C'est une phrase unique prononcée pendant la danse. « Je comprends votre point de vue ». L'article soutient que c'est la chose la plus difficile à étudier. Pourquoi ? Parce que cette phrase signifie quelque chose de totalement différent si la personne vient de dire quelque chose de gentil ou si elle vient de vous hurler dessus. Le contexte change la signification.
La conversation réalisée (La danse entière) : C'est l'interaction réelle, désordonnée et unique qui a eu lieu. C'est la seule chose qui importe réellement au participant, mais c'est la plus difficile à étudier scientifiquement car aucune danse n'est jamais exactement identique à une autre.

3. Le problème du « cadeau groupé »

L'article utilise une excellente analogie pour expliquer pourquoi il est difficile d'étudier des caractéristiques spécifiques (comme la « civilité » ou le « ton »).

Imaginez que vous envoyez un coffret cadeau à quelqu'un.

L'objectif : Vous voulez savoir si le ruban rouge sur la boîte le rend heureux.
La réalité : La boîte contient aussi une barre de chocolat, un mot et un jouet.
Le problème : Si vous donnez une boîte avec un ruban rouge, la personne reçoit aussi le chocolat. Si vous donnez une boîte avec un ruban bleu, elle reçoit un chocolat différent.

Vous ne pouvez pas dire si le ruban l'a rendu heureux, ou si c'était le chocolat. Dans les conversations, la « civilité » est le ruban, mais elle est toujours groupée avec d'autres éléments comme la « longueur du discours », l'« intensité émotionnelle » ou « qui prend la parole ». Vous ne pouvez pas facilement les séparer.

4. Alors, comment résoudre cela ?

L'article ne dit pas « arrêtez d'étudier les conversations ». Il dit : « Arrêtez de prétendre que les conversations sont de simples dépliants ».

Pour obtenir des réponses claires, les chercheurs doivent changer leurs expériences :

Adapter la question au design : Si vous voulez connaître l'effet d'une politique, randomisez la politique. Si vous voulez connaître l'effet d'un message spécifique, vous devez randomiser ce message spécifique au milieu d'une conversation (comme interrompre la danse et dire au partenaire : « Maintenant, dis cette phrase précise »).
Accepter la vérité « locale » : Parfois, on ne peut mesurer l'effet que sur les personnes qui ont « respecté » le traitement. Par exemple, si vous assignez un robot « impoli », mais qu'une personne polie l'apaise, vous ne pouvez pas mesurer l'effet de l'impolitesse sur cette personne. Vous ne pouvez le mesurer que sur ceux qui se sont réellement disputés.
Utiliser des « représentations » : Au lieu d'essayer de comparer chaque mot d'une conversation (ce qui est impossible car ils sont tous uniques), les chercheurs devraient regrouper les conversations par leur « ambiance » (ex : « très hostile », « modérément amicale ») et comparer les messages au sein de ces groupes.

En conclusion

Les conversations sont puissantes parce qu'elles sont vivantes. Elles réagissent à vous. Mais parce qu'elles réagissent à vous, elles sont complexes à étudier.

Si vous traitez une conversation comme un objet statique (comme un dépliant), vous aurez une mauvaise réponse. Vous pourriez penser que vous étudiez l'effet de l'« incivilité », alors que vous étudiez en réalité l'effet de l'« incivilité mélangée à la personnalité spécifique de la personne avec qui vous parliez ».

Cet article fournit une carte pour aider les chercheurs à ne plus confondre le billet (l'assignation) avec le voyage (la conversation réelle) et le paysage (les caractéristiques spécifiques comme le ton ou la longueur). Il nous dit que pour comprendre comment les conversations changent les esprits, nous devons être beaucoup plus précis sur quelle partie de la conversation nous mesurons.

Résumé technique : Estimands et inférence dans les conversations médiées par l'IA

Énoncé du problème
Les politologues utilisent de plus en plus les conversations comme traitements causaux, allant des militants humains à l'intelligence artificielle (IA) générative. Si la nature interactive et réactive des conversations offre une grande validité écologique et une grande extensibilité (particulièrement avec l'IA), elle introduit des défis fondamentaux pour l'inférence causale. Contra�à une intervention statique (par exemple, des dépliants ou un texte fixe), les conversations sont produites conjointement par le répondant et l'interlocuteur. Par conséquent, la conversation réalisée est endogène aux caractéristiques du répondant (par exemple, l'hostilité, la curiosité ou la résistance).

Le problème central est que l'assignation aléatoire à une condition conversationnelle (par exemple, une politique « civile » versus « incivile ») identifie l'effet de l'assignation, mais n'identifie pas nécessairement l'effet de la conversation réalisée ou de caractéristiques spécifiques au sein de celle-ci (par exemple, le niveau d'incivilité). Parce que la conversation se déroule de manière dynamique en fonction des entrées du répondant, la variation de la forme réalisée du traitement est systématiquement liée aux traits du répondant qui affectent également les résultats. Cela crée un biais de confusion que les conceptions randomisées standards ne peuvent résoudre sans hypothèses supplémentaires. L'article soutient que traiter la « conversation » comme un traitement monolithique occulte des objets théoriques distincts (assignation, politique, message, caractéristique) qui nécessitent des définitions causales et des stratégies d'identification différentes.

Méthodologie et cadre
Les auteurs développent un cadre de résultats potentiels adapté aux processus séquentiels et interactifs. Ils formalisent la conversation comme un processus dépendant du chemin impliquant :

Assignation ( $Z_i$ ) : La condition randomisée (par exemple, le prompt ou la politique).
Politique ( $\pi$ ) : La règle régissant les réponses de l'interlocuteur à l'historique.
Historique ( $H_{it}$ ) : La séquence des messages précédents.
Conversation réalisée ( $C_i$ ) : Le chemin complet des messages générés par l'interaction de la politique, de l'historique et du comportement du répondant ( $R_i$ ).
Caractéristiques ( $D_i, B_i$ ) : Caractéristiques mesurées et caractéristiques latentes non mesurées de la conversation (par exemple, le ton, la civilité).

Le cadre distingue l'intervention induite par la conception (ce qui est randomisé) de l'exposition réalisée (ce que le répondant expérimente réellement). Il utilise des graphes acycliques dirigés (DAG) pour illustrer comment les traits du répondant ( $U_i$ ) influencent à la fois le chemin conversationnel et le résultat, créant ainsi une endogénéité même sous assignation aléatoire.

L'article définit une taxonomie d'estimands causaux, chacun correspondant à un objet théorique différent et nécessitant des hypothèses d'identification distinctes :

Effet de l'assignation ( $\tau_Z$ ) : L'effet d'intention de traiter (ITT) de l'assignation à une condition. Identifiable sous les hypothèses de randomisation standard (Consistance, Absence d'interférence, Ignorabilité, Positivité).
Effet du message d'ouverture ( $\tau_{A0}$ ) : L'effet du message initial. Identifiable si le message est directement randomisé, mais souvent confondu s'il est un proxy pour une caractéristique latente.
Effet de la politique ( $\tau_\pi$ ) : L'effet du déploiement d'un régime conversationnel spécifique. Identifiable sous la randomisation de la politique, en supposant une mise en œuvre stable. Cependant, il s'agit d'un effet agrégé qui fait la moyenne de diverses trajectoires conversationnelles.
Effet du message ( $\tau_{A_t}$ ) : L'effet d'un message spécifique conditionnel à l'historique. Nécessite une Ignorabilité Séquentielle (le message suivant est comme s'il était aléatoire étant donné l'historique). L'article soutient que cela est souvent violé car l'historique est endogène aux traits du répondant.
Effet de la caractéristique ( $\tau_D$ ) : L'effet d'une caractéristique latente (par exemple, l'incivilité). Nécessite que la variation de la caractéristique soit déconnectée d'autres composantes non mesurées du message (biais de groupement).
Effet de la conversation réalisée ( $\tau_C$ ) : L'effet du chemin complet. Nécessite une Ignorabilité de la Conversation, ce qui est généralement invérifiable et peu probable de tenir car les conversations sont générées conjointement.
Effet de dosage ( $\tau_E$ ) : L'effet de l'exposition cumulative à une caractéristique. Hérite du biais de confusion présent au niveau de la caractéristique.

Résultats clés et propositions
L'article présente plusieurs propositions formalisant les limites de l'identification dans les contextes conversationnels :

Proposition 1 (Biais de sélection) : Comparer les résultats entre différents messages échoue à isoler l'effet du message car les messages sont générés par des historiques différents, lesquels sont pilotés par des traits non observés du répondant ( $U_i$ ).
Proposition 2 (Biais de groupement de caractéristiques) : La variation d'une caractéristique d'intérêt (par exemple, le ton) est typiquement groupée avec d'autres aspects non mesurés du message. Randomiser le message ne permet pas d'isoler l'effet de la caractéristique.
Proposition 3 (Endogénéité des chemins) : La conversation réalisée est à la fois un traitement et un indicateur des caractéristiques du répondant. Comparer les chemins réalisés confond l'effet du traitement avec l'hétérogénéité du répondant.
Proposition 4 (Héritage du dosage) : L'agrégation des caractéristiques en une mesure de dosage ne résout pas le biais de confusion sous-jacent présent au niveau de la caractéristique.

Implications pour la conception de la recherche
Les auteurs proposent plusieurs stratégies de conception pour aligner les estimands sur les objectifs de recherche :

Aligner l'estimand sur la conception : Les chercheurs doivent définir explicitement s'ils s'intéressent à l'assignation, à la politique ou à des caractéristiques spécifiques, et concevoir la randomisation en conséquence.
Randomisation au niveau du tour : Au lieu de randomiser toute la condition, les chercheurs peuvent randomiser des messages spécifiques à des tours spécifiques (conditionnellement à l'historique). Cela crée un effet de traitement moyen local (LATE) pour des états conversationnels spécifiques, réduisant l'endogénéité.
Effets de traitement moyens conditionnels (CATE) : En se conditionnant sur des représentations de l'historique (par exemple, un contexte « civil » versus « hostile ») plutôt que sur l'historique complet de haute dimension, les chercheurs peuvent estimer comment les effets des messages varient selon le contexte.
Effet de composante moyenne (AMCE) : Agrégations des CATE à travers la distribution observée des contextes conversationnels pour résumer les effets moyens des messages.
Variables instrumentales (LATE) : Lorsque l'exposition réalisée ne peut être directement manipulée, l'assignation peut servir d'instrument pour la caractéristique réalisée, identifiant un Effet de Traitement Moyen Local pour les « complieurs » (ceux dont la conversation a été modifiée par l'assignation).
Protocoles contraints : Restreindre l'espace des messages (par exemple, des réponses à choix multiples) pour améliorer le support empirique des comparaisons, bien que cela puisse se faire au détriment de la validité écologique.

Signification et revendications
L'article affirme fournir un langage commun pour définir et interpréter les effets causaux dans les contextes conversationnels, particulièrement ceux médiés par l'IA. Sa contribution principale n'est pas de suggérer que les chercheurs devraient se replier uniquement sur les estimands facilement identifiables (comme l'ITT), mais de clarifier les compromis impliqués dans l'étude d'objets théoriques complexes et riches comme la « persuasion » ou la « délibération ».

Les auteurs soutiennent que l'écart entre ce qui est assigné et ce qui est expérimenté est une caractéristique fondamentale de l'interaction sociale, et non un simple échec méthodologique. En rendant explicites les hypothèses requises pour passer de l'assignation à la caractéristique réalisée, le cadre permet aux chercheurs de :

Mieux aligner les stratégies empiriques avec les objectifs théoriques.
Interpréter les résultats avec la prudence appropriée concernant le biais de confusion.
Innover dans la conception de la recherche (par exemple, la randomisation séquentielle) pour cibler des objets causaux spécifiques.

L'article conclut que si les conversations sont puissantes parce qu'elles sont adaptatives et co-produites, ces mêmes caractéristiques rendent les effets causaux plus difficiles à définir et à identifier. Le cadre sert à naviguer dans cette complexité plutôt qu'à l'éliminer.