What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Technische Samenvatting: Estimanden en Inferentie in AI-gemedieerde Conversaties

Probleemstelling
Politieke wetenschappers maken steeds vaker gebruik van gesprekken als causale behandelingen, variërend van menselijke canvassers tot generatieve kunstmatige intelligentie (AI). Hoewel het interactieve, responsieve karakter van gesprekken een hoge ecologische validiteit en schaalbaarheid biedt (met name met AI), introduceert het fundamentele uitdagingen voor causale inferentie. In tegenstelling tot statische interventies (bijv. folders of een vaste tekst), worden gesprekken gezamenlijk geproduceerd door de respondent en de gesprekspartner. Bijgevolg is het gerealiseerde gesprek endogeen aan de kenmerken van de respondent (bijv. vijandigheid, nieuwsgierigheid of weerstand).

Het kernproblem is dat de random toewijzing aan een conversationele conditie (bijv. een "beschaafde" versus een "onbeschaafde" AI-policy) het effect van de toewijzing identificeert, maar niet noodzakelijkerwijs het effect van het gerealiseerde gesprek of specifieke kenmerken daarin (bijv. het niveau van onbeschaafdheid). Omdat het gesprek dynamisch verloopt op basis van de input van de respondent, is de variatie in de gerealiseerde behandeling systematisch gerelateerd aan respondentkenmerken die ook de uitkomsten beïnvloeden. Dit creëert confounding die standaard gerandomiseerde ontwerpen niet kunnen oplossen zonder aanvullende assumpties. Het artikel betoogt dat het behandelen van het "gesprek" als een monolithische behandeling verschillende theoretische objecten (toewijzing, policy, boodschap, kenmerk) verhult die verschillende causale definities en identificatiestrategieën vereisen.

Methodologie en Raamwerk
De auteurs ontwikkelen een potential outcomes framework dat is aangepast voor sequentiële, interactieve processen. Zij formaliseren het gesprek als een pad-afhankelijk proces bestaande uit:

• Toewijzing ($Z_i$): De gerandomiseerde conditie (bijv. prompt of policy).
• Policy ($\pi$): De regel die de reacties van de gesprekspartner op de historie beheert.
• Historie ($H_{it}$): De sequentie van voorafgaande berichten.
• Gerealiseerd Gesprek ($C_i$): Het volledige pad van berichten gegenereerd door de interactie van de policy, de historie en het gedrag van de respondent ($R_i$).
• Kenmerken ($D_i, B_i$): Gemeten en niet-gemeten latente kenmerken van het gesprek (bijv. toon, beschaafdheid).

Het raamwerk maakt onderscheid tussen de ontwerp-geïnduceerde interventie (wat gerandomiseerd wordt) en de gerealiseerde blootstelling (wat de respondent daadwerkelijk ervaart). Er wordt gebruikgemaakt van Directed Acyclic Graphs (DAGs) om te illustreren hoe respondentkenmerken ($U_i$) zowel het conversationele pad als de uitkomst beïnvloeden, wat endogeniteit veroorzaakt, zelfs onder random toewijzing.

Het artikel definieert een taxonomie van causale estimanden, die elk overeenkomen met een ander theoretisch object en verschillende identificerende assumpties vereisen:

1. Toewijzingseffect ($\tau_Z$): Het Intent-to-Treat (ITT) effect van het toegewezen worden aan een conditie. Identificeerbaar onder standaard randomisatie-assumpties (Consistentie, Geen Interferentie, Ignorability, Positiviteit).
2. Opening Boodschap Effect ($\tau_{A0}$): Het effect van het eerste bericht. Identificeerbaar als de boodschap direct gerandomiseerd wordt, maar vaak geconfound als de boodschap een proxy is voor een latent kenmerk.
3. Policy Effect ($\tau_\pi$): Het effect van het inzetten van een specifiek conversationeel regime. Identificeerbaar onder randomisatie van de policy, uitgaande van een stabiele implementatie. Dit is echter een geaggregeerd effect dat middelt over diverse conversationele trajecten.
4. Boodschap Effect ($\tau_{A_t}$): Het effect van een specifieke boodschap conditioneel op de historie. Vereist Sequential Ignorability (de volgende boodschap is als-of willekeurig conditioneel op de historie). Het artikel stelt dat dit vaak geschonden wordt omdat de historie endogeen is aan respondentkenmerken.
5. Kenmerk Effect ($\tau_D$): Het effect van een latent kenmerk (bijv. onbeschaafdheid). Vereist dat de variatie in het kenmerk ontkoppeld is van andere niet-gemeten aspecten van de boodschap (bundeling bias).
6. Gerealiseerd Gesprek Effect ($\tau_C$): Het effect van het volledige pad. Vereist Conversation Ignorability, wat over het algemeen ontestbaar is en onwaarschijnlijk standhoudt omdat gesprekken gezamenlijk worden gegenereerd.
7. Dosage Effect ($\tau_E$): Het effect van cumulatieve blootstelling aan een kenmerk. Erft de confounding van het kenmerk-niveau estimand.

Belangrijkste Resultaten en Proposities
Het artikel presenteert verschillende proposities die de grenzen van identificatie in conversationele settings formaliseren:

• Propositie 1 (Selectiebias): Het vergelijken van uitkomsten over verschillende boodschappen faalt in het isoleren van het boodschapseffect omdat de boodschappen worden gegenereerd door verschillende historieën, die op hun beurt worden gedreven door ongeobserveerde respondentkenmerken ($U_i$).
• Propositie 2 (Feature Bundling Bias): Variatie in een kenmerk van belang (bijv. toon) is doorgaans gebundeld met andere niet-gemeten aspecten van de boodschap. Het randomiseren van de boodschap isoleert het kenmerkseffect niet.
• Propositie 3 (Endogeniteit van paden): Het gerealiseerde gesprek is zowel een behandeling als een indicator van respondentkenmerken. Het vergelijken van gerealiseerde paden confondeert het behandelingseffect met respondentheterogeniteit.
• Propositie 4 (Dosage Inheritance): Het aggregeren van kenmerken in een dosage-maatstaf lost de onderliggende confounding op het niveau van het kenmerk niet op.

Implicaties voor Onderzoeksontwerp
De auteurs stellen verschillende ontwerpstrategieën voor om estimanden af te stemmen op onderzoeksdoelen:

• Match Estimand met Ontwerp: Onderzoekers moeten expliciet definiëren of zij geïnteresseerd zijn in de toewijzing, de policy of specifieke kenmerken, en het ontwerp daarop afstemmen.
• Turn-Level Randomization: In plaats van de gehele conditie te randomiseren, kunnen onderzoekers specifieke boodschappen op specifieke beurten randomiseren (conditioneel op de historie). Dit creëert een Local Average Treatment Effect (LATE) voor specifieke conversationele staten, wat endogeniteit vermindert.
• Conditional Average Treatment Effects (CATE): Door te conditioneren op representaties van de historie (bijv. een "beschaafde" versus een "vijandige" context) in plaats van de volledige hoog-dimensionale historie, kunnen onderzoekers schatten hoe boodschapseffecten per context variëren.
• Average Marginal Component Effect (AMCE): Het aggregeren van CATE's over de geobserveerde distributie van conversationele contexten om gemiddelde boodschapseffecten samen te vatten.
• Instrumental Variables (LATE): Wanneer de gerealiseerde blootstelling niet direct gemanipuleerd kan worden, kan de toewijzing dienen als een instrument voor de gerealiseerde feature, wat een Local Average Treatment Effect identificeert voor "compliers" (zij wiens gesprek is verschoven door de toewijzing).
• Constrained Protocols: Het beperken van de boodschapperuimte (bijv. antwoorden met meerkeuzeopties) om empirische ondersteuning voor vergelijkingen te verbeteren, hoewel dit kan ten koste gaan van de ecologische validiteit.

Betekenis en Claims
Het artikel claimt een gemeenschappelijke taal te bieden voor het definiëren en interpreteren van causale effecten in conversationele settings, met name die bemiddeld door AI. De primaire bijdrage is niet het suggereren dat onderzoekers zich enkel tot gemakkelijk identificeerbare estimanden (zoals ITT) moeten beperken, maar het verhelderen van de trade-offs bij het bestuderen van complexe, theoretisch rijke objecten zoals "overtuiging" of "deliberatie".

De auteurs betogen dat de kloof tussen wat is toegewezen en wat wordt ervaren een fundamenteel kenmerk is van sociale interactie, en niet louter een methodologisch falen. Door de assumpties die nodig zijn om van toewijzing naar gerealiseerde kenmerken te bewegen expliciet te maken, stelt het raamwerk wetenschappers in staat om:

1. Empirische strategieën beter af te stemmen op theoretische doelen.
2. Bevindingen te interpreteren met de nodige voorzichtigheid met betrekking tot confounding.
3. Te innoveren in onderzoeksontwerp (bijv. sequentiële randomisatie) om specifieke causale objecten te targeten.

Het artikel concludeert dat hoewel gesprekken krachtig zijn omdat ze adaptief en gezamenlijk geproduceerd zijn, dezezelfde kenmerken causale effecten moeilijker te definiëren en te identificeren maken. Het raamwerk dient om deze complexiteit te navigeren in plaats van deze te elimineren.