What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Sintesi Tecnica: Estimandi e Inferenza nelle Conversazioni Mediate dall'IA

Definizione del Problema
I politologi utilizzano sempre più spesso le conversazioni come trattamenti causali, che spaziano dai canvasser umani all'intelligenza artificiale (IA) generativa. Sebbene la natura interattiva e reattiva delle conversazioni offra un'elevata validità ecologica e scalabilità (particolarmente con l'IA), essa introduce sfide fondamentali per l'inferenza causale. A differenza degli interventi statici (ad esempio, volantini o testi fissi), le conversazioni sono prodotte congiuntamente dal rispondente e dall'interlocutore. Di conseguenza, la conversazione realizzata è endogena alle caratteristiche del rispondente (ad esempio, ostilità, curiosità o resistenza).

Il problema centrale è che l'assegnazione casuale a una condizione conversazionale (ad esempio, una politica di IA "civile" vs "incivile") identifica l'effetto dell'assegnazione, ma non identifica necessariamente l'effetto della conversazione realizzata o di specifiche caratteristiche al suo interno (ad esempio, il livello di inciviltà). Poiché la conversazione si dispiega dinamicamente in base agli input del rispondente, la variazione nel trattamento realizzato è sistematicamente correlata ai tratti del rispondente che influenzano anche gli esiti. Ciò crea un confondimento che i design randomizzati standard non possono risolvere senza ipotesi aggiuntive. Il documento sostiene che trattare la "conversazione" come un trattamento monolitico occulta distinti oggetti teorici (assegnazione, policy, messaggio, caratteristica) che richiedono diverse definizioni causali e strategie di identificazione.

Metodologia e Framework
Gli autori sviluppano un framework di potenziali risultati adattato per processi sequenziali e interattivi. Formalizzano la conversazione come un processo dipendente dal percorso che coinvolge:

• Assegnazione ($Z_i$): La condizione randomizzata (ad esempio, prompt o policy).
• Policy ($\pi$): La regola che governa le risposte dell'interlocutore alla cronologia.
• Storia ($H_{it}$): La sequenza dei messaggi precedenti.
• Conversazione Realizzata ($C_i$): L'intero percorso di messaggi generati dall'interazione tra policy, storia e comportamento del rispondente ($R_i$).
• Caratteristiche ($D_i, B_i$): Caratteristiche misurate e caratteristiche latenti non misurate della conversazione (ad esempio, tono, civiltà).

Il framework distingue tra l'intervento indotto dal design (ciò che viene randomizzato) e l'esposizione realizzata (ciò che il rispondente sperimenta effettivamente). Utilizza Grafi Aciclici Diretti (DAG) per illustrare come i tratti del rispondente ($U_i$) influenzino sia la traiettoria conversazionale che l'esito, creando endogeneità anche in presenza di assegnazione casuale.

Il documento definisce una tassonomia di estimandi causali, ciascuno corrispondente a un diverso oggetto teorico e che richiede distinte ipotesi di identificazione:

1. Effetto dell'Assegnazione ($\tau_Z$): L'effetto Intent-to-Treat (ITT) dell'essere assegnati a una condizione. Identificabile sotto le standard ipotesi di randomizzazione (Consistenza, Assenza di Interferenza, Ignorabilità, Positività).
2. Effetto del Messaggio Iniziale ($\tau_{A0}$): L'effetto del messaggio iniziale. Identificabile se il messaggio è direttamente randomizzato, ma spesso confuso se il messaggio è un proxy per una caratteristica latente.
3. Effetto della Policy ($\tau_\pi$): L'effetto del dispiegamento di un particolare regime conversazionale. Identificabile sotto la randomizzazione della policy, assumendo una implementazione stabile. Tuttavia, questo è un effetto aggregato che media su diverse traiettorie conversazionali.
4. Effetto del Messaggio ($\tau_{A_t}$): L'effetto di un messaggio specifico condizionato dalla storia. Richiede l'Ignorabilità Sequenziale (il messaggio successivo è come-se-casuale condizionato dalla storia). Il documento sostiene che ciò sia spesso violato perché la storia è endogena ai tratti del rispondente.
5. Effetto della Caratteristica ($\tau_D$): L'effetto di una caratteristica latente (ad esempio, inciviltà). Richiede che la variazione della caratteristica sia scissa da altri componenti non misurati del messaggio (bias di bundling).
6. Effetto della Conversazione Realizzata ($\tau_C$): L'effetto dell'intero percorso. Richiede l'Ignorabilità della Conversazione, che è generalmente non testabile e improbabile che si verifichi poiché le conversazioni sono generate congiuntamente.
7. Effetto del Dosaggio ($\tau_E$): L'effetto dell'esposizione cumulativa a una caratteristica. Eredita il confondimento presente al livello della caratteristica.

Risultati Chiave e Proposizioni
Il documento presenta diverse proposizioni che formalizzano i limiti dell'identificazione in contesti conversazionali:

• Proposizione 1 (Bias di Selezione): Il confronto degli esiti tra diversi messaggi fallisce nell'isolare l'effetto del messaggio perché i messaggi sono generati da diverse storie, che sono a loro volta guidate da tratti non osservati del rispondente ($U_i$).
• Proposizione 2 (Bias di Feature Bundling): La variazione di una caratteristica di interesse (ad esempio, il tono) è tipicamente raggruppata con altri aspetti non misurati del messaggio. Randomizzare il messaggio non isola l'effetto della caratteristica.
• Proposizione 3 (Endogeneità dei Percorsi): La conversazione realizzata è sia un trattamento che un indicatore delle caratteristiche del rispondente. Il confronto tra percorsi realizzati confonde l'effetto del trattamento con l'eterogeneità del rispondente.
• Proposizione 4 (Ereditarietà del Dosaggio): L'aggregazione delle caratteristiche in una misura di dosaggio non risolve il confondimento sottostante presente al livello della caratteristica.

Implicazioni per il Design della Ricerca
Gli autori propongono diverse strategie di design per allineare gli estimandi agli obiettivi di ricerca:

• Far Corrispondere l'Estimando al Design: I ricercatori devono definire esplicitamente se sono interessati all'assegnazione, alla policy o a specifiche caratteristiche, e progettare la randomizzazione di conseguenza.
• Randomizzazione a Livello di Turno: Invece di randomizzare l'intera condizione, i ricercatori possono randomizzare messaggi specifici in turni specifici (condizionati dalla storia). Ciò crea un Local Average Treatment Effect (LATE) per stati conversazionali specifici, riducendo l'endogeneità.
• Effetti Medi del Trattamento Condizionale (CATE): Condizionando sulle rappresentazioni della storia (ad esempio, un contesto "civile" vs "ostile" invece della storia completa ad alta dimensionalità), i ricercatori possono stimare come gli effetti dei messaggi varino in base al contesto.
• Effetto Medio della Componente (AMCE): Aggregare i CATE attraverso la distribuzione osservata dei contesti conversazionali per riassumere gli effetti medi dei messaggi.
• Variabili Strumentali (LATE): Quando l'esposizione realizzata non può essere manipolata direttamente, l'assegnazione può fungere da strumento per la caratteristica realizzata, identificando un Local Average Treatment Effect per i "compliers" (coloro la cui conversazione è stata spostata dall'assegnazione).
• Protocolli Vincolati: Limitare lo spazio dei messaggi (ad esempio, risposte a scelta multipla) per migliorare il supporto empirico per i confronti, sebbene ciò possa comportare un compromesso con la validità ecologica.

Significatività e Rivendicazioni
Il documento rivendica di fornire un linguaggio comune per definire e interpretare gli effetti causali in contesti conversazionali, in particolare quelli mediati dall'IA. Il suo contributo primario non è suggerire che i ricercatori debbano ritirarsi solo verso estimandi facilmente identificabili (come l'ITT), ma chiarire i compromessi coinvolti nello studio di oggetti teorici complessi e ricchi come la "persuasione" o la "deliberazione".

Gli autori sostengono che il divario tra ciò che viene assegnato e ciò che viene esperito sia una caratteristica fondamentale dell'interazione sociale, non un semplice fallimento metodologico. Rendendo esplicite le ipotesi necessarie per passare dall'assegnazione alla caratteristica realizzata, il framework permette agli studiosi di:

1. Allineare meglio le strategie empiriche con gli obiettivi teorici.
2. Interpretare i risultati con la dovuta cautela riguardo al confondimento.
3. Innovare nel design della ricerca (ad esempio, la randomizzazione sequenziale) per mirare a specifici oggetti causali.

Il documento conclude che, sebbene le conversazioni siano potenti perché sono adattive e co-prodotte, queste stesse caratteristiche rendono gli effetti causali più difficili da definire e identificare. Il framework serve a navigare questa complessità piuttosto che a eliminarla.