What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Resumo Técnico: Estimandos e Inferência em Conversas Mediadas por IA

Problema
Cientistas políticos utilizam cada vez mais conversas como tratamentos causais, variando de cabos eleitorais humanos a inteligência artificial (IA) generativa. Embora a natureza interativa e responsiva das conversas ofereça alta validade ecológica e escalabilidade (particularmente com a IA), ela introduz desafios fundamentais para a inferência causal. Diferente de intervenções estáticas (ex: panfletos ou textos fixos), as conversas são produzidas conjuntamente pelo respondente e pelo interlocutor. Consequentemente, a conversa realizada é endógena às características do respondente (ex: hostilidade, curiosidade ou resistência).

O problema central é que a atribuição aleatória a uma condição de conversação (ex: uma política de IA "civil" vs. "incivil") identifica o efeito da atribuição, mas não identifica necessariamente o efeito da conversa realizada ou de características específicas dentro dela (ex: o nível de incivilidade). Como a conversa se desenrola dinamicamente com base nos inputs do respondente, a variação na intervenção realizada está sistematicamente relacionada a traços do respondente que também afetam os resultados. Isso cria um confundimento que desenhos aleatórios padrão não conseguem resolver sem suposições adicionais. O artigo argumenta que tratar a "conversa" como um tratamento monolítico obscurece objetos teóricos distintos (atribuição, política, mensagem, característica) que exigem diferentes definições causais e estratégias de identificação.

Metodologia e Estrutura
Os autores desenvolvem um framework de resultados potenciais adaptado para processos sequenciais e interativos. Eles formalizam a conversa como um processo dependente de trajetória envolvendo:

• Atribuição ($Z_i$): A condição randomizada (ex: prompt ou política).
• Política ($\pi$): A regra que governa as respostas do interlocutor ao histórico.
• Histórico ($H_{it}$): A sequência de mensagens anteriores.
• Conversa Realizada ($C_i$): O caminho completo de mensagens geradas pela interação da política, do histórico e do comportamento do respondente ($R_i$).
• Características ($D_i, B_i$): Características medidas e características latentes não medidas da conversa (ex: tom, civilidade).

O framework distingue entre a intervenção induzida pelo design (o que é randomizado) e a exposição realizada (o que o respondente realmente experimenta). Utiliza-se Grafos Acíclicos Dirigidos (DAGs) para ilustrar como os traços do respondente ($U_i$) influenciam tanto o caminho conversacional quanto o resultado, criando endogeneidade mesmo sob atribuição aleatória.

O artigo define uma taxonomia de estimandos causais, cada um correspondendo a um objeto teórico diferente e exigindo suposições de identificação distintas:

1. Efeito da Atribuição ($\tau_Z$): O efeito de Intenção de Tratar (ITT) de ser atribuído a uma condição. Identificável sob suposições padrão de randomização (Consistência, Não Interferência, Ignorabilidade, Positividade).
2. Efeito da Mensagem de Abertura ($\tau_{A0}$): O efeito da mensagem inicial. Identificável se a mensagem for diretamente randomizada, mas frequentemente confundido se a mensagem for um proxy para uma característica latente.
3. Efeito da Política ($\tau_\pi$): O efeito de implementar um regime conversacional específico. Identificável sob randomização da política, assumindo implementação estável. No entanto, este é um efeito agregado que faz a média sobre diversas trajetórias conversacionais.
4. Efeito da Mensagem ($\tau_{A_t}$): O efeito de uma mensagem específica condicional ao histórico. Requer Ignorabilidade Sequencial (a próxima mensagem é como se fosse aleatória condicional ao histórico). O artigo argumenta que isso é frequentemente violado porque o histórico é endógeno aos traços do respondente.
5. Efeito da Característica ($\tau_D$): O efeito de uma característica latente (ex: incivilidade). Requer que a variação na característica seja desacoplada de outros componentes não medidos da mensagem (viés de agrupamento/bundling bias).
6. Efeito da Conversa Realizada ($\tau_C$): O efeito do caminho completo. Requer Ignorabilidade da Conversa, o que é geralmente indemonstrável e improvável de ocorrer, pois as conversas são geradas conjuntamente.
7. Efeito de Dosagem ($\tau_E$): O efeito da exposição cumulativa a uma característica. Herda o confundimento presente no estimando de nível de característica.

Resultados Principais e Proposições
O artigo apresenta várias proposições que formalizam os limites da identificação em ambientes conversacionais:

• Proposição 1 (Viés de Seleção): Comparar resultados entre diferentes mensagens falha em isolar o efeito da mensagem porque as mensagens são geradas por diferentes históricos, que são impulsionados por traços não observados do respondente ($U_i$).
• Proposição 2 (Viés de Agrupamento de Características): A variação em uma característica de interesse (ex: tom) é tipicamente agrupada com outros aspectos não medidos da mensagem. Randomizar a mensagem não isola o efeito da característica.
• Proposição 3 (Endogeneidade de Trajetórias): A conversa realizada é tanto um tratamento quanto um indicador de características do respondente. Comparar trajetórias realizadas confunde o efeito do tratamento com a heterogeneidade do respondente.
• Proposição 4 (Herança de Dosagem): Agregar características em uma medida de dosagem não resolve o confundimento subjacente presente no nível da característica.

Implicações para o Design de Pesquisa
Os autores propõem várias estratégias de design para alinhar os estimandos com os objetivos de pesquisa:

• Alinhar Estimando ao Design: Pesquisadores devem definir explicitamente se estão interessados na atribuição, na política ou em características específicas, e desenhar a randomização de acordo.
• Randomização ao Nível de Turno: Em vez de randomizar toda a condição, pesquisadores podem randomizar mensagens específicas em turnos específicos (condicional ao histórico). Isso cria um Efeito Médio Local de Tratamento (LATE) para estados conversacionais específicos, reduzindo a endogeneidade.
• Efeitos Médios de Tratamento Condicionais (CATE): Ao condicionar em representações do histórico (ex: contexto "civil" vs. "hostil") em vez do histórico completo de alta dimensão, pesquisadores podem estimar como os efeitos das mensagens variam conforme o contexto.
• Efeito Médio de Componente Marginal (AMCE): Agregar CATEs através da distribuição observada de contextos conversacionais para resumir efeitos médios de mensagens.
• Variáveis Instrumentais (LATE): Quando a exposição realizada não pode ser diretamente manipulada, a atribuição pode servir como um instrumento para a característica realizada, identificando um Efeito Local Médio de Tratamento para "cumpridores" (aqueles cuja conversa foi alterada pela atribuição).
• Protocolos Restritos: Restringir o espaço de mensagens (ex: respostas de múltipla escolha) para melhorar o suporte empírico para comparações, embora isso possa sacrificar a validade ecológica.

Significância e Alegações
O artigo afirma fornecer uma linguagem comum para definir e interpretar efeitos causais em contextos conversacionais, particularmente aqueles mediados por IA. Sua principal contribuição não é sugerir que os pesquisadores recuem para apenas estimandos facilmente identificáveis (como ITT), mas sim esclarecer os trade-offs envolvidos no estudo de objetos teoricamente ricos e complexos, como "persuasão" ou "deliberação".

Os autores argumentam que a lacuna entre o que é atribuído e o que é experimentado é uma característica fundamental da interação social, não meramente uma falha metodológica. Ao tornar explícitas as suposições necessárias para mover-se da atribuição para as características realizadas, o framework permite que os estudiosos:

1. Alinhem melhor as estratégias empíricas com os objetivos teóricos.
2. Interpretem os achados com a cautela apropriada em relação ao confundimento.
3. Inovem no design de pesquisa (ex: randomização sequencial) para visar objetos causais específicos.

O artigo conclui que, embora as conversas sejam poderosas por serem adaptativas e coproduzidas, essas mesmas características tornam os efeitos causais mais difíceis de definir e identificar. O framework serve para navegar nessa complexidade, em vez de eliminá-la.