Estimating Causal Effects of Text Interventions Leveraging LLMs

Este artigo apresenta o CausalDANN, uma abordagem inovadora que utiliza grandes modelos de linguagem (LLMs) para transformar textos e estimar efeitos causais em intervenções textuais complexas, superando as limitações dos métodos tradicionais ao lidar com dados observacionais e mudanças de domínio.

O essencial

Imagine que você é um detetive tentando descobrir a causa de algo no mundo real. Por exemplo: "Será que postar uma mensagem mais brava no Twitter faz as pessoas interagirem mais?" ou "Será que uma resenha positiva de um produto faz mais gente comprar?"

O problema é que, na vida real, não podemos fazer experimentos perfeitos. Não podemos pegar a mesma pessoa, fazer ela postar uma mensagem brava e outra calma ao mesmo tempo, e ver o que acontece. Temos que olhar para o que as pessoas já postaram (dados observacionais).

Mas aqui surge um grande obstáculo: como você isola a "raiva" de um texto? O texto é um pacote inteiro de informações. Se uma pessoa está brava, ela também pode estar usando gírias, escrevendo frases curtas ou falando de um assunto específico. Separar a "raiva" do resto é como tentar tirar o sal de uma sopa já pronta sem estragar o caldo.

É aqui que entra o CAUSALDANN, o "herói" deste artigo. Vamos explicar como ele funciona usando analogias simples:

1. O Problema: A Sopa da Raiva

Imagine que você quer saber se o tempero "pimenta" (a intervenção) faz a sopa ficar mais saborosa (o resultado).

• O jeito antigo: Você tenta medir a pimenta em cada pote de sopa que já existe na prateleira. Mas a pimenta está misturada com o caldo, o sal e os legumes. É difícil saber se o sabor vem da pimenta ou se foi só porque a sopa tinha mais tomate.
• O problema dos textos: Textos são como essas sopas complexas. A "raiva" ou o "sentimento positivo" está escondido dentro das palavras.

2. A Solução Mágica: O Chef Robô (LLM)

Os autores criaram uma ferramenta chamada CAUSALDANN. Pense nela como um Chef Robô superinteligente (um Modelo de Linguagem Grande, ou LLM) que tem um poder especial: ele pode recriar a sopa.

• O Truque do Chef: Você pega uma receita original (o texto real) e pede ao Chef Robô: "Reescreva essa receita, mas coloque muita mais pimenta (raiva), mantendo todos os outros ingredientes (gramática, assunto, estilo) exatamente iguais."
• O Chef Robô cria uma "versão paralela" do texto. Agora, você tem o texto original (sem tanta pimenta) e o texto transformado (com muita pimenta).

3. O Grande Desafio: A Sopa Invisível

Agora você tem dois textos: o original e o transformado.

• Você sabe o resultado do texto original (ex: quantas pessoas curtiram).
• Mas você não sabe o resultado do texto transformado, porque ele nunca foi postado de verdade! É como se o Chef Robô tivesse criado uma sopa em uma dimensão paralela.

Como descobrir o resultado da sopa da dimensão paralela? É aqui que entra a parte mais inteligente do sistema: A Adaptação de Domínio.

4. O Tradutor de Sotaques (DANN)

Imagine que você é um professor tentando ensinar um aluno.

• O aluno (o modelo de IA) aprendeu a prever o sucesso de uma sopa usando receitas que ele já viu (os textos originais).
• Agora, você quer que ele preveja o sucesso da nova receita (o texto transformado com mais pimenta).
• O problema é que a nova receita tem um "sotaque" diferente (ela foi gerada por um robô, tem um tom diferente). Se o aluno tentar aplicar o que aprendeu na receita antiga diretamente, ele vai errar, porque o "sotaque" mudou. Isso é chamado de desvio de domínio.

O CAUSALDANN usa uma técnica chamada DANN (Rede Neural Adversarial de Domínio). Pense nisso como um treinador de esportes que ensina o aluno a ignorar o "sotaque" e focar apenas no sabor real.

• O treinador diz: "Não importa se a sopa foi feita por um humano ou por um robô, ou se ela tem um sotaque diferente. O que importa é o ingrediente principal (a raiva). Aprenda a identificar o sabor da raiva, ignorando se a sopa veio de uma panela azul ou vermelha."
• Isso faz com que o modelo seja muito mais preciso ao prever o que aconteceria com o texto transformado, mesmo que ele nunca tenha visto aquele texto específico antes.

5. O Resultado: A Verdade Desmascarada

Com o CAUSALDANN, o sistema consegue:

1. Pegar um texto real.
2. Usar o Chef Robô para criar uma versão "mais brava" ou "mais feliz".
3. Usar o Treinador (DANN) para prever com precisão o que aconteceria com essa versão nova.
4. Comparar o resultado real com o resultado previsto.

A conclusão?
O CAUSALDANN conseguiu prever o efeito causal (quanto a raiva aumenta o engajamento, por exemplo) com muito mais precisão do que os métodos antigos. Os métodos antigos tentavam adivinhar sem "recriar" o texto, e acabavam confundindo a raiva com outras coisas (como o assunto do post).

Resumo em uma frase

O CAUSALDANN é como um laboratório de realidade alternativa onde usamos Inteligência Artificial para reescrever mensagens, e depois usamos um "olho treinado" para prever o que aconteceria com essas novas mensagens, permitindo que descubramos a verdadeira causa e efeito nas conversas da internet, sem precisar fazer experimentos perigosos ou impossíveis no mundo real.

Por que isso é importante?
Isso ajuda a entender como nossas palavras afetam o mundo. Se soubermos exatamente como a raiva ou a positividade mudam o comportamento das pessoas, podemos criar melhores políticas, moderar redes sociais com mais sabedoria e entender melhor a psicologia humana.

Resumo técnico

Título: Estimando Efeitos Causais de Intervenções Textuais Aproveitando Grandes Modelos de Linguagem (LLMs)

Autores: Siyi Guo, Myrl G. Marmarelis, Fred Morstatter, Kristina Lerman (USC Information Sciences Institute)

1. O Problema

A quantificação dos efeitos causais de intervenções textuais em sistemas sociais (por exemplo, reduzir a raiva em posts de redes sociais para observar o impacto no engajamento) é um desafio significativo.

• Limitações dos Métodos Atuais: A inferência causal tradicional é projetada para tratamentos binários ou discretos observáveis. No entanto, em dados textuais, o "tratamento" (ex.: sentimento, raiva, tom) é frequentemente um atributo latente embutido no texto, não diretamente observado.
• Viés de Confundimento: Em estudos observacionais, ajustar para variáveis de confusão (como gramática, tópico ou estilo) é difícil. Além disso, métodos existentes muitas vezes falham quando não há um grupo de intervenção real (dados contrafactuais), dependendo apenas de dados observacionais.
• Desafio de Domínio: Ao transformar um texto para simular uma intervenção (ex.: tornar um texto mais raivoso), cria-se uma distribuição de dados diferente (desvio de domínio) em relação aos dados originais, o que prejudica a precisão dos modelos preditivos padrão.

2. Metodologia: CAUSALDANN

Os autores propõem o CAUSALDANN, um novo framework para estimar efeitos causais em dados textuais onde o tratamento é uma transformação direta no texto. O método opera em três etapas principais:

A. Definição da Intervenção (Espaço de Tratamento)

Diferente de métodos que usam embeddings como covariáveis, o CAUSALDANN trata o texto inteiro como a unidade de tratamento.

• Transformação via LLM: Utiliza Grandes Modelos de Linguagem (LLMs) para reescrever textos observados, aplicando uma transformação específica $W \to g(W)$ (ex.: intensificar a raiva, mudar o sentimento) enquanto preserva outras propriedades (gramática, tópico, estrutura).
• Grupos: Isso cria um grupo observado (texto original) e um grupo intervencionado (texto transformado). Os resultados (outcomes) do grupo intervencionado permanecem não observados no mundo real.

B. Predição de Resultados Contrafactuais

Como os resultados do texto transformado não são observados, o modelo deve prevê-los. O grande desafio é o desvio de domínio entre os dados de treinamento (texto original) e os dados de teste (texto transformado).

• Solução (DANN): O framework utiliza uma Rede Neural Adversarial de Domínio (DANN).
  • Arquitetura: Baseada em BERT, possui três módulos: um codificador de texto, um preditor de resultados e um preditor de domínio.
  • Treinamento Adversarial: O preditor de domínio tenta classificar se um texto é do domínio "observado" ou "intervencionado". O codificador é treinado para enganar esse preditor (minimizar a perda de domínio), forçando a aprendizagem de representações invariantes ao domínio.
  • Objetivo: Isso permite que o modelo generalize e preveja resultados para textos transformados com maior precisão, mesmo sem rótulos reais para esses textos.

C. Estimativa do Efeito Causal

Com os resultados previstos para ambos os grupos (observado e transformado), calcula-se:

• Efeito Médio do Tratamento (ATE): A diferença média nos resultados previstos entre o texto transformado $g(W)$ e o original $W$.
• Efeito Médio Condicional do Tratamento (CATE): O efeito estimado condicionado a covariáveis externas (ex.: plataforma de rede social) ou latentes (ex.: tópico).

3. Contribuições Principais

1. Formulação de Intervenção Direta no Texto: São os primeiros a formular o espaço de intervenção como transformações textuais diretas via LLM, permitindo análise causal mesmo na ausência de um grupo de intervenção real.
2. Método de Predição Robusto (CAUSALDANN): Propõem o uso de DANN para lidar com o desvio de domínio inerente à geração de textos contrafactuais, superando métodos tradicionais como Inverse Propensity Weighting (IPW) e Doubly Robust (DR) que falham em cenários de tratamento contínuo ou latente complexo.
3. Redução da Dependência de Confundidores Externos: Ao condicionar a inferência no próprio texto (que contém as covariáveis latentes), o método reduz a necessidade de identificar e ajustar manualmente variáveis de confusão embutidas na linguagem.

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados semi-sintéticos (onde os resultados "verdadeiros" foram simulados por LLMs para validação):

1. Resenhas da Amazon: Estimativa do efeito de sentimentos positivos nas vendas.
2. Comentários no Reddit (r/AmITheAsshole - AITA): Estimativa do efeito de expor um usuário a um comentário "top" versus um aleatório no julgamento moral.
3. Posts no Reddit (AITA - Raiva): Estimativa do efeito de aumentar o nível de raiva em um post sobre o veredito moral.

Desempenho:

• O CAUSALDANN superou consistentemente as baselines (BERT padrão, IPW, DR e TextCause) em todas as métricas ($\Delta$ATE e MSE do CATE).
• IPW e DR tiveram desempenho muito inferior, especialmente em cenários onde a pontuação de propensão (probabilidade de intervenção) era extrema (próxima de 0 ou 1), causando instabilidade numérica.
• O CAUSALDANN demonstrou que a adaptação de domínio é crucial para reduzir o viés na estimativa causal de textos transformados.

5. Significado e Conclusões

• Avanço na Inferência Causal Textual: O trabalho abre novas possibilidades para entender comportamentos humanos e desenvolver intervenções eficazes em sistemas sociais, superando a limitação de que tratamentos textuais são latentes e complexos.
• Viabilidade de LLMs: Demonstra que LLMs podem ser usados não apenas para gerar dados, mas como ferramentas para criar cenários contrafactuais controlados para avaliação causal, desde que as transformações sejam validadas.
• Limitações e Futuro:
  • Os resultados dependem da qualidade e imparcialidade das transformações geradas por LLMs (viés de geração).
  • Os dados de avaliação são semi-sintéticos (resultados simulados por LLM), não capturando totalmente o comportamento humano real.
  • O método assume que a transformação do LLM isola a variável causal sem alterar outros fatores indesejados (ex.: aumentar a raiva sem aumentar a toxicidade de forma desproporcional).

Em suma, o CAUSALDANN oferece uma abordagem robusta para estimar "o que aconteceria se" em textos, combinando a capacidade de geração de LLMs com técnicas avançadas de adaptação de domínio para inferência causal.