Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

Este artigo propõe uma metodologia de Inferência Impulsionada por IA Generativa (GPI) que utiliza modelos de linguagem de grande escala para gerar tratamentos e utilizar suas representações internas para uma estimativa de efeito causal mais precisa e eficiente a partir de textos não estruturados, eliminando, assim, a necessidade de aprender representações causais diretamente dos dados e superando desafios comuns como confusão e violações de sobreposição.

O essencial

Imagine que você é um detetive tentando descobrir se um detalhe específico em uma história muda o que as pessoas sentem sobre um personagem. Digamos que você queira saber: Ter um histórico militar faz os eleitores gostarem mais de um político?

O problema é que as histórias da vida real são bagunçadas. Um político com histórico militar também pode, por acaso, ser mais velho, ter um nível de escolaridade diferente ou escrever sua biografia com um tom mais emocional. Se você apenas comparar duas biografias aleatórias, não poderá dizer se os eleitores gostaram do candidato por causa da parte militar ou da parte da escolaridade. Na ciência, chamamos esses detalhes extras bagunçados de "confundidores" (confounders).

Tradicionalmente, pesquisadores tentam corrigir isso usando computadores para "ler" o texto e adivinhar quais são os confundidores. Mas isso é como tentar limpar uma janela suja de lama tentando adivinhar onde está a sujeira; é difícil, lento e muitas vezes impreciso.

Este artigo apresenta uma nova ferramenta chamada GPI (Inferência Alimentada por IA Generativa). Veja como ela funciona, usando uma analogia simples:

A Máquina de Cópias Mágica (A IA Generativa)

Em vez de apenas ler histórias existentes, os pesquisadores usam uma "Máquina de Cópias Mágica" (um Modelo de Linguagem Grande, ou LLM) para escrever as histórias para eles.

1. O Comando (Prompt): O pesquisador diz à máquina: "Escreva uma biografia de um político que tenha um histórico militar". Depois, diz: "Escreva uma biografia de um político que não tenha um histórico militar".
2. O Projeto Secreto: Aqui está o superpoder. Quando a IA escreve a história, ela não apenas cospe palavras; ela cria um "projeto" interno e oculto (uma representação matemática) de exatamente o que ela escreveu.
3. O Truque: Como a IA escreveu a história, os pesquisadores têm acesso a esse projeto perfeito e oculto. Eles sabem exatamente o que a IA colocou no texto para torná-lo sobre o exército, e sabem o que ela colocou para todo o resto (como educação ou tom).

O "Desconfundidor" (O Filtro)

Os pesquisadores usam esse projeto perfeito para construir um filtro especial chamado Desconfundidor (Deconfounder).

• Modo Antigo: Imagine tentar separar bolas de gude vermelhas e azuis que estão coladas. Você tem que adivinhar como separá-las.
• Modo GPI: Como a IA escreveu a história, os pesquisadores têm o "manual de instruções". Eles podem olhar para o projeto e dizer: "Ok, esta parte do projeto é o ingrediente 'Militar', e esta outra parte é o ingrediente 'Educação'". Eles podem isolar matematicamente a parte militar sem bagunçar a parte da educação.

Isso permite que eles perguntem: "Se mantivermos a educação e o tom exatamente iguais, mas mudarmos apenas a parte militar, como a pontuação do eleitor muda?"

Por que isso é melhor

O artigo afirma que este método é como atualizar de uma calculadora de manivela para um supercomputador por duas razões principais:

1. Precisão: Como eles usam o verdadeiro projeto interno da IA em vez de apenas adivinhar o significado do texto, eles obtêm uma resposta muito mais clara. Em seus testes, o método deles teve menos "ruído" (erro) e deu resultados mais confiáveis do que os melhores métodos existentes.
2. Velocidade: Os métodos antigos são como tentar resolver um quebra-cabeça gigante olhando para cada peça uma por uma. O novo método é como ter a imagem na caixa; ele resolve o problema cerca de 100 vezes mais rápido.

A Reviravolta da "Reutilização de Texto"

Os pesquisadores também descobriram um atalho interessante. Se você pegar uma biografia existente e pedir para a IA "reescrever exatamente esta mesma história", a IA cria um novo projeto perfeito para aquele texto antigo. Isso significa que você nem precisa gerar novas histórias do zero; você pode usar dados antigos, alimentá-los com a IA e obter os mesmos resultados de alta qualidade.

A Conclusão

O artigo argumenta que, ao usar a IA Generativa não apenas para gerar texto, mas para entender a estrutura oculta desse texto, podemos finalmente desembaraçar a complexa teia de causa e efeito nas ciências sociais.

• O Objetivo: Medir o efeito real de uma coisa específica (como o serviço militar) em um resultado (como a satisfação do eleitor).
• O Problema: Outras coisas (confundidores) estão misturadas.
• A Solução: Usar uma IA para gerar ou reescrever o texto, capturar seu "projeto secreto" e usar isso para separar perfeitamente a causa do ruído.

Os autores testaram isso em pesquisas reais com eleitores e descobriram que, sim, o histórico militar parece fazer os eleitores sentirem mais simpatia pelos candidatos, e eles conseguiram provar isso com muito mais confiança e velocidade do que antes. Eles também observam que essa mesma lógica poderia funcionar para imagens e vídeos no futuro, desde que a IA consiga gerá-los com precisão semelhante.

Resumo técnico

Resumo Técnico: Inferência Causal com Inteligência Artificial Generativa: Aplicação a Textos como Tratamentos

Definição do Problema
O artigo aborda o desafio de estimar efeitos causais quando os tratamentos são objetos não estruturados e de alta dimensão, como textos. Na inferência causal tradicional com texto, os pesquisadores devem aprender uma representação de baixa dimensão das características de confusão (ex: tom, extensão, tópicos específicos) a partir dos dados para ajustá-las. Os métodos existentes, como os que utilizam embeddings do BERT ou modelos de tópicos, tentam aprender essas representações diretamente dos textos de tratamento. No entanto, esse processo frequentemente tem dificuldade em desvincular a característica de tratamento de interesse (ex: histórico militar) de outras características de confusão correlacionadas, levando a estimativas enviesadas e violações da suposição de sobreposição (overlap). Além disso, aprender essas representações a partir dos dados é computacionalmente intensivo e pode não gerar estimativas causais precisas, particularmente quando a confusão é forte.

Metodologia: Inferência Baseada em GenAI (GPI - GenAI-Powered Inference)
Os autores propõem a metodologia GPI, que utiliza modelos generativos profundos, especificamente Grandes Modelos de Linguagem (LLMs), para aprimorar a inferência causal. A inovação central reside na utilização da verdadeira representação interna dos textos gerados diretamente do LLM, em vez de aprender uma representação a partir dos dados.

1. Desenho Experimental:

   • Pesquisadores utilizam um LLM para gerar objetos de tratamento (textos) baseados em prompts específicos. Alternativamente, textos existentes podem ser "reutilizados" instruindo o LLM a reproduzi-los exatamente.
   • O LLM deve operar em um modo de decodificação determinística (ex: busca gananciosa/greedy search com temperatura definida em zero) para garantir que a saída seja uma função determinística da representação interna.
   • A representação interna ($R_i$) do texto gerado é extraída diretamente das camadas ocultas do LLM.

2. Suposições Principais:

   • Separabilidade (Suposição 5): A característica do tratamento ($T$) e as características de confusão ($U$) devem ser separáveis. Especificamente, $T$ não pode ser uma função determinística de $U$, e $U$ não pode ser uma função determinística de $T$. Isso implica que é possível intervir na característica do tratamento sem alterar as características de confusão.
   • Decodificação Determinística (Suposição 6): A saída do modelo generativo é uma função determinística de sua representação interna, garantindo que o objeto de tratamento dependa do prompt apenas através desta representação.

3. Identificação e Estimativa:

   • Identificação Não Paramétrica: Sob as suposições de separabilidade e decodificação determinística, os autores provam a existência de uma função desconfundidora (deconfounder) $f(R_i)$ que resume as características de confusão. Este desconfundidor é uma representação de menor dimensão da representação interna $R_i$ que satisfaz a independência condicional: $Y_i \perp R_i \mid T_i, f(R_i)$.
   • Estratégia de Estimativa: Os autores empregam uma arquitetura de rede neural baseada em TarNet para estimar simultaneamente o desconfundidor e a função de resultado condicional.
   • Aprendizado de Máquina Duplo (DML - Double Machine Learning): Para obter intervalos de confiança assintoticamente válidos, o método aplica DML. Crucialmente, o escore de propensão é modelado como uma função do desconfundidor estimado, e não da representação interna bruta; isso evita a violação da suposição de sobreposição que ocorreria se o escore de propensão fosse modelado diretamente na representação interna de alta dimensão (onde a característica do tratamento é uma função determinística).
   • Tratamentos Percebidos: A metodologia é estendida para cenários onde os respondentes percebem as características do tratamento de forma diferente, utilizando uma abordagem de variáveis instrumentais, onde a característica real do tratamento serve como um instrumento para a característica percebida.

Principais Contribuições

• Utilização de Verdadeiras Representações Internas: Diferente de trabalhos anteriores que aprendem representações a partir dos dados (ex: via embeddings do BERT), a GPI extrai a verdadeira representação vetorizada diretamente de LLMs de código aberto. Isso elimina a necessidade de aprender representações causais a partir dos dados, melhorando tanto a precisão quanto a eficiência computacional.
• Formalização da Separabilidade: O artigo estabelece formalmente a suposição de "separabilidade" como uma condição necessária para a identificação não paramétrica neste contexto, vinculando-a ao conceito de desentrelaçamento (disentanglement) e à suposição de sobreposição.
• Ferramentas de Diagnóstico: Os autores propõem ferramentas de diagnóstico, incluindo a análise de distribuições de escore de propensão e o Score de Independência de Suporte (IOSS), para detectar potenciais violações da suposição de separabilidade.
• Estimativa Eficiente: Ao utilizar a representação interna e uma arquitetura de rede neural específica, o método evita a "maldição da dimensionalidade" e as violações de sobreposição comuns nos métodos de aprendizado de representação causal existentes.

Resultados
Os autores avaliam a GPI por meio de estudos de simulação baseados no experimento de perfil de candidato (Fong e Grimmer, 2016) e uma aplicação empírica utilizando o mesmo conjunto de dados.

• Estudos de Simulação:

  • Sob a suposição de separabilidade, a GPI (usando tanto novos textos gerados quanto reutilização de texto) demonstra menor viés e erro quadrático médio (RMSE) significativamente menores em comparação com métodos de estado da arte (Modelo de Resultado com BERT e DML com BERT).
  • A GPI mantém a cobertura adequada de intervalos de confiança de 95% em cenários de confusão fraca, moderada e forte. Em contraste, os métodos baseados em BERT sofrem de subcobertura severa ou colapso sob confusão forte.
  • Eficiência Computacional: A GPI é mais de dez vezes mais rápida que os estimadores baseados em BERT.
  • Reutilização de Texto: A abordagem de "reutilização de texto" (regenerar textos existentes) produz uma variância (RMSE) menor do que gerar novos textos, provavelmente devido à consistência das representações internas.
  • Violação de Suposições: Quando a suposição de separabilidade é violada (ou seja, as características de tratamento e confusão estão entrelaçadas), todos os métodos, incluindo a GPI, apresentam desempenho insatisfatório, destacando a importância da suposição.

• Aplicação Empírica:

  • Aplicada ao experimento de perfil de candidato, a GPI estima um efeito positivo e estatisticamente significativo do histórico militar nas avaliações dos eleitores (ATE $\approx$ 4,85).
  • Métodos concorrentes baseados em BERT produziram resultados conflitantes: um apresentou um efeito negativo significativo e o outro um efeito positivo excessivamente grande (ATE $\approx$ 45,7), provavelmente devido a violações de sobreposição.
  • O IOSS para a GPI foi de 0,10, indicando uma melhor sobreposição de suporte em comparação aos 0,41 dos métodos baseados em BERT.

Significância e Alegações
O artigo afirma que a GPI melhora significativamente a validade da inferência causal com tratamentos não estruturados ao alavancar as capacidades da GenAI. A principal significância reside na capacidade de:

1. Desvincular as características do tratamento das características de confusão usando as verdadeiras representações internas de LLMs.
2. Evitar a necessidade de aprender representações causais a partir dos dados, reduzindo assim o erro de estimativa e o custo computacional.
3. Formalizar as condições (separabilidade) necessárias para uma identificação válida, fornecendo uma base teórica para o uso de GenAI em inferência causal.
4. Estender a inferência causal para características de tratamento percebidas via variáveis instrumentais.

Os autores observam que, embora o foco seja o texto, a metodologia é aplicável a imagens e potencialmente vídeos, desde que as representações internas possam ser gerenciadas de forma eficaz. Eles enfatizam que o método depende da disponibilidade de LLMs de código aberto que permitam o acesso às representações internas e à decodificação determinística.