Causal Effect Estimation with Latent Textual Treatments

1. O Problema

A compreensão dos efeitos causais de características textuais em resultados downstream (como apoio eleitoral, engajamento em redes sociais ou percepção de civilidade) é fundamental em diversas áreas. No entanto, pesquisadores enfrentam dois desafios principais ao projetar experimentos para essas questões:

1. Geração Controlada de Texto: Modificar textos de forma sistemática para isolar características específicas, mantendo a legibilidade e o contexto natural.
2. Estimação Causal Válida: Garantir que as modificações intencionais (tratamento) sejam separadas de outras variações no texto (covariáveis de confusão).

Embora os Grandes Modelos de Linguagem (LLMs) permitam gerar texto em escala, o uso direto de steering (direcionamento) de modelos para criar contrafactuais enfrenta um problema fundamental: a violação da positividade. Como os tratamentos são expressos no próprio texto, embeddings de texto suficientemente expressivos conseguem prever perfeitamente o tratamento. Usar esses embeddings como controles em modelos causais elimina a variação necessária para a identificação causal, resultando em viés de variável omitida ou degeneração das pontuações de propensão.

2. Metodologia

Os autores propõem um pipeline end-to-end que integra geração de hipóteses, intervenção em modelos latentes e estimação causal robusta. O fluxo é dividido em quatro etapas principais:

A. Geração de Hipóteses e Seleção de Recursos (SAEs)

• Utilizam Autoencoders Esparsos (SAEs) para decompor as representações densas e polissêmicas dos LLMs em um espaço latente esparsos e interpretável.
• Aplicam sondagem linear esparsa (Sparse Linear Probing) em um conjunto de dados rotulado para identificar quais características latentes ($\phi$) melhor diferenciam classes semânticas (ex: civilidade vs. incivilidade).
• Introduzem uma métrica de pontuação (IC Score) que combina:
  • Intensidade ($I^*$): Quão linearmente a intensidade do conceito responde ao steering.
  • Coerência ($J^*$): A qualidade e fluidez do texto gerado após a intervenção.
• Apenas características com alto IC Score são selecionadas para intervenções, garantindo que o texto gerado seja semanticamente estável.

B. Direcionamento (Steering) e Geração de Quasi-Contrafactuais

• Intervêm na representação latente do SAE durante a geração do texto. Ajustam a ativação de uma característica específica ($z_\phi$) adicionando um vetor escalado pelo fator de direção $\alpha$:
  $$z'_\phi = z_\phi + \alpha \cdot \|a\|_2$$
• O processo é adaptativo, escalando a intervenção com base na norma do residual stream do modelo, preservando a magnitude relativa em diferentes contextos.
• Isso gera textos "quasi-contrafactuais" que variam sistematicamente na característica alvo, mantendo o restante do contexto.

C. O Desafio da Identificação Causal e Residualização

• O artigo identifica que controlar diretamente por embeddings de texto completos ($X$) viola a positividade, pois $X$ contém o tratamento $T$.
• Solução Proposta: Uma nova procedure de residualização. O objetivo é remover a informação do tratamento dos covariáveis de controle antes da estimação.
• Duas estratégias são testadas:
  1. Dimensão por Dimensão: Remover a informação do tratamento de cada coluna da matriz de embeddings.
  2. Remoção do 1º Componente Principal (PC1): Descartar a primeira dimensão dos embeddings rotacionados (onde a informação do tratamento tende a se concentrar).
• A teoria prova que, ao residualizar os embeddings ($\tilde{X}$), é possível manter a variação do tratamento necessária para a identificação, enquanto controla para características de confusão ($X^\perp$), limitando o viés de estimação.

D. Estimação Causal Robusta

• Utilizam o R-Learner (aprendizado de máquina causal robusto) para estimar o Efeito Médio Condicional de Tratamento (CATE).
• O modelo prevê o resultado e a propensão usando os embeddings residualizados, permitindo estimativas consistentes mesmo com modelos de nuisance (funções de perturbação) estimados com taxas de convergência mais lentas.

3. Contribuições Chave

1. Pipeline Integrado: Um framework completo que vai da descoberta de características interpretáveis em LLMs até a estimação causal rigorosa.
2. Métrica IC Score: Uma nova métrica para avaliar a qualidade das características para intervenções causais, equilibrando resposta à direção e coerência do texto.
3. Solução Teórica para Viés de Positividade: Propõem e provam teoricamente que a residualização de covariáveis resolve o dilema de controlar por confusores sem eliminar a variação do tratamento em cenários de "texto como tratamento".
4. Validação Empírica: Demonstram que métodos ingênuos (controlar por embeddings completos) falham, enquanto a abordagem proposta reduz significativamente o viés e o erro quadrático médio (RMSE).

4. Resultados

Os autores validaram o método em três conjuntos de dados reais (Discursos de Governo Local, Anúncios Políticos e Comentários do Reddit) e em simulações semi-sintéticas:

• Redução de Viés: A abordagem de residualização reduziu drasticamente o viés na estimação do CATE em comparação com o uso de embeddings brutos. Em simulações, o viés absoluto caiu de ~4.25 para ~1.22 (em média) para modelos como o Gemma-2.
• Correlação com IC Score: Características com alto IC Score concentravam a informação do tratamento principalmente no primeiro componente principal (PC1) dos embeddings. Para essas, remover apenas o PC1 foi suficiente para a residualização.
• Robustez: O método funcionou consistentemente em diferentes modelos de linguagem (Gemma, Llama, Qwen), camadas do modelo e modelos de embeddings.
• Qualidade de Texto: O uso do IC Score garantiu que os textos gerados mantivessem alta coerência e fluidez, evitando artefatos de geração.

5. Significado e Impacto

Este trabalho oferece uma nova fundação rigorosa para experimentação social usando LLMs.

• Mudança de Paradigma: Transita de técnicas manuais de manipulação de texto para experimentos causais formais e controláveis baseados em representações latentes.
• Aplicabilidade: Permite que cientistas sociais testem hipóteses sobre quais aspectos microscópicos da linguagem (ex: tom, marcadores linguísticos específicos) causam mudanças em resultados macroscópicos (ex: aprovação, polarização).
• Generalização: A metodologia de residualização para lidar com violações de positividade em dados de alta dimensão pode ser estendida para outras modalidades além do texto.

Em resumo, o artigo resolve o problema de "como controlar o texto sem controlar o tratamento" através de uma combinação inteligente de mecânica de modelos (SAEs), geração de dados sintéticos e teoria de inferência causal, permitindo a descoberta de relações causais confiáveis em dados textuais complexos.