Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

Resumo Técnico: Transportando Efeitos Causais de um Ensaio Aleatorizado sem "Transportabilidade"

Definição do Problema
O artigo aborda o desafio de generalizar (transportar) efeitos causais de uma população de origem, onde um ensaio controlado aleatorizado (RCT) foi conduzido, para uma população alvo que difere de maneiras não mensuradas. A aplicação motivadora específica envolve a generalização dos resultados de um RCT de grande escala sobre publicidade política digital contra Donald Trump durante a eleição presidencial dos EUA em 2020. Aggarwal et al. (2023) encontraram um efeito nulo no comparecimento de eleitores em cinco estados decisivos (Pensilvânia, Wisconsin, Michigan, Carolina do Norte e Arizona). Os autores investigam se esse resultado nulo se generaliza para a Geórgia, um estado decisivo único com demografia de eleitores distinta (notadamente uma proporção mais alta de eleitores negros) e diferenças não mensuradas em fatores socioeconômicos (ex: seguro saúde, renda) em comparação aos estados de origem.

Métodos padrão de transportabilidade baseiam-se na suposição de que todas as diferenças entre as populações de origem e alvo são capturadas por covariáveis observadas (transportabilidade). No entanto, neste contexto, diferenças não mensuradas provavelmente violam essa suposição. Além disso, métodos existentes frequentemente exigem conjuntos de covariáveis idênticos entre os dados de origem e alvo, o que não é o caso aqui (os dados de origem incluem filiação partidária e histórico de votação, enquanto os dados de alvo do registro de eleitores da Geórgia incluem apenas demografia como idade, raça e gênero).

Metodologia
Os autores propõem um framework de aprendizado de transferência que combina análise de sensibilidade com métodos de transportabilidade para lidar tanto com diferenças não mensuradas quanto com covariáveis desemparelhadas ($V \subset X$).

1. Modelo de Sensibilidade: O framework relaxa a suposição de transportabilidade introduzindo um parâmetro de sensibilidade $\Gamma_a$ (para níveis de tratamento $a \in \{0, 1\}$). Este parâmetro representa a razão de chances (odds ratio) de resultados contrafatuais entre as populações alvo e de origem, condicional aos covariáveis compartilhados $V$. Quando $\Gamma_a = 1$, a transportabilidade ocorre; desvios de 1 quantificam o grau de violação. O modelo assume uma relação de inclinação exponencial (exponential tilting) entre as densidades condicionais dos potenciais resultados nas duas populações.
2. Identificação: Sob este modelo de sensibilidade, o Efeito Médio de Tratamento Alvo (TATE) é identificado como uma função de $\Gamma_a$ e funções de incômodo (nuisance functions: regressão de resultado, escore de propensão e razões de densidade).
3. Estimação: Dois estimadores são propostos:
   • Estimador de Regressão de Resultado (OR) Estimator: Um estimador de plug-in simples que pondera a função de regressão de resultado estimada $\hat{\rho}_a(V)$ pelo parâmetro de sensibilidade. Os autores recomendam um bootstrap de percentil não paramétrico para inferência, fornecendo justificativa teórica para sua consistência e normalidade assintótica.
   • Estimador de Função de Influência Eficiente (EIF) Estimator: Um estimador semiparamétrico eficiente baseado em cross-fitting. Ele utiliza a EIF derivada para o modelo de sensibilidade. Os autores observam que, ao contrário dos estimadores de transportabilidade padrão, este estimador não é duplamente robust quando a transportabilidade é violada; ele requer a estimação consistente da função de regressão de resultado $\rho_a$ especificamente.
4. Procedimento de Calibração: Para abordar a dificuldade de selecionar valores significativos para os parâmetros de sensibilidade não identificáveis, os autores propõem um procedimento de calibração orientado por dados inspirado na sensibilidade de desenho. Isso envolve dividir os dados de origem em dois subconjuntos dissimilar (ex: Rust Belt vs. Sun Belt, ou alto vs. baixo apoio a Trump). O procedimento encontra o intervalo de valores de $\Gamma_a$ onde o estimador transportado entre esses subconjuntos coincide com o estimador "oráculo" (o estimador direto do subconjunto tratado como alvo). Isso gera um conjunto de referência de parâmetros de sensibilidade que refletem a magnitude das diferenças não mensuradas presentes nos próprios dados de origem.

Principais Contribuições

• Requisitos de Covariáveis Relaxados: O framework permite que os dados de origem contenham mais covariáveis ($X$) do que os dados de alvo ($V$), um cenário comum onde os dados observacionais de alvo carecem das variáveis detalhadas coletadas em um RCT.
• Justificativa Teórica para Inferência via Bootstrap: O artigo estabelece formalmente a correção teórica do uso de bootstraps de percentil não paramétricos para inferência em contextos de aprendizado de transferência, uma prática anteriormente sugerida qualitativamente, mas não provada rigorosamente.
• Estimador EIF sob Análise de Sensibilidade: Os autores estendem a teoria da função de influência eficiente para configurações com parâmetros de sensibilidade. Eles demonstram que, embora o estimador seja semiparametricamente eficiente, ele perde a propriedade de "dupla robustez" quando a transportabilidade é violada, exigindo a especificação correta da função de regressão de resultado.
• Calibração Orientada por Dados: Um novo método de calibração é introduzido para gerar magnitudes de referência interpretáveis para parâmetros de sensibilidade sem omitir covariáveis medidas, evitando as armadilhas da calibração tradicional por variável omitida.

Resultos
Aplicando o framework aos dados da eleição de 2020 na Geórgia:

• Sob Transportabilidade: Se assumirmos que a transportabilidade ocorre (ou seja, $\Gamma_0 = \Gamma_1 = 1$), a campanha de anúncios permanece ineficaz em todos os 159 condados da Geórgia.
• Sob Análise de Sensibilidade: Pequenos desvios da transportabilidade levam a conclusões dramaticamente diferentes.
  • Com parâmetros pré-especificados (ex: $\Gamma_0=0.99, \Gamma_1=1.01$), o efeito do anúncio torna-se significativo e positivo em 154 condados.
  • Com parâmetros invertidos ($\Gamma_0=1.01, \Gamma_1=0.99$), o efeito torna-se significativo e negativo em 158 condados.
• Resultados Calibrados: Usando os conjuntos calibrados derivados da partição dos dados de origem:
  • Partição Rust Belt vs. Sun Belt: Muitos condados são sensíveis à direção do efeito. Condados com maior população Branca e menor população Negra tendem a mostrar efeitos positivos, enquanto condados com maior população Latina tendem a mostrar efeitos negativos.
  • Partição de Apoio a Trump: A maioria dos condados é insensível a violações de transportabilidade desta magnitude, sugerindo que as diferenças não mensuradas entre apoiadores e não apoiadores de Trump são grandes o suficiente para que apenas desvios específicos e grandes nos parâmetros de sensibilidade alterariam a conclusão.
• Análise de Subgrupo: O efeito do anúncio é sensível em seis de oito subgrupos (definidos por gênero, raça e histórico de votação) quando a transportabilidade é violada, particularmente para mulheres, eleitores que retornam ao voto e que não são negros ou latinos.

Significância e Alegações
O artigo alega que seu framework fornece uma abordagem estatisticamente válida para generalizar efeitos causais quando a suposição estrita de transportabilidade é insustentável e as covariáveis são desemparelhadas. Os autores enfatizam que suas descobertas apoiam a conjectura de que efeitos nulos do RCT original podem não se generalizar para a população alvo se pequenas diferenças não mensuradas existirem.

Crucialmente, o artigo destaca um insight prático derivado de Rosenbaum (2010): "pequenos efeitos são sensíveis a pequenos vieses [não mensurados]". Como o efeito original na população de origem estava próximo de nulo, o estudo demonstra que a conclusão é altamente frágil a pequenas diferenças não mensuradas entre as populações. Os autores posicionam seu trabalho como uma ferramenta para profissionais que necessitam de uma abordagem teoricamente válida e simples (especificamente o estimador OR com bootstrap) para avaliar a robustez de alegações de generalização sem depender da suposição impraticável de transportabilidade perfeita. Eles declaram explicitamente que o framework é aplicável além das eleições, como em ensaios clínicos onde pacientes elegíveis para o teste diferem da população geral elegível de maneiras não mensuradas.