Adaptive discovery of effect modification in matched observational studies

Resumo Técnico: Descoberta Adaptativa de Modificação de Efeito em Estudos Observacionais Emparelhados

Declaração do Problema
O artigo aborda o desafio de descobrir modificação de efeito — identificar subpopulações onde os efeitos do tratamento variam — em estudos observacionais emparelhados. Um objetivo principal é determinar quais subgrupos se beneficiam de um tratamento (por exemplo, os retornos econômicos da educação universitária), mantendo uma validade estatística rigorosa.

Os autores destacam três desafios específicos neste cenário:

1. Confundimento Não Medido: As estimativas observacionais são suscetíveis a viés decorrente de confundidores não medidos. A inferência válida requer análise de sensibilidade (especificamente o modelo de sensibilidade $\Gamma$ de Rosenbaum), o que torna a hipótese nula composta em vez de nítida.
2. Viés de Seleção Adaptativa: Os subgrupos são frequentemente definidos de forma adaptativa aos dados (por exemplo, por meio de árvores de decisão) com base em covariáveis observadas. Reutilizar os mesmos dados tanto para a definição do subgrupo quanto para a inferência, sem ajustes cuidadosos, leva a taxas de erro inválidas.
3. Múltiplos Controles: Embora o emparelhamento de unidades tratadas com múltiplos controles seja comum para melhorar a sensibilidade do desenho, os métodos existentes para seleção de subgrupos frequentemente falham em aproveitar essa estrutura de forma eficaz, resultando às vezes em perda de poder estatístico à medida que o número de controles aumenta.

Metodologia
Os autores propõem um procedimento válido para amostras finitas para selecionar subgrupos interpretáveis por covariáveis com efeitos de tratamento significativos, controlando a Taxa de Falsas Descobertas (FDR) ao nível do subgrupo. O método opera dentro de uma estrutura de testes múltiplos adaptativos.

• Modelo de Sensibilidade: O procedimento leva em conta o confundimento não medido usando o modelo de sensibilidade $\Gamma$ de Rosenbaum, onde a razão de chances da atribuição do tratamento dentro de um conjunto emparelhado é limitada por $\Gamma$.
• Construção de Estatísticas de Teste:
  • Estatística de Sinal ($L_g$): Para cada subgrupo, uma estatística de sinal é construída para capturar a direção do efeito do tratamento. Crucialmente, esta estatística é projetada para satisfazer uma condição de assimetria limitada por $\kappa$ sob a hipótese nula composta. Esta condição garante que a probabilidade de um sinal positivo seja limitada em relação a um sinal negativo, permitindo uma estimativa válida do erro mesmo quando a hipótese nula não é nítida.
  • Estatística de Magnitude ($W_g$): Para melhorar o poder, os autores introduzem uma estatística de "ranqueamento mascarado". Em vez de usar diferenças brutas de resultados ou lacunas simples (que podem diluir sinais com múltiplos controles), eles utilizam o ranqueamento do resultado da unidade tratada em relação aos controles, mascarado para ocultar o sinal. Sob um modelo Gaussiano, uma estatística de magnitude baseada na razão de verossimilhança ($W^{NP}$) é mostrada como ótima para distinguir grupos nulos de não nulos.
• Procedimento de Triagem Adaptativa:
  • O método emprega um processo de triagem sequencial onde os subgrupos são ordenados por sua probabilidade prevista de ter um efeito positivo.
  • Mascaramento: Durante a triagem, os sinais verdadeiros das estatísticas são ocultados (mascarados). O algoritmo utiliza aprendizado semi-supervisionado para prever sinais com base nas covariáveis e nas estatísticas de magnitude mascaradas.
  • Estimativa de FDR: A Proporção de Falsas Descobertas (FDP) é estimada usando a razão de sinais negativos previstos para sinais positivos entre os candidatos restantes, ajustada pelo parâmetro de assimetria $\kappa$.
  • Regra de Parada: O procedimento para quando a FDP estimada cai abaixo do nível alvo $\alpha$.
• Calibração Condicional: Para abordar o "efeito de limiar" (onde os métodos carecem de poder quando poucos subgrupos são não nulos), os autores incorporam uma técnica de calibração condicional. Este ajuste post-hoc aumenta o poder em regimes esparsos, mantendo o controle da FDR.

Principais Contribuições

1. Estrutura Adaptativa para Hipóteses Nulas Compostas: O artigo desenvolve uma estrutura que controla a FDR sob o modelo de sensibilidade de Rosenbaum. Ao contrário dos métodos existentes que dependem de hipóteses nulas nítidas ou suposições específicas de densidade sobre valores-p, esta abordagem visa diretamente hipóteses nulas compostas sem impor condições de densidade não decrescente sobre os valores-p.
2. Aproveitamento de Múltiplos Controles: Os autores demonstram que generalizações padrão de métodos de emparelhamento em pares para múltiplos controles podem levar à perda de poder. Eles propõem uma nova estatística de magnitude baseada em ranques mascarados que utiliza efetivamente a informação de múltiplos controles, mostrando que o poder aumenta (em vez de diminuir) à medida que o número de controles cresce.
3. Validade para Amostras Finitas: O procedimento fornece controle exato da FDR em amostras finitas, condicionado aos subgrupos identificados orientados por dados.
4. Calibração Condicional para Seleção de Subgrupos: O artigo introduz uma instanciação novel de calibração condicional adaptada a hipóteses nulas compostas na seleção de subgrupos, abordando a questão de baixo poder quando o número de subgrupos não nulos é pequeno.

Resultados

• Simulações: Estudos de simulação extensivos comparam o método proposto (Ours-NP) contra linhas de base, incluindo o procedimento Benjamini-Hochberg (BH) aplicado a valores-p de subgrupos e o método interativo de triagem P (Duan et al., 2024).
  • O método proposto mantém o controle da FDR abaixo do nível nominal ($\alpha=0.1$) em vários cenários.
  • Demonstra poder estatisticamente significativamente maior do que as linhas de base, particularmente em cenários com tamanhos de subgrupos pequenos e múltiplos controles.
  • O método que utiliza a estatística de magnitude baseada em NP supera consistentemente variantes que usam estatísticas Max, TopGap ou MedSplit, especialmente à medida que o número de controles aumenta.
• Aplicação no Mundo Real: O método é aplicado ao Estudo Longitudinal de Wisconsin (WLS) para examinar os retornos econômicos da educação universitária.
  • A análise identifica 25 subgrupos orientados por dados com retornos positivos até um parâmetro de sensibilidade de $\Gamma=2.5$, enquanto o método de linha de base BH identifica apenas 10 em $\Gamma=2$ e nenhum além disso.
  • Os subgrupos selecionados fornecem evidências que apoiam a teoria da "seleção negativa" na sociologia, sugerindo que indivíduos menos propensos a frequentar a universidade (por exemplo, aqueles com renda familiar mais baixa ou backgrounds educacionais específicos) podem obter o maior benefício econômico com ela.

Significado e Alegações
O artigo alega que seu método oferece uma abordagem disciplinada para descobrir modificação de efeito em estudos observacionais sem depender de fortes suposições paramétricas ou sacrificar o tamanho da amostra através da divisão de dados. Ao lidar explicitamente com confundimento não medido e aproveitar múltiplos controles, o método fornece insights mais robustos e poderosos sobre efeitos de tratamento heterogêneos. Os autores enfatizam que sua abordagem permite a seleção de subgrupos interpretáveis com controle válido da taxa de erro, um requisito crítico para formulação de políticas e inferência científica em contextos observacionais. O trabalho também contribui para o campo mais amplo de testes múltiplos adaptativos, estendendo técnicas para lidar com hipóteses nulas compostas e múltiplas unidades de controle.