Planning for gold: Hypothesis screening with split samples for valid powerful testing in matched observational studies

Resumo Técnico: Planejamento para Ouro – Triagem de Hipóteses com Amostras Divididas em Estudos Observacionais Emparelhados

1. O Problema

Estudos observacionais são ferramentas valiosas para inferir efeitos causais na ausência de experimentos controlados. No entanto, eles são suscetíveis a viés de variáveis não observadas (confundimento não medido). Quando um pesquisador enfrenta muitos resultados potenciais (hipóteses), há um dilema entre:

1. Exploração: Analisar os dados para identificar quais resultados parecem promissores.
2. Validade: Manter a integridade estatística e controlar a taxa de erro familiar (FWER) ao realizar testes de hipóteses múltiplas.

Métodos tradicionais de correção (como Bonferroni) aplicados a todo o conjunto de dados tornam-se excessivamente conservadores quando o número de hipóteses é grande, reduzindo drasticamente o poder estatístico. Por outro lado, dividir os dados em amostras de planejamento e análise (split-sampling) para selecionar hipóteses pode levar à perda de poder devido à redução do tamanho da amostra, a menos que a seleção seja feita de forma inteligente.

O problema central é: Como selecionar um subconjunto de hipóteses em uma amostra de planejamento que seja robusto a vieses ocultos, maximizando a probabilidade de detectar efeitos verdadeiros na amostra de análise, sem comprometer a validade estatística?

2. Metodologia Proposta

Os autores propõem um procedimento adaptativo chamado Método Sens-Val (Sensitivity Value Method), que utiliza a divisão de amostras (split-sampling) combinada com a análise de sensibilidade de Rosenbaum.

Conceitos Fundamentais:

• Valor de Sensibilidade ($\Gamma^*$): Definido como o menor nível de confundimento não medido necessário para invalidar a significância de um efeito causal. Diferente da "sensibilidade de projeto" (um parâmetro assintótico), o valor de sensibilidade é uma variável aleatória baseada na amostra finita.
• Divisão de Amostra: O conjunto de dados é dividido aleatoriamente em:
  • Amostra de Planejamento ($G_{plan}$): Usada para triar e selecionar quais hipóteses serão testadas.
  • Amostra de Análise ($G_{analysis}$): Usada para realizar a inferência final sobre as hipóteses selecionadas.

O Algoritmo Sens-Val (Método 2):

1. Cálculo na Amostra de Planejamento: Para cada resultado $l$, calcula-se o valor de sensibilidade transformado $\kappa_{\alpha}^{plan}$.
2. Estimativa de Variabilidade: Utiliza-se o bootstrap na amostra de planejamento para estimar a variabilidade do valor de sensibilidade ($\hat{\sigma}_F$), permitindo a construção de intervalos preditivos.
3. Construção de Intervalo Preditivo: O método constrói um intervalo de confiança para o valor de sensibilidade que seria observado na amostra de análise.
4. Seleção: Um resultado é selecionado para teste na amostra de análise se o limite inferior do seu intervalo preditivo de sensibilidade exceder um nível de controle de viés pré-especificado ($\Gamma_{con}$).
5. Teste Final: Os resultados selecionados são testados na amostra de análise com correção de Bonferroni (ou outro controle de FWER) apenas sobre o subconjunto selecionado.

Vantagens sobre abordagens anteriores:

• Método Ingênuo (Naïve): Testa apenas resultados que já são significativos na amostra de planejamento em um nível $\Gamma_{con}$. Isso tende a filtrar erroneamente sinais fracos mas reais.
• Sens-Val: Leva em conta a incerteza (variabilidade) da estimativa de sensibilidade. Ao usar um intervalo preditivo, o método é mais "generoso" na fase de triagem, mantendo hipóteses que têm uma chance razoável de se tornarem significativas na análise final, mesmo que não sejam significativas no planejamento.

3. Contribuições Chave

• Procedimento Adaptativo Robusto: Desenvolvimento de um método que seleciona hipóteses baseando-se na robustez a vieses ocultos (valor de sensibilidade) em vez de apenas na magnitude do efeito ou p-valor bruto.
• Tratamento de Variabilidade Finita: Diferente de métodos que dependem de limites assintóticos (como sensibilidade de projeto), o método lida explicitamente com a variabilidade de amostras finitas através de intervalos preditivos e bootstrap.
• Garantias Teóricas:
  • Controle de FWER: O método garante o controle da Taxa de Erro Familiar (FWER) no nível $\alpha$ na amostra de análise (Proposição 1).
  • Poder Local: O método demonstra alto poder estatístico mesmo sob alternativas locais (efeitos pequenos), superando o método ingênuo e a correção de Bonferroni de amostra completa em cenários de alto viés.
  • Expansão de Edgeworth: Os autores derivam uma expansão de Edgeworth para o valor de sensibilidade, provando que o uso do bootstrap fornece uma precisão de ordem $O(I^{-1})$, superior à aproximação normal padrão ($O(I^{-1/2})$).
• Generalização: O método é estendido para emparelhamento completo (full matching) e múltiplos controles.

4. Resultados

Os autores validaram o método através de simulações extensas e uma aplicação de dados reais.

• Simulações:

  • Em cenários com alto nível de preocupação com viés não medido (valores altos de $\Gamma_{con}$), o método Sens-Val superou significativamente tanto a correção de Bonferroni de amostra completa quanto o método ingênuo.
  • O ganho de poder é particularmente pronunciado quando o número de hipóteses é grande e a proporção de sinais verdadeiros é baixa (regimes esparsos).
  • O método se aproxima do desempenho de um "oráculo" (que sabe de antemão quais são os sinais verdadeiros) em muitos cenários.
  • A escolha da proporção de divisão da amostra ($r$) é crítica: proporções menores (mais dados na análise) são melhores para viés alto, enquanto proporções maiores ajudam a filtrar ruído em viés baixo.

• Aplicação Real: Enchentes no Bangladesh (1998):

  • Contexto: Estudo de 757 domicílios afetados por enchentes devastadoras, com 93 resultados potenciais (saúde, nutrição, economia, etc.).
  • Implementação: Divisão de 20% (planejamento) e 80% (análise).
  • Descobertas: O método Sens-Val identificou impactos significativos que métodos tradicionais perderam, especialmente sob níveis moderados de viés não medido ($\Gamma_{con} \le 2.5$).
  • Resultados Específicos: Detectou aumento no uso de crédito para alimentos, aumento nos preços dos alimentos, redução na produção de alimentos e aumento na duração de doenças. Curiosamente, não encontrou evidências de danos nutricionais de longo prazo imediatos, corroborando estudos posteriores que sugerem recuperação após um ano.
  • Comparação: O método Sens-Val rejeitou mais resultados relevantes do que o método ingênuo e manteve poder competitivo em relação ao Bonferroni, mesmo com a perda de 20% dos dados para o planejamento.

5. Significância e Conclusão

O artigo oferece uma solução prática e teoricamente sólida para o desafio de realizar inferências causais robustas em estudos observacionais com múltiplos resultados.

• Mudança de Paradigma: Em vez de evitar a exploração de dados por medo de viés, o método Sens-Val institucionaliza a exploração como uma etapa de design, garantindo que a seleção de hipóteses seja feita de forma a maximizar a robustez contra vieses ocultos.
• Eficiência: Demonstra que a perda de tamanho amostral inerente à divisão de dados é compensada pelo ganho de poder ao filtrar hipóteses nulas irrelevantes antes do teste final, especialmente em cenários onde o viés não medido é uma preocupação séria.
• Aplicabilidade: O método é flexível, podendo ser adaptado para diferentes estatísticas de teste, sub-populações e estruturas de emparelhamento, tornando-o uma ferramenta essencial para pesquisadores em ciências sociais, epidemiologia e economia que lidam com dados observacionais complexos.

Em resumo, o trabalho fornece um "mapa" para minerar dados observacionais de forma rigorosa, permitindo que pesquisadores "procurem por ouro" (efeitos causais reais) sem se perderem no "lixo" (ruído e viés), mantendo a integridade estatística do processo.