A simple strategy for valid inference in target trial emulations

1. Declaração do Problema

A emulação de ensaios-alvo é uma estrutura organizada para inferência causal utilizando dados observacionais, onde os pesquisadores especificam um ensaio randomizado hipotético (o "ensaio-alvo") e tentam replicar seu protocolo usando dados do mundo real. Embora essa abordagem esclareça questões causais e reduza vieses (por exemplo, viés de tempo imortal), ela enfrenta um desafio estatístico crítico: a natureza iterativa da especificação do protocolo.

Na prática, os investigadores raramente definem o protocolo do ensaio-alvo a priori. Em vez disso, eles refinam iterativamente o protocolo (critérios de elegibilidade, estratégias de tratamento, desfechos e modelos estatísticos) após inspecionar os dados observacionais para garantir viabilidade e identificabilidade. Isso cria duas principais ameaças à validade estatística:

1. Varredura de Dados/Inferência Seletiva: Quando o mesmo conjunto de dados é usado tanto para selecionar o protocolo (por exemplo, escolher uma comparação de tratamento específica ou um desfecho com base em tamanhos de efeito preliminares) quanto para estimar o efeito, os intervalos de confiança convencionais perdem suas garantias de cobertura nominal. A inferência torna-se enviesada porque o modelo foi "ajustado" ao ruído específico daquele conjunto de dados.
2. Taxas de Cobertura Inválidas: A teoria estatística padrão assume que o plano de análise é fixado antes da inspeção dos dados. O refinamento iterativo baseado em características dos dados (por exemplo, descartar covariáveis devido a problemas de convergência, excluir subgrupos com tratamentos raros ou selecionar desfechos com efeitos observados maiores) infla as taxas de erro do Tipo I e invalida os valores-p e os intervalos de confiança.

2. Metodologia: Divisão de Amostra

O artigo propõe um procedimento de divisão de amostra para desacoplar a seleção do protocolo da estimação do efeito, garantindo inferência estatística válida mesmo quando o protocolo é orientado por dados.

O Procedimento:

1. Divisão Aleatória: Antes de qualquer análise, o conjunto de dados é dividido aleatoriamente em duas amostras independentes:
   • A Amostra de Especificação: Usada para análise exploratória.
   • A Amostra de Emulação: Usada para a estimação e inferência finais.
2. Fase 1 (Especificação): Os investigadores usam a Amostra de Especificação para:
   • Avaliar a disponibilidade de dados e definições de variáveis.
   • Determinar a identificabilidade (por exemplo, verificando a existência de confundimento não medido).
   • Avaliar a viabilidade (por exemplo, verificando tamanhos de amostra para tratamentos raros).
   • Selecionar o protocolo final do ensaio-alvo (elegibilidade, estratégias de tratamento, desfechos) e o estimador/modelo estatístico específico.
   • Crucialmente, todas as decisões relativas ao estimando causal e ao plano de análise são finalizadas aqui.
3. Fase 2 (Emulação): O protocolo finalizado é aplicado à Amostra de Emulação (que nunca foi vista durante a fase de seleção).
   • A estimativa do efeito e os intervalos de confiança são computados estritamente nesta segunda amostra.
   • Como o protocolo é fixo em relação à Amostra de Emulação, a inferência estatística padrão (por exemplo, intervalos de confiança de 95%) mantém suas garantias de cobertura nominal.

Analogia: Os autores comparam isso ao pipeline de desenvolvimento de medicamentos clínicos, onde estudos piloto/fase inicial (Amostra de Especificação) informam o desenho de um ensaio de Fase 3 (Amostra de Emulação), que é então analisado independentemente.

3. Contribuições Principais

• Resolução do Viés Iterativo: O artigo fornece uma solução simples e prática para o problema da "seleção de protocolo dependente de dados". Ele demonstra que a inferência válida é possível mesmo quando os investigadores usam dados para refinar elegibilidade, definições de tratamento e especificações de modelos, desde que a estimação final ocorra em uma amostra retida.
• Distinção em Relação a Divisões de Aprendizado de Máquina: Os autores esclarecem que essa abordagem difere do cross-fitting padrão ou divisões de treinamento/validação/teste em aprendizado de máquina. Na emulação de ensaios-alvo, a primeira divisão é usada para escolher o estimando e a própria estrutura do protocolo, não apenas para ajustar hiperparâmetros do modelo. Portanto, o cross-fitting padrão (que assume que a estrutura do modelo é fixa) não é aplicável.
• Abordagem à Reportagem Seletiva: O método mitiga o risco de "escolha de estimando" (selecionar o protocolo que produz os resultados mais promissores). Mesmo que os investigadores explorem múltiplos protocolos na Amostra de Especificação e escolham aquele com o maior efeito, a inferência final na Amostra de Emulação permanece não enviesada em relação a essa escolha específica.
• Esclarecimento das Limitações: O artigo observa explicitamente que, embora a divisão de amostra corrija a validade estatística (cobertura), ela não corrige a validade clínica. Se o protocolo for revisado para uma população que é mais fácil de analisar, mas menos clinicamente relevante, o resultado ainda será válido para aquela população específica, mas pode não responder à questão clínica original.

4. Resultados e Justificativa Teórica

O artigo argumenta teoricamente que a divisão de amostra restaura a validade dos intervalos de confiança em quatro cenários específicos onde a inferência convencional em amostra completa falha:

1. Restrições de Viabilidade: Quando os protocolos são revisados com base na disponibilidade de variáveis (por exemplo, remover um desfecho não registrado no banco de dados).
2. Restrições de Identificabilidade: Quando os protocolos são revisados porque confundidores chave estão ausentes (por exemplo, mudar para uma comparação de tratamento onde o confundimento é melhor controlado).
3. Restrições de Precisão/Viabilidade: Quando subgrupos são excluídos devido a tratamentos raros ou quando problemas de convergência do modelo forçam uma mudança para suposições paramétricas.
4. Reportagem Seletiva: Quando os investigadores exploram múltiplas variações de protocolo e relatam apenas as mais "interessantes".

Em todos esses casos, como o processo de seleção está confinado à Amostra de Especificação, a Amostra de Estimação atua como um conjunto de dados "novo" onde o protocolo é efetivamente pré-especificado. Assim, a probabilidade de cobertura dos intervalos de confiança permanece no nível nominal (por exemplo, 95%).

5. Significado e Limitações

Significado:

• Ponte entre Prática e Teoria: Alinha a realidade da pesquisa observacional (que é inerentemente iterativa) com os requisitos rigorosos da inferência estatística.
• Transparência: Incentiva um fluxo de trabalho transparente onde os investigadores devem documentar as descobertas exploratórias e as escolhas feitas na Amostra de Especificação, semelhante à reportagem de resultados de estudos piloto.
• Acessibilidade: Diferentemente de métodos complexos de inferência adaptativa (por exemplo, privacidade diferencial ou algoritmos de inferência seletiva), a divisão de amostra é conceitualmente simples e fácil de implementar usando software estatístico padrão.

Limitações:

• Perda de Poder: A principal desvantagem é que apenas uma fração dos dados (por exemplo, 80-90%) é usada para a estimação final, reduzindo o poder estatístico. Os autores sugerem que uma pequena Amostra de Especificação (10-20%) é frequentemente suficiente para o desenho do protocolo.
• Sem Cross-Fitting: O cross-fitting padrão não pode ser usado porque o "modelo" sendo selecionado é todo o protocolo causal, não apenas um parâmetro de incômodo.
• Viés de Conhecimento Prévio: O método não protege totalmente contra o viés se os investigadores tiverem conhecimento prévio dos dados de análises anteriores (por exemplo, emulações anteriores de ensaios semelhantes), pois os dados "invisíveis" não são verdadeiramente invisíveis para a intuição do pesquisador. No entanto, os autores argumentam que esse viés é provavelmente menor do que o viés decorrente do uso dos mesmos dados duas vezes para seleção e estimação.

Conclusão:
O artigo conclui que a divisão de amostra é uma estratégia robusta e simples para garantir que as emulações de ensaios-alvo produzam inferências estatísticas válidas, mesmo quando o protocolo é refinado com base na inspeção dos dados. Ela espelha o padrão ouro do desenvolvimento de ensaios randomizados (de piloto a Fase 3) e deve ser adotada para prevenir a inflação das taxas de falsos positivos na pesquisa de efetividade comparativa.