📊 statistics

Treatment effect estimation by comparing observed and predicted outcomes: conditions for valid inference and practical illustration

Este artigo utiliza o framework de resultados potenciais e um estudo de caso prático para esclarecer as condições necessárias para a estimativa válida do efeito médio do tratamento ao comparar resultados observados sob um novo tratamento com resultados previstos a partir de modelos pré-existentes, um método comumente utilizado na avaliação clínica baseada em modelos em radioterapia.

Autores originais: Lotta M. Meijerink, Artuur M. Leeuwenberg, Jungyeon Choi, Bas B. L. Penning de Vries, Johannes A. Langendijk, Judith G. M. van Loon, Remi A. Nout, Karel G. M. Moons, Ewoud Schuit

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lotta M. Meijerink, Artuur M. Leeuwenberg, Jungyeon Choi, Bas B. L. Penning de Vries, Johannes A. Langendijk, Judith G. M. van Loon, Remi A. Nout, Karel G. M. Moons, Ewoud Schuit

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas tem uma regra muito estranha: você só pode entrevistar os suspeitos que estão atualmente na sala e é proibido de falar com as pessoas que ficaram em casa. Esse é o dilema diário dos pesquisadores médicos quando querem saber se um tratamento novo e brilhante realmente funciona. Geralmente, o padrão ouro para resolver esse mistério é um "Ensaio Clínico Randomizado", onde os médicos jogam uma moeda para decidir quem recebe o novo medicamento e quem recebe o antigo. Mas, às vezes, jogar uma moeda não é possível, ético ou rápido o suficiente. Talvez uma nova tecnologia seja cara demais para testar em todos ou a doença seja urgente demais para esperar por um longo estudo.

Então, os pesquisadores tentam um truque inteligente chamado "predição contrafactual". É como construir uma máquina do tempo, mas em vez de enviar uma pessoa de volta no tempo, eles enviam uma predição de volta. Eles pegam um grupo de pacientes que receberam o novo tratamento e perguntam: "O que teria acontecido com essas pessoas específicas se elas tivessem recebido o tratamento antigo, o padrão?". Para responder a isso, eles usam um "modelo" — uma receita matemática construída a partir de dados antigos de pessoas que apenas receberam o tratamento padrão. Eles inserem os detalhes desses novos pacientes nessa receita para gerar um "desfecho fantasma", uma previsão de como seria a saúde deles sob o sistema antigo. Então, eles comparam os resultados reais do novo tratamento contra essas previsões fantasmas. Se o novo tratamento parecer melhor, ótimo! Mas aqui está o detalhe: este truque só funciona se a receita for perfeita, se a máquina do tempo não falhar e se os "fantasmas" forem verdadeiramente idênticos às pessoas reais. Se qualquer uma dessas condições for instável, todo o mistério pode ser uma pista falsa.

Este artigo, escrito por uma equipe de pesquisadores da Holanda, intervém para organizar o kit de ferramentas do detetive. Eles pegam este método intuitivo — comparar desfechos reais de um novo tratamento contra desfechos previstos de um antigo — e lhe dão uma reformulação matemática rigorosa. Eles não dizem apenas "funciona se você for cuidadoso"; eles estabelecem exatamente o que significa ser "cuidadoso". Os autores formalizam a abordagem usando um framework chamado "resultados potenciais", que é apenas uma maneira sofisticada de dizer "o que poderia ter acontecido". Eles identificam cinco condições específicas que devem ser verdadeiras para que a comparação seja justa e os resultados sejam confiáveis.

Pense nessas cinco condições como as cinco regras de um truque de mágica. Se você quebrar até mesmo uma, o coelho pode não aparecer ou, pior, você pode tirar um pato e alegar que é um coelho. A primeira regra é a Transportabilidade: a "receita" (o modelo) deve funcionar tão bem no novo grupo de pacientes quanto funcionou no antigo. Se os novos pacientes forem secretamente diferentes de uma forma que a receita desconhece (como um ingrediente oculto), a previsão estará errada. A segunda regra é a Ignorabilidade da Atribuição do Tratamento: a razão pela qual um paciente recebeu o novo tratamento não deve estar ligada a quão doente ele teria sido com o tratamento antigo, uma vez que você considere o que sabe sobre eles. Se os médicos deram o novo tratamento apenas para os pacientes "sortudos" que já estavam destinados a se sair bem, o modelo ficará confuso. A terceira regra é a Consistência: o tratamento deve significar a mesma coisa todas as vezes. Se a "Terapia de Prótons" significa algo ligeiramente diferente no novo hospital do que significava nos dados antigos, a comparação é de maçãs com laranjas. A quarta regra é a Positividade: os novos pacientes devem parecer pessoas que o modelo já viu antes. Você não pode usar uma receita feita para adultos para prever o desfecho de uma criança se o modelo nunca viu uma criança. A quinta regra é a Especificação Correta do Modelo: a própria receita matemática deve ter a forma correta. Se a relação entre a idade de um paciente e sua saúde é curva, mas a receita assume que é uma linha reta, a previsão estará errada.

Os autores ilustram essas regras com um exemplo do mundo real envolvendo pacientes com câncer de cabeça e pescoço. Eles observaram um grupo de pessoas que recebeu um novo tratamento de radiação de alta tecnologia chamado terapia de prótons para ver se ela reduzia as dificuldades de deglutição (disfagia) em comparação com a terapia de fótons padrão. Eles usaram dados de 750 pacientes tratados com terapia de fótons entre 2007 e 2017 para construir seu modelo de previsão. Em seguida, aplicaram esse modelo a 93 pacientes tratados com terapia de prótons em 2018 e 2019. Os resultados sugeriram que a terapia de prótons reduziu o risco de problemas de deglutição em cerca de 22% (uma diferença de -0,22) em comparação ao que teria acontecido com a terapia de fótons. No entanto, o artigo enfatiza que esse número só é confiável se todas as cinco regras foram seguidas.

Os pesquisadores também mostram como verificar se as regras foram seguidas. Por exemplo, eles observaram os pacientes no novo grupo que de fato receberam a terapia de fótons padrão e verificaram se o modelo previu seus desfechos corretamente. Se o modelo acertou para eles, isso deu mais confiança de que as "previsões fantasmas" para o grupo de prótons também eram precisas. Em seu exemplo, o modelo foi muito bom ao prever o grupo de fótons (uma diferença de 0,0), o que foi um bom sinal.

Em última análise, o artigo conclui que, embora este método seja uma ferramenta poderosa para tomar decisões quando não podemos realizar um ensaio perfeito, ele não é uma varinha mágica. Ele requer uma verificação sistemática de todas as cinco condições, apoiada por especialistas da área e dados do mundo real. Os autores alertam que, se essas condições forem violadas, os resultados podem ser tendenciosos, fazendo um tratamento parecer melhor ou pior do que realmente é. Eles sugerem que os pesquisadores sejam transparentes sobre essas suposições e usem dados extras para testá-las sempre que possível. É um lembrete de que, na ciência, mesmo os atalhos mais elegantes exigem uma base sólida para se sustentarem.

Resumo Técnico: Estimativa do Efeito do Tratamento Comparando Desfechos Observados e Previstos

Definição do Problema
Novos tratamentos médicos frequentemente requerem avaliação de eficácia e segurança antes que evidências de Ensaios Clínicos Randomizados (ECR) estejam disponíveis ou sejam viáveis. Embora existam métodos não randomizados, como o ajuste por regressão ou escores de propensão, uma abordagem específica surgiu em campos como a radioterapia: estimar o Efeito Médio do Tratamento entre os Tratados (ATT, do inglês Average Treatment Effect among the Treated) comparando desfechos observados sob um novo tratamento contra desfechos contrafatuais previstos sob um tratamento padrão. Essas previsões são geradas por um modelo desenvolvido em dados históricos ou externos onde apenas o tratamento padrão foi administrado. Embora aplicada intuitivamente e reconhecida como uma forma de padronização, controles virtuais ou um método g (g-method), as condições teóricas necessárias para que essa abordagem produza estimativas causais não enviesadas não foram formalmente descritas. Este artigo aborda a lacuna entre a aplicação prática e a teoria formal de inferência causal.

Metodologia
Os autores formalizam esta abordagem de estimativa dentro do framework de resultados potenciais para inferência causal. O estimando central é o ATT: a diferença média entre o desfecho observado sob o novo tratamento ( $T=1$ ) e o desfecho potencial sob o tratamento padrão ( $T=0$ ) para a população que atualmente recebe o novo tratamento.

O procedimento de estimativa envolve:

Desenvolvimento do Modelo: Ajustar um modelo de predição ( $m_{pre}$ ) em uma coorte pré-introdução onde todos os pacientes receberam o tratamento padrão ( $T=0$ ). Este modelo prevê o risco do desfecho com base nas características do paciente ( $X$ ) e em variáveis do plano de tratamento específicas do tratamento padrão ( $Z^{(0)}$ ).
Predição Contrafatual: Aplicar o modelo ajustado a uma coorte pós-introdução de pacientes tratados com a nova terapia ( $T=1$ ). Para esses pacientes, o modelo prevê qual teria sido o desfecho caso tivessem recebido o tratamento padrão, utilizando suas características específicas de paciente e as variáveis hipotéticas do plano de tratamento padrão (que são frequentemente disponíveis durante o processo de seleção para o novo tratamento).
Cálculo do Efeito: O ATT é estimado como a diferença média entre os desfalteços observados no grupo do novo tratamento e os desfechos contrafatuais previstos para o tratamento padrão.

Para ilustrar a metodologia e suas condições, os autores utilizam um estudo de caso envolvendo pacientes com câncer de cabeça e pescoço na Holanda. O estudo estima o benefício da terapia de prótons (novo tratamento) versus a terapia de fótons (tratamento padrão) na redução da disfagia aos 6 meses. O modelo foi treinado em 750 pacientes tratados com terapia de fótons (2007–2017) e aplicado a 93 pacientes selecionados para terapia de prótons (2018–2019) com base em um algoritmo de seleção baseado em modelo.

Condições-Chave para Inferência Válida
O artigo identifica cinco condições suficientes necessárias para que a estimativa do ATT seja não enviesada. Embora sejam amplamente impossíveis de serem testadas diretamente, os autores discutem suas implicações e fornecem exemplos de violações:

Transportabilidade: A relação entre as covariáveis e o desfecho sob o tratamento padrão deve ser idêntica nas populações pré-introdução (desenvolvimento do modelo) e pós-introdução (alvo). Violações ocorrem se confundidores não medidos (ex: estado de tabagismo, mudanças simultâneas no protocolo) diferirem entre as populações ou se as estratégias de otimização de dose evoluírem ao longo do tempo.
Ignorabilidade da Atribuição do Tratamento: Dentro da população pós-introdução, o desfecho potencial sob o tratamento padrão deve ser independente do tratamento realmente recebido, condicionado às covariáveis incluídas no modelo. Isso é violado se a seleção do tratamento depender de fatores não medidos que também influenciam o desfecho (ex: características tumorais específicas ou qualidade de vida do paciente não capturadas pelo modelo).
Consistência: O desfecho observado para um paciente recebendo um tratamento específico deve corresponder ao seu desfecho potencial sob esse tratamento. Isso assume que o tratamento é bem definido e que variações na entrega (ex: habilidade do clínico, diferenças de equipamento) não alteram o desfecho de formas não capturadas pelas covariáveis do modelo.
Positividade: O suporte das covariáveis na população alvo (aqueles que recebem o novo tratamento) deve estar contido no suporte das covariáveis na população de desenvolvimento do modelo. Violações ocorrem se o modelo precisar extrapolar para perfis de pacientes ou combinações de planos de tratamento nunca vistos durante o desenvolvimento.
Especificação Correta do Modelo: A forma funcional do modelo de predição deve capturar corretamente a probabilidade condicional do desfecho dado as covariáveis. A especificação incorreta (ex: ignorar não linearidades ou interações) leva a predições enviesadas e, consequentemente, a estimativas de ATT enviesadas.

Resultados e Estratégias de Validação
Utilizando os dados sintéticos do estudo de caso, os autores demonstram o cálculo do ATT. O efeito estimado mostrou uma redução no risco de disfagia de 0,22 (IC 95%: -0,31, -0,13) para a terapia de prótons em comparação com os desfechos previstos para a terapia de fótons.

Crucialmente, o artigo descreve métodos para reunir evidências de suporte para a validade dessas condições, reconhecendo que elas não podem ser testadas diretamente:

Calibração no Grande (CITL - Calibration-in-the-Large): Se um subconjunto da população pós-introdução recebeu o tratamento padrão, as predições do modelo podem ser comparadas aos seus desfechos observados. Uma diferença próxima de zero apoia a plausibilidade das condições.
Populações de Controle Negativo: Aplicar o procedimento de estimativa a grupos onde o efeito do tratamento é esperado como zero.
Validação Cruzada nos Grupos Tratados: No contexto da radioterapia, se a relação entre dose e desfecho for assumida como válida entre os tipos de tratamento, o desempenho do modelo pode ser avaliado indiretamente no grupo tratado com prótons, comparando os desfechos de fótons previstos com os desfechos de prótons observados (com ressalvas quanto à suposição de equivalência dose-desfecho).

Significância e Contribuições
Os autores alegam três contribuições primárias:

Formalização: Este é o primeiro trabalho a descrever formalmente esta estratégia específica de "avaliação clínica baseada em modelo" dentro do framework de resultados potenciais, esclarecendo o conjunto de condições suficientes necessárias para uma inferência causal válida.
Distinção de Métodos Existentes: Embora semelhante a controles históricos, padronização baseada em modelos e métodos g, esta abordagem é distinta porque depende explicitamente de um modelo estimado em uma população pré-introdução (introduzindo um componente de transportabilidade) e incorpora informações individualizadas de planejamento de tratamento disponíveis antes do tratamento.
Orientação Prática: Ao combinar condições teóricas com um estudo de caso realista e fornecer código em R para implementação e análise de sensibilidade, o artigo oferece orientação prática para pesquisadores e clínicos.

O artigo conclui que, embora esta abordagem ofereça vantagens práticas — como não exigir acesso a dados individuais da pré-introdução e flexibilidade em medidas de efeito — ela é suscetível a vieses se as condições identificadas forem violadas. Portanto, os autores recomendam uma avaliação sistemática dessas condições, informada pelo conhecimento do domínio e evidências empíricas, para garantir a credibilidade das estimativas de efeito de tratamento em ambientes não randomizados.

Mais como este