A Practical Guide to Interpret a Randomized Controlled Trial

Este artigo apresenta um guia prático baseado em um algoritmo que utiliza intervalos de confiança em relação à diferença clinicamente importante mínima e probabilidades bayesianas para classificar os resultados de ensaios clínicos randomizados em seis categorias distintas, evitando o erro comum de interpretar erroneamente valores de p > 0,05 como ausência de efeito.

O essencial

Imagine que você é um juiz em um tribunal muito importante. O caso? Descobrir se um novo remédio funciona ou não.

Por décadas, os juízes (médicos e cientistas) usavam uma única regra estrita e um pouco cega para decidir: "Se o número mágico (o valor-p) for maior que 0,05, o réu (o remédio) é inocente de causar benefício. O caso está encerrado: 'Não há diferença'."

O artigo que você compartilhou, escrito pelo Dr. Ibrahim Halil Tanboga, diz: "Esperem um pouco! Essa regra está nos levando a cometer erros terríveis."

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Erro: "Não há prova" não significa "Não existe"

O maior perigo é achar que, se o teste não foi "significativo" (p > 0.05), o remédio não faz nada.

• A Analogia: Imagine que você está procurando um tesouro no seu quintal com uma lanterna fraca. Você varre o chão e não vê nada.
  • O erro: Dizer "Não há tesouro aqui".
  • A realidade: Você apenas não viu nada porque sua lanterna era fraca (o estudo era pequeno) ou porque você não procurou em todos os lugares. A ausência de evidência não é evidência de ausência.

2. A Nova Regra: Não é apenas "Sim" ou "Não"

O autor diz que os resultados dos testes não são apenas "Positivos" (funciona) ou "Negativos" (não funciona). Existem 6 cenários possíveis, e a maioria das pessoas confunde eles.

Vamos usar a analogia de atirar em um alvo para entender os 6 cenários:

• Positivo (O Tiro Perfeito): O tiro acertou o centro do alvo e ficou longe das bordas. O remédio funciona claramente.
• Impreciso (+) (O Tiro no Alvo, mas na Borda): O tiro acertou o alvo, mas está tão perto da borda que não sabemos se valeu pontos extras. O remédio pode funcionar, mas não temos certeza do quanto.
• Neutro (O Tiro no Centro, mas sem Força): O tiro acertou o centro exato, e sabemos com certeza que ele não saiu do círculo pequeno. O remédio é igual ao placebo. Eles são iguais.
• Negativo (O Tiro Fora do Alvo, mas perto): O tiro caiu fora do círculo de pontos, mas ainda perto. Sabemos que o remédio não traz o benefício grande que esperávamos, mas não sabemos se ele faz mal.
• Inconclusivo (O Tiro no Ar): O tiro foi tão longe que pode ter caído no jardim do vizinho (faz mal) ou no seu quintal (faz bem). A lanterna é muito fraca. Não sabemos nada.
• Prejudicial (O Tiro no Inimigo): O tiro acertou o alvo errado e causou dano. O remédio faz mal.

3. O Problema dos "Três Rostos" do p > 0,05

O artigo mostra algo assustador: três estudos diferentes podem ter o mesmo resultado "não significativo" (p > 0,05), mas significar coisas totalmente opostas.

• Cenário A (Inconclusivo): O estudo era tão pequeno (poucos pacientes) que a resposta é "não sabemos". É como tentar adivinhar o tempo de amanhã olhando por uma janela fechada.
• Cenário B (Negativo): O estudo foi grande e preciso. A resposta é "não funciona". É como olhar por uma janela grande e ver que está chovendo.
• Cenário C (Neutro): O estudo foi enorme e preciso. A resposta é "são exatamente iguais". É como olhar por uma janela e ver que o céu está limpo, igual ao de ontem.

O erro comum: A maioria dos artigos diz apenas "não houve diferença" para os três casos, escondendo a verdade.

4. A Solução: A Lanterna Bayesiana

Como resolver isso? O autor sugere usar uma "segunda lanterna" chamada Análise Bayesiana.

• O Método Antigo (Frequentista): Pergunta: "Conseguimos provar que é diferente?" (Sim/Não).
• O Método Novo (Bayesiano): Pergunta: "Qual a probabilidade de funcionar? De fazer mal? De ser igual?"

Exemplos Reais do Artigo:

1. O Caso EOLIA (ECMO para pulmão): O teste antigo disse "Não funcionou" (p=0,09). Mas a "lanterna Bayesiana" mostrou que havia 88% de chance de funcionar. O remédio foi injustamente descartado.
2. O Caso ART (Ventilação pulmonar): O teste antigo disse "Quase não funcionou" (p=0,057). A "lanterna Bayesiana" mostrou que havia 94% de chance de estar fazendo mal. O remédio foi perigoso e deveria ter sido parado.

5. Resumo Prático para Você

Da próxima vez que ler sobre um estudo médico novo, não olhe apenas se o número "p" é menor que 0,05. Pergunte:

1. O intervalo de confiança (a faixa de erro) é estreito ou largo?
   • Se for largo (como uma faixa de estrada), o estudo é Inconclusivo. Não confie no resultado, seja positivo ou negativo.
   • Se for estreito (como uma linha), o estudo é preciso.
2. O resultado está dentro da zona de "benefício real"?
   • Se o remédio reduz o risco em 1%, mas o benefício real precisa ser 20%, ele é Neutro (não vale a pena), mesmo que o teste diga que é "diferente".
3. Não use estudos pequenos para prometer curas milagrosas.
   • Estudos pequenos que "acertam" o alvo muitas vezes são a Maldição do Vencedor: eles exageram o efeito. É como um atirador iniciante que, por sorte, acerta o centro uma vez, mas não consegue repetir.

A Lição Final:
Não diga "não há efeito" apenas porque o teste não foi "significativo". Diga: "Não temos certeza suficiente para decidir" (se o estudo for pequeno) ou "Sabemos que não há benefício" (se o estudo for grande e preciso).

O artigo é um manual para parar de jogar "cara ou coroa" com a saúde das pessoas e começar a usar a lógica e a probabilidade para tomar decisões mais seguras.

Resumo técnico

Título: Um Guia Prático para Interpretar Ensaios Controlados Randomizados (ECR): Sobrepoderado ≠ Inconclusivo ≠ Negativo ≠ Neutro

Autor: Ibrahim Halil Tanboga, MD, PhD (Departamento de Bioestatística e Cardiologia, Universidade Nisantasi, Istambul).

---

1. O Problema

O erro mais perigoso na interpretação de ensaios clínicos é equiparar um valor de p > 0,05 à conclusão de "nenhum efeito" ou "tratamento ineficaz".

• A Falácia Atual: A literatura médica frequentemente rotula resultados não significativos estatisticamente como "negativos", ignorando que um p > 0,05 pode representar três cenários fundamentalmente diferentes:
  1. Inconclusivo: O estudo não tem poder suficiente para distinguir entre benefício, dano ou nulidade (Intervalo de Confiança largo).
  2. Negativo: O tratamento não oferece benefício clinicamente significativo, mas o dano ainda é possível (Intervalo de Confiança estreito, excluindo benefício, mas não necessariamente dano).
  3. Neutro: Os tratamentos são essencialmente equivalentes; nem benefício nem dano clinicamente relevantes são possíveis (Intervalo de Confiança muito estreito em torno da nulidade).
• Consequências: Essa dicotomia simplista leva a conclusões errôneas, descarte de tratamentos benéficos (falsos negativos) e aceitação de tratamentos ineficazes ou prejudiciais. Além disso, o uso de "poder pós-hoc" é identificado como um erro metodológico grave que não adiciona informação.

2. Metodologia

O artigo propõe um algoritmo de decisão híbrido que integra abordagens Frequentista e Bayesiana, sintetizando diretrizes de autoridades como Altman, Harrell, Pocock, Zampieri, a ASA (American Statistical Association) e o ICH E9.

A. Track A: Abordagem Frequentista (CI + MCID)

O núcleo da classificação baseia-se na posição do Intervalo de Confiança (IC) de 95% em relação ao Valor Nulo e à Diferença Clínica Mínima Importante (MCID - Minimal Clinically Important Difference).

• Definição da MCID: Deve ser pré-especificada no protocolo (ex: HR ≤ 0,80 para benefício, HR ≥ 1,25 para dano).
• Classificação Baseada no IC:
  • Positivo: IC inteiro no lado do benefício, além da MCID.
  • Impreciso (+): IC cruza a MCID (significativo estatisticamente, mas magnitude incerta).
  • Neutro: IC estreito dentro da zona de indiferença (exclui tanto benefício quanto dano clinicamente importantes).
  • Negativo: IC estreito que exclui o benefício clinicamente importante, mas pode incluir dano.
  • Inconclusivo: IC largo que abrange o valor nulo e a MCID (não se pode descartar benefício nem dano).
  • Prejudicial (Harmful): IC inteiro na zona de dano além da MCID.

B. Track B: Abordagem Bayesiana (Zampieri/Harrell Framework)

Utilizada para resolver ambiguidades, especialmente quando p está próximo de 0,05 ou para distinguir "Negativo" de "Neutro".

• Métricas Chave: Cálculo de probabilidades posteriores sob diferentes priors (cético, otimista, pessimista):
  1. Pr(Benefício Excepcional): Probabilidade de efeito > MCID.
  2. Pr(ROPE - Region of Practical Equivalence): Probabilidade de equivalência (efeito dentro de uma faixa de insignificância clínica).
  3. Pr(Dano Grave): Probabilidade de efeito > MCID de dano.
• Critério de Robustez: Se a conclusão for consistente entre priors céticos e otimistas, os dados falam por si, não o prior.

3. Principais Contribuições e Resultados

A. As "Três Faces" de p > 0,05

O artigo demonstra que três estudos com p > 0,05 podem ter conclusões opostas:

1. Inconclusivo: IC largo (ex: HR 0,78, IC 0,52–1,18). O estudo não aprendeu nada decisivo.
2. Negativo: IC estreito excluindo benefício (ex: HR 0,95, IC 0,87–1,04). Benefício clinicamente relevante descartado.
3. Neutro: IC muito estreito em torno de 1 (ex: HR 0,98, IC 0,93–1,03). Equivalência estabelecida.

B. A "Maldição do Vencedor" (Winner's Curse)

Estudos subdimensionados (underpowered) que encontram p < 0,05 tendem a superestimar drasticamente o efeito (Erro Tipo M) ou até mesmo inverter o sinal (Erro Tipo S). O artigo alerta que usar esses efeitos inflados para calcular o tamanho amostral de estudos de confirmação leva a falhas de replicação.

C. Reanálises Bayesianas em Casos Reais

O artigo aplica o framework a três ensaios famosos que foram erroneamente rotulados como "negativos" ou "borderline" pela estatística frequentista:

1. EOLIA (ECMO para ARDS): p = 0,09 (Negativo frequentista). A reanálise Bayesiana mostrou 88–99% de probabilidade de benefício, mesmo sob priors céticos.
2. ANDROMEDA-SHOCK (CRT vs Lactato): p = 0,06 (Negativo frequentista). A reanálise Bayesiana indicou >90% de probabilidade de benefício em todos os priors.
3. ART (Ventilação Aberta em ARDS): p = 0,057 (Borderline). A reanálise Bayesiana confirmou >93% de probabilidade de dano, mesmo com priors otimistas.

D. Distinção Crítica: Negativo vs. Neutro

• Negativo: "O tratamento não funciona" (Benefício excluído, mas dano possível).
• Neutro: "Os tratamentos são iguais" (Benefício e dano excluídos).
  Apenas a análise Bayesiana (via Pr(ROPE)) pode quantificar formalmente a equivalência.

4. Significado e Implicações Práticas

• Mudança de Paradigma: O artigo defende a abolição do uso de "positivo/negativo" como rótulos binários baseados apenas no p-valor. Em vez disso, deve-se relatar a posição do IC em relação à MCID e as probabilidades posteriores.
• Fim do Poder Pós-Hoc: O cálculo de poder após o estudo é considerado uma falácia que não fornece informação adicional além do próprio IC.
• Protocolos de Relato: O artigo fornece templates de relato para cada uma das 6 classificações, incentivando os pesquisadores a explicitarem se um estudo foi "inconclusivo" (necessita mais dados) ou "negativo/neutro" (resposta clínica definida).
• Impacto na Prática Clínica: Evita que tratamentos benéficos sejam abandonados prematuramente (como no caso EOLIA) e alerta para a necessidade de cautela com resultados "positivos" de estudos pequenos (devido à superestimação do efeito).

Conclusão do Artigo

A mensagem central é: "Nunca interprete p > 0,05 como 'sem efeito'." A interpretação correta exige a análise conjunta do tamanho do efeito, do intervalo de confiança, da MCID pré-especificada e, quando necessário, de probabilidades bayesianas para distinguir entre incerteza (inconclusivo), falta de benefício (negativo) e equivalência (neutro).