📊 epidemiology

BUDS: Benchmark Uncertainty Design Selection for Two-Stage Single-Arm Phase II Trials

O artigo apresenta o BUDS, um framework para a seleção de desenhos de ensaios de Fase II de braço único em dois estágios que considera a incerteza do benchmark histórico ao otimizar a eficiência através de uma gama plausível de desfechos, prevenindo, assim, a inflação do erro do Tipo I enquanto oferece trade-offs explícitos entre robustez e eficiência de tamanho amostral para desfechos binários e de tempo até o evento.

Autores originais: Irlmeier, R., Jin, Z., Ye, F.

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Irlmeier, R., Jin, Z., Ye, F.

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você é um detetive tentando capturar um ladrão, mas não sabe exatamente como o ladrão se parece. Você tem um esboço, mas ele está um pouco embaçado. No mundo da ciência médica, especificamente nos estágios iniciais de testes de novos medicamentos, os pesquisadores jogam um jogo semelhante. Eles querem saber se um novo tratamento funciona melhor do que o "jeito antigo" de fazer as coisas. Para fazer isso, eles realizam o que são chamados de ensaios de Fase II. Pense nisso como o primeiro teste sério para um novo ator. Os pesquisadores comparam o desempenho do novo medicamento contra um "marco histórico" (historical benchmark), um número padrão baseado em como os pacientes geralmente reagem com o melhor tratamento atual. É como dizer: "Se o novo medicamento curar mais de 10% das pessoas, continuaremos; se não, paramos".

O problema é que esse número de "10%" é frequentemente um palpite. Pode vir de um estudo pequeno, ou os pacientes podem ser ligeiramente diferentes, ou a medicina pode ter mudado um pouco desde o estudo antigo. Se os pesquisadores escolherem o número errado para o seu marco, eles podem acidentalmente pensar que um medicamento inútil é um herói, ou podem descartar um bom medicamento cedo demais. Este artigo aborda a matemática complexa de como projetar esses testes de medicamentos quando você não tem 100% de certeza sobre qual é o desempenho "padrão". Trata-se de construir uma rede de segurança para que, mesmo que seu palpite esteja um pouco errado, você não cometa um erro dispendioso.

A Solução "BUDS": Projetando para o Desconhecido

Este artigo apresenta uma nova estrutura chamada BUDS (Benchmark Uncertainty Design Selection). Pense no BUDS como um arquiteto inteligente e cauteloso projetando uma ponte. Normalmente, quando você constrói uma ponte, calcula a carga com base em um peso específico — digamos, um carro que pesa exatamente 2.000 libras. Você projeta a ponte para suportar esse carro perfeitamente. Mas e se, na realidade, os carros que cruzam a ponte pudessem pesar entre 1.800 e 2.200 libras? Se você projetar apenas para 2.000, um caminhão pesado pode quebrar sua ponte.

Os autores argumentam que os designs tradicionais de testes de medicamentos são como essa ponte de peso único. Eles escolhem um "marco" específico (como uma taxa de cura de 10%) e projetam todo o estudo em torno dele. O artigo mostra que, se o marco real for um pouco mais alto (digamos, 15%), esses designs tradicionais podem falhar espetacularmente. Eles podem declarar um medicamento como um sucesso quando ele é, na verdade, um fracasso. Em suas simulações, os autores descobriram que, quando o marco real era um pouco mais alto do que o planejado, a taxa de erro para um design popular chamado "Simon Optimal" disparou para 0,407 (isso é uma chance de 40,7% de um alarme falso!) em vez dos 10% pretendidos.

Para corrigir isso, o BUDS sugere parar o jogo do "palpite único". Em vez de escolher um número, os pesquisadores devem definir um intervalo plausível do que o marco poderia ser (ex: "A taxa de cura está provavelmente entre 5% e 15%"). O BUDS então projeta o teste para funcionar com segurança em todo esse intervalo.

Como o BUDS Funciona: As Estratégias de "Pior Caso" e "Média"

O artigo propõe duas formas principais de escolher o melhor design de teste entre as muitas opções que se encaixam nesta nova rede de segurança mais ampla:

BUDS-Worst-Regret: Esta é a estratégia "paranoica". Ela pergunta: "Qual é o pior cenário dentro do nosso intervalo e quanto trabalho extra (pacientes) precisaríamos para lidar com esse cenário específico?". Ela então escolhe o design que minimiza o máximo de decepção ou "arrependimento" (regret) se o pior caso acabar sendo o verdadeiro. É como arrumar uma mala para uma viagem onde você pode precisar carregar um casaco pesado, uma jaqueta leve ou nada; você escolhe a roupa que o mantém confortável mesmo se acabar no clima mais frio, mesmo que isso signifique estar um pouco supervestido para um dia ensolarado.
BUDS-Avg-EN: Esta é a estratégia da "média". Ela olha para todo o intervalo de possibilidades e escolhe o design que utiliza o menor número de pacientes em média. É como arrumar as malas para uma viagem onde você espera um clima misto e quer ser eficiente no geral, mesmo que possa sentir um pouco de frio em um dia específico.

O Que as Simulações Mostraram

Os autores realizaram milhares de simulações computacionais para ver como esses novos designs se comparam aos antigos. Aqui está o que encontraram:

Segurança em Primeiro Lugar: A descoberta mais importante é que os designs BUDS mantêm a taxa de "alarme falso" (Erro Tipo I) sob controle, não importa onde o marco real caia dentro do intervalo. Quer o marco esteja na extremidade baixa ou alta do palpite, o teste não declarará acidentalmente um medicamento ruim como vencedor. Em contraste, os antigos designs de marco único viram suas taxas de erro explodirem quando o marco real era maior do que o esperado.
O Custo da Segurança: Existe uma compensação (trade-off). Para ser seguro em uma ampla gama de possibilidades, os designs BUDS às vezes exigem mais pacientes do que os designs antigos. Por exemplo, em um cenário onde o marco era incerto, um design tradicional poderia precisar de um máximo de 37 pacientes. O design BUDS, para ser seguro contra o pior cenário, pode precisar de 54 ou até 72 pacientes. O artigo observa que esse recrutamento extra é o preço de não cometer um erro. É melhor testar algumas pessoas extras do que desperdiçar milhões em um ensaio de Fase III para um medicamento que não funciona.
Exemplos do Mundo Real: Os autores testaram suas ideias em cenários do mundo real, como um teste para glioblastoma (um tipo de câncer cerebral). Eles analisaram um teste que usava um marco de 0,10 (10%). Quando aplicaram o BUDS com um intervalo realista de 0,05 a 0,13, o design antigo teria tido uma taxa de alarme falso de mais de 0,25 (25%). O design BUDS manteve a taxa de erro abaixo de 0,093 (9,3%), mas exigiu um tamanho de amostra máximo de 89 pacientes em vez dos 50 originais.

A Conclusão Principal

O artigo conclui que o BUDS oferece uma maneira transparente de lidar com a incerteza do histórico médico. Ele não faz a incerteza desaparecer magicamente; em vez disso, força os pesquisadores a admitir: "Não temos 100% de certeza, então vamos planejar para um intervalo". Ao fazer isso, torna a compensação entre eficiência (usar menos pacientes) e robustez (evitar falsos positivos) explícita. Os autores construíram até uma ferramenta computacional gratuita (um pacote R e um aplicativo Shiny) para que outros cientistas possam usar este método para projetar seus próprios testes.

Em resumo, o BUDS sugere que, no jogo de alto risco dos testes de medicamentos, é mais inteligente projetar uma ponte que possa lidar com uma gama de pesos do que apostar em um único palpite perfeito. O artigo não afirma que esta seja a palavra final sobre todos os testes médicos, mas fornece uma maneira matematicamente sólida de parar de adivinhar e começar a planejar para o desconhecido.

Resumo Técnico: Seleção de Design com Incerteza de Referência (BUDS) para Ensaios de Fase II de Braço Único em Dois Estágios

Definição do Problema
Ensaios clínicos de Fase II de braço único, particularmente em oncologia, dependem frequentemente de designs de dois estágios (ex.: o design de Simon para desfechos binários ou a estrutura de Kwak e Jung/r-KJ para desfechos de tempo até o evento) para triar terapias experimentais contra um benchmark (referência) de controle histórico. Esses designs são tradicionalmente calibrados usando um único benchmark de planejamento fixo ( $\theta_0$ ). No entanto, na prática, os benchmarks históricos são frequentemente incertos devido a tamanhos de amostra reduzidos em estudos anteriores, heterogeneidade populacional, critérios de elegibilidade em evolução e mudanças no padrão de cuidado.

O artigo identifica uma vulnerabilidade crítica na prática atual: quando o verdadeiro benchmark histórico excede o valor utilizado para calibrar o design, a taxa de erro do Tipo I pode ser substancialmente inflada. Essa inflação aumenta o risco de avançar tratamentos ineficazes para ensaios de Fase III dispendiosos. Os critérios de seleção de design existentes tipicamente otimizam a eficiência (ex.: minimizando o tamanho de amostra esperado) em um único ponto de benchmark sem considerar essa incerteza, deixando os ensaios estatisticamente válidos apenas no ponto específico de calibração, mas potencialmente inválidos em toda a gama de valores históricos plausíveis.

Metodologia
Os autores propõem o Benchmark Uncertainty Design Selection (BUDS), um framework que incorpora explicitamente uma gama pré-especificada de valores de benchmark clinicamente plausíveis ( $\theta_{0L}, \theta_{0U}$ ) no processo de seleção de design.

Definição do Framework: Em vez de selecionar um design baseado em um único $\theta_0$ , o BUDS exige que os designs candidatos satisfaçam as restrições de erro do Tipo I ( $\alpha$ ) e do Tipo II ( $\beta$ ) em toda a gama de benchmarks. Devido à monotonicidade das taxas de erro do Tipo I em relação ao parâmetro de benchmark, os autores demonstram que impor a restrição de erro do Tipo I no limite superior do intervalo ( $\theta_{0U}$ ) é suficiente para controlar o erro em todo o intervalo.
Funções Objetivo: Dentro do conjunto de designs viáveis que satisfazem as restrições de erro sobre o intervalo, o BUDS introduz dois objetivos de otimização robustos:
1. BUDS-Worst-Regret: Minimiza o "regret" (arrependimento) máximo através da gama de benchmarks. O regret é definido como a diferença entre o tamanho de amostra esperado (ESS) de um design candidato e o ESS do design localmente ótimo (o design que seria escolhido se o verdadeiro benchmark fosse conhecido) em qualquer ponto do intervalo. Esta abordagem protege contra a pior perda de eficiência.
2. BUDS-Avg-EN: Minimiza o tamanho de amostra esperado médio ao longo da gama de benchmarks, favorecendo designs que são eficientes em média.
Algoritmo: Os autores fornecem algoritmos de busca computacionalmente eficientes para identificar os designs ótimos. Para desfechos binários, o método enumera exaustivamente as configurações candidatas de dois estágios. Para desfechos de tempo até o evento (TTE), utiliza um procedimento de busca de "zoom" baseado na estrutura de Kwak e Jung restrita (r-KJ). A implementação está disponível em um pacote R de código aberto (BUDS) e em um aplicativo Shiny interativo.

Resultados Principais
O artigo avalia o BUDS em comparação com designs de benchmark único clássicos (Simon Optimal/Minimax e r-KJ) em cenários representativos de desfechos binários e TTE com graus variados de incerteza de benchmark.

Robustez à Especificação Incorreta: Sob incerteza substancial de benchmark, os designs de benchmark único exibem uma severa inflação do erro do Tipo I. Por exemplo, um design Simon Optimal calibrado em uma taxa de resposta de 0,10 (com $\alpha=0,10$ ) atingiu uma taxa de erro do Tipo I de 0,407 quando o verdadeiro benchmark era 0,15. Da mesma forma, um design r-KJ calibrado em uma probabilidade de sobrevivência de 6 meses de 0,50 (com $\alpha=0,05$ ) viu sua taxa de erro inflar para aproximadamente 0,17 quando a verdadeira sobrevivência era 0,67. Em contraste, os designs selecionados pelo BUDS mantiveram as taxas de erro do Tipo I no nível nominal ou abaixo dele em toda a gama de benchmarks.
Trade-offs de Eficiência: Alcançar a robustez requer informações adicionais. À medida que a gama de benchmark se expande, os designs selecionados pelo BUDS exigem tamanhos de amostra máximos maiores do que os designs calibrados em um único ponto. No entanto, o artigo observa que os designs BUDS-Worst-Regret frequentemente alcançam menores tamanhos de amostra esperados médios através da gama do que os designs "Minimax" de benchmark único, e menores tamanhos de amostra no primeiro estágio do que tanto os designs Simon Optimal quanto os Minimax.
Aplicação no Mundo Real: A aplicação do BUDS em configurações de ensaios de glioblastoma recorrente (tanto para resposta binária quanto para sobrevida livre de progressão de 6 meses) demonstrou que mesmo intervalos de incerteza modestos (ex.: 0,05 a 0,13 para taxas de resposta) necessitam de ajustes de design. Os designs selecionados pelo BUDS controlaram o erro do Tipo I através dessas gamas, enquanto os designs clássicos falharam ao fazê-lo, muitas vezes exigindo apenas um aumento modesto no tamanho da amostra (ex.: 6 pacientes adicionais em um cenário TTE) para alcançar a robustez.

Significância e Alegações
O artigo posiciona o BUDS como um framework transparente para o planejamento de ensaios que torna explícito o trade-off entre robustez e eficiência. Sua principal significância reside em:

Controle de Erro: Garante o controle do erro do Tipo I através de uma gama plausível de benchmarks históricos, em vez de um único ponto, potencialmente não representativo, reduzindo assim o risco de avançar terapias ineficazes devido à especificação incorreta do benchmark.
Transparência de Decisão: Ao exigir a especificação de uma gama de benchmarks, o framework força uma discussão estruturada sobre a incerteza durante o desenvolvimento do protocolo, apoiando decisões de "go/no-go" mais defensáveis.
Utilidade Prática: O framework aplica-se tanto a desfechos binários quanto de tempo até o evento, mantendo a simplicidade operacional dos designs clássicos de dois estágios. A disponibilidade do pacote R BUDS e do aplicativo Shiny facilita a adoção imediata por pesquisadores.

Os autores concluem que, embora o BUDS não elimine as limitações inerentes dos estudos de braço único, ele fornece uma estratégia racional para mitigar os riscos subsequentes de falsos positivos em ensaios de Fase III, tratando a robustez como um critério de planejamento explícito em vez de uma consideração post hoc.

A Solução "BUDS": Projetando para o Desconhecido

Como o BUDS Funciona: As Estratégias de "Pior Caso" e "Média"

O Que as Simulações Mostraram

A Conclusão Principal

Mais como este