How to optimize dynamic borrowing in basket trials - A utility-based framework and results of a comparison study

Resumo Técnico: Otimização de Empréstimo Dinâmico em Ensaios de Cesta (Basket Trials)

Definição do Problema
Ensaios de cesta investigam um único tratamento através de múltiplas subpopulações (estratos) dentro de uma estrutura de ensaio unificada, um design comum em pesquisa de oncologia de fase inicial e doenças raras. Embora a análise de estratos separadamente preserve o controle do erro do tipo I, isso frequentemente resulta em baixo poder estatístico devido aos pequenos tamanhos de amostra. Por outro lado, o agrupamento de todos os dados aumenta o poder, mas corre o risco de inflar a taxa de erro do tipo I (TOER) em estratos inativos. Métodos de empréstimo de informação foram propostos para compartilhar informações dinamicamente entre os estratos com base na similaridade de resposta, visando equilibrar os ganhos de poder contra a inflação do erro do tipo I. No entanto, o desempenho desses métodos depende fortemente de parâmetros de ajuste, e não existe um design universalmente ótimo para todos os possíveis cenários de resultados. O artigo aborda a falta de um framework sistemático para otimizar esses designs e a incerteza sobre quais algoritmos de otimização e funções de utilidade (funções alvo) produzem os melhores equilíbrios.

Metodologia
Os autores propõem um framework estruturado para otimizar designs de ensaios de cesta, tratando a seleção de parâmetros de ajuste como um problema de otimização restrita. A metodologia é dividida em três componentes principais:

1. Framework de Otimização: Os autores definem um checklist para o planejamento de ensaios de cesta, incluindo aspectos específicos do ensaio (número de estratos, tipo de desfecho, conjuntos de cenários), características operacionais (alvos como poder, restrições como TOER) e a estratégia de análise. O núcleo do framework envolve a definição de uma função de utilidade ($u$) a ser maximizada (ex: número esperado de decisões corretas) sujeita a restrições ($v \leq c$) sobre taxas de erro.
2. Estudo de Comparação de Design: Um estudo de comparação pré-especificado foi conduzido para avaliar:
   • Parte I: A confiabilidade e eficiência de vários algoritmos de otimização (Busca em Grade/Grid Search, Simulated Annealing, COBYLA, Evolução Diferencial, Otimização por Enxame de Partículas/PSO) na busca de parâmetros de ajuste ótimos.
   • Parte II: O desempenho estatístico de doze distintas funções de utilidade através de sete diferentes conjuntos de cenários de resultados. Esses cenários variaram no número de estratos ($I=3$ a $20$) e tamanhos de amostra.
3. Design Específico e Implementação: O estudo utilizou o design de ensaio de cesta de Fujikawa et al. (2020), que emprega um modelo beta-binomial bayesiano com pesos de empréstimo determinados pela divergência de Jensen-Shannon. O design possui três parâmetros de ajuste: um limiar de decisão ($\lambda$) e parâmetros de forma de empréstimo ($\varepsilon, \tau$). As funções de utilidade variaram em seus alvos (Poder de Experimento Inteiro/Experiment-wise Power, Número Esperado de Decisões Corretas, poder local) e incluíram termos de penalidade para exceder os limiares de erro do tipo I. As simulações foram realizadas em R utilizando um cluster de computação de alto desempenho, com cálculos exatos para cenários menores e aproximações de Monte Carlo para os maiores.

Principais Contribuições

• Um Framework Sistemático: O artigo fornece um checklist abrangente e uma formulação matemática para otimizar designs de ensaios de cesta, abordando explicitamente a especificação de conjuntos de cenários, funções de utilidade e algoritmos de otimização.
• Avaliação Algorítmica: O estudo compara empiricamente algoritmos de otimização, identificando a Busca em Grade (Grid Search) como o método mais confiável e eficiente para o design de três parâmetros testado, particularmente quando paralelizado.
• Análise de Função de Utilidade: Os autores demonstram que diferentes funções de utilidade levam a comportamentos de empréstimo distintos (conservadores, moderados ou liberais). Eles introduzem e avaliam funções de utilidade penalizadas (ex: $u\_ecd\_avg\_pen$) que impõem restrições estritas ao erro do tipo I.
• Limitação Matemática: O artigo apresenta um contraexemplo matemático provando que não existe um teste Uniformemente Mais Poderoso (UMP) para ensaios de cesta. Isso estabelece que nenhum design único pode ser ótimo para todas as possíveis hipóteses alternativas enquanto controla estritamente o erro do tipo I.

Resultados

• Algoritmos de Otimização: A busca em grade superou algoritmos meta-heurísticos estocásticos (como Simulated Annealing e PSO) tanto em tempo de execução quanto em consistência ao encontrar parâmetros ótimos para o design de Fujikawa, particularmente quando paralelizada. Algoritmos estocásticos frequentemente tiveram dificuldades com regiões "planas" no panorama da função de utilidade.
• Desempenho das Funções de Utilidade:
  • Empréstimo Conservador: Funções de utilidade como $u\_ewp\_avg\_pen$ (Poder de Experimento Inteiro com penalidade) resultaram em empréstimo conservador, mantendo a Taxa de Erro da Família (FWER) próxima aos níveis frequentistas.
  • Empréstimo Moderado: Funções como $u\_ecd\_avg\_pen$ (Número Esperado de Decisões Corretas com penalidade) ofereceram um compromisso moderado, ganhando poder em cenários com múltiplos estratos ativos enquanto controlavam a FWER dentro de limites aceitáveis (ex: $\leq 1,5 \times$ FWER nominal).
  • Empréstimo Liberal: Funções como $u\_2pow\_avg\_pen$ levaram a um empréstimo mais agressivo, resultando em maior poder, mas também em maior inflação da FWER.
  • Dependência de Cenário: A função de utilidade ótima dependeu do cenário do ensaio. Em cenários com muitos estratos e muitos pacientes, a otimização frequentemente resultou em nenhum empréstimo de fato, sugerindo que os parâmetros do design foram ajustados para depender exclusivamente do limiar de decisão $\lambda$ para controlar o erro. Nesses cenários de grande escala, a susceptibilidade do design de Fujikawa à falta de limites explícitos de empréstimo fez com que ele fosse facilmente "sobrecarregado" pela informação de outros braços.
  • Parâmetros Padrão: Os parâmetros padrão sugeridos por Fujikawa et al. ($fuj1$) mostraram-se excessivamente liberais na maioria dos cenários, enquanto $fuj2$ ofereceu uma abordagem mais moderada, mas ainda exigiu o ajuste do limiar de decisão para garantir o controle estrito do erro.

Significância e Alegações
Os autores alegam que, embora o empréstimo de informação possa gerar ganhos de poder, não existe um design ótimo de "tamanho único". A significância de seu trabalho reside na demonstração de que procedimentos de otimização transparentes são cruciais para o planejamento de ensaios de cesta. Eles argumentam que a escolha da função de utilidade dita o comportamento de empréstimo e o compromisso resultante entre poder e erro do tipo I.

O artigo enfatiza que, como não existe um teste UMP, os pesquisadores devem definir explicitamente seus cenários alvo e níveis aceitáveis de inflação de erro. O framework permite a comunicação desses compromissos, o que é essencial, dado que muitos ensaios existentes carecem de transparência sobre como os parâmetros de empréstimo foram escolhidos. Os autores concluem modestamente que seus resultados são específicos para o design de Fujikawa e para os cenários testados, mas que o framework é generalizável para outros mecanismos de empréstimo (como Modelos Hierárquicos Bayesianos) e configurações de ensaio. Eles observam que, para controle estrito do erro do tipo I, o teste frequentista sem empréstimo continua sendo a opção mais segura, mas o empréstimo otimizado pode ser ajustado para respeitar restrições para cenários específicos e pré-especificados.