Evaluating the impact of outcome delay on the efficiency of sample size re-estimation

Resumo Técnico: Avaliação do Impacto do Atraso de Desfecho na Eficiência da Reestimativa de Tamanho Amostral

Declaração do Problema
A reestimativa de tamanho amostral (SSR) é um desenho adaptativo amplamente utilizado, destinado a garantir que os ensaios clínicos atendam aos requisitos de poder pré-especificados quando parâmetros de incômodo (por exemplo, variância, taxas de eventos) são incertos na fase de planejamento. Embora os desenhos de SSR, particularmente os do tipo "pilotagem interna" cegos, ofereçam flexibilidade, eles geralmente assumem que os desfechos do tratamento estão disponíveis imediatamente após o recrutamento dos participantes. Na prática, muitos ensaios envolvem desfechos primários de longo prazo, nos quais os resultados são atrasados.

Esse atraso cria um efeito de "tubulação" (pipeline): se o recrutamento continuar enquanto se aguardam dados de desfecho intermediários, um número significativo de participantes pode ser recrutado cujos resultados ainda não estão disponíveis para a análise intermediária. Se o atraso for substancial, o ensaio pode recrutar mais participantes do que o tamanho amostral reestimado considera necessário. Isso leva a um ensaio superpoderado, incorrendo em custos financeiros desnecessários e desperdício de recursos. Por outro lado, pausar o recrutamento para aguardar os resultados prolonga a duração do ensaio. A literatura anterior estabeleceu que atrasos de desfecho impactam negativamente desenhos sequenciais em grupos e multiestágios, mas as perdas de eficiência específicas para desenhos de SSR, particularmente no que diz respeito à distribuição do tamanho amostral final e à precisão da reestimativa, exigiam investigação adicional.

Metodologia
Os autores investigam o impacto do atraso de desfecho na eficiência de desenhos de SSR cegos utilizando um estudo de simulação. O estudo foca em desfechos contínuos (distribuição normal) e estende-se a desfechos binários em materiais suplementares.

• Estrutura de Desenho: O estudo assume um desenho de dois estágios, onde uma análise intermediária é conduzida após $n_1$ participantes serem recrutados. O parâmetro de incômodo (variância $\sigma^2$) é reestimado usando a variância amostral agrupada dos dados cegos. O tamanho amostral é ajustado com base nessa reestimativa para atingir um poder alvo.
• Modelagem do Atraso: O estudo modela um período de atraso $m$ (unidades de tempo) necessário para observar os desfechos primários. Assume-se que o recrutamento continua durante esse período. O número de participantes de "tubulação" ($n_{delay}$) recrutados durante o atraso é calculado sob dois padrões de recrutamento:
  1. Uniforme: Taxa de recrutamento constante (chegada Poisson).
  2. Linear: Taxa de recrutamento aumenta linearmente ao longo do tempo (simulando a abertura de novos locais).
• Tamanho Amostral Final ($N^*$): O tamanho amostral final é determinado pela necessidade reestimada ($n^*$) e pelos participantes de tubulação. Se $n^*$ for maior que o acúmulo de tubulação, $N^* = n^*$. Se o acúmulo de tubulação exceder a necessidade reestimada, $N^* = n_1 + n_{delay}$, resultando em um ensaio com superrecrutamento.
• Cenários: As simulações foram executadas para 10.000 replicatas em três cenários de variância em relação à suposição inicial ($\sigma^2_{init}$):
  • Caso I: A variância verdadeira é menor ($\sigma^2 = 8 < 10$), levando a um tamanho amostral reestimado menor que o planejado.
  • Caso II: A variância verdadeira corresponde à suposição ($\sigma^2 = 10 = 10$).
  • Caso III: A variância verdadeira é maior ($\sigma^2 = 12 > 10$), levando a um tamanho amostral reestimado maior que o planejado.
• Métricas de Eficiência: Os autores propõem e utilizam três métricas para quantificar o impacto do atraso:
  1. Impacto do Atraso: A proporção de ensaios onde o tamanho amostral final excede a necessidade reestimada devido aos participantes de tubulação.
  2. Erro Quadrático Médio (RMSE): Mede a precisão do tamanho amostral final em relação ao tamanho amostral "oráculo" (o tamanho necessário se a variância verdadeira fosse conhecida desde o início).
  3. Custo: Uma métrica nova definida como $E[(N^* - n_{oracle})^2 / 100 \times Power(N^*)]$. Isso penaliza ensaios subpoderados mais severamente do que os superpoderados, refletindo a consequência maior de falhar em detectar um efeito do tratamento em comparação com o custo do recrutamento excessivo.

Principais Resultados
Os resultados da simulação indicam que o impacto do atraso de desfecho depende altamente da relação entre a variância verdadeira e o tamanho amostral inicialmente planejado, bem como do padrão de recrutamento.

• Distribuição do Tamanho Amostral Final: À medida que o comprimento do atraso ($m$) aumenta, a dispersão da distribuição do tamanho amostral final diminui, porque o tamanho amostral mínimo atingível aumenta (devido ao acúmulo de participantes de tubulação).
• Caso I (Superplanejado/Variância Verdadeira Menor): Este cenário sofre mais com o atraso. Como o tamanho amostral reestimado é menor que o plano inicial, os participantes de tubulação frequentemente empurram a contagem total recrutada acima da $n^*$ necessária. Isso leva a um alto "Impacto do Atraso" (por exemplo, ~80% para um atraso de 10 meses sob recrutamento uniforme) e resulta em ensaios frequentemente superpoderados. As métricas RMSE e Custo aumentam abruptamente com o atraso.
• Caso III (Subplanejado/Variância Verdadeira Maior): Este cenário é menos impactado pelo atraso. O tamanho amostral reestimado é maior que o plano inicial, portanto, os participantes de tubulação contribuem positivamente para o total necessário. O impacto do atraso é mínimo e, em alguns casos (recrutamento uniforme), continuar o recrutamento durante o atraso pode até melhorar a eficiência em comparação com pausar o recrutamento.
• Padrões de Recrutamento: Padrões de recrutamento linear geralmente resultam em custos mais altos e maiores impactos de atraso em comparação com padrões uniformes, porque a taxa de recrutamento acelerada gera mais participantes de tubulação durante o período de atraso.
• Tamanho Amostral do Primeiro Estágio ($n_1$): O aumento de $n_1$ reduz a variabilidade do tamanho amostral reestimado, mas aumenta o tamanho amostral final mínimo na presença de atraso. Os autores encontram que um tamanho amostral do primeiro estágio de 35 participantes por braço (total de 70) estabelece um equilíbrio entre obter uma estimativa de variância confiável e limitar a severidade do superrecrutamento induzido por atraso.

Significância e Alegações
O artigo alega que, embora a SSR seja uma ferramenta poderosa, ignorar o atraso de desfecho na fase de planejamento pode levar a perdas significativas de eficiência, manifestando-se principalmente como ensaios superpoderados com custos inflados. O estudo demonstra que:

1. Impacto Dependente do Contexto: A severidade do atraso não é uniforme; é mais prejudicial quando a variância verdadeira é menor do que o antecipado, fazendo com que o ensaio necessite de menos participantes do que originalmente planejado.
2. Inovação em Métricas: A introdução da métrica "Custo" e do "Impacto do Atraso" proporciona uma compreensão mais nuances da perda de eficiência do que as métricas tradicionais, destacando especificamente o risco de superrecrutamento.
3. Orientação Prática: Os resultados sugerem que, para dados de desfecho contínuo, conduzir a análise intermediária após recrutar 35 participantes por braço é uma estratégia razoável. Isso alinha-se com recomendações anteriores de pilotagem externa (Teare et al.), mas estende-as ao contexto de SSR de pilotagem interna cega, equilibrando a necessidade de precisão na estimativa de variância contra o risco de acúmulo de tubulação.
4. Robustez Relativa: Os autores observam que, embora o atraso impacte a SSR, o efeito é menos severo do que em desenhos que permitem parada precoce por eficácia ou futilidade (por exemplo, desenhos de dois estágios de Simon ou sequenciais em grupos).

Os autores concluem que estudos de simulação cuidadosos, que levem em conta padrões de recrutamento específicos e comprimentos de atraso, são essenciais para o planejamento de ensaios de SSR a fim de mitigar possíveis desvantagens financeiras e de recursos. Eles não propõem novos algoritmos para lidar com o atraso, mas sim fornecem uma avaliação quantitativa da abordagem "cega" existente sob condições de atraso.