Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

Resumo Técnico: Equilibrando o Valor Probante e o Tamanho da Amostra de Desenhos Adaptativos com Aplicação a Experimentos Animais

Declaração do Problema
Na pesquisa animal, o pilar "Redução" dos princípios 3R (Substituir, Reduzir, Refinar) defende a minimização do número de unidades experimentais, mantendo inferências estatísticas confiáveis. Os testes de hipóteses estatísticos padrão focam tipicamente no controle da taxa de erro Tipo I ($\alpha$) e na maximização do poder, ignorando frequentemente o tamanho esperado da amostra ou tratando-o como uma restrição fixa. Isso cria um desafio ao comparar diferentes desenhos experimentais, particularmente desenhos adaptativos (por exemplo, desenhos sequenciais grupais) que permitem a parada antecipada por eficácia ou futilidade. Tais desenhos resultam em tamanhos de amostra aleatórios, tornando difíceis as comparações diretas de poder e taxas de erro, especialmente quando os desenhos possuem diferentes taxas de erro Tipo I ou tamanhos de amostra esperados. Pontuações de desempenho existentes frequentemente falham em contabilizar variações no tamanho da amostra ou exigem ponderação arbitrária de componentes. O artigo aborda a necessidade de uma métrica unificada que equilibre o erro Tipo I, o poder e o tamanho da amostra para quantificar o valor probante de uma única unidade experimental.

Metodologia
Os autores propõem uma nova medida chamada Índice de Informação da Unidade Experimental (EUII). A metodologia é construída sobre os seguintes passos lógicos:

1. Razões de Verossimilhança Diagnóstica: Os autores adaptam conceitos de testes diagnósticos para testes de hipóteses estatísticos. Eles definem razões de verossimilhança positiva e negativa ($LR_+$ e $LR_-$) para um resultado do teste:

   • $LR_+ = \text{Poder} / \text{Taxa de erro Tipo I}$
   • $LR_- = (1 - \text{Poder}) / (1 - \text{Taxa de erro Tipo I})$
     Essas razões relacionam as chances da hipótese alternativa ($H_1$) ser verdadeira dado um resultado significativo ou não significativo.

2. Razão de Chances Diagnóstica (DOR): A DOR é definida como a razão entre essas razões de verossimilhança ($DOR = LR_+ / LR_-$). Ela quantifica a capacidade de um teste em discriminar entre $H_1$ e $H_0$, interpretável tanto como a razão das chances de significância sob $H_1$ versus $H_0$ (frequentista) quanto como a razão das chances posteriores de $H_1$ dado um resultado significativo versus não significativo (Bayesiano).

3. Normalização para Tamanho da Amostra (EUII): Para contabilizar o número de unidades experimentais ($n$), os autores propõem tomar a raiz $n$-ésima da DOR:
   $$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$$
   Isso representa a contribuição média geométrica de uma única unidade experimental para o valor probante geral. Um teste útil possui $EUII > 1$.

4. Extensão para Desenhos Adaptativos: Para desenhos adaptativos onde o tamanho da amostra $N$ é aleatório, os autores generalizam o EUII. Como as razões de verossimilhança atuam multiplicativamente sobre as chances, o índice é definido usando os tamanhos de amostra inversos esperados para achados significativos ($N_+$) e não significativos ($N_-$):
   $$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$$
   Esta formulação contabiliza a variabilidade no tamanho da amostra (via coeficiente de variação) e requer uma entrada para a probabilidade a priori da hipótese alternativa, $Pr(H_1)$, para ponderar os tamanhos de amostra inversos esperados sob as hipóteses nula e alternativa.

Principais Contribuições e Resultados

• Propriedades Teóricas: O artigo deriva o valor assintótico do EUII para tamanhos de amostra fixos. Para um teste $z$ de uma amostra, $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$, onde $\delta$ é o tamanho do efeito padronizado. Para um teste de duas amostras, o limite é $\exp(\delta^2/8)$. Isso demonstra que o valor probante assintótico depende exclusivamente do tamanho do efeito assumido sob a alternativa.
• Estudo de Caso Motivador (Bonapersona et al., 2021): Os autores reanalisaram 2.738 experimentos animais em neurociência e metabolismo. Ao simular análises interinas, demonstraram que desenhos sequenciais grupais com parada por futilidade poderiam economizar números substanciais de animais (por exemplo, o desenho de Pocock com parada por futilidade economizou ~13.500 animais no conjunto de dados) enquanto mantinham taxas de rejeição razoáveis.
• Comparação de Desenhos Sequenciais Grupais: Em simulações comparando desenhos de Pocock, O'Brien-Fleming e Haybittle-Peto (com e sem parada por futilidade), o EUII revelou que:
  • Desenhos adaptativos geralmente produzem valores de EUII mais altos do que desenhos de tamanho de amostra fixo.
  • O método de Pocock demonstrou consistentemente o maior EUII, particularmente quando combinado com parada por futilidade. Isso é atribuído aos seus níveis de significância nominais constantes, que permitem paradas mais antecipadas sob a hipótese nula, reduzindo assim o tamanho esperado da amostra para achados não significativos.
  • O EUII é sensível à probabilidade a priori $Pr(H_1)$, embora a classificação relativa dos métodos frequentemente permaneça estável.
• Avaliação do "Aumento de Amostra Constrained" (N-hacking): O artigo avaliou o método de "aumento de amostra constrained" de Reinagel (2023), que envolve adicionar dados se uma "tendência à significância" for observada, desde que uma parada por futilidade seja aplicada se $p > 0,1$.
  • Embora este método inflacione a taxa de erro Tipo I, a análise do EUII mostrou que ele pode alcançar alto valor probante por unidade, frequentemente superando métodos sequenciais grupais padrão sem parada por futilidade.
  • No entanto, quando métodos sequenciais grupais padrão (como Pocock) também são equipados com parada por futilidade (baseada em poder preditivo), eles frequentemente igualam ou superam o EUII da abordagem de Reinagel, particularmente para tamanhos de efeito maiores.

Significado e Alegações
O artigo alega que o EUII fornece uma "medida do valor probante de uma unidade experimental" que permite a comparação direta de desenhos estatísticos com diferentes taxas de erro Tipo I, níveis de poder e tamanhos de amostra esperados.

• Utilidade Prática: Os autores argumentam que o EUII é particularmente útil para pesquisa animal, onde o objetivo é maximizar a informação por animal. Oferece uma métrica única para equilibrar as compensações entre taxas de erro e eficiência do tamanho da amostra.
• Seleção de Desenho: Os resultados sugerem que, para experimentos animais, desenhos sequenciais grupais com limiares de significância constantes (como Pocock) combinados com parada por futilidade são frequentemente ótimos, pois minimizam o tamanho esperado da amostra sob a hipótese nula sem sacrificar o valor probante.
• Escopo Modesto: Os autores reconhecem que o EUII depende da especificação da probabilidade a priori $Pr(H_1)$ e do tamanho do efeito assumido. Eles notam que, na prática, o EUII frequentemente requer estimativa via simulação. O artigo não alega que o EUII seja um substituto para cálculos de poder, mas sim uma métrica complementar para seleção e otimização de desenhos, particularmente no contexto dos princípios 3R.

O artigo conclui que o EUII integra com sucesso taxas de erro frequentistas e chances posteriores Bayesianas em uma métrica ajustada pelo tamanho da amostra, oferecendo um quadro robusto para avaliar e otimizar desenhos experimentais adaptativos na pesquisa pré-clínica.