Resumo Técnico: Precisão e Decisividade como Objetivos em Testes de Hipóteses Sequenciais

1. Definição do Problema

O teste de hipóteses sequencial oferece flexibilidade sobre os delineamentos de amostra fixa ao permitir a avaliação dos dados conforme eles se acumulam. No entanto, existe uma tensão crítica entre as regras de interrupção (quando parar de coletar dados) e os critérios de decisão (como interpretar os dados).

• O Problema do Acoplamento: Métodos amplamente utilizados, como o algoritmo HDI+ROPE (Kruschke, 2011, 2013, 2015), acoplam a regra de interrupção diretamente ao critério de decisão. O algoritmo interrompe assim que o Intervalo de Densidade Máxima (HDI) posterior cai inteiramente fora ou dentro de uma Região de Equivalência Prática (ROPE). Embora isso permita a aceitação positiva da hipótese nula (ao contrário do Teste de Hipótese de Significância Nula), corre o risco de viés de confirmação através de "espiadas precoces" (early peeking). Um HDI amplo em uma amostra inicial não representativa pode satisfazer o critério de decisão prematuramente, incorrendo em um custo sistemático de falsos positivos.
• O Problema do Desacoplamento: Para eliminar o viés, o método "A Precisão é o Objetivo" (PitG) (Kruschke, 2015) desacopla a regra de interrupção da decisão. Ele interrompe apenas quando uma precisão posterior alvo (largura do HDI, $\omega_{goal}$) é alcançada, independentemente do resultado da hipótese. Embora isso elimine o viés de espiadas precoces, introduz um novo modo de falha: quando a hipótese nula é verdadeira (ou praticamente tal), o PitG frequentemente gera resultados inconclusivos (o HDI atravessa a ROPE) em vez de aceitar corretamente a nula. Essa alta taxa de inconclusividade limita sua utilidade em campos que exigem a confirmação rigorosa da nula, como ensaios de bioequivalência ou testes de regressão de software.

O artigo identifica uma lacuna: é necessário um método que mantenha as propriedades livres de viés da interrupção baseada em precisão, garantindo ao mesmo tempo uma alta taxa de resultados decisivos, particularmente quando a nula é verdadeira.

2. Metodologia

O autor propõe um novo algoritmo, "A Decisividade é o Objetivo da Precisão" (DPitG), que modifica a estrutura do PitG ao exigir que duas condições sejam atendidas simultaneamente antes da interrupção:

1. Condição de Precisão: A largura do HDI posterior ($\omega_{HDI}$) deve ser menor ou igual a um alvo pré-especificado ($\omega_{goal}$).
2. Condição de Decisividade: O HDI deve estar totalmente dentro (Aceitar) ou totalmente fora (Rejeitar) da ROPE.

Componentes Principais

• Regra de Decisão Compartilhada: Todos os três algoritmos (HDI+ROPE, PitG, DPitG) utilizam uma regra de decisão idêntica baseada na relação entre o HDI de 95% e os limites da ROPE:
  • Aceitar Nula: HDI $\subset$ ROPE.
  • Rejeitar Nula: HDI $\cap$ ROPE = $\emptyset$.
  • Inconclusivo: HDI atravessa a ROPE.
• Diferenças nos Critérios de Interrupção:
  • HDI+ROPE: Interrompe imediatamente após uma decisão decisiva (acoplado).
  • PitG: Interrompe imediatamente ao atingir $\omega_{goal}$ (desacoplado), então verifica a decisão.
  • DPitG: Continua a amostragem até que tanto $\omega_{HDI} \le \omega_{goal}$ quanto uma decisão decisiva seja possível.

Estrutura Teórica

O artigo deriva uma fórmula de planejamento de forma fechada para o tamanho de amostra esperado ($N_{goal}$) necessário para atingir um objetivo de precisão sob uma aproximação normal (Teorema do Limite Central):
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
onde $V$ é a variância da observação. Para um parâmetro de Bernoulli $\theta$, $V \propto \theta(1-\theta)$. Esta fórmula permite que pesquisadores pré-especifiquem o orçamento mínimo necessário para atingir uma precisão desejada, servindo como um limite superior conservador quando $\theta_{null} = 0,5$.

Desenho Experimental

Os métodos foram avaliados usando simulações de dados sintéticos baseadas em ensaios de Bernoulli (dados binários de grupo único):

• Escala: $M = 5.000$ sequências independentes de até $N_{max} = 1.500$ ensaios.
• Parâmetros: $\theta_{null} = 0,5$, ROPE = $[0,45, 0,55]$ ($\Delta_{ROPE} = 0,1$), e $\omega_{goal} = 0,08$.
• Cenários: Testados através de uma gama de parâmetros verdadeiros ($\theta_{true}$) de 0,5 a 0,8, incluindo o caso da "moeda justa" onde $\theta_{true} = \theta_{null}$.

3. Resultados Principais

As simulações demonstram que o DPitG equilibra com sucesso o compromisso entre viés, conclusividade e custo de amostragem.

Desempenho no Caso da "Moeda Justa" ($\theta_{true} = 0,5$)

• HDI+ROPE: Alcançou uma alta taxa de conclusividade (98,2%), mas incorreu em uma taxa de falsos positivos de 6,3% (rejeitando incorretamente a nula).
• PitG: Alcançou zero falsos positivos, mas sofreu de uma taxa de inconclusividade de 62,1%, falhando em fornecer um veredito na maioria dos casos onde a nula era verdadeira.
• DPitG: Alcançou uma taxa de conclusividade de 97,8% com zero falsos positivos no cenário da moeda justa.
  • Custo: O custo de amostragem mediana para o DPitG foi apenas 4,7% superior ao do PitG.
  • Eficiência: Enquanto o PitG para exatamente em $N_{goal}$, o DPitG para em $N_{goal}$ para uma fração substancial de experimentos (aqueles onde a precisão e a decisividade se alinham cedo), mas estende a amostragem apenas quando necessário para resolver estados indecisivos.

Sensibilidade e Tendências Gerais

• Robustez a $\omega_{goal}$: À medida que o objetivo de precisão $\omega_{goal}$ era tornado mais rigoroso ou mais flexível, a taxa de conclusividade do PitG variava drasticamente (caindo para 0% em $\omega_{goal} = 0,10$), enquanto o DPitG mantinha uma alta taxa de conclusividade (>97%) em todo o intervalo.
• Viés: O algoritmo HDI+ROPE exibiu um viés de estimativa ($\hat{\theta}$) significativo porque podia interromper em amostras de baixa precisão e enviesadas. Tanto o PitG quanto o DPitG mantiveram um viés agregado próximo de zero em todos os valores de $\theta_{true}$. No entanto, o artigo observa que, embora a diferença agregada seja negligenciável, algum viés emerge conforme a simetria se quebra (ex: quando $\theta_{true} \neq 0,5$), e dentro da ROPE, o PitG mostra um viés ligeiramente maior que o DPitG para experimentos conclusivos, enquanto o padrão se inverte para experimentos inconclusivos.
• Generalização: As vantagens do DPitG sobre o PitG (maior conclusividade com custo adicional negligenciável) persistiram conforme $\theta_{true}$ se afastava da nula, e o framework se estende a resultados contínuos e comparações de dois grupos.

4. Principais Contribuições

1. Algoritmo Proposto (DPitG): Uma nova regra de interrupção sequencial que impõe um critério duplo (precisão + decisividade) para eliminar a alta taxa de inconclusividade do PitG, mantendo suas propriedades de quase zero viés.
2. Fórmula de Planejamento de Forma Fechada: Uma derivação de $N_{goal} \propto V/\omega_{goal}^2$, fornecendo aos pesquisadores um método compatível com pré-registro para calcular o tamanho de amostra necessário para um determinado objetivo de precisão.
3. Validação Empírica: Evidência abrangente de simulação mostrando que, no cenário da moeda justa, o DPitG reduz a taxa de inconclusividade do PitG de ~62% para ~2% com um custo mediano de apenas ~5% de amostras adicionais, sem incorrer nos custos de falsos positivos de métodos acoplados.
4. Ferramentas Práticas: A provisão de uma calculadora interativa online e código de código aberto para facilitar a adoção desses métodos em ambientes aplicados.

5. Significância e Alegações

O artigo posiciona o DPitG como o método de escolha para cenários onde um veredito confiável é necessário e o estudo pode se dar ao luxo de coletar pelo menos $N_{goal}$ observações.

• Resolução da Tensão: O DPitG resolve a tensão inerente ao PitG ao tornar a precisão uma condição necessária, mas não suficiente, para a interrupção. Ele garante que, quando um estudo para, o resultado é tanto preciso quanto decisivo.
• Rigor Científico: O método apoia a confirmação rigorosa da hipótese nula, uma capacidade muitas vezes ausente no NHST e atualmente comprometida pelas altas taxas de inconclusividade no PitG. Isso é crítico para campos como bioequivalência, testes de "não causar dano" e interrupção por futilidade.
• Compatibilidade com Pré-registro: Como a regra de interrupção é totalmente pré-especificada (baseada em $N_{goal}$ e $\omega_{goal}$ em vez de limiares dependentes de dados), ela se alinha aos padrões de pré-registro e aborda a imprecisão de estágio de delineamento implicada na crise de replicabilidade.
• Honestidade Epistêmica: O autor argumenta que o requisito de precisão é uma característica, não um defeito. Ele força um planejamento realista e impede que analistas declarem um veredito com dados insuficientes. Se os dados não puderem sustentar uma conclusão dentro do orçamento, o DPitG (assim como o PitG) não forçará uma conclusão falsa, mas, ao contrário do PitG, minimiza a frequência de tais resultados "inconclusivos" ao estender o orçamento de amostragem apenas quando necessário.

O artigo conclui que, embora o DPitG possa exigir um aumento modesto no tamanho da amostra em comparação ao PitG em alguns cenários, esse custo é negligenciável frente ao ganho em decisividade e à evasão dos erros sistemáticos de falsos positivos inerentes aos métodos acoplados como o HDI+ROPE.