📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Este artigo introduz um fator de correção de tamanho de amostra de forma fechada que ajusta os cálculos de amostra fixa para testes sequenciais sempre válidos, permitindo uma estimativa de poder precisa sem simulações e reduzindo o orçamento de amostra necessário em 8–20% em comparação com as regras conservadoras de último ponto.

Autores originais: Mårten Schultzberg

Publicado 2026-06-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mårten Schultzberg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um caso (um teste A/B) para ver se uma nova pista (o tratamento) é melhor que a antiga. Você quer ter certeza de que não cometerá um erro, mas também quer parar assim que tiver evidências suficientes.

O Problema: A Armadilha do "Último Parada"

No passado, os detetives usavam uma regra chamada "Regra da Última Parada." Eles diziam: "Vou observar as evidências todos os dias, mas só declararei oficialmente um vencedor no Dia 100. Preciso garantir que, especificamente no Dia 100, eu tenha 95% de chance de capturar o criminoso se ele estiver lá."

Para serem seguros, eles calculavam quantos dias precisariam para atingir essa chance de 95%. Mas aqui está a pegadinha: como eles tinham permissão para espiar as evidências todos os dias antes do Dia 100, o criminoso poderia ter sido capturado no Dia 10, no Dia 50 ou no Dia 99. A "Regra da Última Parada" ignorava todas essas chances anteriores.

Como ela ignorava as chances precoces, a regra era excessivamente cautelosa. Ela dizia ao detetive: "Você precisa de 100 dias para ser seguro", quando, na realidade, eles poderiam estar seguros com apenas 85 dias. Isso significava desperdiçar tempo, dinheiro e recursos em uma investigação mais longa do que o necessário.

A Solução: O "Multiplicador Mágico"

O autor deste artigo, Mårten Schultzberg, encontrou um fator de correção de forma fechada (um termo matemático sofisticado para um simples "número mágico" que você pode calcular sem rodar simulações complexas de computador).

Pense nisso como um multiplicador mágico (chamado $k^*$ ). Em vez de adivinhar quanto tempo rodar o experimento, você pega seu cálculo "fixo" padrão e multiplica por este número mágico.

Jeito Antigo: "Precisamos de 1.000 pessoas para sermos seguros." (Isso é, na verdade, excessivo).
Jeito Novo: "Precisamos de 1.000 pessoas, mas multiplique isso por 0,85. Então, só precisamos de 850 pessoas."

Este novo método leva em conta o fato de que você está verificando as evidências continuamente. Ele percebe que, como você está olhando o tempo todo, não precisa esperar tanto tempo para ter certeza.

Como Funciona (A Metáfora)

Imagine que a evidência é uma bola rolando ladeira acima.

A Fronteira é uma cerca no topo da colina. Se a bola cruzar a cerca, você para e declara vitória.
A Regra Antiga assumia que a bola só precisava cruzar a cerca no exato final da pista. Para serem seguros, eles construíram uma pista muito longa.
O Novo Método percebe que a bola pode cruzar a cerca em qualquer lugar ao longo da pista.
O autor usa um truque inteligente: eles desenham uma linha reta (uma tangente) que toca justamente o topo da cerca no ponto final. Como a cerca é curva (fica mais difícil de cruzar conforme o tempo passa), essa linha reta fica ligeiramente acima da cerca real.
Ao calcular as chances da bola cruzar esta linha reta em vez da cerca curva, a matemática torna-se simples e solucionável com uma calculadora. Esta aproximação por linha reta é tão precisa que diz exatamente o quanto a pista pode ser encurtada.

Os Resultados: Economizando Dinheiro e Tempo

O artigo testou este "multiplicador mágico" contra três tipos diferentes de cercas (fronteiras estatísticas) usadas por empresas como o Spotify.

A Economia: Ao usar esta nova fórmula, as empresas podem economizar de 8% a 20% do tamanho da amostra que teriam coletado de outra forma.
- Analogia: Se você estivesse planejando fazer um bolo para 100 pessoas, este novo método diria: "Na verdade, você só precisa de ingredientes para 85 pessoas, e ainda terá 95% de certeza de que o bolo estará bom."
Precisão: Quando rodaram milhares de simulações de computador, o novo método atingiu a meta de taxa de sucesso quase perfeitamente (dentro de cerca de 3 pontos percentuais).
Prova do Mundo Real: O autor testou isso com dados reais da plataforma de experimentação do Spotify. Em 713 testes diferentes, o método economizou uma mediana de 9,5% no tamanho da amostra. Isso é muito tempo e dinheiro economizados.

Limites Importantes

O artigo observa que este "número mágico" funciona melhor quando os dados se comportam bem (como uma curva de sino) e quando você tem uma quantidade razoável de dados iniciais (chamada de "burn-in"). Se você estiver testando algo muito raro (como uma doença que ocorre em 1 a cada 10.000 pessoas), a matemática fica um pouco instável e as economias podem não ser tão confiáveis.

Resumo

Em suma, este artigo oferece aos experimentadores um "cupom de desconto" pré-calculado para seus tamanhos de amostra. Ele impede que eles se preparem excessivamente para experimentos que permitem o monitoramento contínuo, economizando cerca de 10–20% do orçamento sem sacrificar a segurança de suas conclusões.

Resumo Técnico: Uma Correção de Tamanho de Amostra em Forma Fechada para Inferência Sempre Válida com Parada Opcional

Enunciado do Problema
Testes sequenciais que permitem o monitoramento contínuo (inferência sempre válida) são amplamente implantados em plataformas de experimentação A/B para permitir a interrupção precoce quando as evidências são claras. No entanto, determinar o tamanho de amostra apropriado para esses testes é computacionalmente caro. Cálculos de poder tradicionais para testes sequenciais exigem simulações extensas que não escalam bem para os milhares de métricas monitoradas em grandes plataformas de experimentação.

Uma heurística comum, a "regra do último ponto" (last-point rule), tenta dimensionar esses experimentos inflando o tamanho de amostra fixo ( $n_z$ ) até que a probabilidade marginal de rejeição no ponto final planejado atinja o poder alvo ( $1-\beta$ ). O artigo identifica uma falha crítica nesta abordagem: o poder sempre válido (AV) é definido como a probabilidade de cruzamento de uma fronteira em qualquer momento durante a execução, não apenas no ponto final. Consequentemente, a regra do último ponto é excessivamente conservadora. Em características operacionais padrão ( $\alpha=0,05, 1-\beta=0,80$ ), esta regra resulta em um poder empírico entre 0,86 e 0,88, efetivamente superdimensionando os experimentos em 7 a 9 pontos percentuais.

Metodologia
Os autores propõem um fator de correção em forma fechada, $k^*(\alpha, \beta, t_0)$ , para ajustar o tamanho de amostra fixo $n_z$ de modo que o tamanho de amostra total $n = k^* \cdot n_z$ atinja aproximadamente o poder AV alvo sem a necessidade de simulação.

A metodologia baseia-se nos seguintes componentes:

Tempo Reescalonado e Aproximação por Movimento Browniano: O problema é mapeado para uma variável de tempo reescalonada $t = n/n_z$ . Sob a hipótese alternativa ( $H_1$ ), o processo cumulativo padronizado $Y_t$ é aproximado como um movimento browniano com deriva $\mu_d = z_\alpha + z_\beta$ e taxa de variância unitária.
Linearização Tangente: O núcleo da aproximação envolve substituir a fronteira sequencial curva $b(t)$ pela sua reta tangente no ponto final planejado $t=k$ . Este substituto linear permite a aplicação da fórmula de primeira passagem de Bachelier.
Derivação Analítica: Os autores derivam a probabilidade de cruzar a fronteira linearizada sobre o intervalo $[t_0, k]$ $[t_{0}, k]$ , onde $t_0 = m/n_z$ $t_{0} = m / n_{z}$ é a fração de burn-in (o ponto onde o monitoramento começa). A derivação integra sobre o valor inicial do processo em $t_0$ $t_{0}$ usando a conclusão de completar o quadrado gaussiana e a função de distribuição cumulativa (CDF) da normal bivariada, $\Phi_2$ $Φ_{2}$ .
- A aproximação de poder resultante $\pi_{closed}(k)$ consiste em três termos: a probabilidade de rejeição imediata em $t_0$ , a probabilidade de cruzar a fronteira linear durante $(t_0, k]$ , e um termo de correção de reflexão.
Especificidade da Fronteira: O fator de correção depende da fronteira sequencial específica apenas através de seu valor $b(k)$ $b (k)$ e inclinação $b'(k)$ $b^{'} (k)$ no ponto final. O artigo deriva explicitamente estes valores para três fronteiras comuns:
- A sequência de confiança de Waudby-Smith et al. [2023] (WSKR).
- A sequência de confiança de Maharaj et al. [2023].
- O teste de razão de verossimilhança de mistura sequencial (mSPRT) de Johari et al. [2022].

Principais Contribuições

Fator de Correção em Forma Fechada: O artigo fornece uma fórmula explícita para $k^*$ que pode ser avaliada usando funções elementares e a CDF da normal bivariada, eliminando a necessidade de cálculos de poder baseados em simulação.
Generalização: A aproximação é aplicável a qualquer fronteira côncava e suave, desde que seu valor e inclinação no ponto final sejam conhecidos.
Sensibilidade ao Burn-in: A análise considera o parâmetro de burn-in $m$ , mostrando como o fator de correção varia com o início da janela de monitoramento.
Validação Empírica: Os autores validam a correção em três famílias distintas de fronteiras e uma ampla grade de parâmetros $(\alpha, \beta)$ usando simulações de Monte Carlo com 50.000 replicações por célula.

Resultados

Precisão: Definir o tamanho da amostra como $k^* \cdot n_z$ atinge o poder empírico alvo dentro de aproximadamente 3 pontos percentuais do alvo em toda a grade testada. Em simulações gaussianas, o poder empírico é frequentemente ligeiramente acima de $1-\beta$ , um viés conservador atribuído ao fato de a reta tangente situar-se acima da fronteira côncava.
Ganhos de Eficiência: O fator de correção proporciona economias significativas de tamanho de amostra em comparação com a regra do último ponto. Em todo o intervalo operacional, as economias variam de 8% a 20%.
- Por exemplo, para $\alpha=0,05$ e $1-\beta=0,80$ , as economias são de aproximadamente 10–14%, dependendo do tipo de fronteira.
Validação em Produção: Os autores aplicaram a correção a 713 métricas da plataforma de experimentação do Spotify (usando a fronteira de Maharaj). A redução mediana de tamanho de amostra observada foi de 9,5%, com uma média de 9,8%.
Impacto do Burn-in: O artigo observa que, embora valores realistas de burn-in ( $m \ll n_z$ ) aumentem o orçamento total de amostra (frequentemente 2 a 3 vezes o tamanho da amostra fixa) devido a sequências de confiança mais largas, o fator de correção ainda proporciona economias substanciais em relação à regra do último ponto não corrigida.
Limitações: Os autores observam que, em taxas de base muito baixas (ex: $p_C \le 0,01$ ), a aproximação do Teorema do Limite Central (CLT) degrada-se, e o fator de forma fechada pode subestimar o poder alvo.

Significância
O artigo afirma que a regra do último ponto, embora simples, é ineficiente para testes sequenciais, levando a gastos desnecessários de recursos. Ao fornecer um fator de correção em forma fechada, os autores oferecem uma solução escalável para plataformas de experimentação dimensionarem testes sempre válidos com precisão. Isso permite que as plataformas reduzam os tamanhos de amostra em 8–20% sem comprometer a validade estatística, acelerando assim a tomada de decisão e reduzindo o custo da experimentação. O trabalho preenche a lacuna entre a análise sequencial teórica e a implementação prática em larga escala no setor industrial.