E-values as statistical evidence: A comparison to Bayes factors, likelihoods, and p-values

1. O Problema

O artigo aborda um debate recorrente na filosofia e na prática da estatística: o que constitui uma medida válida de evidência estatística a favor ou contra uma hipótese?

• O estado atual: Existem três principais candidatos históricos, cada um com defensores e críticos:
  • P-valores: Amplamente utilizados, mas criticados por falta de invariância ao tamanho da amostra, incapacidade de lidar com paradas opcionais (optional stopping) e interpretação confusa como evidência.
  • Razões de Verossimilhança (Likelihood Ratios - LR): Oferecem uma interpretação intuitiva de suporte relativo, mas enfrentam dificuldades na generalização para hipóteses compostas e não paramétricas.
  • Fatores de Bayes (Bayes Factors - BF): Fornecem uma medida de atualização de crenças, mas dependem de priores (o que pode ser subjetivo) e, em abordagens objetivas, podem violar princípios de evidência ou depender do plano de amostragem.
• A lacuna: Não há consenso sobre uma medida que combine as vantagens de todas as tradições (frequentista, bayesiana e de verossimilhança), especialmente em cenários modernos como análise sequencial, meta-análise e testes de hipóteses compostas complexas.

2. Metodologia

Os autores propõem e analisam duas novas candidatas à medida de evidência: E-valores (e-values) e E-processos (e-processes).

• Definição de E-variável: Uma variável aleatória não negativa $E$ tal que sua esperança sob qualquer distribuição na hipótese nula $H$ é no máximo 1 ($E_P[E] \le 1$ para todo $P \in H$).
• Definição de E-processo: A versão sequencial de um e-valor, onde uma sequência de variáveis $(E_t)$ satisfaz a condição de supermartingale não negativa sob a hipótese nula, permitindo paradas opcionais baseadas nos dados.
• Interpretação do Jogo de Aposta: Os autores fundamentam a metodologia na interpretação de "jogo de aposta" contra a natureza. Um e-valor representa o ganho de capital de um apostador que começa com $1 e aposta contra a hipótese nula. Se a hipótese nula for verdadeira, o apostador não espera ganhar dinheiro (esperança $\le 1$). Um e-valor grande indica que o apostador acumulou riqueza, constituindo evidência forte contra a hipótese nula.
• Análise Comparativa: O estudo não tenta resolver disputas filosóficas, mas sim avaliar sistematicamente como e-valores/e-processos se comportam em relação a 21 desiderata (critérios desejáveis) extraídos da literatura de estatística, divididos em:
  • Critérios Estáticos: Avaliados em um lote fixo de dados (ex: coerência, consistência, invariância).
  • Critérios Dinâmicos: Avaliados em cenários sequenciais ou contrafactuais (ex: acumulação de evidência, paradas opcionais, independência de decisões não observadas).

3. Principais Contribuições

1. Introdução de E-estatísticas como Candidatas: Formalizam e-valores e e-processos como medidas de evidência robustas, complementando a lista tradicional de p-valores, LRs e BFs.
2. Taxonomia de Critérios Dinâmicos: Distinguem claramente entre critérios estáticos e dinâmicos, e subdividem os dinâmicos em:
   • Inter-experimento: Acumulação de evidência entre estudos independentes (fixos ou flexíveis).
   • Intra-experimento: Parada opcional e contrafactuais dentro de um único estudo.
   • Esta distinção clarifica confusões comuns na literatura sobre o que significa "evidência válida" em cenários sequenciais.
3. Mapeamento de Desempenho: Avaliam rigorosamente e-valores contra os 21 critérios, comparando-os diretamente com p-valores, Razões de Verossimilhança (simples e generalizadas - GLR) e Fatores de Bayes (subjetivos e objetivos).
4. Conexão Teórica: Demonstram que e-valores podem ser vistos como generalizações de razões de verossimilhança para cenários compostos, preservando a propriedade de "justiça" no jogo de aposta ($E[E] \le 1$), algo que generalizações como a GLR não garantem.

4. Resultados Principais

A Tabela 1 do artigo (resumida abaixo) destaca o desempenho comparativo:

• Tratamento de Hipóteses Compostas e Não Paramétricas:
  • E-valores lidam naturalmente com hipóteses compostas e não paramétricas (ex: testar a média de qualquer distribuição limitada em $[0,1]$).
  • Razões de verossimilhança simples não se aplicam; GLRs e BFs exigem especificações complexas ou priores sobre espaços de dimensão infinita.
• Parada Opcional e Continuação Flexível (Optional Stopping/Continuation):
  • E-processos: Satisfazem plenamente este critério. A validade da evidência não é comprometida se o pesquisador decidir parar ou continuar o experimento baseado nos dados acumulados.
  • P-valores: Falham completamente; a validade depende estritamente do plano de amostragem pré-fixado.
  • Fatores de Bayes: Válidos apenas se os priores forem fixados a priori e independentes do plano de parada (o que é difícil em abordagens objetivas).
• Acumulação de Evidência (Composability):
  • E-valores podem ser multiplicados para combinar evidência de estudos dependentes ou independentes, mantendo a validade estatística.
  • P-valores e BFs exigem independência estrita ou métodos de combinação específicos que perdem propriedades de erro.
• Princípio da Verossimilhança e Contrafactuais:
  • E-valores (especificamente processos derivados de razões de verossimilhança) satisfazem o princípio da verossimilhança estrito e são imunes a contrafactuais (decisões que poderiam ter sido tomadas, mas não foram).
  • P-valores e BFs objetivos frequentemente violam este princípio, dependendo de planos de amostragem hipotéticos.
• Controle de Erro de Longo Prazo:
  • E-valores fornecem limites rigorosos para taxas de erro Tipo I (via desigualdade de Markov e Ville), mesmo em cenários de parada opcional e pós-hoc.
  • GLRs e BFs geralmente não fornecem controle de erro não assintótico sem suposições adicionais.

Conclusão da Comparação: Embora nenhum e-valor satisfaça todos os critérios (devido à não unicidade, similar a outros métodos), o conjunto de e-valores satisfaz o maior número de desiderata, especialmente aqueles críticos para a prática moderna (parada opcional, hipóteses compostas, invariância).

5. Significado e Implicações

O artigo posiciona os e-valores como uma síntese poderosa das melhores características das tradições estatísticas existentes:

• Da Frequentista: Mantém o controle rigoroso de erro de longo prazo e a objetividade (não requer priores, embora possa incorporá-los via "método de misturas").
• Da Verossimilhança: Herda a interpretação intuitiva de suporte relativo e a invariância ao princípio da verossimilhança.
• Da Bayesiana: Oferece uma interpretação de "atualização de crença" (riqueza acumulada) e pode recuperar fatores de Bayes sob priores específicos.

Impacto Prático:
Os e-valores resolvem problemas práticos persistentes na ciência moderna, como:

1. Meta-análise flexível: Permitir a combinação de estudos sem necessidade de predefinir o número total de estudos ou assumir independência estrita.
2. Monitoramento contínuo: Permitir que pesquisadores parem experimentos assim que a evidência for suficiente sem inflar falsos positivos (p-hacking).
3. Testes robustos: Fornecer evidência válida para hipóteses complexas e não paramétricas onde métodos tradicionais falham.

Em suma, o artigo argumenta que os e-valores e e-processos merecem consideração séria como medidas de evidência estatística interpretáveis, intuitivas e matematicamente robustas, superando muitas limitações estruturais dos p-valores e oferecendo vantagens práticas sobre os fatores de Bayes e razões de verossimilhança generalizadas em cenários dinâmicos.