Either a Confidence Interval Covers, or It Doesn't (Or Does It?): A Model-Based View of Ex-Post Coverage Probability

Este artigo argumenta contra a interpretação estrita de que um intervalo de confiança individual apenas "cobre ou não" o parâmetro, propondo uma visão baseada em modelos que permite atribuir probabilidades pós-dados à cobertura como previsões, demonstrando que essa abordagem é matematicamente consistente com a própria definição de taxas de erro de longo prazo.

O essencial

Imagine que você é um estatístico e acabou de construir um "Intervalo de Confiança". Na linguagem técnica, isso é uma faixa de números que você diz: "Tenho 95% de certeza que o valor verdadeiro que estou procurando está aqui dentro".

A regra tradicional, criada pelo matemático Jerzy Neyman, diz algo muito estranho sobre essa faixa específica que você acabou de desenhar: Ela ou cobre o valor verdadeiro, ou não cobre. Ponto final.

Segundo essa visão antiga, assim que você olha para os seus dados e desenha a linha, a "sorte" acabou. Não faz sentido perguntar "qual a probabilidade de esta linha específica estar certa?". A resposta seria: "Ou é 100% (está certa) ou é 0% (está errada)". Você não pode dizer "acho que há 95% de chance de estar certa".

O autor deste artigo, Scott Lee, diz: "Espera aí! Isso não faz sentido na vida real."

Aqui está uma explicação simples do que ele propõe, usando analogias do dia a dia:

1. O Problema da "Fita Mágica" (A Visão Tradicional)

Pense em um médico que faz um teste rápido de gripe. O teste diz "Positivo".

• Visão Tradicional (Neyman Estrito): O médico olha para o paciente e pensa: "Bem, o paciente ou tem gripe ou não tem. Não há mais 'sorte' envolvida. A probabilidade é 0 ou 1. Então, eu não posso dizer que há 81% de chance de ele ter gripe, mesmo que o teste seja muito preciso."
• O Absurdo: Isso tornaria a medicina inútil! Se não pudéssemos falar em probabilidades depois de ver o resultado, não poderíamos tratar pacientes. Nós precisamos saber a chance de estar certo agora, com aquela informação específica.

2. A Analogia do Gato e os Petiscos (A Intuição)

Imagine que você tem uma caixa de petiscos para o seu gato, Sophie.

• 75% são de peixe (o favorito dela).
• 25% são de frango.
• Você tira um petisco da caixa (o número #123), mas não olha o sabor. Você sabe que há 75% de chance de ser peixe.
• A Pergunta: Qual a chance do gato dormir depois de comer?

Cenário A (Antes de saber o sabor): Você usa a estatística geral. Como a maioria é de peixe e ela gosta de peixe, você calcula uma chance de 80% de ela dormir. Isso faz sentido.

Cenário B (A Visão Estrita): Você diz: "Espera, o petisco #123 já é de peixe ou já é de frango. A sorte acabou. Se for de peixe, a chance de dormir é X. Se for de frango, é Y. Não posso dar um número único."

• O Problema: Isso ignora que você não sabe qual é o sabor. Para você, que está tomando uma decisão agora, a incerteza ainda existe! Dizer que a chance é "ou 100% ou 0%" é como se você soubesse o segredo do petisco, mas fingisse que não sabe.

3. A Analogia da Fábrica de Trufas (O Argumento Formal)

Imagine uma fábrica de chocolates que tem uma máquina que às vezes falha e deixa a trufa vazia.

• A máquina tem 90% de chance de funcionar bem.
• Um sensor verifica se a trufa está vazia, mas ele erra às vezes.
• Se a trufa estiver vazia, ela volta para a máquina para ser recheada.

O autor pergunta: "Qual a chance da próxima trufa que sair da máquina estar cheia?"

• Se você seguir a regra estrita ("a trufa atual já está cheia ou vazia, ponto final"), você fica preso. Você não consegue calcular a probabilidade para a próxima trufa porque fica preso na ideia de que a trufa atual já tem um destino fixo e desconhecido.
• A Solução do Autor: A matemática permite que você use o modelo inteiro. Você pode dizer: "Baseado no que sabemos sobre a máquina e o sensor, a chance da próxima trufa estar cheia é de 90,45%". Isso é útil e verdadeiro, mesmo que a trufa atual já tenha um destino fixo no universo.

4. A Grande Revelação: Dois Níveis de Probabilidade

O autor diz que o erro está em achar que só existe um tipo de probabilidade. Na verdade, existem dois níveis que convivem no mesmo modelo matemático:

1. O Nível do Design (A Longa Jornada): É a regra geral da máquina. "Se eu fizer 1.000 testes, 950 vão dar certo." Isso é o que Neyman focava. É a probabilidade de longo prazo.
2. O Nível da Informação (O Momento Presente): É o que sabemos agora, com os dados que temos. "Dado que vi este resultado específico, qual a chance de estar certo?"

O autor argumenta que a regra "ou cobre ou não cobre" é como olhar para uma foto de um jogo de futebol já terminado e dizer: "O time ou ganhou ou perdeu, então não faz sentido falar em 'chance de vitória'". É verdade, mas inútil para quem está assistindo ao jogo ao vivo ou tentando prever o próximo jogo.

Conclusão: O Que Fazer?

O artigo sugere que devemos ser mais flexíveis.

• Não precisamos abandonar a estatística clássica (frequentista).
• Mas podemos admitir que, depois de ver os dados, faz todo sentido falar em probabilidades intermediárias (como 81% ou 90%), desde que deixemos claro que estamos falando de uma previsão baseada no modelo, e não de um fato mágico do universo.

Resumo em uma frase:
Assim como um médico usa a probabilidade para tratar um paciente mesmo sabendo que o paciente já tem ou não tem a doença, um estatístico deve poder usar a probabilidade para avaliar um intervalo de confiança, mesmo sabendo que o intervalo já cobriu ou não cobriu o valor real. A "sorte" pode ter acabado no universo, mas a nossa informação e a nossa incerteza ainda existem, e a matemática permite que falemos sobre elas.

Resumo técnico

Resumo Técnico: Uma Visão Baseada em Modelos da Probabilidade de Cobertura Pós-Dados

1. O Problema: A Tensão Interpretativa dos Intervalos de Confiança

O artigo aborda uma tensão fundamental na inferência estatística frequentista, especificamente na interpretação de Intervalos de Confiança (ICs) de Neyman.

• A Visão Tradicional (Slogan "Ou-ou"): Segundo a formulação original de Jerzy Neyman (1937), um IC é justificado por suas propriedades de cobertura de longo prazo ($1-\alpha$). Uma vez que os dados são observados e um intervalo específico$I(x)$é gerado, o parâmetro$\theta$é considerado uma constante fixa (mas desconhecida). Portanto, matematicamente, o intervalo ou cobre$\theta$ ou não. Sob essa visão estrita, qualquer declaração de probabilidade ex-post (após os dados) sobre a cobertura de um intervalo individual é considerada conceitualmente inválida ou um erro de interpretação, pois a aleatoriedade residiria apenas no processo de amostragem, não no estado atual do mundo.
• O Conflito Prático e Filosófico: O autor argumenta que essa restrição cria um paradoxo. Em cenários do mundo real (como diagnósticos médicos ou previsões), os estatísticos frequentemente precisam fazer inferências probabilísticas sobre eventos que "já ocorreram, mas cujos resultados não foram observados" (ex: um paciente tem a doença? O próximo trufado será preenchido?). Se a lógica "ou-ou" for aplicada rigorosamente a esses casos, a utilidade prática de modelos estatísticos e a própria noção de valor preditivo (como o Valor Preditivo Positivo - VPP) seriam anuladas. Além disso, essa visão ignora o papel do observador e a natureza epistêmica da incerteza, mesmo dentro de um quadro frequentista.

2. Metodologia

Lee emprega uma abordagem híbrida que combina experimentos de pensamento intuitivos com uma formalização matemática rigorosa baseada na teoria da probabilidade de Kolmogorov.

• Experimentos de Pensamento (Seção 2):

  • Dr. I-Don't-No: Um caso de diagnóstico médico onde a aplicação estrita da lógica "ou-ou" (o paciente tem ou não a gripe) invalidaria o uso do Valor Preditivo Positivo (VPP) para guiar o tratamento, apesar de o modelo fornecer uma probabilidade clara (81%).
  • O Gato e os Petiscos: Um cenário onde a probabilidade de um gato dormir depende do sabor de um petisco. O autor mostra que, embora o sabor seja um fato fixo (0 ou 1), a probabilidade ex-post de dormir baseada no resultado observado (o gato dormiu) é uma inferência válida e útil sobre o estado oculto, mesmo que o estado oculto seja determinístico.
  • Trufas Profundas (Deep Truffle): Um processo industrial complexo onde a probabilidade de uma trufa futura ser preenchida depende do estado de uma trufa atual. O autor demonstra que condicionar estritamente ao estado real (fixo) da trufa atual cria uma "fenda" de probabilidades que impede a recuperação da probabilidade de design (longo prazo) para eventos futuros, gerando um impasse lógico.

• Formalização Matemática (Seção 3):

  • O autor reinterpreta o procedimento de ICs inserindo-o em uma sequência infinita de experimentos (microestados).
  • Define indicadores de cobertura $Z_i$ como variáveis aleatórias Bernoulli($1-\alpha$).
  • Utiliza a Lei dos Grandes Números e o Lema de Borel-Cantelli para mostrar que, em uma sequência infinita, a frequência de cobertura converge para $1-\alpha$.
  • Argumenta que a probabilidade de cobertura $1-\alpha$e a probabilidade condicional degenerada (0 ou 1) são apenas diferentes **níveis de condicionamento** dentro do mesmo modelo de probabilidade. A escolha de condicionar no$\sigma$-álgebra completo (dados observados) versus o$\sigma$-álgebra de design é uma escolha epistêmica, não uma imposição matemática que proíba outros níveis.

3. Principais Contribuições

1. Refutação da Interpretação "Ou-ou" como Única Legítima: O autor demonstra que a leitura estrita de Neyman, quando tratada como uma regra normativa que proíbe declarações de probabilidade ex-post, entra em conflito com a própria maquinaria matemática que define as taxas de erro de longo prazo.
2. Distinção entre Níveis de Informação: O artigo propõe que existem, pelo menos, três camadas de probabilidade relevantes para a interpretação de ICs:
   • Nível de Design: Probabilidade incondicional de cobertura ($1-\alpha$) antes da observação dos dados.
   • Nível Degenerado: Probabilidade condicional dada a verdade completa dos dados (0 ou 1).
   • Nível Preditivo/Informacional: Uma probabilidade intermediária baseada na informação disponível (os dados observados, mas não o estado oculto do parâmetro), funcionando como uma probabilidade preditiva.
3. Reconceitualização de "Confiança": Sugere que o termo "confiança" de Neyman deve ser entendido como uma probabilidade preditiva ou uma previsão probabilística baseada em modelo, e não apenas como uma propriedade de longo prazo abstrata. Isso permite que o estatístico faça afirmações sobre a cobertura de um intervalo específico com base na informação disponível, sem cair na falácia de atribuir probabilidade a uma constante fixa de forma ontológica, mas sim epistêmica.

4. Resultados e Argumentos Chave

• Inconsistência na Restrição: Se aceitarmos que a probabilidade "desaparece" após a amostragem (tornando-se 0 ou 1), não podemos justificar probabilisticamente decisões baseadas em modelos para eventos futuros condicionados ao estado atual (como no exemplo das trufas). A restrição "ou-ou" quebra a coerência do modelo probabilístico.
• Equivalência Matemática: Não há diferença matemática fundamental entre fazer uma declaração de probabilidade ex-ante (antes dos dados) e ex-post (após os dados), desde que se especifique claramente o nível de condicionamento (o $\sigma$-álgebra) utilizado.
• Solução Proposta: Em vez de proibir declarações ex-post, os estatísticos devem escolher o nível de condicionamento apropriado ao contexto. Para um IC que não fornece pistas sobre a cobertura (como o IC trivial), a probabilidade de design ($1-\alpha$) permanece a melhor estimativa. Em outros casos, pode-se derivar uma probabilidade preditiva intermediária.

5. Significado e Implicações

• Para a Prática Estatística: O artigo oferece uma saída para o dilema comum de "o que dizer sobre este intervalo específico?". Permite que os estatísticos frequentistas façam declarações probabilísticas úteis sobre casos individuais (ex: "Há 95% de confiança de que este intervalo cobre o parâmetro, baseado no modelo e nos dados observados") sem abandonar o paradigma frequentista.
• Reconciliação Filosófica: A proposta ajuda a reconciliar a visão ontológica do frequentismo (aleatoriedade no processo) com a necessidade epistêmica de lidar com a incerteza do observador. Sugere que a probabilidade não é uma propriedade física que desaparece, mas uma medida de incerteza baseada no modelo e na informação disponível.
• Futuro da Inferência: O autor convida a comunidade a tratar a "confiança" como uma previsão probabilística, o que pode levar a métodos de inferência mais robustos e intuitivos, especialmente em cenários onde a interpretação de intervalos únicos é crítica para a tomada de decisão.

Em suma, Scott Lee argumenta que a frase "ou cobre ou não cobre" é uma verdade matemática trivial sobre o estado do mundo, mas uma restrição desnecessária e prejudicial para a interpretação estatística. A teoria de confiança frequentista é suficientemente rica para acomodar declarações de probabilidade ex-post que sejam informativas e baseadas em modelos, desde que se reconheça a distinção entre o nível de design e o nível de informação observada.