Uncertainty in Physics and AI: Taxonomy, Quantification, and Validation

Este artigo apresenta uma taxonomia unificada e uma visão estruturada da quantificação de incerteza em aprendizado de máquina para física, esclarecendo interpretações entre frameworks estatísticos e delineando ferramentas de validação fundamentadas para garantir declarações probabilísticas confiáveis para descoberta científica.

O essencial

A Visão Geral: Por que Adivinhar Não é Suficiente

Imagine que você é um físico tentando descobrir uma nova partícula, ou um médico usando uma IA para diagnosticar uma doença. Em ambos os casos, obter a resposta correta é importante, mas saber quão certo você está sobre essa resposta é ainda mais crítico.

Se uma IA diz: "Há 99% de chance de que isso seja um tumor", mas na verdade é apenas uma sombra, isso é perigoso. Se um físico diz: "Encontramos uma nova partícula", mas sua matemática não leva em conta a "nebulosidade" dos seus dados, ele pode estar errado.

Este artigo é um guia para cientistas e pesquisadores de IA. Ele argumenta que precisamos de uma linguagem comum para falar sobre incerteza (a "nebulosidade" ou "dúvida" nas previsões) e regras estritas para verificar se essa incerteza está sendo relatada com honestidade.

---

1. O Dicionário da Dúvida (Taxonomia)

O artigo começa apontando que físicos e especialistas em IA frequentemente usam palavras diferentes para as mesmas coisas, o que causa confusão. Eles propõem um "dicionário" claro com dois eixos principais para organizar a incerteza:

Eixo A: De onde vem a dúvida? (Fonte)

• Incerteza Estatística (O "Ruído"): Imagine que você está tentando adivinhar a altura média das pessoas em uma sala medindo apenas três pessoas. Sua estimativa pode estar errada apenas porque você não mediu pessoas suficientes. Isso é Estatístico. Se você medir 1.000 pessoas, essa dúvida desaparece.
• Incerteza Sistemática (A "Régua Quebrada"): Imagine que você mede 1.000 pessoas, mas sua régua está na verdade 1 polegada mais curta. Não importa quantas pessoas você meça, sua resposta estará sempre errada. Isso é Sistemático. Vem de ferramentas ruins ou suposições erradas, não da falta de dados.

Eixo B: Podemos corrigi-lo? (Natureza)

• Incerteza Aleatória (O "Lançamento de Dados"): Esta é a aleatoriedade inerente à natureza. Pense em jogar uma moeda. Mesmo que você saiba tudo sobre a moeda e quem a lança, não pode prever o próximo lançamento. Isso é irredutível. Você não pode corrigir isso obtendo mais dados; é apenas assim que o mundo funciona.
• Incerteza Epistêmica (A "Peça Faltante do Quebra-Cabeça"): Esta é a dúvida causada pela falta de conhecimento. Imagine que você está tentando resolver um quebra-cabeça, mas falta metade das peças. Se você conseguir mais peças (mais dados) ou uma imagem melhor do que o quebra-cabeça parece (melhor teoria), essa dúvida desaparece. Isso é redutível.

A Principal Descoberta do Artigo: Essas categorias se sobrepõem. Por exemplo, uma "régua quebrada" (Sistemática) poderia ser uma "peça faltante do quebra-cabeça" (Epistêmica) se ainda não soubermos que a régua está quebrada. O artigo fornece um gráfico para ajudar a separar essas coisas para que os cientistas não as misturem.

---

2. Duas Maneiras de Pensar (Frequentista vs. Bayesiana)

O artigo explica que existem duas principais escolas de pensamento sobre como lidar com essas dúvidas:

• O Frequentista (O "Apostador de Longo Prazo"): Esta abordagem pergunta: "Se eu repetisse este experimento 1.000 vezes, com que frequência minha resposta estaria correta?" Eles focam na Cobertura. Se dizem "Tenho 95% de confiança", querem dizer que em 95 de cada 100 experimentos repetidos, a resposta verdadeira cairá dentro de sua faixa.
• O Bayesiano (O "Atualizador de Crenças"): Esta abordagem pergunta: "Dado o que eu sabia antes e o que acabei de ver, qual a probabilidade de minha resposta?" Eles começam com uma "crença prévia" (uma estimativa baseada em experiência passada) e a atualizam com novos dados para criar um "posterior" (a nova crença atualizada).

O artigo observa que a Física de Partículas geralmente gosta da abordagem Frequentista, enquanto a Cosmologia frequentemente prefere a Bayesiana. Ambas são válidas, mas falam idiomas diferentes.

---

3. O Teste de Estresse (Validação)

A parte mais importante do artigo é sobre validação. Apenas porque uma IA diz que tem 95% de confiança não significa que ela tem 95% de confiança. O artigo sugere três maneiras de fazer um "teste de estresse" nessas previsões de IA:

• Testes de Cobertura (A "Rede de Segurança"): Se uma IA desenha uma rede de segurança (um intervalo de previsão) dizendo que pegará a resposta verdadeira 95% das vezes, você verifica a rede. Se você soltar 100 bolas e a rede pegar apenas 80, a IA está mentindo (está excessivamente confiante). Se pegar 99, está sendo muito cautelosa.
• Testes de Viés (O "Centro de Gravidade"): A melhor estimativa da IA está consistentemente deslocada para a esquerda ou para a direita? Imagine um alvo de dardos. Se os dardos da IA estiverem todos agrupados firmemente, mas 2 polegadas à esquerda do centro, ela tem viés. É precisa, mas não é exata.
• Regras de Pontuação (O "Boletim"): Em vez de apenas verificar se a IA estava certa ou errada, isso dá à IA uma pontuação baseada em quão bem todo o seu mapa de probabilidade corresponde à realidade. Recompensa a IA por ser honesta sobre sua incerteza. Se a IA diz "Estou 50/50" e é realmente 50/50, ela recebe uma boa pontuação. Se diz "Tenho 100% de certeza" e está errada, recebe uma pontuação terrível.

---

4. Os Exemplos "Brinquedo" (O Que Acontece no Mundo Real?)

Os autores testaram essas ideias em problemas matemáticos simples (regressão e classificação) para ver como diferentes métodos de IA se comportam.

• A "Zona Segura" (Interpolação): Quando a IA é solicitada a prever algo semelhante ao que já viu antes (como prever o tempo em julho com base em dados de julho), quase todos os métodos funcionam bem. Todos dão respostas semelhantes e níveis de confiança semelhantes.
• A "Zona de Perigo" (Extrapolação): Quando a IA é solicitada a prever algo que nunca viu (como prever o tempo em julho com base apenas em dados de janeiro), as coisas ficam confusas.
  • A Lição: Na zona de perigo, a confiança da IA não é mais baseada em dados; é baseada em suposições.
  • A Analogia: Imagine um mapa de uma cidade. Se você pedir à IA para dizer o nome da rua de uma casa que você nunca viu, mas que está em uma estrada que você conhece, ela pode adivinhar. Mas se você pedir para dizer o nome da rua de uma casa em um país completamente diferente, ela tem que adivinhar com base no que ela acha que as cidades parecem.
  • O Resultado: O artigo descobriu que nessas zonas "desconhecidas", diferentes métodos de IA dão respostas e níveis de confiança drasticamente diferentes. Nenhum deles era perfeitamente confiável. A incerteza que relataram era principalmente um reflexo de sua "personalidade" interna (suas suposições matemáticas) em vez de conhecimento real.

Resumo

Este artigo é um chamado por clareza e honestidade na ciência.

1. Pare de misturar palavras: Seja claro se sua dúvida vem de ruído (aleatoriedade) ou ignorância (falta de dados).
2. Verifique seu trabalho: Não confie apenas no número da IA. Use "testes de cobertura" e "testes de viés" para ver se a IA está realmente dizendo a verdade sobre sua confiança.
3. Cuidado com o desconhecido: Quando a IA é solicitada a adivinhar coisas que não viu, sua confiança é uma suposição, não um fato. Os cientistas precisam tratar esses resultados de "extrapolação" com extrema cautela.

O objetivo final é garantir que, quando a IA ajudar a fazer descobertas científicas, saibamos exatamente o quanto podemos confiar no resultado.

Resumo técnico

Resumo Técnico: Incerteza em Física e IA: Taxonomia, Quantificação e Validação

Declaração do Problema

A integração de aprendizado de máquina (ML) na física exige quantificação confiável de incerteza (UQ) para garantir que conclusões científicas sejam estatisticamente válidas. Embora estimativas de incerteza sejam indispensáveis na física para determinar a credibilidade de medições, combinar resultados e estabelecer limiares de descoberta, sua aplicação em ML frequentemente carece de uma interpretação estatística unificada. A terminologia é inconsistente entre as comunidades: os físicos distinguem tradicionalmente entre incertezas estatísticas e sistêmicas, enquanto a literatura de estatística e ML frequentemente usa as distinções aleatória (dados) e epistêmica (modelo). Esses vocabulários se sobrepõem, mas não são sinônimos, levando a potenciais confusões quanto à redutibilidade e à fonte da incerteza. Além disso, os métodos modernos de ML para UQ variam amplamente em seu fundamento teórico, indo desde aqueles com garantias de amostra finita (por exemplo, previsão conformada) até aqueles que dependem de validação empírica (por exemplo, ensembles profundos). Há uma necessidade crítica de um framework estruturado para esclarecer esses conceitos, distinguir entre incerteza de inferência e incerteza preditiva, e fornecer ferramentas principistas para validação.

Metodologia

O artigo estabelece uma visão estruturada da UQ através de três pilares metodológicos principais:

1. Framework Taxonômico: Os autores propõem uma taxonomia unificada baseada em três dimensões:

   • Fonte: Estatística (flutuações de dados finitos) vs. Sistêmica (modelagem/imperfeições de suposições).
   • Natureza: Aleatória (aleatoriedade irreduzível na geração de dados) vs. Epistêmica (incerteza devido à falta de conhecimento, redutível por mais dados ou melhores modelos).
   • Objeto: Incerteza de inferência (sobre parâmetros $\theta$) vs. Incerteza preditiva (sobre observáveis futuros $y^*$).
     O artigo esclarece que estatística/sistêmica classificam fontes, enquanto aleatória/epistêmica classificam a natureza. Ele decompõe explicitamente a incerteza epistêmica em variabilidade de treinamento, variabilidade de dados, viés de modelo e deslocamento de domínio.

2. Perspectivas Estatísticas: O artigo contrasta os frameworks Frequentista e Bayesiano.

   • Frequentista: Foca em garantias de longo prazo (por exemplo, intervalos de confiança, previsão conformada) onde os dados são aleatórios e os parâmetros são fixos.
   • Bayesiano: Foca na modelagem probabilística de parâmetros (distribuições posteriores) e distribuições preditivas via marginalização.
   • O texto discute pontes entre estes, como o teorema de Bernstein–von Mises e abordagens Generalizadas/Pós-Bayesianas (por exemplo, Inferência Variacional Generalizada) que desacoplam objetivos de inferência de suposições estritas de verossimilhança.

3. Validação e Diagnósticos: Os autores detalham ferramentas estatísticas específicas para validar UQ:

   • Testes de Cobertura: Avaliar se regiões preditivas contêm resultados verdadeiros com a frequência anunciada (marginal vs. condicional).
   • Calibração: Medir o alinhamento entre probabilidades previstas e frequências observadas (por exemplo, Erro de Calibração Esperado, diagramas de confiabilidade).
   • Testes de Viés: Diagnosticar deslocamentos sistemáticos em estimativas centrais usando distribuições de "pull" e resíduos normalizados.
   • Regras de Pontuação Adequadas: Avaliar a fidelidade geral das distribuições preditivas (por exemplo, pontuação Brier, verossimilhança logarítmica negativa) para incentivar previsões probabilísticas honestas.

4. Ilustrações Empíricas: O artigo implementa e compara cinco métodos de UQ em tarefas controladas de regressão e classificação:

   • Métodos: Processos Gaussianos (GP), Previsão Conformada (CP), Redes Neurais Bayesianas (BNN) via Inferência Variacional (VI) e Monte Carlo Hamiltoniano (HMC), Ensembles Repulsivos (RE) e Aprendizado Profundo Evidencial (EDL).
   • Tarefas: Um problema de regressão 1D (testando interpolação vs. extrapolação) e um problema de classificação binária (conjunto de dados duas-luas com um quadrado central removido).

Contribuições Principais

• Taxonomia Unificada: O artigo fornece uma classificação clara e multidimensional da incerteza que reconcilia a linguagem "estatística/sistêmica" da física com a linguagem "aleatória/epistêmica" do ML, mapeando explicitamente suas interseções (por exemplo, Tabela 1).
• Distinção de Objetos: Separa rigorosamente a incerteza de inferência (parâmetros) da incerteza preditiva (observáveis), esclarecendo que critérios de validação (como cobertura) diferem significativamente entre os dois.
• Kit de Ferramentas de Validação: Consolida um conjunto de ferramentas diagnósticas principistas (cobertura, calibração, viés, regras de pontuação) necessárias para avaliar se declarações de incerteza baseadas em ML são confiáveis em fluxos de trabalho científicos.
• Comparação Metodológica: Através de exemplos resolvidos, o artigo demonstra como diferentes suposições de modelagem (vieses indutivos) levam a estimativas de incerteza divergentes, particularmente em regimes de extrapolação onde os dados são escassos.

Resultados

Os exemplos empíricos produzem várias descobertas críticas:

• Interpolação vs. Extrapolação: Em regiões de interpolação ricas em dados, diferentes métodos de UQ (GP, BNN, Ensembles, CP) produzem precisão e faixas de incerteza comparáveis. No entanto, em regiões de extrapolação (fora do domínio de treinamento), os métodos divergem significativamente. Seu comportamento é governado por vieses indutivos (por exemplo, escolha de kernel em GPs, arquitetura em RNNs) e não por restrições de dados.
• Falha de Calibração em Extrapolação: Diagnósticos de validação (curvas de calibração e distribuições de "pull") revelam que, embora os métodos possam ser bem calibrados dentro do domínio de treinamento, nenhum mantém cobertura nominal ou distribuições de "pull" de largura unitária quando forçados a extrapolar. Estimativas de incerteza nessas regiões refletem suposições prévias e não restrições estatísticas.
• Desempenho de Classificação: Na tarefa de classificação binária, métodos que realizam inferência posterior (HMC, VI, Ensembles) geralmente superam as linhas de base determinísticas em calibração (menor pontuação Brier e ECE). Ensembles repulsivos mostraram calibração aprimorada sobre ensembles ingênuos ao cobrir melhor a posterior.
• Limites de Aproximação: Embora o HMC sirva como um "padrão ouro", a VI de campo médio e outras aproximações podem performar comparavelmente em cenários simples e unimodais. No entanto, o artigo observa que para posteriores complexas (multimodais, caudas pesadas), a escolha da aproximação torna-se crítica.

Significado e Alegações

O artigo posiciona-se como uma contribuição fundamental para a iniciativa VERaiPHY, visando estabelecer padrões de verificação e validação para ML na física. Seu significado reside em:

• Clareza Conceitual: Preenche lacunas terminológicas entre as comunidades de física, estatística e ML, fornecendo uma linguagem comum para discutir incerteza.
• Orientação Prática: Enfatiza que a validade da UQ não é garantida pela derivação formal de um método, mas deve ser validada empiricamente usando diagnósticos específicos.
• Expectativas Realistas: Os autores modestamente afirmam que, embora existam métodos de UQ escaláveis, a questão aberta mais crítica é sua robustez sob suposições não ideais (especificação incorreta de modelo, deslocamento de distribuição). Eles argumentam que, em regimes de extrapolação, a incerteza depende fundamentalmente de suposições de modelagem, exigindo interpretação cuidadosa em vez de confiança cega em saídas algorítmicas.
• Integração de Pipeline: O artigo afirma que UQ robusta não é um complemento opcional, mas um componente estrutural do pipeline completo de inferência científica, essencial para tarefas a jusante como desdobramento, estimativa de parâmetros e ajustes globais.

O trabalho conclui que o uso científico confiável de ML exige tornar suposições de modelagem, procedimentos de inferência e diagnósticos de validação explícitos e testáveis em cada estágio do pipeline.