⚛️ fenomenologia

Faithful Uncertainties in ML-Based Inverse Problems: GPs, NNs and NTKs for the Triplet PDF

Este artigo demonstra que, em problemas inversos baseados em aprendizado de máquina para a reconstrução de funções de distribuição de partons, métodos com previsões centrais semelhantes podem produzir estimativas de incerteza vastamente diferentes, destacando a importância crítica de incorporar a covariância experimental completa, priors funcionais apropriados e testes de fechamento rigorosos para garantir uma calibração de incerteza fiel.

Autores originais: Nina Elmer, Sven Krippendorf, Maria Ubiali

Publicado 2026-10-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nina Elmer, Sven Krippendorf, Maria Ubiali

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo de alto risco da física de partículas, os cientistas não apenas observam os blocos de construção do universo; eles devem reconstruí-los a partir das sombras que projetam. Quando prótons colidem a velocidades imensas, eles produzem uma torrente de detritos, mas as partículas fundamentais dentro do próton — os quarks e glúons — permanecem ocultas. Para compreender a estrutura do próton, os pesquisadores devem trabalhar de trás para frente, a partir dos dados desordenados e ruidosos dessas colisões, para deduzir o mapa invisível de como o momento é compartilhado entre os constituintes do próton. Isso é conhecido como um problema inverso, um enigma matemático onde a resposta não é única e os dados são imperfeitos. O desafio não é apenas encontrar o mapa mais provável, mas saber quanta confiança se pode depositar nele. Se o mapa estiver errado, as previsões para experimentos futuros em instalações como o Grande Colisor de Hádrons podem ser enganosas. Durante anos, os físicos confiaram em métodos estatísticos complexos para desenhar esses mapas, mas à medida que o aprendizado de máquina entra no campo, uma nova questão surgiu: será que esses algoritmos poderosos podem nos dizer não apenas como o mapa se parece, mas o quão incertos eles estão sobre ele?

Uma equipe de pesquisadores da Universidade de Cambridge abordou essa questão submetendo três abordagens diferentes de aprendizado de máquina a um teste em um ambiente controlado. Eles focaram em uma versão específica e simplificada do enigma do próton: reconstruir a distribuição de uma combinação particular de quarks, conhecida como distribuição de triplet, usando dados de um experimento histórico chamado BCDMS. Para garantir que pudessem julgar os resultados de forma justa, eles não utilizaram dados experimentais reais, que não possuem uma resposta "verdadeira" conhecida. Em vez disso, criaram uma simulação onde sabiam exatamente a verdade subjacente previamente. Eles geraram pontos de dados falsos que mimetizavam medições reais, completos com erros e correlações realistas, e então pediram a três sistemas diferentes de aprendizado de máquina para recuperar o mapa original. Os sistemas comparados foram processos gaussianos, modelos estatísticos conhecidos por sua capacidade de quantificar a incerteza; redes neurais, os motores de aprendizado profundo por trás de muitos avanços modernos da IA; e um método mais recente chamado núcleo tangente neural (neural tangent kernel), que tenta descrever como as redes neurais aprendem.

Os pesquisadores descobriram que, embora todos os três métodos pudessem produzir um mapa central muito semelhante à verdade, sua confiança nesse mapa variava drasticamente. Percebeu-se que acertar a resposta média não era suficiente; o teste crucial era se a incerteza estimada correspondia aos erros reais. O estudo revelou que a maneira como um modelo de aprendizado de máquina lida com os erros conhecidos nos dados é o fator mais importante para produzir uma estimativa de incerteza confiável. Modelos que ignoravam as correlações complexas entre diferentes pontos de dados, ou aqueles que tentavam aprender os erros do zero sem serem informados sobre como eles eram estruturados, produziam faixas de confiança que eram excessivamente estreitas ou enganosamente largas. Apenas os modelos que contabilizavam explicitamente a estrutura completa dos erros experimentais, incluindo como o erro de uma medição poderia estar ligado ao de outra, conseguiram produzir estimativas de incerteza estatisticamente honestas.

Talvez a descoberta mais surpreendente tenha sido o comportamento desses modelos em regiões onde não existiam dados. No mundo real, os físicos frequentemente precisam adivinhar o comportamento das partículas em níveis de energia ou distâncias que nunca mediram diretamente. O estudo mostrou que, nessas zonas vazias, os modelos de aprendizado de máquina não simplesmente extrapolavam com base nos dados que haviam visto. Em vez disso, seus palpites eram fortemente ditados pelas suposições matemáticas incorporadas neles antes mesmo do treinamento começar. Essas suposições, conhecidas como priors, atuavam como uma mão invisível guiando as previsões do modelo. Quando os pesquisadores alteraram essas suposições iniciais, as previsões dos modelos nas regiões não medidas mudaram drasticamente, embora seu desempenho nas regiões medidas tenha permanecido idêntico. Isso significa que a incerteza relatada por um modelo de aprendizado de máquina em uma região inexplorada não é um reflexo puro dos dados, mas uma afirmação condicional que depende inteiramente das regras matemáticas específicas que o modelo recebeu.

A equipe também testou uma técnica mais recente envolvendo núcleos tangentes neurais, que são projetados para fazer a ponte entre redes neurais e modelos estatísticos tradicionais. Eles descobriram que o tempo da análise importava imensamente. Se avaliassem a incerteza do modelo logo no início de seu treinamento, antes de ter aprendido algo com os dados, a incerteza resultante era perigosamente pequena e completamente pouco confiável. Foi somente após a rede ter sido treinada por um número significativo de etapas que as estimativas de incerteza tornaram-se confiáveis. Isso sugere que, para serem úteis na física, esses métodos avançados não podem ser tratados como ferramentas estáticas; seu estado interno deve ser monitorado e avaliado na fase correta de aprendizado.

Em última análise, o estudo serve como um aviso vital e um guia para o futuro da pesquisa em física. Ele demonstra que um modelo de aprendizado de máquina pode parecer perfeito na superfície, reconstruindo os dados conhecidos com alta precisão, mas ainda assim falhar em fornecer uma medida fiel de sua própria ignorância. Os pesquisadores concluíram que, para confiar nessas ferramentas, os cientistas devem ir além de simplesmente verificar se a previsão central está correta. Eles devem testar rigorosamente se as faixas de incerteza do modelo realmente cobrem a verdade, utilizando métodos que deem conta das correlações complexas nos dados do mundo real. Sem esses controles cuidadosos, as poderosas novas ferramentas da inteligência artificial poderiam fornecer respostas que são precisas, mas perigosamente enganosas, especialmente quando lhes é pedido que se aventurem no desconhecido. O caminho a seguir exige um casamento entre o poder do aprendizado de máquina e a disciplina estatística rigorosa da física tradicional, garantindo que, ao olharmos para as sombras do mundo subatômico, saibamos exatamente quanto da imagem é real e quanto é um palpite.

Resumo Técnico: Incertezas Fidedignas em Problemas Inversos Baseados em ML

Enunciado do Problema
Este artigo aborda o desafio crítico da quantificação de incerteza (UQ) em problemas inversos baseados em aprendizado de máquina (ML), especificamente no contexto de determinações de Funções de Distribuição de Partons (PDF) em física de altas energias. Os autores focam na reconstrução da PDF de triplete não-singlete, $T_3(x, Q_0^2)$ , a partir de funções estruturais de espalhamento profundo inelástico (DIS) medidas pelo experimento BCDMS. Isso serve como um teste de controle para ajustes globais de PDF, onde o objetivo é reconstruir uma função contínua a partir de um conjunto finito e ruidoso de medições indiretas. O problema central é que, embora muitos métodos de ML possam produzir valores centrais precisos, suas estimativas de incerteza associadas frequentemente carecem de "fidelidade" — significando que as incertezas relatadas não se alinham estatisticamente com o desvio real em relação à função verdadeira subjacente. Isso é particularmente crítico nas regiões de extrapolação (ex: pequeno- $x$ ), onde os dados estão ausentes, e em regiões com incertezas experimentais correlacionadas.

Metodologia
O estudo emprega uma estrutura de teste de fechamento (closure-test framework), onde pseudo-dados são gerados a partir de uma "verdade" conhecida (o valor central da análise global NNPDF4.0) com incertezas experimentais correlacionadas e realistas. Isso permite uma comparação direta entre as funções e incertezas reconstruídas contra a verdade fundamental. Os autores comparam três abordagens metodológicas distintas:

Processos Gaussianos (GPs): Modelos não paramétricos Bayesianos usando diferentes escolhas de kernel (kernels Radial Basis Function, Gibbs e Matérn). Os autores testam tanto GPs "crus" quanto aqueles que incorporam pré-processamento de extremidade ( $x^\alpha(1-x)^\beta$ ) para codificar priors físicos sobre o comportamento de pequeno e grande- $x$ .
Redes Neurais (NNs): Ensembles de Perceptrons Multicamadas (MLPs) treinados com diferentes funções de perda:
- Erro Quadrático Médio (MSE) padrão.
- MSE heterocedástico (aprendendo variâncias pontuais).
- Perda $\chi^2$ (incorporando a matriz de covariância experimental completa $C_{exp}$ ).
  As NNs são treinadas em três níveis de dados de teste de fechamento: Nível-0 (sem ruído), Nível-1 (realização única ruidosa) e Nível-2 (réplicas de Monte Carlo de dados ruidosos).
Núcleos Tangentes Neurais (NTKs): Aproximações empíricas da dinâmica de treinamento das NNs. Os autores avaliam o NTK em três estágios: inicialização aleatória, após 100 épocas e após o treinamento completo (5000 épocas). Estes são tratados como a covariância de um prior de GP condicionado aos dados.

Contribuições Principais e Diagnósticos
O artigo introduz e aplica diagnósticos específicos para avaliar a "fidelidade" das incertezas:

Viés Normalizado ( $R_b$ ): Um métrica de diagnóstico avaliada na região de interpolação (dados). Mede se o desvio da média do ensemble em relação à verdade é estatisticamente compatível com a covariância do ensemble. Os autores enfatizam que o $R_b$ depende não apenas da largura pontual das bandas de incerteza, mas crucialmente da estrutura de correlação da covariância preditiva.
Propagação de Extrapolação: As funções $T_3$ reconstruídas são propagadas para seções de choque reduzidas de corrente neutra do HERA (conjuntos de dados com valores de $x$ fora do intervalo de treinamento do BCDMS) para testar a confiabilidade das incertezas na região de extrapolação.
Decomposição da Incerteza: O estudo distingue entre "incerteza de dados" (aleatória, de $C_{exp}$ ) e "incerteza de modelo" (epistêmica, do espalhamento do ensemble), analisando como diferentes níveis de treinamento (L0, L1, L2) e funções de perda propagam esses componentes.

Resultados
Os autores descobrem que métodos que produzem reconstruções centrais comparáveis podem produzir estimativas de incerteza marcadamente diferentes e, frequentemente, não fidedignas:

Impacto da Função de Perda: Na região de dados, NNs treinadas com perdas MSE, MSE heterocedástico e $\chi^2$ produzem predições centrais semelhantes. No entanto, suas incertezas diferem significamente. A perda $\chi^2$ (usando $C_{exp}$ completa) produz incertezas fidedignas na região de interpolação. A perda heterocedástica, embora capture a variância pontual, falha em considerar as correlações, levando a bandas não calibradas. O MSE padrão, ignorando totalmente as incertezas dos dados, produz bandas excessivamente estreitas que subestimam a incerteza real.
Papel de Priors e Pré-processamento: A escolha do prior funcional é dominante na região de extrapolação.
- Para GPs, a escolha do kernel isoladamente é insuficiente; sem o pré-processamento de extremidade, a predição central falha em reconstruir o pico. Com o pré-processamento, a reconstrução melhora, mas as inccertezas resultantes desaparecem nas extremidades ( $x \to 0, 1$ ) por construção, falhando em cobrir a verdade se o expoente ( $\alpha$ ) assumido estiver incorreto.
- Para NNs, o fator de pre-fator de extremidade estabiliza a extrapolação, mas torna a incerteza condicional aos expoentes assumidos. Ajustes com diferentes expoentes de pequeno- $x$ ( $\alpha=0.5$ vs. $\alpha=1.0$ ) concordam na região de dados, mas divergem significativamente na região de extrapolação.
Desempenho do NTK: O NTK avaliado na inicialização aleatória é um substituto pobre, subestimando significativamente o pico e fornecendo incertezas não fidedignas ( $R_b \approx 9.5$ ). Avaliar o NTK após o treinamento (100 ou 5000 épocas) melhora a predição central e a calibração da incerteza, embora o NTK treinado ainda produza incertezas ligeiramente mais conservadoras do que o ensemble completo da NN.
Testes de Extrapolação: Quando propagadas para os dados do HERA, todos os modelos, exceto o NTK na inicialização, passam no teste de consistência. No entanto, o comportamento das bandas de incerteza varia: o ensemble de NN treinado com $\chi^2$ (L2) mostra um crescimento de incerteza na região de pequeno- $x$ que cobre a verdade, enquanto os GPs pré-processados mostram incerteza vanishing (desaparecente) que não cobre a verdade se o prior for incompatível.

Significância e Alegações
O artigo conclui que testes de fechamento combinados com diagnósticos conscientes da covariância são essenciais para validar incertezas em problemas inversos baseados em ML. Os autores identificam três ingredientes específicos que controlam a fidelidade das incertezas:

Tratamento da Verossimilhança (Likelihood): A inclusão da matriz de covariância experimental completa na verossimilhança (ou propagação via réplicas) é necessária para capturar incertezas correlacionadas.
Priors Funcionais: A incerteza nas regiões de extrapolação é determinada em grande parte pelo prior funcional (codificado em kernels ou pré-processamento de extremidade) e não pelos dados. Consequentemente, as incertezas de extrapolação são condicionais a essas suposições de modelagem.
Estágio de Treinamento para NTKs: Para aproximações de NTK, o kernel deve ser avaliado em parâmetros treinados; o NTK inicial não é um substituto fiel para a rede treinada.

Os autores afirmam modestamente que seus resultados ilustram por que o acordo de valores centrais e a inspeção visual das bandas de incerteza são insuficientes para validação. Eles argumentam que o procedimento usado aqui — testes de fechamento com a verdade conhecida, comparação de níveis L0/L1/L2 e diagnósticos conscientes da covariância — fornece um framework necessário para validar abordagens de ML em problemas inversos de física, embora notem que um estudo sistemático sobre muitas realizações independentes é um próximo passo necessário para caracterizar totalmente a distribuição do diagnóstico de viés.

Mais como este