Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

Este artigo argumenta que métricas pontuais padrão, como RMSE e MAE, falham estruturalmente na avaliação de problemas inversos multimodais ao enviesar sistematicamente as reconstruções em direção a distribuições mais estreitas, e propõe um protocolo de avaliação em três partes baseado em precisão distribucional, fidelidade espectral e calibração de incerteza para garantir conclusões cientificamente válidas.

O essencial

O Grande Problema: A Armadilha da "Média"

Imagine que você está tentando adivinhar a localização de um tesouro escondido. Você tem um mapa, mas o mapa está um pouco borrado. Às vezes, o tesouro está definitivamente na caverna do Norte, e às vezes está definitivamente na caverna do Sul. Ele nunca fica no meio.

No mundo da ciência (como na física de partículas ou na imagem médica), os cientistas frequentemente usam computadores para resolver esses "jogos de adivinhação". Por muito tempo, eles julgaram o quão bom era um computador fazendo uma pergunta simples: "Quão perto está a sua adivinhação da resposta real?"

Se o computador adivinha "Norte" e o tesouro está "Norte", ele recebe uma pontuação alta. Se ele adivinha "Sul" e o tesouro está "Norte", ele recebe uma pontuação baixa.

O artigo argumenta que essa forma de julgar está quebrada quando há duas respostas possíveis (Norte e Sul).

Se um computador é forçado a dar apenas um número como sua resposta para minimizar sua "pontuação de erro", ele vai trapacear. Em vez de dizer "É ou Norte ou Sul", ele vai adivinhar "Meio".

• Por quê? Porque matematicamente, o "Meio" é a média entre Norte e Sul. A distância do Meio até o Norte é a mesma que do Meio até o Sul. Portanto, a adivinhação "Meio" tem o menor erro médio.
• O Problema: O tesouro nunca está no Meio. O computador está dando uma resposta matematicamente "perfeita" em média, mas fisicamente impossível.

A Consequência: Uma Imagem Borrada e Distorcida

O artigo mostra que, quando os cientistas usam essas pontuações de "média" (chamadas de RMSE ou MAE) para escolher os melhores modelos de computador, eles acidentalmente escolhem modelos que achatam a verdade.

Imagine que você está tentando recriar uma cadeia de montanhas a partir de fotos borradas.

• A Verdade: Dois picos nítidos e distintos (Norte e Sul).
• O Modelo "Médio": Ele desenha uma única colina larga e plana no meio.

Se você olhar para a "colina plana", ela pode parecer mais próxima das fotos do que os picos nítidos, então o computador recebe uma pontuação melhor. Mas se você usar essa colina plana para construir um resort de esqui, você estará em grandes problemas, porque não há picos reais para esquiar.

Na ciência, esses "picos" e "caudas" dos dados contêm os segredos mais importantes (como a massa de uma nova partícula). Ao forçar o computador a dar uma única resposta "média", estamos acidentalmente espalhando os detalhes mais importantes, tornando nossas medições científicas erradas.

A Solução: Um Novo Teste de Três Etapas

Os autores propõem uma nova maneira de testar esses computadores, como uma prova de direção com três partes diferentes em vez de apenas uma.

1. O Teste do "Mapa Completo" (CRPS)
Em vez de pedir apenas uma adivinhação, pedimos ao computador para desenhar o mapa completo das possibilidades.

• Analogia: Em vez de perguntar "O tesouro está no Norte ou no Sul?", perguntamos: "Desenhe o mapa de probabilidade."
• Um bom modelo desenhará duas manchas distintas (uma para o Norte, outra para o Sul). Um modelo ruim desenhará uma grande mancha no meio. Esse teste recompensa modelos que admitem: "Eu não sei exatamente qual é, mas sei que é uma dessas duas."

2. O Teste da "Multidão" (Fidelidade do Espectro)
Olhamos para os resultados de 10.000 adivinhações todos juntos.

• Analogia: Se você pedir a 1.000 pessoas para adivinharem onde está o tesouro, e 500 disserem Norte e 500 disserem Sul, você obtém uma imagem perfeita das duas cavernas. Se o modelo "médio" for usado, todos dizem "Meio", e você obtém uma imagem de uma única caverna falsa.
• Esse teste verifica se a coleção de adivinhações se parece com o mundo real, e não apenas se as adivinhações individuais estão próximas.

3. O Teste da "Confiança" (Calibração)
Verificamos se o computador é honesto sobre o quão certo ele está.

• Analogia: Se um aplicativo de clima diz que há 90% de chance de chuva, deve chover 90% das vezes. Se ele diz 90%, mas só chove 50% das vezes, o aplicativo está mentindo sobre sua confiança.
• Esse teste garante que o computador não está apenas adivinhando aleatoriamente, mas está realmente confiante nos lugares certos.

O Que Eles Encontraram

Os autores testaram esse novo método em duas coisas:

1. Um problema matemático falso onde eles conheciam a resposta exata.
2. Um problema real de física envolvendo quarks top (partículas minúsculas) onde dois neutrinos (partículas fantasmas) escapam da detecção, tornando a matemática muito complicada.

O Resultado Chocante:
Os modelos que pareciam os "vencedores" sob o antigo teste de "Média" (aqueles que davam a única resposta plana e do meio) eram na verdade os piores em preservar a forma verdadeira dos dados.

Os modelos que davam as respostas "bagunçadas" de duas manchas (aqueles que pareciam piores sob o antigo teste) eram na verdade os melhores em contar a verdade.

A Conclusão

O artigo conclui que como você mede o sucesso determina o que você encontra.

Se você medir apenas "quão perto está a adivinhação da verdade", você construirá modelos que apagam as partes interessantes e complexas da realidade. Para obter a resposta científica correta, você precisa parar de pedir um único número e começar a pedir a história completa das possibilidades.

Em resumo: Não pergunte apenas, "Quão perto você estava?". Pergunte, "Você contou a história inteira?".

Resumo técnico

Enunciado do Problema

Na reconstrução científica (por exemplo, física de partículas, imageamento médico, geofísica), a avaliação é atualmente dominada por métricas pontuais, como Erro Quadrático Médio Raiz (RMSE), Erro Absoluto Médio (MAE) e resolução por evento. Essas métricas operam sob a suposição implícita de que menor erro equivale a melhor reconstrução.

Os autores argumentam que essa suposição falha estruturalmente para problemas inversos subconstruídos onde a posteriori condicional $p(z|x)$ é multimodal. Em tais cenários, o preditor ótimo sob MSE é a expectativa condicional $E[z|x]$. Para posteriors multimodais, essa expectativa frequentemente cai em regiões de densidade de probabilidade vanescente (entre os modos). Consequentemente, modelos treinados para minimizar erros pontuais produzem previsões que são individualmente "não físicas" e, quando agregadas, comprimem sistematicamente o espectro marginal da variável latente $z$. Essa compressão distorce as caudas, modos e formas das distribuições, que são as características precisas das quais as medições científicas a jusante dependem.

Fundamentação Teórica

O artigo estabelece um argumento teórico baseado na Lei da Variância Total:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
Os autores demonstram que, para qualquer estimador pontual $f_\theta(x)$ que converge para a média condicional $E[z|x]$, a variância das previsões $\text{Var}[E[z|x]]$ é estritamente menor ou igual à variância marginal verdadeira $\text{Var}[z]$, com a igualdade valendo apenas se a posterior tiver largura zero.

• Implicação: Estimadores pontuais produzem inerentemente um espectro marginal que é mais estreito que a verdade. Isso é um viés, não um termo de variância, o que significa que não diminui com tamanhos de conjunto de dados maiores.
• Consequência: Avaliar modelos exclusivamente por métricas pontuais recompensa ativamente a supressão da estrutura posterior e penaliza modelos que a preservam, levando a conclusões científicas enviesadas.

Metodologia: Um Protocolo de Avaliação de Três Partes

Para abordar essas falhas, os autores propõem um protocolo de três métricas onde cada métrica visa uma deficiência específica ignorada pelas outras:

1. Precisão Distribucional por Evento (CRPS):

   • Utiliza o Continuous Ranked Probability Score (CRPS), uma regra de pontuação estritamente própria.
   • Diferentemente de RMSE/MAE, o CRPS é minimizado apenas quando a distribuição preditiva corresponde à posterior verdadeira. Ele penaliza o "colapso posterior" (prever um único ponto em um espaço multimodal) em vez de recompensá-lo.
   • Reduz-se a MAE para estimadores pontuais, permitindo comparação justa entre modelos generativos e de regressão.

2. Fidelidade do Espectro em Nível de População:

   • Avalia a distribuição marginal $p(z)$ em todo o conjunto de dados, que é a quantidade de interesse para a física a jusante.
   • Utiliza uma estatística $\chi^2$ binned comparando o histograma de valores previstos contra os valores verdadeiros.
   • Esta métrica detecta a compressão sistemática de características espectrais (caudas e modos) que as métricas pontuais ignoram.

3. Confiabilidade da Incerteza (Calibração):

   • Avalia se a largura da posterior prevista é confiável usando previsão conformal para gerar curvas de cobertura.
   • Um modelo perfeitamente calibrado produz uma curva de cobertura que segue a diagonal (cobertura empírica igual ao nível de confiança nominal).
   • Isso distingue entre modelos que são meramente precisos (estreitos) e aqueles que são ao mesmo tempo precisos e calibrados.

Contribuições Principais

1. Prova Teórica: Demonstrou que qualquer estimador pontual que minimiza MSE ou MAE produz um espectro marginal estritamente mais estreito que a verdade sempre que a posterior tiver variância não nula, independentemente da arquitetura ou tamanho do conjunto de dados.
2. Protocolo de Avaliação: Introduziu um protocolo unificado (CRPS, Fidelidade do Espectro, Calibração) aplicável em famílias de modelos de regressão, mistura e generativos.
3. Validação Empírica: Mostrou que as classificações de modelos se invertem entre métricas pontuais e distribucionais em benchmarks tanto sintéticos quanto do mundo real.

Resultados Experimentais

Benchmark I: Problema Inverso Sintético

• Configuração: Um problema controlado com uma posterior bimodal tratável analiticamente ($x = z^2 + \epsilon$).
• Descobertas:
  • Um MLP de Regressão padrão alcançou o menor RMSE, mas colapsou o espectro marginal para um pico em zero (a média condicional), falhando em representar a verdade bimodal.
  • Modelos generativos (Fluxos Normalizantes, Redes de Densidade de Mistura) tiveram RMSE mais alto, mas alcançaram CRPS e fidelidade de espectro quase perfeitos ($\chi^2_{spec}$ próximo aos graus de liberdade).
  • A média das amostras posteriores do Fluxo Normalizante recuperou o RMSE pobre e a distorção espectral da Regressão, confirmando que a Regressão é simplesmente a média condicional do Fluxo.

Benchmark II: Física de Partículas (Reconstrução de Quark Top)

• Configuração: Reconstrução de pares de quarks top a partir de decaimentos dileptônicos (um problema inverso muitos-para-um com ambiguidade combinatória e neutrinos faltantes).
• Descobertas:
  • Métricas Pontuais: Um Transformer treinado com MSE puro alcançou o melhor RMSE. Um Transformer com regularização MMD (Discrepância Média Máxima Marginal) performou ligeiramente pior.
  • Métricas Distribucionais: A classificação inverteu. Um Fluxo Normalizante Discreto dominou em CRPS e fidelidade de espectro. Os Transformers, mesmo com regularização MMD, falharam em corrigir a multimodalidade por evento, resultando em valores massivos de $\chi^2_{spec}$ (ordens de magnitude piores que os fluxos).
  • Calibração: Enquanto CRPS e fidelidade de espectro distinguiram os fluxos dos transformers, a calibração distinguiu entre as duas arquiteturas de fluxo. O Fluxo Discreto (verossimilhança exata) foi bem calibrado, enquanto o Fluxo Contínuo (verossimilhança baseada em ODE aproximada) subcobriu sistematicamente, uma distinção invisível ao CRPS sozinho.

Significado e Afirmações

O artigo afirma que é o protocolo de avaliação, e não o modelo, que determina a conclusão científica. Ao confiar em métricas pontuais, a comunidade científica tem inadvertidamente favorecido modelos cujos espectros reconstruídos não podem suportar medições a jusante.

• Desalinhamento Estrutural: Os autores afirmam que as métricas pontuais estão estruturalmente desalinhadas com os objetivos da reconstrução científica em configurações multimodais.
• Necessidade do Protocolo: O protocolo proposto de três etapas é necessário para expor distinções entre arquiteturas que parecem idênticas sob métricas padrão (por exemplo, distinguir entre fluxos de verossimilhança exata e aproximada via calibração).
• Agnosticismo de Domínio: As descobertas aplicam-se a qualquer problema inverso com variância posterior não negligenciável (por exemplo, recuperação de fase, inferência cosmológica), não apenas aos benchmarks específicos testados.

Os autores concluem que uma avaliação cuidadosa usando este protocolo torna visível o viés da avaliação baseada apenas em métricas pontuais, fornecendo aos praticantes uma base para comparação sobre a qual as conclusões científicas podem se apoiar. Eles observam que, embora suas descobertas sejam robustas, os valores absolutos de desempenho são específicos ao seu cenário experimental, e a própria inversão da classificação é o resultado robusto e generalizável.