Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

Este artículo sostiene que las métricas puntuales estándar como RMSE y MAE fallan estructuralmente al evaluar problemas inversos multimodales al sesgar sistemáticamente las reconstrucciones hacia distribuciones más estrechas, y propone un protocolo de evaluación de tres partes basado en la precisión distribucional, la fidelidad espectral y la calibración de la incertidumbre para garantizar conclusiones científicamente válidas.

Lo esencial

El Gran Problema: La Trampa de la "Media"

Imagina que estás intentando adivinar la ubicación de un tesoro oculto. Tienes un mapa, pero está un poco borroso. A veces, el tesoro está definitivamente en la cueva del Norte, y otras veces está definitivamente en la cueva del Sur. Nunca está en el medio.

En el mundo de la ciencia (como la física de partículas o la imagen médica), los científicos suelen utilizar ordenadores para resolver estos "juegos de adivinanzas". Durante mucho tiempo, han juzgado la calidad de un ordenador haciendo una pregunta sencilla: "¿Qué tan cerca está tu suposición de la respuesta real?"

Si el ordenador adivina "Norte" y el tesoro está en el "Norte", obtiene una puntuación alta. Si adivina "Sur" y el tesoro está en el "Norte", obtiene una puntuación baja.

El artículo argumenta que esta forma de juzgar está rota cuando hay dos respuestas posibles (Norte y Sur).

Si se obliga a un ordenador a dar solo un número como respuesta para minimizar su "puntuación de error", hará trampa. En lugar de decir "Es o bien Norte o bien Sur", adivinará "Medio".

• ¿Por qué? Porque matemáticamente, el "Medio" es el promedio de Norte y Sur. La distancia desde el Medio hasta el Norte es la misma que desde el Medio hasta el Sur. Por lo tanto, la suposición de "Medio" tiene el promedio de error más bajo.
• El Problema: El tesoro nunca está en el Medio. El ordenador está dando una respuesta "perfecta" en promedio matemático que es físicamente imposible.

La Consecuencia: Una Imagen Borrosa y Distorsionada

El artículo muestra que cuando los científicos utilizan estas puntuaciones de "promedio" (llamadas RMSE o MAE) para seleccionar los mejores modelos informáticos, eligen accidentalmente modelos que aplanan la verdad.

Imagina que estás intentando recrear una cordillera a partir de fotos borrosas.

• La Verdad: Dos picos agudos y distintos (Norte y Sur).
• El Modelo de "Promedio": Dibuja una sola colina ancha y plana en el medio.

Si miras la "colina plana", podría parecer más cercana a las fotos que los picos agudos, por lo que el ordenador obtiene una mejor puntuación. Pero si usas esa colina plana para construir una estación de esquí, tendrás un gran problema porque no hay picos reales sobre los que esquiar.

En la ciencia, estos "picos" y "colas" de los datos contienen los secretos más importantes (como la masa de una nueva partícula). Al obligar al ordenador a dar una única respuesta de "promedio", estamos difuminando accidentalmente los detalles más importantes, haciendo que nuestras mediciones científicas sean incorrectas.

La Solución: Una Nueva Prueba de Tres Pasos

Los autores proponen una nueva forma de probar estos ordenadores, como un examen de conducir con tres partes diferentes en lugar de solo una.

1. La Prueba del "Mapa Completo" (CRPS)
En lugar de pedir solo una suposición, le pedimos al ordenador que dibuje el mapa completo de posibilidades.

• Analogía: En lugar de preguntar "¿Está el tesoro al Norte o al Sur?", preguntamos: "Dibuja el mapa de probabilidades".
• Un buen modelo dibujará dos manchas distintas (una para el Norte, otra para el Sur). Un mal modelo dibujará una gran mancha en el medio. Esta prueba recompensa a los modelos que admiten: "No sé exactamente cuál es, pero sé que es una de estas dos".

2. La Prueba de la "Multitud" (Fidelidad del Espectro)
Observamos los resultados de 10.000 suposiciones en conjunto.

• Analogía: Si le pides a 1.000 personas que adivinen dónde está el tesoro, y 500 dicen Norte y 500 dicen Sur, obtienes una imagen perfecta de las dos cuevas. Si se usa el modelo de "promedio", todos dicen "Medio", y obtienes la imagen de una sola cueva falsa.
• Esta prueba verifica si el conjunto de suposiciones se parece al mundo real, no solo si las suposiciones individuales están cerca.

3. La Prueba de la "Confianza" (Calibración)
Verificamos si el ordenador es honesto sobre cuán seguro está.

• Analogía: Si una aplicación del clima dice que hay un 90% de probabilidad de lluvia, debería llover el 90% de las veces. Si dice 90% pero solo llueve el 50% de las veces, la aplicación está mintiendo sobre su confianza.
• Esta prueba asegura que el ordenador no está simplemente adivinando a lo loco, sino que realmente tiene confianza en los lugares correctos.

Lo Que Descubrieron

Los autores probaron este nuevo método en dos cosas:

1. Un problema matemático falso donde conocían la respuesta exacta.
2. Un problema de física real que involucra quarks top (partículas diminutas) donde dos neutrinos (partículas fantasma) escapan a la detección, haciendo que las matemáticas sean muy complicadas.

El Resultado Sorprendente:
Los modelos que parecían los "ganadores" bajo la antigua prueba de "Promedio" (aquellos que daban la única respuesta plana y del medio) eran en realidad los peores para preservar la forma real de los datos.

Los modelos que daban las respuestas "desordenadas" de dos manchas (aquellos que parecían peores bajo la antigua prueba) eran en realidad los mejores para decir la verdad.

La Conclusión

El artículo concluye que cómo mides el éxito determina lo que encuentras.

Si solo mides "qué tan cerca está la suposición de la verdad", construirás modelos que borran las partes interesantes y complejas de la realidad. Para obtener la respuesta científica correcta, debes dejar de pedir un solo número y empezar a pedir la historia completa de posibilidades.

En resumen: No preguntes solo, "¿Qué tan cerca estuviste?". Pregunta, "¿Contaste toda la historia?".

Resumen técnico

Aquí se presenta un resumen técnico detallado del artículo "Las métricas puntuales inducen a error: Un protocolo de evaluación para problemas inversos multimodales".

Planteamiento del Problema

En la reconstrucción científica (por ejemplo, física de partículas, imágenes médicas, geofísica), la evaluación está actualmente dominada por métricas puntuales como el Error Cuadrático Medio Raíz (RMSE), el Error Absoluto Medio (MAE) y la resolución por evento. Estas métricas operan bajo la suposición implícita de que un menor error equivale a una mejor reconstrucción.

Los autores argumentan que esta suposición falla estructuralmente en problemas inversos subconstruidos donde la posterior condicional $p(z|x)$ es multimodal. En tales escenarios, el predictor óptimo bajo el Error Cuadrático Medio (MSE) es la esperanza condicional $E[z|x]$. Para posteriores multimodales, esta esperanza a menudo cae en regiones de densidad de probabilidad nula (entre modos). En consecuencia, los modelos entrenados para minimizar errores puntuales producen predicciones que son individualmente "no físicas" y, al agregarse, comprimen sistemáticamente el espectro marginal de la variable latente $z$. Esta compresión distorsiona las colas, los modos y las formas de las distribuciones, que son precisamente las características en las que dependen las mediciones científicas aguas abajo.

Fundamento Teórico

El artículo establece un argumento teórico basado en la Ley de la Varianza Total:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
Los autores demuestran que para cualquier estimador puntual $f_\theta(x)$ que converge a la media condicional $E[z|x]$, la varianza de las predicciones $\text{Var}[E[z|x]]$ es estrictamente menor o igual a la varianza marginal verdadera $\text{Var}[z]$, con la igualdad solo si la posterior tiene ancho cero.

• Implicación: Los estimadores puntuales producen inherentemente un espectro marginal que es más estrecho que la verdad. Esto es un sesgo, no un término de varianza, lo que significa que no disminuye con tamaños de conjunto de datos más grandes.
• Consecuencia: Evaluar modelos únicamente mediante métricas puntuales recompensa activamente la supresión de la estructura posterior y penaliza los modelos que la preservan, lo que lleva a conclusiones científicas sesgadas.

Metodología: Un Protocolo de Evaluación de Tres Partes

Para abordar estos modos de fallo, los autores proponen un protocolo de tres métricas donde cada métrica apunta a una deficiencia específica pasada por alto por las demás:

1. Precisión Distribucional por Evento (CRPS):

   • Utiliza la Puntuación de Probabilidad Clasificada Continua (CRPS), una regla de puntuación estrictamente propia.
   • A diferencia de RMSE/MAE, el CRPS se minimiza solo cuando la distribución predictiva coincide con la posterior verdadera. Penaliza el "colapso posterior" (predecir un solo punto en un espacio multimodal) en lugar de recompensarlo.
   • Se reduce a MAE para estimadores puntuales, permitiendo una comparación justa entre modelos generativos y de regresión.

2. Fidelidad del Espectro a Nivel de Población:

   • Evalúa la distribución marginal $p(z)$ en todo el conjunto de datos, que es la cantidad de interés para la física aguas abajo.
   • Utiliza una estadística $\chi^2$ binned que compara el histograma de valores predichos contra los valores reales.
   • Esta métrica detecta la compresión sistemática de características espectrales (colas y modos) que las métricas puntuales pasan por alto.

3. Confianza de la Incertidumbre (Calibración):

   • Evalúa si el ancho de la posterior predicha es confiable utilizando predicción conforme para generar curvas de cobertura.
   • Un modelo perfectamente calibrado produce una curva de cobertura que sigue la diagonal (la cobertura empírica es igual al nivel de confianza nominal).
   • Esto distingue entre modelos que son meramente agudos (estrechos) y aquellos que son tanto agudos como calibrados.

Contribuciones Clave

1. Demostración Teórica: Se demostró que cualquier estimador puntual que minimice MSE o MAE produce un espectro marginal estrictamente más estrecho que la verdad siempre que la posterior tenga varianza no nula, independientemente de la arquitectura o el tamaño del conjunto de datos.
2. Protocolo de Evaluación: Se introdujo un protocolo unificado (CRPS, Fidelidad del Espectro, Calibración) aplicable a través de familias de modelos de regresión, mezcla y generativos.
3. Validación Empírica: Se mostró que las clasificaciones de los modelos se invierten entre métricas puntuales y distribucionales tanto en benchmarks sintéticos como del mundo real.

Resultados Experimentales

Benchmark I: Problema Inverso Sintético

• Configuración: Un problema controlado con una posterior bimodal analíticamente tratable ($x = z^2 + \epsilon$).
• Hallazgos:
  • Una MLP de regresión estándar logró el RMSE más bajo, pero colapsó el espectro marginal a un pico en cero (la media condicional), fallando en representar la verdad bimodal.
  • Los modelos generativos (Flujos Normalizadores, Redes de Densidad de Mezcla) tuvieron un RMSE más alto, pero lograron un CRPS y fidelidad espectral casi perfectos ($\chi^2_{spec}$ cercano a los grados de libertad).
  • Promediar las muestras posteriores del Flujo Normalizador recuperó el pobre RMSE y la distorsión espectral de la Regresión, confirmando que la Regresión es simplemente la media condicional del Flujo.

Benchmark II: Física de Partículas (Reconstrucción de Quarks Top)

• Configuración: Reconstrucción de pares de quarks top a partir de desintegraciones dileptónicas (un problema inverso de muchos a uno con ambigüedad combinatoria y neutrinos faltantes).
• Hallazgos:
  • Métricas Puntuales: Un Transformer entrenado con MSE puro logró el mejor RMSE. Un Transformer con regularización MMD (Discrepancia Media Máxima Marginal) tuvo un rendimiento ligeramente peor.
  • Métricas Distribucionales: La clasificación se invirtió. Un Flujo Normalizador Discreto dominó en CRPS y fidelidad espectral. Los Transformers, incluso con regularización MMD, no lograron corregir la multimodalidad por evento, resultando en valores masivos de $\chi^2_{spec}$ (órdenes de magnitud peores que los flujos).
  • Calibración: Mientras que el CRPS y la fidelidad espectral distinguieron a los flujos de los transformers, la calibración distinguió entre las dos arquitecturas de flujo. El Flujo Discreto (verosimilitud exacta) estaba bien calibrado, mientras que el Flujo Continuo (verosimilitud aproximada basada en EDO) tuvo una cobertura sistemáticamente insuficiente, una distinción invisible para el CRPS por sí solo.

Significado y Afirmaciones

El artículo afirma que el protocolo de evaluación, no el modelo, determina la conclusión científica. Al depender de métricas puntuales, la comunidad científica ha estado favoreciendo inadvertidamente modelos cuyos espectros reconstruidos no pueden apoyar mediciones aguas abajo.

• Desalineación Estructural: Los autores afirman que las métricas puntuales están estructuralmente desalineadas con los objetivos de la reconstrucción científica en entornos multimodales.
• Necesidad del Protocolo: El protocolo propuesto de tres pasos es necesario para exponer distinciones entre arquitecturas que parecen idénticas bajo métricas estándar (por ejemplo, distinguir entre flujos de verosimilitud exacta y aproximada mediante calibración).
• Agnosticismo de Dominio: Los hallazgos se aplican a cualquier problema inverso con varianza posterior no despreciable (por ejemplo, recuperación de fase, inferencia cosmológica), no solo a los benchmarks específicos probados.

Los autores concluyen que una evaluación cuidadosa utilizando este protocolo hace visible el sesgo de la evaluación solo con métricas puntuales, proporcionando a los profesionales una base de comparación en la que pueden descansar las conclusiones científicas. Señalan que, aunque sus hallazgos son robustos, los valores absolutos de rendimiento son específicos de su configuración experimental, y el cambio de clasificación en sí mismo es el resultado robusto y generalizable.