Uncertainty in Physics and AI: Taxonomy, Quantification, and Validation

Este artículo presenta una taxonomía unificada y una visión estructurada de la cuantificación de la incertidumbre en el aprendizaje automático para la física, aclarando las interpretaciones en los marcos estadísticos y delineando herramientas de validación fundamentadas para garantizar afirmaciones probabilísticas fiables para el descubrimiento científico.

Lo esencial

La Gran Imagen: Por Adivinar No Basta

Imagina que eres un físico tratando de descubrir una nueva partícula, o un médico utilizando una IA para diagnosticar una enfermedad. En ambos casos, obtener la respuesta correcta es importante, pero saber qué tan seguro estás de esa respuesta es aún más crítico.

Si una IA dice: "Hay un 99% de probabilidad de que esto sea un tumor", pero en realidad es solo una sombra, eso es peligroso. Si un físico dice: "Hemos encontrado una nueva partícula", pero sus matemáticas no tienen en cuenta la "imprecisión" de sus datos, podrían estar equivocados.

Este artículo es una guía para científicos e investigadores de IA. Argumenta que necesitamos un lenguaje común para hablar sobre la incertidumbre (la "imprecisión" o "duda" en las predicciones) y reglas estrictas para verificar si esa incertidumbre se reporta con honestidad.

---

1. El Diccionario de la Duda (Taxonomía)

El artículo comienza señalando que los físicos y los expertos en IA a menudo usan palabras diferentes para las mismas cosas, lo que causa confusión. Proponen un "diccionario" claro con dos ejes principales para ordenar la incertidumbre:

Eje A: ¿De dónde proviene la duda? (Fuente)

• Incertidumbre Estadística (El "Ruido"): Imagina que intentas adivinar la altura promedio de las personas en una habitación midiendo solo a tres personas. Tu suposición podría estar equivocada simplemente porque no mediste a suficientes personas. Esto es Estadístico. Si mides a 1.000 personas, esta duda desaparece.
• Incertidumbre Sistemática (La "Regla Rota"): Imagina que mides a 1.000 personas, pero tu regla en realidad mide 1 pulgada menos de lo que debería. No importa cuántas personas midas, tu respuesta siempre será incorrecta. Esto es Sistemático. Proviene de herramientas defectuosas o suposiciones erróneas, no de la falta de datos.

Eje B: ¿Podemos solucionarlo? (Naturaleza)

• Incertidumbre Aleatoria (El "Lanzamiento de un Dado"): Se trata de un azar inherente a la naturaleza. Piensa en lanzar una moneda. Incluso si conoces todo sobre la moneda y quien la lanza, no puedes predecir el siguiente lanzamiento. Esto es irreducible. No puedes arreglarlo obteniendo más datos; es simplemente así como funciona el mundo.
• Incertidumbre Epistémica (La "Pieza de Puzle Faltante"): Esta es la duda causada por la falta de conocimiento. Imagina que intentas resolver un puzle pero te faltan la mitad de las piezas. Si obtienes más piezas (más datos) o una mejor imagen de cómo se ve el puzle (mejor teoría), esta duda desaparece. Esto es reducible.

La Idea Clave del Artículo: Estas categorías se superponen. Por ejemplo, una "regla rota" (Sistemática) podría ser una "pieza de puzle faltante" (Epistémica) si simplemente aún no sabemos que la regla está rota. El artículo proporciona un gráfico para ayudar a ordenar esto para que los científicos no los confundan.

---

2. Dos Maneras de Pensar (Frecuentista vs. Bayesiana)

El artículo explica que existen dos escuelas de pensamiento principales sobre cómo manejar estas dudas:

• El Frecuentista (El "Apostador a Largo Plazo"): Este enfoque pregunta: "Si repitiera este experimento 1.000 veces, ¿con qué frecuencia sería correcta mi respuesta?". Se centran en la Cobertura. Si dicen "Tengo un 95% de confianza", significan que en 95 de cada 100 experimentos repetidos, la respuesta verdadera caerá dentro de su rango.
• El Bayesiano (El "Actualizador de Creencias"): Este enfoque pregunta: "Dado lo que sabía antes y lo que acabo de ver, ¿cuán probable es mi respuesta?". Comienzan con una "creencia previa" (una suposición basada en la experiencia pasada) y la actualizan con nuevos datos para crear una "posterior" (la nueva creencia actualizada).

El artículo señala que la Física de Partículas suele preferir el enfoque Frecuentista, mientras que la Cosmología a menudo prefiere el Bayesiano. Ambos son válidos, pero hablan idiomas diferentes.

---

3. La Prueba de Estrés (Validación)

La parte más importante del artículo trata sobre la validación. El hecho de que una IA diga que tiene un 95% de confianza no significa que tenga un 95% de confianza. El artículo sugiere tres formas de "someter a prueba de estrés" estas predicciones de IA:

• Pruebas de Cobertura (La "Red de Seguridad"): Si una IA dibuja una red de seguridad (un intervalo de predicción) diciendo que atrapará la respuesta verdadera el 95% de las veces, debes verificar la red. Si sueltas 100 pelotas y la red solo atrapa 80, la IA está mintiendo (tiene demasiada confianza). Si atrapa 99, está siendo demasiado cautelosa.
• Pruebas de Sesgo (El "Centro de Gravedad"): ¿La mejor suposición de la IA está consistentemente desplazada hacia la izquierda o hacia la derecha? Imagina un blanco de dardos. Si los dardos de la IA están todos agrupados estrechamente pero a 2 pulgadas a la izquierda del centro, tiene sesgo. Es precisa, pero no exacta.
• Reglas de Puntuación (El "Boletín de Calificaciones"): En lugar de solo verificar si la IA tenía razón o no, esto le da a la IA una puntuación basada en qué tan bien coincide su mapa de probabilidad completo con la realidad. Premia a la IA por ser honesta sobre su incertidumbre. Si la IA dice "Es 50/50" y en realidad es 50/50, obtiene una buena puntuación. Si dice "Tengo un 100% de seguridad" y se equivoca, obtiene una puntuación terrible.

---

4. Los Ejemplos de "Juguete" (¿Qué Sucede en el Mundo Real?)

Los autores probaron estas ideas en problemas matemáticos simples (regresión y clasificación) para ver cómo se comportan diferentes métodos de IA.

• La "Zona Segura" (Interpolación): Cuando se le pide a la IA que prediga algo similar a lo que ha visto antes (como predecir el clima en julio basándose en datos de julio), casi todos los métodos funcionan bien. Todos dan respuestas similares y niveles de confianza similares.
• La "Zona de Peligro" (Extrapolación): Cuando se le pide a la IA que prediga algo que nunca ha visto (como predecir el clima en julio basándose solo en datos de enero), las cosas se complican.
  • La Lección: En la zona de peligro, la confianza de la IA ya no se basa en datos; se basa en suposiciones.
  • La Analogía: Imagina un mapa de una ciudad. Si le pides a la IA que te diga el nombre de la calle de una casa que nunca has visto, pero que está en una carretera que conoces, puede adivinar. Pero si le pides que te diga el nombre de la calle de una casa en un país completamente diferente, tiene que adivinar basándose en lo que cree que son las ciudades.
  • El Resultado: El artículo encontró que en estas zonas "desconocidas", diferentes métodos de IA dan respuestas y niveles de confianza radicalmente diferentes. Ninguno de ellos fue perfectamente fiable. La incertidumbre que reportaron fue principalmente un reflejo de su "personalidad" interna (sus suposiciones matemáticas) en lugar de conocimiento real.

Resumen

Este artículo es un llamado a la claridad y la honestidad en la ciencia.

1. Deja de mezclar palabras: Sé claro sobre si tu duda proviene del ruido (aleatoriedad) o de la ignorancia (falta de datos).
2. Verifica tu trabajo: No confíes ciegamente en el número de la IA. Usa "pruebas de cobertura" y "pruebas de sesgo" para ver si la IA está realmente diciendo la verdad sobre su confianza.
3. Cuidado con lo desconocido: Cuando se le pide a la IA que adivine sobre cosas que no ha visto, su confianza es una suposición, no un hecho. Los científicos deben tratar estos resultados de "extrapolación" con extrema precaución.

El objetivo final es asegurar que, cuando la IA ayude a hacer descubrimientos científicos, sepamos exactamente cuánto podemos confiar en el resultado.

Resumen técnico

Resumen Técnico: Incertidumbre en Física e IA: Taxonomía, Cuantificación y Validación

Enunciado del Problema

La integración del aprendizaje automático (ML) en la física requiere una cuantificación de la incertidumbre (UQ) fiable para garantizar que las conclusiones científicas sean estadísticamente válidas. Si bien las estimaciones de incertidumbre son indispensables en la física para determinar la credibilidad de las mediciones, combinar resultados y establecer umbrales de descubrimiento, su aplicación en ML a menudo carece de una interpretación estadística unificada. La terminología es inconsistente entre las comunidades: los físicos distinguen tradicionalmente entre incertidumbres estadísticas y sistemáticas, mientras que la literatura de estadística y ML suele utilizar las distinciones aleatoria (datos) y epistémica (modelo). Estos vocabularios se superponen pero no son sinónimos, lo que genera confusión potencial respecto a la reducibilidad y la fuente de la incertidumbre. Además, los métodos modernos de ML para UQ varían ampliamente en su fundamentación teórica, desde aquellos con garantías de muestra finita (p. ej., predicción conforme) hasta aquellos que dependen de la validación empírica (p. ej., conjuntos profundos). Existe una necesidad crítica de un marco estructurado para clarificar estos conceptos, distinguir entre la incertidumbre de inferencia y la predictiva, y proporcionar herramientas principistas para la validación.

Metodología

El artículo establece una visión estructurada de la UQ a través de tres pilares metodológicos principales:

1. Marco Taxonómico: Los autores proponen una taxonomía unificada basada en tres dimensiones:

   • Fuente: Estadística (fluctuaciones de datos finitos) vs. Sistemática (modelado/hipótesis imperfectos).
   • Naturaleza: Aleatoria (aleatoriedad irreducible en la generación de datos) vs. Epistémica (incertidumbre debida a la falta de conocimiento, reducible mediante más datos o mejores modelos).
   • Objeto: Incertidumbre de inferencia (sobre los parámetros $\theta$) vs. Incertidumbre predictiva (sobre observables futuros $y^*$).
     El artículo aclara que estadístico/sistemático clasifican fuentes, mientras que aleatorio/epistémico clasifican la naturaleza. Descompone explícitamente la incertidumbre epistémica en variabilidad de entrenamiento, variabilidad de datos, sesgo del modelo y cambio de dominio.

2. Perspectivas Estadísticas: El artículo contrasta los marcos Frecuentista y Bayesiano.

   • Frecuentista: Se centra en garantías a largo plazo (p. ej., intervalos de confianza, predicción conforme) donde los datos son aleatorios y los parámetros son fijos.
   • Bayesiano: Se centra en el modelado probabilístico de parámetros (distribuciones posteriores) y distribuciones predictivas mediante marginalización.
   • El texto discute puentes entre estos, como el teorema de Bernstein–von Mises y enfoques Generalizados/Post-Bayesianos (p. ej., Inferencia Variacional Generalizada) que desacoplan los objetivos de inferencia de las suposiciones estrictas de verosimilitud.

3. Validación y Diagnóstico: Los autores detallan herramientas estadísticas específicas para validar la UQ:

   • Pruebas de Cobertura: Evaluar si las regiones predictivas contienen resultados verdaderos con la frecuencia anunciada (marginal vs. condicional).
   • Calibración: Medir la alineación entre las probabilidades predichas y las frecuencias observadas (p. ej., Error de Calibración Esperado, diagramas de fiabilidad).
   • Pruebas de Sesgo: Diagnosticar desplazamientos sistemáticos en estimaciones centrales utilizando distribuciones de tracción y residuos normalizados.
   • Reglas de Puntuación Propias: Evaluar la fidelidad general de las distribuciones predictivas (p. ej., puntuación Brier, log-verosimilitud negativa) para incentivar predicciones probabilísticas honestas.

4. Ilustraciones Empíricas: El artículo implementa y compara cinco métodos de UQ en tareas controladas de regresión y clasificación:

   • Métodos: Procesos Gaussianos (GP), Predicción Conforme (CP), Redes Neuronales Bayesianas (BNN) mediante Inferencia Variacional (VI) y Monte Carlo Hamiltoniano (HMC), Conjuntos Repulsivos (RE) y Aprendizaje Profundo Evidencial (EDL).
   • Tareas: Un problema de regresión 1D (probando interpolación vs. extrapolación) y un problema de clasificación binaria (conjunto de datos dos lunas con un cuadrado central eliminado).

Contribuciones Clave

• Taxonomía Unificada: El artículo proporciona una clasificación clara y multidimensional de la incertidumbre que reconcilia el lenguaje "estadístico/sistemático" de la física con el lenguaje "aleatorio/epistémico" de ML, mapeando explícitamente sus intersecciones (p. ej., Tabla 1).
• Distinción de Objetos: Separa rigurosamente la incertidumbre de inferencia (parámetros) de la incertidumbre predictiva (observables), aclarando que los criterios de validación (como la cobertura) difieren significativamente entre ambos.
• Kit de Herramientas de Validación: Consolida un conjunto de herramientas diagnósticas principistas (cobertura, calibración, sesgo, reglas de puntuación) necesarias para evaluar si las declaraciones de incertidumbre basadas en ML son confiables en flujos de trabajo científicos.
• Comparación Metodológica: A través de ejemplos resueltos, el artículo demuestra cómo diferentes suposiciones de modelado (sesgos inductivos) conducen a estimaciones de incertidumbre divergentes, particularmente en regímenes de extrapolación donde los datos son escasos.

Resultados

Los ejemplos empíricos arrojan varios hallazgos críticos:

• Interpolación vs. Extrapolación: En regiones de interpolación ricas en datos, diferentes métodos de UQ (GP, BNN, Conjuntos, CP) producen bandas de precisión e incertidumbre comparables. Sin embargo, en regiones de extrapolación (fuera del dominio de entrenamiento), los métodos divergen significativamente. Su comportamiento está gobernado por sesgos inductivos (p. ej., elección de kernel en GPs, arquitectura en redes neuronales) en lugar de restricciones de datos.
• Fallo de la Calibración en Extrapolación: Los diagnósticos de validación (curvas de calibración y distribuciones de tracción) revelan que, aunque los métodos pueden estar bien calibrados dentro del dominio de entrenamiento, ninguno mantiene una cobertura nominal o distribuciones de tracción de ancho unitario cuando se ven forzados a extrapolar. Las estimaciones de incertidumbre en estas regiones reflejan suposiciones previas en lugar de restricciones estadísticas.
• Rendimiento en Clasificación: En la tarea de clasificación binaria, los métodos que realizan inferencia posterior (HMC, VI, Conjuntos) generalmente superan a las líneas base deterministas en calibración (menor puntuación Brier y ECE). Los conjuntos repulsivos mostraron una calibración mejorada sobre los conjuntos ingenuos al cubrir mejor la posterior.
• Límites de Aproximación: Si bien HMC sirve como "estándar de oro", la VI de campo medio y otras aproximaciones pueden rendir de manera comparable en escenarios simples y unimodales. Sin embargo, el artículo señala que para posteriors complejos (multimodales, de cola pesada), la elección de la aproximación se vuelve crítica.

Significado y Afirmaciones

El artículo se posiciona como una contribución fundamental a la iniciativa VERaiPHY, que busca establecer estándares de verificación y validación para ML en física. Su importancia radica en:

• Claridad Conceptual: Cierra las brechas terminológicas entre las comunidades de física, estadística y ML, proporcionando un lenguaje común para discutir la incertidumbre.
• Guía Práctica: Enfatiza que la validez de la UQ no está garantizada por la derivación formal de un método, sino que debe validarse empíricamente utilizando diagnósticos específicos.
• Expectativas Realistas: Los autores afirmodestamente que, si bien existen métodos de UQ escalables, el problema abierto más crítico es su robustez bajo suposiciones no ideales (mala especificación del modelo, cambio de distribución). Argumentan que en regímenes de extrapolación, la incertidumbre depende fundamentalmente de las suposiciones de modelado, requiriendo una interpretación cuidadosa en lugar de una confianza ciega en los resultados algorítmicos.
• Integración en la Pipeline: El artículo afirma que la UQ robusta no es un complemento opcional, sino un componente estructural de toda la pipeline de inferencia científica, esencial para tareas posteriores como la desdoblamiento, la estimación de parámetros y los ajustes globales.

El trabajo concluye que el uso científico confiable de ML requiere hacer explícitas y comprobables las suposiciones de modelado, los procedimientos de inferencia y los diagnósticos de validación en cada etapa de la pipeline.