📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

Este artículo presenta DiMS, un muestreador basado en mecánica riemanniana disipativa que utiliza energía cinética, atracción gravitatoria y fricción para muestrear exactamente soluciones invariables bajo reparametrización en los conjuntos de nivel de mínimos de pérdida, mejorando así la cuantificación de la incertidumbre en la inferencia bayesiana en comparación con los métodos existentes.

Autores originales: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Publicado 2026-05-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Encontrar el "Suelo del Valle"

Imagina que estás entrenando una red neuronal (un tipo de inteligencia artificial) para resolver un problema. Puedes pensar en el proceso de entrenamiento como intentar encontrar el punto más bajo en un vasto paisaje montañoso. La altura del terreno representa el "error" o "pérdida" del modelo. Cuanto más bajas, mejor funciona el modelo.

En el pasado, usualmente deteníamos el entrenamiento tan pronto como encontrábamos un punto bajo (una sola solución). Sin embargo, los autores de este artículo señalan un detalle crucial: en los modelos de IA modernos y complejos, el "fondo" del valle no es solo un punto único. Es un suelo masivo, plano y conectado. Hay millones de formas diferentes de organizar los ajustes internos del modelo (parámetros) que todas resultan en exactamente la misma puntuación perfecta en los datos de entrenamiento.

El problema es que la mayoría de los métodos o bien:

Cazan al azar alrededor de las zonas bajas pero podrían perderse el suelo perfecto.
Quedan atrapados en un punto diminuto y no pueden explorar el resto del suelo.

Este artículo introduce un nuevo método llamado DIMS (Muestreador de Mínimos Disipativos) para explorar de manera eficiente todo este "suelo perfecto".

La Analogía: La Bola de Fricción

Para entender cómo funciona DIMS, imagina una canica rodando sobre este paisaje.

1. La Vieja Forma (Geodésicas):
Imagina una canica rodando sobre una superficie perfectamente sin fricción. Si le das un empujón, rodará para siempre, rebotando de un lado a otro a través del valle. Nunca se detiene. Explora el área, pero nunca se asienta para darte una "respuesta" específica que observar. Es demasiado caótica para ser útil al muestrear soluciones específicas.

2. La Nueva Forma (DIMS):
Los autores proponen una forma más inteligente de rodar la canica. Introducen dos nuevas fuerzas:

Gravedad: Esto tira de la canica hacia el punto más bajo posible (el mínimo de pérdida).
Fricción (El Ingrediente Secreto): Esta es la clave. A medida que la canica rueda, la fricción drena lentamente su energía.

Aquí está la magia: La fricción no es constante. Es dependiente de la velocidad.

Si la canica rueda rápido (alta energía), la fricción es fuerte, frenándola rápidamente.
Si la canica rueda lentamente, la fricción es suave.

El Resultado:
Comienzas la canica en un buen punto conocido. Le das un "empujón" aleatorio (velocidad inicial). Rodea, explorando el paisaje. Debido a la fricción, finalmente pierde toda su energía y se detiene por completo. Crucialmente, debido a la física del sistema, siempre se detiene exactamente en el suelo plano del mínimo de pérdida.

No se detiene en medio de una pendiente; se detiene exactamente donde el modelo es perfecto. Al cambiar la dirección del empujón inicial, puedes hacer que la canica se detenga en diferentes puntos de ese suelo perfecto, dándote un conjunto diverso de soluciones perfectas.

¿Por Qué Importa Esto? (Incertidumbre)

¿Por qué queremos muchas soluciones diferentes que todas tengan la misma puntuación perfecta?

Imagina que estás enseñando a un estudiante (la IA) a reconocer gatos usando 10 imágenes.

Solución A aprende: "Los gatos tienen orejas puntiagudas".
Solución B aprende: "Los gatos tienen bigotes".
Solución C aprende: "Los gatos tienen colas".

Los tres estudiantes obtienen un 100% en el examen con esas 10 imágenes. Pero si les muestras una imagen de un perro, podrían discrepar.

El estudiante A podría pensar que el perro es un gato porque tiene orejas puntiagudas.
El estudiante B podría decir correctamente que no es un gato porque le faltan bigotes.

Si solo eliges un estudiante (la vieja forma), no sabes si tu IA es segura o simplemente tiene suerte. Pero si usas DIMS para generar muchos "estudiantes" diferentes y perfectos, puedes ver dónde están de acuerdo y dónde discrepan.

Si todos están de acuerdo en una nueva imagen, la IA es segura.
Si discrepan enormemente, la IA es incierta.

Esto es vital para la seguridad. Si una IA está conduciendo un coche, quieres que sepa cuándo no está segura para que pueda frenar, en lugar de conducir con seguridad hacia un precipicio.

La "Física" Detrás de la Magia

El artículo utiliza algunos términos matemáticos sofisticados, pero se mapean directamente a nuestra analogía de la canica:

Mecánica Riemanniana: Esto es simplemente las matemáticas que describen cómo se mueve la canica sobre una superficie curva (el paisaje de los errores de la IA) en lugar de un suelo plano.
Disipativo: Esto significa "perder energía". El término de fricción asegura que la canica no rebote para siempre, sino que se asiente.
Invariante de Reparametrización: Esta es una forma sofisticada de decir que, aunque la canica se detiene en diferentes coordenadas (diferentes ajustes internos), la función (el comportamiento real de la IA) es igualmente buena.

Lo Que Realmente Afirma el Artículo

Los autores probaron este método de "bola de fricción" en varios conjuntos de datos (como clasificar números escritos a mano o identificar tipos de vidrio). Descubrieron que:

Funciona: La canica siempre se detiene en el suelo perfecto, nunca quedándose atrapada a mitad de una pendiente.
Es robusto: No necesitas ajustar demasiado los ajustes de fricción; funciona bien con una configuración estándar.
Es mejor adivinando lo desconocido: Cuando la IA encuentra datos que no ha visto antes (Fuera de Distribución), el método DIMS es mucho mejor diciendo "No lo sé" en comparación con otros métodos. Proporciona una medida de incertidumbre más honesta.

Resumen

Piensa en entrenar una IA como encontrar el fondo de un valle. La mayoría de los métodos encuentran un punto y se detienen. Este artículo nos da una "bola de fricción" que rueda por todo el fondo del valle, explorando cada posible solución perfecta antes de detenerse suavemente. Esto nos permite ver el panorama completo de lo que la IA sabe y, más importante aún, de lo que no sabe.

Resumen Técnico: Don't Stop Me Yet: Minimización de Muestras de Mínimos de Pérdida mediante Mecánica Riemanniana Disipativa

Enunciado del Problema
Las redes neuronales modernas suelen estar sobredimensionadas, lo que resulta en paisajes de pérdida donde los mínimos globales no son puntos aislados, sino que forman subvariedades continuas y conectadas de soluciones invariantes a la reparametrización. Aunque estas soluciones desempeñan igual de bien en los datos de entrenamiento, pueden inducir comportamientos funcionales diversos en entradas no vistas. Los enfoques existentes para la cuantificación de la incertidumbre enfrentan una dicotomía: los métodos que muestrean regiones de baja pérdida a menudo no logran imponer una interpolación exacta de los datos de entrenamiento, mientras que los métodos restringidos al conjunto invariante a la reparametrización suelen ser inherentemente locales, limitando su capacidad para explorar valles de mínimos distintos. El artículo aborda el desafío de navegar por el espacio de las "buenas soluciones" para muestrear modelos diversos que minimicen estrictamente la pérdida de entrenamiento mientras mantienen una alta incertidumbre predictiva en datos fuera de distribución (OOD).

Metodología: Muestreador de Mínimos Disipativos (DIMS)
Los autores proponen el Muestreador de Mínimos Disipativos (DIMS), un sistema dinámico impulsado por la geometría diseñado para muestrear exactamente desde los conjuntos de nivel mínimos de la función de pérdida. El enfoque se fundamenta en la mecánica riemanniana y en los sistemas disipativos clásicos.

Formulación Riemanniana: La superficie de pérdida se trata como una variedad riemanniana $(M, g)$ incrustada en $\mathbb{R}^{K+1}$ . El tensor métrico $G(\theta)$ se define como una métrica de arrastre, $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ , que incorpora la curvatura del paisaje de pérdida en la geometría del espacio de parámetros.
Sistema Dinámico: El proceso de muestreo modela una partícula moviéndose sobre esta variedad. La dinámica está gobernada por una ecuación diferencial ordinaria (EDO) de segundo orden derivada de las ecuaciones de Euler-Lagrange. El sistema incluye:
- Energía Cinética: $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ .
- Energía Potencial: $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ , actuando como una atracción gravitacional hacia los mínimos.
- Disipación: Se introduce un término de fricción $-\eta(t)\dot{\alpha}$ para romper la conservación de la energía.
Fricción Dependiente de la Velocidad: Una innovación clave es la definición de la función de disipación $\eta(t)$ , que escala con la velocidad de la partícula (la raíz cuadrada de la energía cinética) y el ángulo entre la velocidad y el gradiente. Esto asegura que la energía se disipe más rápidamente al moverse contra el gradiente, mientras permite que la partícula atraviese el conjunto de nivel mínimo (donde el gradiente es ortogonal a la velocidad) con fricción mínima.
Procedimiento de Muestreo: El muestreador inicializa una partícula en un mínimo entrenado $\theta^*$ con una velocidad aleatoria muestreada desde una distribución (típicamente una aproximación de Laplace que respeta la geometría local). La EDO se integra numéricamente hasta que la partícula converge a un nuevo punto en la subvariedad mínima $S^*(D)$ .

Contribuciones Clave

Muestreador Determinista para Subvariedades Mínimas: DIMS proporciona un método para visitar continuamente puntos distintos en las subvariedades mínimas de la pérdida de entrenamiento. Se formula como un sistema dinámico impulsado por la geometría con hiperparámetros interpretables físicamente (coeficiente de fricción $\eta_0$ ) que controlan la exploración.
Garantías Teóricas: El artículo establece que la dinámica propuesta explora la superficie de pérdida antes de converger al manifold mínimo en tiempo finito. Específicamente, el Teorema 1 garantiza la convergencia al conjunto de equilibrios (mínimos locales) bajo la propiedad de silla estricta, mientras que los Teoremas 2 y 3 proporcionan cotas sobre el tiempo de convergencia y la longitud de arco recorrida, asegurando una exploración no trivial.
Validación Empírica: Los autores demuestran que las aproximaciones posteriores concentradas en el manifold mínimo generalizan bien. DIMS mejora el rendimiento predictivo, la calibración y, específicamente, la cuantificación de la incertidumbre OOD en comparación con las aproximaciones basadas en Laplace existentes (LA Estándar, LA Linealizada y LA Riemanniana).

Resultados Experimentales
El método fue evaluado en tareas de regresión (conjunto de datos Snelson) y clasificación (Banana, conjuntos de datos UCI, MNIST, Fashion MNIST).

Regresión: En el conjunto de datos Snelson, DIMS convergió exitosamente a soluciones que ajustan perfectamente los datos de entrenamiento mientras exhiben alta incertidumbre OOD, whereas la Aproximación de Laplace Riemanniana (RLA) no logró garantizar la interpolación cuando se inicializó desde posiciones subóptimas.
Clasificación: En los conjuntos de datos UCI, DIMS logró métricas de Verosimilitud Negativa Logarítmica (NLL) y calibración competitivas o superiores en comparación con RLA y otras líneas base. Notablemente, DIMS fue robusto al hiperparámetro de fricción $\eta_0$ , a menudo desempeñándose bien con un valor predeterminado fijo a través de diversos conjuntos de datos.
Rendimiento OOD: En MNIST y Fashion MNIST, DIMS superó consistentemente a otros métodos en puntuaciones AUROC para la detección OOD, indicando una capacidad superior para distinguir muestras dentro de la distribución de muestras fuera de la distribución.

Significado y Afirmaciones
El artículo afirma que DIMS ofrece un enfoque principiado para la cuantificación de la incertidumbre en el aprendizaje profundo al apuntar explícitamente a la geometría de las subvariedades de pérdida mínima. A diferencia de las posteriores aproximadas tradicionales que pueden dispersarse sobre regiones de baja pérdida sin imponer una interpolación exacta de los datos, DIMS garantiza la convergencia al manifold mínimo. Los autores postulan que este enfoque permite la generación de muestras diversas en el espacio funcional que coinciden en los datos de entrenamiento pero varían en otros lugares, una propiedad crucial para la inferencia bayesiana. El trabajo sugiere que las dinámicas inspiradas en la física y conscientes de la geometría pueden navegar eficazmente los complejos paisajes de pérdida de las redes sobredimensionadas, ofreciendo una alternativa robusta a las técnicas existentes de muestreo y aproximación. Los autores reconocen que el método es computacionalmente exigente debido a la necesidad de resolver EDOs en espacios de alta dimensión, pero argumentan que la compensación produce estimaciones de incertidumbre superiores.