Resumen Técnico: Formulación Maxitiva de Donsker-Varadhan para Inferencia Variacional Posibilística

1. Enunciado del Problema

La Inferencia Variacional (IV) es una piedra angular del aprendizaje bayesiano moderno, que permite la inferencia aproximada en modelos complejos mediante la maximización del Límite Inferior de la Evidencia (ELBO). Sin embargo, la IV estándar se basa en expectativas y divergencias (como la divergencia de Kullback-Leibler) definidas a través de integrales de alta dimensión, las cuales presuponen medidas de probabilidad aditivas. Esta dependencia dificulta el tratamiento analítico y requiere aproximaciones pesadas.

Por el contrario, la Teoría de la Posibilidad ofrece un marco de probabilidad imprecisa para modelar la incertidumbre epistémica sin requerir aditividad. En lugar de sumas, utiliza operadores máx/mín, permitiendo el modelado directo de la incertidumbre bajo información escasa o imprecisa. Aunque la Teoría de la Posibilidad proporciona robustez e interpretabilidad, adaptar la IV a este contexto no es trivial. Los objetivos estándar como el ELBO y las divergencias como la KL no tienen análogos directos en el contexto possibilista porque dependen fundamentalmente de medidas aditivas. Los intentos existentes, como los de Cella y Martin (2025), han utilizado estrategias de Monte Carlo para aproximar modelos inferenciales possibilistas, pero ha faltado un marco variacional general y principista para la IV possibilista.

2. Metodología

El Análogo Maxitivo de Donsker-Varadhan

La contribución teórica central de este trabajo es el establecimiento de un análogo maxitivo de la fórmula variacional clásica de Donsker-Varadhan (DV).

En la IV probabilística estándar, la fórmula DV caracteriza el log-evidencia como el supremo de un objetivo que involucra la divergencia KL. Los autores derivan una caracterización variacional dual para el contexto possibilista. Sea $\pi$ una función de posibilidad a priori y $\ell$ una función de pérdida. La posterior maxitiva $g^*_{\max}$ se define como:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

Los autores demuestran que la log-consistencia (el logaritmo de la verosimilitud marginal maxitiva) puede expresarse mediante dos problemas variacionales duales:

1. Límite Inferior (Maximización): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. Límite Superior (Minimización): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Aquí, $\mathcal{F}(\Theta)$ es el conjunto de funciones de posibilidad. La cantidad optimizada en el lado derecho se denomina Límite de Consistencia (CBO).

• Maximizar el CBO inferior produce funciones de posibilidad que acotan inferiormente la posterior verdadera ($g \preceq g^*_{\max}$).
• Minimizar el CBO superior produce funciones de posibilidad que acotan superiormente la posterior verdadera ($g^*_{\max} \preceq g$).

La posterior possibilista estándar $g^*_{\max}$ es el único elemento que satisface simultáneamente ambos límites, actuando como el representante canónico del conjunto de soluciones. La optimización implica una entropía relativa maxitiva ($D_{\max}$), definida como $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$, que juega un papel análogo a la divergencia KL en la IV estándar.

Tratamiento de la Familia Exponencial y Reglas de Aprendizaje

Para hacer este marco práctico para redes neuronales, los autores desarrollan un tratamiento para funciones de posibilidad de familia exponencial. Definen una clase de candidatos $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$, donde $A^\dagger$ es la transformada de Legendre de la función de log-partición $A$.

Las propiedades clave derivadas incluyen:

• Conjugación: Bajo una priori no informativa, la posterior permanece dentro de la misma familia exponencial, con hiperparámetros actualizados como una media móvil de estadísticas suficientes.
• Actualizaciones tipo Newton: Al aplicar el teorema de Danskin y aproximaciones de Taylor de segundo orden, los autores derivan una regla de aprendizaje para optimizar el CBO. Esto conduce a una actualización de gradiente natural que se asemeja a un paso de Newton:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  donde $H_s$ es una matriz de curvatura con signo dependiente del Hessiano de la pérdida y la precisión del candidato.

Los Optimizadores CBOpt

Basándose en estas derivaciones teóricas, los autores proponen una familia de optimizadores llamada CBOpt.

• uCBOpt: Optimiza el CBO superior (minimizando el límite superior).
• lCBOpt: Optimiza el CBO inferior (maximizando el límite inferior).
• Variantes Adaptativas (uCBOpt-adapt, lCBOpt-adapt): Estas variantes ajustan dinámicamente el parámetro de curvatura $\vartheta$ durante el entrenamiento para satisfacer las condiciones necesarias de convexidad/concavidad del problema de optimización interna.

La implementación práctica utiliza una aproximación diagonal del Hessiano (similar a Adam o Vprop) y medias móviles exponenciales (EMAs) para las estimaciones del gradiente y del gradiente al cuadrado, lo que la hace computacionalmente eficiente y escalable a redes neuronales grandes.

3. Contribuciones Clave

1. Formulación Teórica: El artículo establece el primer análogo maxitivo principista de la formulación de Donsker-Varadhan, proporcionando una base variacional rigurosa para la inferencia possibilista.
2. Caracterización Dual: Introduce el Límite de Consistencia (CBO) con formulaciones duales inferior y superior, demostrando que la posterior possibilista verdadera es la intersección única de estos límites.
3. Marco de Familia Exponencial: Los autores desarrollan un marco de priori conjugada para familias exponenciales possibilistas, revelando paralelismos estructurales con el caso probabilístico mientras acomodan la naturaleza maxitiva de la teoría.
4. Optimizadores CBOpt: Se deriva e implementa una nueva familia de optimizadores, ofreciendo un método práctico para entrenar redes neuronales con inferencia variacional possibilista.
5. Validación Empírica: Los métodos se evalúan en tareas de clasificación de imágenes dentro del dominio y fuera del dominio (OOD), demostrando un rendimiento predictivo competitivo y estimaciones de incertidumbre fiables.

4. Resultados Experimentales

Los autores evaluaron las variantes de CBOpt (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) frente a líneas base que incluyen SGD, AdamW, IVON, Dropout de MC, aproximación de Laplace y SWAG en tres conjuntos de datos: Fashion-MNIST, CIFAR-10 y CIFAR-100.

• Rendimiento In-Domain: En Fashion-MNIST, las variantes de CBOpt lograron el mejor rendimiento general, con lCBOpt-adapt obteniendo la mejor precisión (0.913) y Negativa Log-Verosimilitud (NLL). En CIFAR-100, todas las variantes de CBOpt superaron a las líneas base en la mayoría de las métricas in-domain, sugiriendo escalabilidad a modelos más grandes.
• Detección Out-of-Domain (OOD): Los métodos demostraron capacidades competitivas de detección OOD. uCBOpt mostró un comportamiento consistente en todos los conjuntos de datos, igualando o acercándose al rendimiento de MC Dropout y SWAG en términos de FPR@95 y AUROC.
• Eficiencia: Las variantes de CBOpt mantuvieron una eficiencia computacional comparable a los optimizadores de primer orden como SGD y Adam, requiriendo solo estimaciones de gradiente por parámetro y curvatura escalar, sin necesidad de múltiples pasadas estocásticas hacia adelante en el momento de la inferencia (a diferencia de MC Dropout).
• Combinación con MC Dropout: Un experimento adicional mostró que combinar CBOpt con MC Dropout preservó el fuerte rendimiento in-domain de MC Dropout mientras mejoraba aún más las métricas de detección OOD.

5. Significado y Afirmaciones

El artículo afirma que la inferencia variacional possibilista no es meramente una reformulación de métodos existentes, sino que ofrece una perspectiva distinta sobre la representación de la incertidumbre que conduce a algoritmos de utilidad práctica.

• Cambio Conceptual: Al pasar de la probabilidad aditiva a la posibilidad maxitiva, el marco maneja naturalmente la incertidumbre epistémica y permite priores totalmente no informativos sin el problema de integrales impropias comunes en la teoría de la probabilidad.
• Utilidad Práctica: El desarrollo de CBOpt demuestra que el marco teórico puede instanciarse en optimizadores escalables que compiten con métodos de aprendizaje conscientes de la incertidumbre de última generación (como IVON y MC Dropout), evitando al mismo tiempo la sobrecarga computacional del muestreo en el momento de la prueba.
• Fundamento para Trabajo Futuro: Los autores declaran que su trabajo proporciona una base para extender el razonamiento variacional a la teoría de la posibilidad. Señalan que los componentes de este marco (específicamente la pseudo-divergencia maxitiva y la posterior bajo priores no informativos) ya han sido aprovechados por Ni et al. (2026) para derivar predictores de segundo orden, validando la utilidad de la teoría subyacente.

Los autores permanecen modestos respecto a las limitaciones, reconociendo que sus actualizaciones tipo Newton dependen de aproximaciones de segundo orden y condiciones específicas de curvatura, y que su validación empírica actual se restringe a candidatos gaussianos isotrópicos con aproximaciones de Fisher diagonales. Sin embargo, afirman que el marco cierra exitosamente la brecha entre la inferencia possibilista teórica y las aplicaciones de aprendizaje profundo escalables.