From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Resumen Técnico: De la Regla de Bayes a las Reglas de Bayes

Planteamiento del Problema
La inferencia bayesiana estándar se basa en la teoría de la probabilidad, donde la incertidumbre es aditiva y se actualiza mediante la regla de Bayes. Sin embargo, tanto la estadística clásica como el aprendizaje automático moderno se desvían frecuentemente de este marco, utilizando actualizaciones basadas en la pérdida, posteriors atemperados o esquemas de fusión de evidencia donde la incertidumbre no es naturalmente aditiva. Una pregunta fundamental permanece: ¿qué hace que la regla de Bayes sea la regla de procesamiento de información "correcta", y cómo depende esto de la representación matemática de la información? Específicamente, cuando la incertidumbre sobre un parámetro fijo se representa no por una distribución de probabilidad, sino por una función de posibilidad (el análogo maxitivo de una distribución de probabilidad), ¿cuál es la regla de actualización con principios fundamentados?

Metodología
El artículo aborda este problema tratando la inferencia como un procesamiento de información. Deriva la regla de actualización canónica para la inferencia possibilística desde dos puntos de vista fundacionales complementarios, emulando las derivaciones probabilísticas clásicas pero adaptándolas a la estructura de la teoría de la posibilidad.

1. Vista 1: Procesamiento de Información Óptimo (Conservación de la Información)

   • Marco de trabajo: Los autores reformulan el Principio de Conservación de la Información (ICP), tradicionalmente asociado con Zellner [1988] y las entropías cruzadas escalares, en un entorno possibilístico.
   • Mecanismo clave: En lugar de comprimir la información en un escalar (como la entropía), el artículo utiliza el orden parcial puntual inherente a las funciones de posibilidad ($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$).
   • Derivación: Al introducir un puntaje de información puntual $S$ que satisfaga la consistencia de orden, la normalización y la aditividad bajo la conjunción independiente (t-norma de producto), los autores derivan un mapa de información logarítmico canónico: $I[f](\theta) = -\log f(\theta)$.
   • Conservación: Se define una Regla de Procesamiento de Información (IPR) como óptima si no induce pérdida de información ni creación de información. Esto se formaliza mediante un funcional de desequilibrio de información $\Delta(\text{IPR})$, que es una función sobre el espacio de parámetros en lugar de un escalar. La condición $\Delta(\text{IPR}) = 0$ (igualdad puntual) identifica de forma única la regla de actualización.

2. Vista 2: Enfoque Axiomático (Coherencia)

   • Marco de trabajo: Los autores proponen un análogo possibilístico de los axiomas de coherencia para la inferencia bayesiana generalizada establecida por Bissiri et al. [2016].
   • Axiomas: La regla de actualización $\psi[\ell, \pi]$ (que mapea un prior $\pi$ y una pérdida $\ell$ a un posterior) debe satisfacer:
     • Coherencia secuencial (A2.1).
     • Compatibilidad de restricción (A2.2).
     • Monotonía en la pérdida (A2.3).
     • Invarianza ante pérdidas vacuas y desplazamientos aditivos (A2.4, A2.5).
   • Derivación: A diferencia del caso probabilístico donde la normalización es una integral, la derivación possibilística requiere establecer que la restricción maxitiva preserva las probabilidades de par y que las actualizaciones binarias son coherentes en tríos. Estos axiomas fuerzan al posterior a tomar una forma funcional específica.

Contribuciones Clave y Resultados

1. La Regla de Actualización Canónica:
   Ambas derivaciones convergen en la misma regla de actualización única, denominada regla de Bayes possibilística:
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   donde $\pi(\theta)$ es la función de posibilidad a priori y $L(\theta | y)$ es la verosimilitud (o evidencia).

   • Si la entrada es una distribución de muestreo $p_\theta(y)$, $L$ es la verosimilitud.
   • Si la entrada es una pérdida genérica $\ell(\theta, y)$, $L(\theta | y) \propto \exp(-w \ell(\theta, y))$, donde $w \geq 0$ es un parámetro de tasa de aprendizaje.

2. Rol de la Tasa de Aprendizaje ($w$):
   El artículo aclara que el parámetro $w$ (que controla la fuerza epistémica) es exógeno a ambas derivaciones.

   • En la Vista 1, $w$ es una elección de codificación al transformar una pérdida en una función de posibilidad de evidencia.
   • En la Vista 2, $w$ es una constante no determinada por los axiomas de coherencia.
   • Resultado: La fuerza $w$ no es identificable a partir de la evidencia normalizada por sí sola. Maximizar la evidencia possibilística simplemente conduce a que las fuerzas admisibles se dirijan a sus valores más pequeños. Por lo tanto, $w$ representa una elección de modelado respecto a la fuerza epistémica, no una cantidad identificable de los datos.

3. Pérdida y Creación de Información:
   Al utilizar el orden parcial puntual, el artículo distingue entre la pérdida y la creación de información como fenómenos genuinos y observables, a diferencia del entorno probabilístico donde la información es un resumen escalar.

   • Una IPR no crea información si el posterior es dominado en todas partes por la actualización de Bayes ($g \preceq \pi(\cdot|y)$).
   • Una IPR no pierde información si el posterior domina a la actualización de Bayes ($g \succeq \pi(\cdot|y)$).
   • La regla de Bayes es la IPR única que evita simultáneamente tanto la pérdida como la creación.

4. Conexión con Trabajos Existentes:

   • La regla derivada se alinea con el producto de prior-verosimilitud normalizado por el supremo propuesto en la literatura reciente de probabilidad imprecisa (por ejemplo, Martin [2026]).
   • El funcional de desequilibrio de información corresponde al integrando en la dualidad maxitiva de Donsker–Varadhan (Singh et al. [2025]), mostrando que la regla de Bayes es el único optimizador común de los límites de consistencia duales.

Significado y Reivindicaciones
El artículo afirma establecer que la regla de Bayes no es una única fórmula, sino un miembro de una familia de reglas indexadas por el cálculo subyacente de la información (aditivo vs. maxitivo) y la naturaleza del vínculo entre los datos y los parámetros.

• Justificación Fundacional: El artículo argumenta que el producto normalizado por el supremo no es meramente un heurístico o una elección conveniente para combinar una verosimilitud con información previa parcial; es impuesto por principios fundamentales de conservación de la información y coherencia en un entorno possibilístico.
• Clarificación de la Bayes Generalizada: Resuelve la ambigüedad respecto a la tasa de aprendizaje en las actualizaciones bayesianas generalizadas al demostrar que, en el marco possibilístico, este parámetro es intrínsecamente no identificable de los datos, sirviendo en su lugar como una calibración de la fuerza epistémica.
• Alcance: El trabajo es fundacional y axiomático. No propone nuevos algoritmos empíricos ni comparaciones experimentales extensas, sino que proporciona el sustento teórico de por qué la actualización normalizada por el supremo es la elección canónica para la inferencia possibilística. Sugiere que este marco se extiende naturalmente a espacios de parámetros continuos sin las complicaciones de la teoría de la medida que suelen requerirse en las extensiones probabilísticas, ya que las funciones de posibilidad se definen de forma puntual.

En resumen, el artículo demuestra que cuando la incertidumbre se representa mediante funciones de posibilidad, la "forma correcta" de procesar la información conduce inevitablemente a una regla de actualización normalizada por el supremo, donde la tasa de aprendizaje actúa como un parámetro de calibración externo en lugar de un estadístico aprendible.