Optimal information deletion and Bayes' theorem

Resumen Técnico: Eliminación Óptima de Información y el Teorema de Bayes

Enunciado del Problema
Este trabajo aborda el problema de la "eliminación de información" o "olvido" dentro de un marco bayesiano. Mientras que Arnold Zellner (1988) estableció el teorema de Bayes como la regla óptima para procesar información (actualizar una previa a una posteriora dada nueva información), este artículo investiga el problema inverso: cómo actualizar óptimamente una distribución posteriora de vuelta a una distribución "antedata" cuando se elimina un subconjunto de datos. Este problema está motivado por necesidades prácticas en la validación cruzada (donde se busca una posteriora de "dejar uno fuera" sin volver a ajustar) y en la eliminación de datos en ciencias de la computación (donde los datos del usuario deben ser removidos de un modelo desplegado sin volver a entrenar desde cero). La pregunta central es si existe una regla que actualice la posteriora a la distribución correspondiente a los datos restantes sin destruir ni crear información inexistente.

Metodología
Los autores adoptan un enfoque de cálculo variacional que refleja el trabajo seminal de Zellner (1988) sobre el procesamiento óptimo de información.

1. Formulación: El proceso se enmarca como una Regla de Eliminación de Información (IDR). Las entradas son la distribución posteriora dada la información completa $\pi(\theta|y)$, la verosimilitud marginal de la información completa $\pi(y|I)$, y la contribución de verosimilitud de los datos a eliminar $\pi(y_g|\theta)$. Las salidas son la distribución para los datos restantes $\pi(y_{-g}|I)$ y la distribución "antedata" objetivo $q(\theta|y_{-g})$.
2. Función Objetivo: Los autores definen un funcional de pérdida de información $\Delta[q(\theta|y_{-g})]$ como la diferencia entre la información de salida y la información de entrada, medida utilizando la entropía de Shannon. Crucialmente, el término correspondiente a los datos eliminados $\pi(y_g|\theta)$ se resta (indicado por un signo negativo en la log-verosimilitud) para reflejar la eliminación de información.
   $$\Delta[q] = \mathbb{E}_q \left[ \log \frac{q(\theta|y_{-g}) \pi(y_{-g}|I) \pi(y_g|\theta)}{\pi(\theta|y) \pi(y|I)} \right]$$
3. Optimización: La IDR óptima se deriva minimizando este funcional sobre el espacio de todas las distribuciones de probabilidad posibles, sujeto a la restricción de que la solución debe ser una densidad de probabilidad válida. Esto se logra utilizando multiplicadores de Lagrange y cálculo variacional.

Resultados Clave

1. Regla Óptima de Eliminación de Información: La minimización del funcional de pérdida de información produce una solución única (Teorema 1):
   $$q^*(\theta|y_{-g}) = \frac{\pi(\theta|y) / \pi(y_g|\theta)}{\int_\Theta \pi(\theta|y) / \pi(y_g|\theta) d\theta}$$
   Esta regla representa la operación exacta de dividir la posteriora completa por la verosimilitud de los datos eliminados y renormalizar.
2. Equivalencia con el Teorema de Bayes: Los autores demuestran (Teorema 2) que esta regla óptima de eliminación $q^*(\theta|y_{-g})$ es matemáticamente idéntica a la posteriora "dejar-datos-fuera" $\pi(\theta|y_{-g})$ obtenida aplicando el teorema de Bayes a la previa y a los datos restantes $y_{-g}$.
3. Formulación Variacional para el Olvido: Al restringir el espacio de optimización a una familia de distribuciones $\mathcal{Q}$, los autores derivan una formulación variacional para el olvido aproximado (Ecuación 8). Esta formulación minimiza la suma de la log-verosimilitud esperada de los datos eliminados y la divergencia de Kullback-Leibler (KL) entre la aproximación y la posteriora completa. Esto proporciona una justificación formal para los métodos existentes denominados "olvido bayesiano variacional" o "corrección posteriora".

Significado y Afirmaciones
El artículo afirma establecer una dualidad entre el aprendizaje y el olvido. Así como Zellner demostró que el teorema de Bayes es la regla óptima para añadir información (procesamiento), este trabajo demuestra que también es la regla óptima para eliminar información. Los autores declaran que "en el aprendizaje o el olvido bayesiano, la información no se crea, la información no se pierde, la información simplemente se transforma".

El significado de este resultado es doble:

• Teórico: Confirma que la posteriora "dejar-datos-fuera" no es meramente un objetivo heurístico, sino la solución única a un problema de optimización de dimensión infinita que preserva la integridad de la información.
• Práctico: Proporciona un marco variacional riguroso para aproximar posteriores de "dejar-datos-fuera". Esto permite aproximaciones eficientes en escenarios donde el reajuste exacto es computacionalmente prohibitivo, ofreciendo una base formal para algoritmos que buscan "olvidar" puntos de datos específicos de un modelo.

Los autores señalan que, aunque utilizan la entropía de Shannon, el marco podría potencialmente extenderse a configuraciones de inferencia variacional generalizada utilizando diferentes funciones de pérdida y divergencias, aunque esto permanece como una conjetura para futura exploración.