Resumen Técnico: Simetrías en el Aprendizaje PAC-Bayesiano

Planteamiento del Problema

Las simetrías en el aprendizaje automático, como la invarianza rotacional o traslacional, son empíricamente conocidas por mejorar el rendimiento de los modelos. Sin embargo, las garantías teóricas existentes que explican estas mejoras están limitadas por supuestos restrictivos. Los marcos teóricos previos, particularmente dentro del entorno PAC-bayesiano, suelen depender de dos restricciones clave:

1. Compacidad: El grupo de simetría debe ser compacto (por ejemplo, grupos finitos o rotaciones), lo que excluye grupos no compactos como las traslaciones o las escalas, que son centrales en arquitecturas como las Redes Neuronales Convolucionales (CNN).
2. Invariancia de los Datos: Se asume que la distribución de los datos es invariante bajo la acción del grupo. En escenarios del mundo real, esto rara vez es cierto (por ejemplo, es poco probable que una taza de agua boca abajo ocurra en los datos naturales, violando la invarianza de traslación).

Este trabajo aborda la brecha en la comprensión teórica extendiendo las garantías de generalización a entornos que involucran simetrías no compactas y distribuciones de datos no invariantes.

Metodología

Los autores utilizan el marco PAC-bayesiano, que permite priors y posteriors dependientes de los datos sobre clases de hipótesis. La metodología procede en tres etapas:

1. Formulación del Problema y Supuestos

El artículo formaliza el proceso de generación de datos donde las salidas $Y$ se generan a partir de entradas $X$ mediante una función equipariante $f^*$ perturbada por ruido independiente $\Xi$ (Supuesto 2.1).

• Acción de Grupo: Un grupo topológico $G$ actúa sobre el espacio de entrada $X$ y el espacio de salida $Y$.
• Equivariancia: Una hipótesis $f$ es equipariante si $f(g \cdot x) = g \cdot f(x)$.
• Función de Pérdida: Se asume que la pérdida $\ell$ es convexa en su primer argumento y $G$-invariante (Supuesto 4.1), lo que significa que $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$.

Crucialmente, los autores relajan el requisito de que $G$ sea compacto y de que la distribución de los datos sea invariante. Asumen que la acción del grupo en el espacio de entrada es libre (Supuesto 3.1) para facilitar la construcción de un operador de promediado.

2. El Operador de Promediado y la Descomposición KL

Para manejar grupos no compactos y distribuciones no invariantes, los autores introducen un operador de promediado generalizado $Q$. A diferencia de trabajos anteriores que dependen de la medida de Haar (que requiere compacidad), este operador integra sobre la órbita del grupo utilizando un núcleo de probabilidad derivado del Teorema de Desintegración (Teorema 1.1).

• Definición: $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$, donde $\kappa$ es la distribución condicional del grupo dado el representante de la órbita.
• Propiedad: $Q$ mapea funciones mensurables arbitrarias a funciones equipariantes y actúa como una proyección ($Q^2 = Q$).

Utilizando este operador, los autores derivan una descomposición de la divergencia KL (Lema 3.4). Para dos medidas cualesquiera $\mu$ y $\nu$ en la clase de hipótesis:
$$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Resto}$$
Esto muestra que la divergencia KL entre las medidas originales es estrictamente mayor o igual que la divergencia KL entre sus proyecciones equipariantes ($Q_*\mu$ y $Q_*\nu$). El término de resto captura la información "no equipariante" descartada por la proyección.

3. Límites de Generalización

Los autores aplican esta descomposición al límite de McAllester de PAC-Bayes.

• Reducción de Complejidad: Al restringir el prior y el posterior a funciones equipariantes (mediante el pushforward $Q_*$), se reduce el término de complejidad (que involucra $D_{KL}$) (Corolario 3.6).
• Reducción de Riesgo: Los autores demuestran que la simetrización de la hipótesis no aumenta el riesgo real y que los riesgos pueden computarse enteramente sobre los representantes de la órbita sin pérdida de información (Teorema 4.3).
• Resultado Principal: El límite derivado (Ecuación 14) se sostiene para grupos no compactos y datos no invariantes, proporcionando una garantía de generalización más ajustada para modelos equipariantes en comparación con los límites estándar aplicados a la clase de hipótesis completa.

Contribuciones Clave

1. Extensión a Simetrías No Compactas: El artículo proporciona el primer análisis de generalización PAC-bayesiano que acomoda grupos de simetría no compactos (por ejemplo, traslaciones, escalas, transformaciones de Lorentz), cubriendo arquitecturas invariantes de traslación dentro de un marco unificado.
2. Relajación de la Invariancia de los Datos: Las garantías teóricas no requieren que la distribución de los datos sea invariante bajo la acción del grupo, abordando una limitación importante del trabajo previo donde los datos del mundo real a menudo violan este supuesto.
3. Operador de Promediado Generalizado: La introducción de un operador de promediado basado en el Teorema de Desintegración permite la proyección de hipótesis sobre subespacios equipariantes sin depender de la existencia de una medida uniforme (de Haar), la cual no está disponible para grupos no compactos.
4. Límites Más Ajustados: El trabajo demuestra que forzar la equipariancia conduce a una divergencia KL estrictamente menor en el límite de PAC-Bayes, explicando teóricamente la mejora en el rendimiento de generalización de los modelos simétricos.

Resultados Experimentales

Los autores validan su teoría mediante experimentos numéricos en varios conjuntos de datos (Ejemplo de juguete, MNIST, CIFAR-10/100, ModelNet, Top Tagging) con tanto grupos compactos (SO(2), SO(3)) como no compactos (SE(2), $\mathbb{R}^+$, $SO^+(1,3)$).

• Configuración: Comparan redes neuronales base (no equipariantes) con contrapartes equipariantes (usando librerías como e2cnn y e3nn). Los experimentos utilizan explícitamente un muestreo no uniforme de transformaciones para violar los supuestos de invariancia de los datos.
• Hallazgos:
  • Reducción de KL: Los posteriors simétricos lograron consistentemente una divergencia KL significativamente menor en comparación con las bases (una reducción del 14.5% al 89.2% a través de los datasets).
  • Ajuste del Límite: Los límites de generalización PAC-Bayes fueron sustancialmente más ajustados para los modelos equipariantes (reducciones del 10% al 34%).
  • Rendimiento: Los modelos equipariantes igualaron o mejoraron el riesgo de prueba de las bases (reducción de riesgo del 5.3% al 41.5% en casos específicos), confirmando que el ajuste teórico se traduce en ganancias empíricas incluso cuando las distribuciones de datos no son invariantes.

Significado y Reivindicaciones

El artículo afirma proporcionar evidencia teórica de que los modelos simétricos son preferibles más allá del estrecho entorno de los grupos compactos y las distribaciones invariantes. Al eliminar estos supuestos restrictivos, el trabajo amplía los fundamentos teóricos de la simetría en el aprendizaje automático.

Los autores sostienen que sus hallazgos ofrecen una explicación fundamentada para el éxito empírico de las arquitecturas conscientes de la simetría (como las CNN) en escenarios prácticos donde los datos no son perfectamente invariantes ni están gobernados por grupos compactos. Enfatizan que su marco es aplicable a clases de hipótesis generales y sigue las formulaciones estándar de PAC-Bayes, lo que hace que los resultados sean aplicables a una amplia gama de problemas de aprendizaje que involucran simetrías no compactas. El trabajo no pretende resolver todos los problemas de generalización, sino que apunta específicamente al vacío teórico respecto al papel de las simetrías en distribuciones de datos no ideales del mundo real.