Resumen Técnico: Equivarianza Aproximada mediante Regularización Basada en Proyección

Enunciado del Problema

La equivarianza actúa como un sesgo inductivo poderoso en el aprendizaje automático, mejorando la generalización y la consistencia física en dominios como la química, la física y la robótica. Sin embargo, la equivarianza estricta impone restricciones significativas y costos computacionales. Las tendencias recientes, ejemplificadas por modelos como AlphaFold-3, han girado hacia arquitecturas no equivariantes para aprovechar parametrizaciones de características más flexibles y espacios de búsqueda más amplios, lo que en ocasiones puede producir mínimos mejores. Además, los datos del mundo real a menudo exhiben simetrías imperfectas o rotas que los modelos equivariantes estrictos no pueden capturar.

Los enfoques existentes para la "equivarianza aproximada" generalmente caen en dos categorías:

1. Métodos basados en muestras: Estos penalizan las desviaciones de la equivarianza utilizando transformaciones de grupo muestreadas aleatoriamente (por ejemplo, aumento de datos o penalizaciones punto a punto). Aunque son flexibles, incurrir en una alta complejidad de muestreo y sobrecarga computacional debido a la necesidad de pasadas forward adicionales por muestra.
2. Parametrización explícita: Estos modelos estructuran explícitamente la red como una suma de componentes equivariantes y no equivariantes (por ejemplo, vías residuales). Esto a menudo conduce a una doble parametrización de la parte equivariante y a una mayor complejidad del modelo.

Existe la necesidad de un método que encuentre un punto medio: retener los beneficios de la equivarianza sin incurrir en sus restricciones completas ni en los costos de tiempo de ejecución de los regularizadores basados en muestras, mientras se manejan eficazmente las simetrías imperfectas.

Metodología

Los autores proponen la Regularización Basada en Proyección, un marco que regulariza las redes neuronales hacia la equivarianza a nivel de operador en lugar de nivel de muestra. La idea central se basa en la descomposición ortogonal de las capas lineales de una red en componentes equivariantes y no equivariantes.

Marco Teórico

Sea $H$ una clase de hipótesis de aplicaciones lineales entre módulos-$G$. Los autores utilizan el operador de suavizado G (operador de Reynolds), denotado como $P(T)$, que proyecta una aplicación lineal $T$ sobre el subespacio de aplicaciones $G$-equivariantes:
$$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$$
donde $\lambda$ es la medida de Haar del grupo compacto $G$.

Según el Lema 2.1, cualquier aplicación $T$ puede descomponerse de manera única en un componente equivariante $P(T)$ y un componente no equivariante (antisimétrico) $T - P(T)$. Los autores definen el defecto de equivarianza $E(T)$ como la desviación máxima de la equivarianza. Demuestran (Lema 3.2) que la distancia al subespacio equivariante, $\|T - P(T)\|_\mu$, es cuantitativamente equivalente al defecto de equivarianza $E(T)$, acotada por constantes.

El Objetivo de Regularización

El objetivo de aprendizaje para una pérdida específica de la tarea $L_{task}$ se modifica a:
$$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$$
Aquí, $\lambda_\perp$ penaliza el componente no equivariante, alentando al modelo a alinearse con el subespacio equivariante. $\lambda_G$ controla la regularización de la parte equivariante.

Cálculo Eficiente mediante el Espacio de Fourier

Un desafío clave es calcular $P(T)$ de manera eficiente, especialmente para grupos continuos (por ejemplo, $SO(n)$) donde la integral en el dominio espacial es intratable. Los autores aprovechan el teorema de Peter-Weyl para realizar esta proyección en el dominio espectral (de Fourier):

1. Descomposición: Los operadores lineales se descomponen en bloques de frecuencia correspondientes a representaciones irreducibles (irreps) del grupo.
2. Bloque-diagonalización: Por el Lema de Schur, las aplicaciones equivariantes son bloque-diagonales en el dominio de la frecuencia (mezclando solo irreps equivalentes).
3. Proyección: La proyección $P(T)$ se calcula mediante:
   • Poner a cero todos los bloques fuera de la diagonal (donde $\pi \neq \sigma$).
   • Promediar dentro de los bloques diagonales para proyectar sobre el espacio de entrelazadores.
4. Reconstrucción: La transformada inversa de Fourier produce los pesos proyectados en el dominio espacial.

Este enfoque permite una proyección exacta y en forma cerrada sin muestreo, aplicable tanto a grupos finitos (mediante promediado directo) como a grupos continuos (mediante enmascaramiento espectral).

Contribuciones Clave

1. Regularización Teórica: Un enfoque fundamentado teóricamente para regularizar modelos generales de aprendizaje automático hacia la equivarianza exacta penalizando el componente no equivariante de los operadores lineales.
2. Penalización a Nivel de Operador: A diferencia de los métodos basados en muestras que penalizan desviaciones punto a punto, este método penaliza la no equivarianza sobre toda la órbita del grupo a nivel de operador.
3. Eficiencia Espectral: Un marco para calcular la proyección de manera exacta y eficiente en el dominio de Fourier, permitiendo la aplicación a grupos continuos como $SO(n)$ sin la sobrecarga del muestreo.
4. Validación Empírica: Demostración de que el método logra un rendimiento de tarea competitivo con los enfoques existentes de equivarianza aproximada, ofreciendo al mismo tiempo ganancias sustanciales en tiempo de ejecución.

Resultados Experimentales

Los autores evaluaron el método en tres configuraciones experimentales distintas:

1. Invarianza SO(2) Aprendida (Problema de juguete):

   • En una tarea de clasificación binaria con nubes de puntos, el ajuste de $\lambda_\perp$ controló con éxito el grado de invarianza aprendida.
   • Cuando la función objetivo incluía perturbaciones angulares (rompiendo la simetría), el modelo regularizado se adaptó para ajustar los datos mientras mantenía la invarianza en regiones donde la simetría se mantenía, demostrando un sesgo ajustable.

2. Sistemas Dinámicos Simétricamente Imperfectos:

   • Aplicado a simulaciones de advección-difusión de humo con simetrías de traslación, rotación y escala rotas.
   • El regularizador basado en proyección (+Reg) mejoró consistentemente la generalización (configuraciones de Futuro y Dominio) en comparación con las líneas base (CNN Estándar, CNN Equivariante, RPP, Lift) en regímenes de rotación y escala, mientras preservaba el rendimiento donde las simetrías ya estaban bien alineadas.

3. Reducción de Artefactos Metálicos en Escáneres CT (MAR):

   • Comparado contra regularizadores basados en muestras (Bai et al., 2025) y Priors de Vías Residuales (RPP) en el conjunto de datos AAPM CT-MAR.
   • Rendimiento: El método basado en proyección logró una calidad de reconstrucción competitiva o superior (PSNR/SSIM) en todas las arquitecturas probadas (ACDNet, DICDNet, OSCNet).
   • Eficiencia: El método superó significativamente a los regularizadores basados en muestras en rendimiento. Al evitar pasadas forward adicionales para el muestreo de grupos, permitió tamaños de lote más grandes (12 frente a 4 para los basados en muestras) y redujo los tiempos de época en un 42–61%. También requirió menos parámetros y menos memoria que los RPP.

4. MedMNIST (Clasificación Biomédica 3D):

   • Evaluado en tareas 3D (Nódulo, Sinapsis, Órgano) con diversos grados de simetría rotacional.
   • El método logró una alta precisión, a menudo igualando o superando a las SCNN Parcialmente Equivariantes (P-SCNN) y a los RPP.
   • Eficiencia: Demostró el mayor rendimiento de entrenamiento e inferencia y el tiempo de época más bajo entre todos los modelos comparados, con significativamente menos parámetros que los RPP.

Significado y Afirmaciones

El artículo afirma que la regularización basada en proyección ofrece una favorable compensación entre precisión y eficiencia. Al desplazar la regularización del nivel de muestra al nivel de operador mediante proyección espectral, el método:

• Elimina la Varianza del Estimador: Calcula la penalización exactamente sin ruido de muestreo.
• Reduce la Sobrecarga Computacional: Evita las pasadas forward adicionales requeridas por los métodos basados en muestras, permitiendo tamaños de lote más grandes y un entrenamiento/inferencia más rápidos.
• Permanece Agnóstico a la Arquitectura: La receta general puede aplicarse a cualquier modelo con capas lineales, siempre que la proyección pueda derivarse (lo cual es directo para operadores lineales).
• Maneja Simetrías Imperfectas: Permite que los modelos aprendan el grado apropiado de equivarianza, relajando las restricciones estrictas cuando la distribución de datos lo exige, sin sacrificar el sesgo inductivo donde es beneficioso.

Los autores concluyen que este enfoque proporciona una alternativa robusta y escalable tanto a las arquitecturas equivariantes estrictas como a la regularización basada en muestras computacionalmente costosa, particularmente para grupos de simetría continua.