Resumen Técnico: bispectrum: Bispectros G Selectivos Hechos Prácticos

Enunciado del Problema

Muchas tareas de aprendizaje automático requieren invarianza bajo acciones específicas de grupos (por ejemplo, traslaciones, rotaciones 2D/3D). Si bien las redes neuronales equivariantes imponen esto manteniendo mapas de características equivariantes, el paso final requiere mapear estas características a representaciones invariantes para la predicción. Los métodos de agrupamiento invariante existentes (agrupamiento por norma, agrupamiento con compuerta, agrupamiento máximo) son computacionalmente eficientes pero incompletos: descartan información de fase, lo que significa que señales distintas que comparten el mismo espectro de potencia pero difieren en sus fases relativas se mapean a descriptores idénticos.

El bispectro G ofrece un invariante completo y principiado que retiene toda la información de la señal hasta la acción del grupo. Sin embargo, su adopción en el aprendizaje profundo se ha visto obstaculizada por:

1. Alto costo computacional: Los bispectros completos escalan cuadráticamente ($O(|G|^2)$) para grupos finitos y cúbicamente ($O(L^3)$) para rotaciones esféricas.
2. Implementaciones fragmentadas: Las construcciones existentes están dispersas en artículos teóricos sin una biblioteca unificada, diferenciable y lista para GPU.
3. Falta de evaluación empírica: No existe un punto de referencia unificado que compare el agrupamiento espectral frente a alternativas estándar en pipelines modernos de aprendizaje profundo.

Metodología

Los autores presentan bispectrum, una biblioteca de código abierto en PyTorch que implementa bispectros G selectivos como capas nn.Module diferenciables. La metodología central involucra tres pilares técnicos:

1. Construcción del Bispectro Selectivo

En lugar de calcular el bispectro completo (que contiene información redundante), la biblioteca calcula un subconjunto selectivo de coeficientes que permanece completo para señales genéricas.

• Grupos Finitos: Aprovechando una búsqueda en amplitud sobre la tabla de productos de Kronecker de representaciones irreducibles (irreps), la biblioteca selecciona $O(|G|)$ coeficientes en lugar de $O(|G|^2)$.
• Rotaciones Planas (Disco): Implementa el bispectro de disco selectivo, reduciendo los coeficientes de $O(m^3)$ a $O(m)$ mientras mantiene la completitud bajo condiciones de genericidad.
• Rotaciones Esféricas (SO(3) en $S^2$): Los autores introducen un bispectro selectivo aumentado novedoso.
  • Construyen un invariante $\Phi_{sel}$ de tamaño $\Theta(L^2)$ (reduciendo desde el completo $\Theta(L^3)$).
  • La construcción utiliza un bloque "semilla" para grados bajos y bloques de "arranque" para grados superiores.
  • Para garantizar la completitud en señales reales (donde el bispectro escalar estándar puede tener rango deficiente debido a restricciones de paridad), aumentan las entradas espectrales con escalares CG-potencia (normas al cuadrado de productos tensoriales proyectados).
  • Esto resulta en un invariante de tamaño $\Theta(L^2)$ que es empíricamente completo.

2. Diseño e Implementación de la Biblioteca

La biblioteca proporciona una API uniforme para siete pares grupo/domino (por ejemplo, $C_n$ en $C_n$, $SO(3)$ en $S^2$, grupo octaédrico).

• Diferenciabilidad: Todos los módulos son totalmente diferenciables, permitiendo el entrenamiento de extremo a extremo.
• Eficiencia: La precomputación de matrices y núcleos de Clebsch-Gordan asegura pasos forward submilisegundos en GPUs.
• Inversión: La biblioteca soporta la reconstrucción de señales (hasta la acción del grupo) a partir del bispectro, sirviendo como prueba de completitud.

3. Evaluación Experimental

Los autores evalúan la biblioteca en tres puntos de referencia, comparando el agrupamiento espectral frente al agrupamiento por norma, agrupamiento con compuerta, agrupamiento Fourier-ELU, agrupamiento máximo y baselines no equivariantes con aumento de datos:

1. PatchCamelyon (PCam): Clasificación de histopatología 2D bajo simetría $C_8$.
2. OrganMNIST3D: Clasificación de órganos 3D bajo el grupo octaédrico quiral $O$.
3. Spherical MNIST: Clasificación de dígitos bajo rotaciones $SO(3)$ en la esfera.

Resultados Clave

Rendimiento Computacional

• Velocidad: Los pasos forward selectivos son submilisegundos en una GPU NVIDIA H100 (por ejemplo, 0.48 ms para $SO(3)$ con límite de banda $L=16$).
• Reducción: La selectividad reduce la cantidad de coeficientes hasta en $512\times$ (por ejemplo, para $|G|=1024$) y reduce la complejidad esférica de $O(L^3)$ a $\Theta(L^2)$.

Completitud Empírica (Spherical MNIST)

• Reconstrucción: El invariante selectivo aumentado $\Phi_{sel}$ reconstruye con éxito señales hasta la rotación con residuos bajos ($\sim 10^{-3}$), proporcionando evidencia empírica de completitud.
• Invarianza: El modelo logra una invarianza $SO(3)$ casi exacta ($\sigma_{rot} \sim 10^{-4}$), mientras que las CNN estándar colapsan bajo rotaciones no vistas.
• Completitud vs. Capacidad: El espectro de potencia (invariante incompleto) se estabiliza en $\sim 78\%$ de precisión incluso cuando se escala para igualar la cantidad de parámetros del modelo de bispectro ($95\%$), confirmando que la brecha de rendimiento se debe a la incompletitud, no a la capacidad del modelo.

Eficiencia de Datos

• Régimen de Pocos Datos: En los tres puntos de referencia, la capa de agrupamiento espectral supera consistentemente a las alternativas cuando los datos de entrenamiento son escasos (por ejemplo, 1% del conjunto de datos).
  • En PCam (1% de datos), el bispectro alcanzó un AUC de 0.912 frente a 0.873 para NormReLU.
  • En OrganMNIST3D (5% de datos), el bispectro alcanzó una precisión del 33.2% frente al 18.9% del agrupamiento máximo.
• Régimen de Alta Capacidad: A medida que aumentan la capacidad del modelo y el tamaño de los datos, la ventaja del invariante completo se estrecha, y los métodos incompletos (como el agrupamiento máximo) pueden igualar o superar el rendimiento espectral.

Significado y Afirmaciones

El artículo afirma cerrar la brecha entre el atractivo teórico de los bispectros G y su utilidad práctica en el aprendizaje profundo moderno.

• Despliegue Práctico: Al proporcionar una biblioteca unificada, diferenciable y eficiente, los autores hacen accesibles los bispectros G selectivos como capas "plug-and-play" para cualquier arquitectura equivariante.
• Contribución Teórica: La introducción del invariante selectivo aumentado SO(3) en la esfera es un paso teórico significativo, reduciendo la complejidad de los bispectros esféricos a $\Theta(L^2)$ mientras demuestra empíricamente la completitud.
• Sesgo Inductivo: Los resultados sugieren que los invariantes completos proporcionan un sesgo inductivo más fuerte que los incompletos, particularmente en regímenes de pocos datos y capacidad moderada, sustituyendo efectivamente a los ejemplos de entrenamiento faltantes.

Los autores permanecen modestos respecto al estatus teórico de la construcción esférica, señalando que, aunque la reconstrucción empírica sugiere completitud, una prueba formal sigue abierta. También reconocen que, en altas capacidades, la sobrecarga computacional de los invariantes completos puede no justificarse en comparación con estrategias de agrupamiento más simples e incompletas.