Resumen Técnico: Interfaces de Representación Alineadas con el Generador para la Equivariancia Suave Diagnóstica

1. Planteamiento del Problema

Las arquitecturas equivariantes existentes (p. ej., Group CNNs, Redes Direccionables, SE(3)-Transformers) imponen una equivariancia exacta al codificar directamente acciones de grupos específicos en sus operadores. Si bien esto proporciona sólidas garantías teóricas, crea una "rigidez de diseño" donde adaptar la arquitectura a un nuevo grupo, a un backbone genérico o a una modalidad de datos diferente requiere rediseñar simultáneamente el operador y la estructura de representación. Por el contrario, los backbones de secuencias genéricos modernos (p. ej., Transformers, Modelos de Espacio de Estados) ofrecen una alta portabilidad entre modalidades (imágenes, genómica, nubes de puntos), pero carecen de mecanismos inherentes para asegurar que las transformaciones de entrada induzcan las transformaciones correspondientes en la representación interna.

Este artículo identifica una brecha de integración: ¿Cómo puede la estructura de un grupo exponerse a un backbone genérico sin rediseñar cada capa como un operador de equivariancia estricta? Los autores argumentan que imponer una equivariancia exacta en cada capa suele ser innecesario y restrictivo, proponiendo en su lugar un enfoque diagnóstico para aprender la "equivariancia suave".

2. Metodología: Interfaz de Representación Alineada con el Generador (GARI)

El artículo introduce GARI, un principio de diseño de nivel de representación que expone generadores de transformación seleccionados a un backbone de secuencia genérico a través de vistas alineadas. En lugar de codificar rígidamente la ley de grupo en los operadores, GARI construye una interfaz entrenable que hace que la estructura del generador sea visible, aprendible y mensurable.

Componentes Principales

El marco se instancia como GARI-Net, un modelo basado en secuencias con las siguientes características arquitectónicas:

1. Flujos Indexados por Generadores: Para un conjunto de generadores expuestos $S = \{s_1, \dots, s_q\}$, el modelo construye $q+1$ flujos: un flujo canónico ($P_\theta(x)$) y $q$ flujos inducidos por generadores ($\rho_{s_j}P_\theta(x)$). Estos flujos representan la entrada en diferentes marcos alineados con la transformación.
2. Procesamiento de Backbone Compartido: Todos los flujos son procesados por un backbone de secuencia compartido (p. ej., Mamba2, Transformer) con parámetros compartidos. Esto asegura que el modelo aprenda una familia de funciones consistente a través de las vistas, en lugar de un conjunto de redes independientes.
3. Conversión de Marco y Reparación de Contexto:
   • ODBC (Convolución Inversa Unidimensional): Aplicada a cada flujo para reparar desajustes de contexto local causados por el reindexado (p. ej., reversión de secuencia), particularmente para operadores direccionales o autorregresivos.
   • Conversión de Marco Direccional: Los flujos se convierten temporalmente del marco de interacción canónico a marcos de procesamiento específicos del generador y viceversa, asegurando la alineación antes de la interacción entre flujos.
4. Interacción entre Flujos: Un mecanismo de atención de "dejar uno fuera" (leave-one-out) permite que cada flujo atienda a los demás, permitiendo el intercambio de evidencia entre la vista canónica y las vistas alineadas con el generador sin tratar las redes como independientes.
5. Fusión Consciente de la Discrepancia: El bloque de fusión terminal evita el promedio ciego. En su lugar, utiliza una señal de discrepancia de pares (que mide el desacuerdo entre flujos) y una señal de suma de flujos para ponderar la agregación. Esto permite que el modelo reaccione al desacuerdo entre flujos, preservando las variaciones informativas.

Marco Diagnóstico: Equivariancia Suave y DEE

El artículo redefine el objetivo de la equivariancia exacta a la equivariancia suave, medida por el error residual de la relación de transformación bajo distribuciones específicas de datos y transformaciones.

• Residuo de Equivariancia Suave: Definido como la distancia cuadrática esperada entre la representación de una entrada transformada y la transformación prescrita de la representación canónica: $E_{\mu,\nu} = E[\Delta(F(\alpha_g x), \tau_g F(x))^2]$.
• Error de Equivariancia Directa (DEE): Una métrica diagnóstica de sonda finita computada en puntos de control congelados. Compara la representación de una entrada transformada contra la transformación prescrita de la representación canónica utilizando reindexación conocida de tokens o vóxeles. El DEE no es una pérdida de entrenamiento, sino un diagnóstico post-hoc para medir la consistencia de la representación.
• Localización del Residuo: El marco descompone el error total en tres fuentes localizadas:
  1. Residuo de la Interfaz: Desajuste en la conversión de datos transformados a representaciones indexadas.
  2. Residuo de Flujo: Incompatibilidad en el procesamiento del backbone compartido.
  3. Residuo de Fusión: Desajuste en la agregación de múltiples vistas.

3. Contribuciones Clave

1. Interfaces de Representación Alineadas con el Generador (GARI): Un primitivo de diseño agnóstico a la modalidad que desplaza la unidad de diseño de simetría de un operador especializado en un grupo hacia una interfaz reutilizable. Expone la estructura del generador a backbones genéricos mediante vistas canónicas y transformadas alineadas.
2. Equivariancia Suave Basada en Residuos y Medición Finita: Los autores definen la equivariancia suave mediante el residuo de la relación de transformación e instancian su estimación de sonda finita como Error de Equivariancia Directa (DEE). Distinguen esto de la robustez de la tarea y la certificación exacta.
3. Realización de GARI-Net: Una implementación concreta de modelo de secuencia que presenta flujos indexados por generadores, procesamiento compartido, reparación de contexto consciente del orden, interacción entre flujos y fusión consciente de la discrepancia.
4. Evidencia Transdominio: El principio de la interfaz se valida en tres dominios distintos: secuencias genómicas (reversión), imágenes 2D (rotaciones planas) y nubes de puntos 3D (transferencia axial SO(3)).

4. Resultados Experimentales

Los experimentos están diseñados como una cadena diagnóstica para probar el principio de la interfaz bajo transformaciones controladas de retención (held-out), en lugar de establecer un ranking universal de SOTA.

• Secuencias Genómicas (GenomicBenchmarks):
  • Tarea: Reversión de secuencia ($Z_2$).
  • Resultado: GARI-Net logró la precisión promedio más alta en entradas revertidas (0.627) en comparación con Caduceus-PH (0.612) y Caduceus-PS (0.610), a pesar de tener una precisión ligeramente menor en entradas normales. Esto demuestra que la interfaz alineada con el generador preserva mejor la información relevante para la tarea bajo la reversión de secuencia sin haber sido entrenada en muestras revertidas.
• Imágenes Planas (ImageNet-1K e MNIST):
  • Tarea: Rotaciones cíclicas ($C_2$ y $C_4$).
  • Resultado: En ImageNet-1K, GARI-Net-C4 mejoró la precisión de rotación de generalización pura (ángulos fuera del aumento de entrenamiento) en 1.34 puntos porcentuales sobre un baseline de Vision Mamba emparejado. Redujo el DEE de $C_4$ de 0.983 a 0.831. En MNIST, una cobertura de generador $C_4$ más amplia superó a las configuraciones $C_2$ en la generalización de órbita muestreada, mejorando la precisión promedio de la órbita en 2.61 puntos.
• Nubes de Puntos 3D (ModelNet40):
  • Tarea: Transferencia axial controlada ($SO(3)$).
  • Resultado: Fortalecer la interfaz de los ejes $x/y$ de $C_2$ a $C_4$ aumentó la precisión de retención en el eje $z$ en 8.97 puntos con un cambio mínimo en la precisión limpia. La adición de una referencia explícita $x/y/z$ aportó solo 0.51 puntos, localizando la ganancia principal en la transferencia a través de la interfaz $x/y$ fortalecida en lugar de la exposición explícita del eje $z$.

5. Significado y Reivindicaciones

El artículo posiciona a GARI como un complemento portable y diagnóstico para arquitecturas de equivariancia estricta, no como un reemplazo.

• Modestia de las Reivindicaciones: Los autores declaran explícitamente que sus hallazgos son finitos y dependientes de la distribución. No certifican la equivariancia exacta sobre un grupo continuo, ni afirman que la robustez de la transformación sea equivalente a la equivariancia.
• Valor Central: La importancia radica en hacer que la estructura del generador sea accesible, aprendible y mensurable dentro de modelos neuronales genéricos. Ofrece una vía para exponer la estructura del generador de Lie al modelos de secuencia generales sin la carga computacional y arquitectónica de rediseñar los operadores para cada nuevo grupo o modalidad.
• Naturaleza Diagnóstica: El marco proporciona un contrato "falsable". Si la interfaz falla en mejorar la precisión de retención o el DEE en las sondas declaradas, la reivindicación de la equivariancia suave se debilita. El artículo demuestra que esta interfaz soporta la consistencia de la transformación relevante para la tarea y la generalización a sondas de retención sin requerir el rediseño específico del grupo en el backbone.

En resumen, GARI proporciona un patrón arquitectónico flexible que cierra la brecha entre la rigidez de los operadores de equivariancia estricta y la portabilidad de los modelos de secuencia genéricos, validado mediante un protocolo diagnóstico riguroso de residuos de representación y rendimiento de tareas de retención.