Measuring the Symmetry--Data Exchange Rate

Planteamiento del problema

La teoría de la equivariancia predice que la incorporación de un sesgo de simetría arquitectónica (invariancia o equivariancia bajo un grupo $G$) reduce la complejidad de muestreo por un factor de $|G|$. Aunque es ampliamente citada, esta predicción rara vez se mide como una ley de escala con controles que aíslen el sesgo estructural de factores de confusión como la reducción de la capacidad efectiva, el aumento de datos implícito o la regularización. La mayoría de los estudios empíricos reportan brechas de precisión en tamaños de muestra fijos o ratios de eficiencia en puntos operativos únicos, fallando al trazar la ley de escala de la complejidad de muestreo o al separar el "alineamiento" (la simetría correcta) de la "restricción" (cualquier restricción de fuerza similar). El artículo aborda este vacío metodológico: cómo convertir la afirmación cualitativa "la estructura ayuda" en una tasa de intercambio calibrada y falsable entre simetría y datos.

Metodología

Los autores construyen una tarea sintética 2-D controlada donde el grupo de simetría es conocido exactamente y su orden $n$ es un parámetro libre.

• La Tarea: Los inputs se muestrean de un anillo y se etiquetan basándose en un patrón angular alternante $1[\cos(n\theta) > 0]$. El grupo de simetría es el grupo cíclico $C_n$ (orden $n$), con $n \in \{1, 2, 3, 4, 6, 8, 12\}$. La tarea está diseñada para ser no trivial, sin atajos basados en coordenadas.
• Familias de Modelos: Cinco familias de modelos comparten una arquitectura totalmente conectada idéntica (1,185 parámetros) para asegurar una capacidad equiparada:
  1. Equivariante (Tratamiento): Utiliza orbit pooling (promedio de las salidas de $n$ copias rotadas) para imponer la invariancia $C_n$ por construcción.
  2. Grupo Incorrecto (Control): Utiliza la misma arquitectura de orbit pooling pero con ángulos de rotación desalineados por un factor irracional ($0.7\times$ su periodo correcto). Esto aísla el "alineamiento" de la "restricción" manteniendo el tamaño de la órbita y el cómputo idénticos, pero destruyendo la coincidencia de simetría.
  3. Aumentado: Una red no restringida entrenada en todas las $n$ copias rotadas (promediando los logits en la pérdida) pero que utiliza un pase hacia adelante de un solo input en el tiempo de inferencia.
  4. Vanilla: Una red estándar no restringida.
  5. Regularizado: Una red vanilla con decaimiento de peso L2 emparejado con los grados de libertad eliminados por el orbit pooling.
• Métrica: El estudio mide $N_{target}$, el tamaño de muestra mínimo requerido para que 3 de 5 semillas alcancen un 80% de precisión de validación.
• El Estimador: Para abordar la confusión de que la dificultad de la tarea aumenta con $n$ (haciendo que las pendientes absolutas sean positivas para todos los modelos), los autores introducen una tasa de intercambio relativa $\beta_{diff}$. Esta es la pendiente de $\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ frente a $\log_2(n)$. Teóricamente, si la simetría reduce la complejidad de muestreo por $|G|$, esta pendiente debería ser $+1$.
• Inferencia: El estudio emplea un bootstrap de pares no paramétrico (10,000 remuestreos) y un bootstrap de pares conjunto para las comparaciones de tratamiento contra control. Una taxonomía de fallos preespecificada clasifica los resultados (ej. sin ventaja, colapso de regularización, explicación de aumento o señal genuina).

Contribuciones Clave

1. Una Metodología de Medición Libre de Confundidos: La introducción del estimador de tasa de intercambio relativa, que cancela la escala de dificultad compartida de la tarea, permitiendo probar la predicción teórica de $|G|$. Esto se combina con un control de "grupo incorrecto" para distinguir el alineamiento de la restricción genérica, y un bootstrap de pares conjunto para manejar intervalos de confianza superpuestos.
2. La Tasa Estimada: En la tarea controlada, el modelo equivariante arroja una estimación puntual de $\beta_{diff} = 1.28$. Esto es consistente con la predicción teórica de $1.0$ en signo y orden de magnitud. Sin embargo, los autores enfatizan que el valor numérico preciso es exploratorio; la dirección cualitativa es el hallazgo robusto.
3. Aislando Alineamiento de Restricción: El control de "grupo incorrecto" (órbita desalineada de tamaño idéntico) resulta ser peor que no tener ninguna restricción ($\beta_{diff} \approx -0.77$), demostrando que los sesgos estructurales desalineados son activamente perjudiciales, no simplemente inútiles.
4. Arquitectura vs. Aumento: El estudio encuentra que el aumento únicamente en tiempo de entrenamiento (sin el promedio de órbita en tiempo de inferencia) no logra alcanzar la precisión objetivo donde el modelo equivariante sí tiene éxito. No obstante, una replicación en CPU muestra que añadir el promedio de órbita en tiempo de inferencia al modelo aumentado lo hace bit a bit idéntico al modelo equivariante. Por lo tanto, la brecha es condicional a un cómputo asimétrico en tiempo de inferencia, no a una superioridad incondicional de la arquitectura.
5. Reproducibilidad: El experimento completo (5,600 ejecuciones) se publica con código, hashes de configuración y todos los registros por ejecución, ejecutándose en ~90 minutos en una sola GPU.

Resultados

• Tasa de Intercambio: El estimador primario arroja $\beta_{diff} = 1.28$.
  • El CI de percentile bootstrap de un solo nivel es $[+0.92, +2.05]$ (excluyendo cero).
  • El bootstrap de dos niveles más conservador (remuestreando semillas y tamaños de grupo) arroja un CI de $[-0.63, +1.72]$, el cual incluye el cero.
  • Una replicación de mayor granularidad en una rejilla espaciada por $\sqrt{2}$ produjo un resultado inconcluso ($\beta_{diff} = -0.82$, CI amplio), resaltando la sensibilidad a la discretización de la rejilla.
• Controles:
  • El control de Grupo Incorrecto es significativamente peor que la línea base Vanilla en comparaciones de pares conjuntos (CI $[+0.79, +3.26]$ para la diferencia), confirmando que el beneficio proviene del alineamiento correcto, no solo de la presencia de una restricción.
  • La línea base Regularizada no muestra ventaja sobre Vanilla ($\beta_{diff} \approx -0.04$), descartando la reducción de grados de libertad efectivos como el mecanismo principal.
  • El modelo Aumentado (solo tiempo de entrenamiento) no logra alcanzar la precisión objetivo para $n \ge 3$, mientras que el modelo equivariante tiene éxito.
• Robustez: La tasa relativa permanece estable (reteniendo 88–97% de su valor limpio) cuando hasta el 30% de las etiquetas de entrenamiento se corrompen con ruido asimétrico.

Significancia y Reivindicaciones

El artículo se enmarca explícitamente como un estudio exploratorio, no una medición confirmatoria. Los autores son modestos en sus afirmaciones:

• No hay una Constante Universal: La tasa reportada es una estimación operacional condicionada a una tarea específica, una precisión objetivo y un modelo de escala, no una constante de información teórica universal.
• Dirección Cualitativa: La contribución principal es la dirección cualitativa (positiva, con acuerdo de orden de magnitud con la teoría) y el hallazgo del grupo incorrecto (las restricciones desalineadas son perjudiciales). El valor numérico preciso ($1.28$) no se reclama como una medición definitiva debido a la naturaleza exploratoria de la adopción del estimador (post-hoc) y la inclusión del cero en el intervalo de confianza conservador.
• Transferibilidad Metodológica: El marco (estimador de tasa relativa, control de grupo incorrecto, bootstrap de pares conjunto, taxonomía de fallos) se presenta como una herramienta transferible para medir la fuerza de cualquier sesgo inductivo parametrizable, no solo la simetría.
• Limitaciones: El estudio reconoce que la tarea es sintética y 2-D, la simetría es exacta (no aproximada o latente) y la comparación con la teoría implica un desajuste entre la teoría de kernel/random-feature y los MLP ReLU de ancho finito. La afirmación de "neutralidad en FLOPs" también es matizada: aunque los FLOPs totales de entrenamiento se igualan aproximadamente, el modelo equivariante incurre en un mayor gasto de cómputo y memoria por cada muestra.

Los autores concluyen que el resultado del "grupo incorrecto" es el hallazgo más limpio y confiable, mientras que el número principal requiere una futura replicación registrada externamente con nuevas semillas para ser considerado confirmatorio.