On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

Resumen Técnico: Sobre los Límites Intrínsecos de las Incrustaciones de Imágenes de Transformadores en el Razonamiento Espacial No Soluble

Enunciado del Problema
Los Transformadores de Visión (ViT) han logrado un rendimiento de vanguardia en el reconocimiento semántico, pero exhiben fallos sistemáticos en tareas de razonamiento espacial, particularmente aquellas que involucran transformaciones geométricas complejas como la rotación mental y la posición relativa. Aunque estos fallos se atribuyen a menudo a una escala de datos insuficiente o a artefactos de optimización, este trabajo postula que la limitación es intrínseca a la complejidad computacional de la arquitectura. Específicamente, el artículo investiga si los codificadores Transformer estándar de profundidad constante poseen la profundidad lógica requerida para modelar la estructura algebraica de transformaciones espaciales no solubles (por ejemplo, rotaciones 3D) dentro de una sola pasada hacia adelante.

Metodología
El estudio emplea un marco teórico que une la Teoría de Grupos y la Complejidad de Circuitos, validado por una nueva métrica empírica.

1. Formalización Teórica:

   • Homomorfismo de Grupos: La comprensión espacial se define como la adquisición de un Homomorfismo de Grupos, donde las incrustaciones latentes deben preservar la ley de composición del grupo geométrico subyacente $G$ (por ejemplo, $SO(3)$).
   • Jerarquía de Solubilidad: Las tareas se categorizan según la solubilidad de sus grupos de transformación:
     • Nivel 1 (Abeliano): Operaciones conmutativas (por ejemplo, traslación 2D).
     • Nivel 2 (Soluble No Abeliano): Operaciones que no conmutan pero pueden descomponerse en pasos abelianos finitos (por ejemplo, movimiento rígido 2D).
     • Nivel 3 (No Soluble): Operaciones profundamente entrelazadas que no pueden desacoplarse (por ejemplo, rotación 3D, que contiene subgrupos isomorfos a $A_5$).
   • El Problema de la Palabra: El artículo formaliza la dependencia de las operaciones espaciales secuenciales como el "Problema de la Palabra" para grupos finitos. Para grupos no solubles, resolver este problema es NC1-completo, requiriendo una profundidad lógica logarítmica ($O(\log N)$) para resolver las dependencias en serie.
   • Límites de Complejidad de Circuitos: Los ViT estándar con profundidad constante y precisión polinómica están estrictamente limitados por la clase de complejidad TC0. Bajo la conjetura estándar de que TC0 ⊊ NC1, las arquitecturas de profundidad constante carecen de la profundidad lógica para resolver el Problema de la Palabra para grupos no solubles en una sola pasada hacia adelante.

2. Validación Empírica (Métrica LSA):

   • Los autores proponen la métrica Álgebra del Espacio Latente (LSA) para probar estos límites teóricos.
   • Protocolo: Se utiliza una estrategia de sondeo lineal recursiva. Los modelos se entrenan en transiciones atómicas ($N=1$) y se evalúan en secuencias recursivas ($N \in \{2, \dots, 20\}$) generadas desde el mismo espacio de estados.
   • Controles: Para descartar artefactos de optimización, el estudio emplea el Análisis de Procrustes Ortogonal (OPA) como verificación determinista de la linealidad intrínseca en el espacio latente.
   • Conjuntos de Datos: Se construyen conjuntos de datos sintéticos para grupos Abeliano ($Z_2$), Soluble No Abeliano ($SE(2)$) y No Soluble ($SO(3)$) utilizando objetos 3D asimétricos para garantizar la inyectividad visual.
   • Modelos: Los experimentos evalúan pesos congelados de ViT (Base/Grande/Huge), DINOv2 (Base/Grande/Gigante) y ResNet (50/101/152) como backbones.

Contribuciones Clave

1. Formalización Algebraica: El artículo plantea la representación espacial como un problema de homomorfismo de grupos, categorizando la dificultad de la tarea basándose en la solubilidad del grupo de transformación.
2. Prueba de Límite de Complejidad: Establece formalmente que los ViT de profundidad constante son teóricamente incapaces de capturar estructuras no solubles (como las rotaciones 3D) bajo conjeturas estándar de complejidad (TC0 ⊊ NC1), ya que no pueden resolver las dependencias en serie inherentes al Problema de la Palabra para grupos no solubles.
3. Métrica Algebraica y Validación: La métrica LSA proporciona un método de evaluación riguroso y guiado por la estructura. Los resultados empíricos confirman que las representaciones de ViT se degradan significativamente en tareas no solubles a medida que aumenta la profundidad composicional, mientras mantienen la fidelidad para tareas abelianas.

Resultados

• Barrera Universal de Complejidad: En todas las arquitecturas (ViT, DINOv2, ResNet) y escalas, los modelos exhiben una degradación fundamental en el seguimiento de dependencias de largo alcance para grupos no solubles.
• Jerarquía de Error: El error de predicción sigue una jerarquía estricta: Nivel 3 (No Soluble) $\gg$ Nivel 2 > Nivel 1. El error absoluto en el Nivel 3 es aproximadamente 5.73 a 17.72 veces mayor que en el Nivel 1.
• Degradación Estructural: Las transformaciones no solubles desencadenan un aumento rápido y monótono del error, acercándose al valor base (predicador trivial) significativamente más rápido que las tareas solubles. Esto indica una ruptura estructural del mapeo homomórfico en lugar de un simple desvío de error acumulativo.
• Ineficacia del Escalamiento de Profundidad: Aumentar la profundidad del modelo (por ejemplo, de ViT-Base a ViT-Huge) produce ganancias de rendimiento negligenables. Las trayectorias de error para diferentes profundidades dentro de la misma familia de arquitecturas se superponen, confirmando que apilar capas en un grafo computacional estático (TC0) no puede cerrar la brecha hacia la clase de complejidad requerida (NC1).
• Déficit Latente Intrínseco: Los resultados de OPA muestran que, mientras que las transformaciones abelianas producen ajustes lineales fuertes en el espacio latente, las rotaciones 3D no solubles fallan consistentemente (a menudo produciendo $R^2$ negativos), demostrando que el espacio latente carece de la geometría necesaria para representar estos generadores.

Significado y Afirmaciones
El artículo afirma identificar una limitación teórica fundamental de las arquitecturas Transformer de profundidad constante: dependen de aproximaciones superficiales en lugar de dominar el isomorfismo de grupo subyacente requerido para el razonamiento espacial no soluble.

• Límite Arquitectónico: El fallo no se debe a la escala de datos ni a la optimización del entrenamiento, sino que es una propiedad intrínseca de la complejidad de circuitos de la arquitectura.
• Implicaciones para la IA Encarnada: Los hallazgos sirven como advertencia para aplicaciones críticas de seguridad (robótica, conducción autónoma) donde la dependencia de representaciones de "coincidencia de patrones" para transformaciones composicionales de largo horizonte podría conducir a fallos impredecibles.
• Eficiencia de Recursos: El trabajo argumenta contra la futilidad de resolver el razonamiento espacial complejo únicamente mediante el escalamiento de datos o parámetros dentro de arquitecturas de profundidad fija, sugiriendo la necesidad de diseños que reconcilien la profundidad lógica con la estabilidad del entrenamiento, potencialmente extrayendo principios de la navegación biológica.