On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

Resumo Técnico: Sobre os Limites Intrínsecos dos Embeddings de Imagem em Transformers no Raciocínio Espacial Não Solúvel

Declaração do Problema
Os Vision Transformers (ViTs) alcançaram desempenho state-of-the-art no reconhecimento semântico, mas exibem falhas sistemáticas em tarefas de raciocínio espacial, particularmente aquelas envolvendo transformações geométricas complexas como rotação mental e posicionamento relativo. Embora essas falhas sejam frequentemente atribuídas a escala de dados insuficiente ou artefatos de otimização, este trabalho postula que a limitação é intrínseca à complexidade computacional da arquitetura. Especificamente, o artigo investiga se codificadores Transformer padrão de profundidade constante possuem a profundidade lógica necessária para modelar a estrutura algébrica de transformações espaciais não solúveis (por exemplo, rotações 3D) dentro de uma única passagem forward.

Metodologia
O estudo emprega um quadro teórico que une Teoria dos Grupos e Complexidade de Circuitos, validado por um novo benchmark empírico.

1. Formalização Teórica:

   • Homomorfismo de Grupos: A compreensão espacial é definida como a aquisição de um Homomorfismo de Grupos, onde embeddings latentes devem preservar a lei de composição do grupo geométrico subjacente $G$ (por exemplo, $SO(3)$).
   • Hierarquia de Solubilidade: As tarefas são categorizadas pela solubilidade de seus grupos de transformação:
     • Nível 1 (Abeliano): Operações comutativas (por exemplo, translação 2D).
     • Nível 2 (Solúvel Não Abeliano): Operações que não comutam, mas podem ser decompostas em etapas abelianas finitas (por exemplo, movimento rígido 2D).
     • Nível 3 (Não Solúvel): Operações profundamente emaranhadas que não podem ser desacopladas (por exemplo, rotação 3D, contendo subgrupos isomorfos a $A_5$).
   • O Problema da Palavra: O artigo formaliza a dependência de operações espaciais sequenciais como o "Problema da Palavra" para grupos finitos. Para grupos não solúveis, resolver este problema é NC1-completo, exigindo profundidade lógica logarítmica ($O(\log N)$) para resolver dependências seriadas.
   • Limites de Complexidade de Circuitos: ViTs padrão com profundidade constante e precisão polinomial estão estritamente limitados pela classe de complexidade TC0. Sob a conjectura padrão de que TC0 ⊊ NC1, arquiteturas de profundidade constante carecem da profundidade lógica para resolver o Problema da Palavra para grupos não solúveis em uma única passagem forward.

2. Validação Empírica (Benchmark LSA):

   • Os autores propõem o benchmark Álgebra do Espaço Latente (LSA) para testar esses limites teóricos.
   • Protocolo: Uma estratégia recursiva de sondagem linear é utilizada. Os modelos são treinados em transições atômicas ($N=1$) e avaliados em sequências recursivas ($N \in \{2, \dots, 20\}$) geradas a partir do mesmo espaço de estados.
   • Controles: Para descartar artefatos de otimização, o estudo emprega Análise Procrustes Ortogonal (OPA) como verificação determinística da linearidade intrínseca no espaço latente.
   • Conjuntos de Dados: Conjuntos de dados sintéticos são construídos para grupos Abeliano ($Z_2$), Solúvel Não Abeliano ($SE(2)$) e Não Solúvel ($SO(3)$) usando objetos 3D assimétricos para garantir injetividade visual.
   • Modelos: Os experimentos avaliam pesos congelados de backbones ViT (Base/Large/Huge), DINOv2 (Base/Large/Giant) e ResNet (50/101/152).

Principais Contribuições

1. Formalização Algébrica: O artigo lança a representação espacial como um problema de homomorfismo de grupos, categorizando a dificuldade da tarefa com base na solubilidade do grupo de transformação.
2. Prova de Limite de Complexidade: Estabelece formalmente que ViTs de profundidade constante são teoricamente incapazes de capturar estruturas não solúveis (como rotações 3D) sob conjecturas padrão de complexidade (TC0 ⊊ NC1), uma vez que não conseguem resolver as dependências seriadas inerentes ao Problema da Palavra para grupos não solúveis.
3. Benchmark Algébrico e Validação: O benchmark LSA fornece um método de avaliação rigoroso e orientado por estrutura. Os resultados empíricos confirmam que as representações ViT degradam-se significativamente em tarefas não solúveis à medida que a profundidade composicional aumenta, mantendo fidelidade para tarefas abelianas.

Resultados

• Barreira de Complexidade Universal: Em todas as arquiteturas (ViT, DINOv2, ResNet) e escalas, os modelos exibem uma degradação fundamental no rastreamento de dependências de longo alcance para grupos não solúveis.
• Hierarquia de Erro: O erro de previsão segue uma hierarquia estrita: Nível 3 (Não Solúvel) $\gg$ Nível 2 > Nível 1. O erro absoluto no Nível 3 é aproximadamente 5,73x a 17,72x maior do que no Nível 1.
• Degradação Estrutural: Transformações não solúveis desencadeiam um aumento rápido e monótono no erro, aproximando-se do baseline (preditor trivial) significativamente mais rápido do que tarefas solúveis. Isso indica uma ruptura estrutural do mapeamento homomórfico, e não um simples desvio de erro cumulativo.
• Ineficácia da Escala de Profundidade: Aumentar a profundidade do modelo (por exemplo, de ViT-Base para ViT-Huge) produz ganhos de desempenho negligenciáveis. As trajetórias de erro para diferentes profundidades dentro da mesma família de arquitetura se sobrepõem, confirmando que empilhar camadas em um grafo computacional estático (TC0) não pode fechar a lacuna para a classe de complexidade necessária (NC1).
• Déficit Latente Intrínseco: Os resultados da OPA mostram que, enquanto transformações abelianas produzem ajustes lineares fortes no espaço latente, rotações 3D não solúveis falham consistentemente (frequentemente produzindo $R^2$ negativo), provando que o espaço latente carece da geometria necessária para representar esses geradores.

Significado e Alegações
O artigo alega identificar uma limitação teórica fundamental das arquiteturas Transformer de profundidade constante: elas dependem de aproximações rasas em vez de dominar o isomorfismo de grupo subjacente necessário para o raciocínio espacial não solúvel.

• Limite Arquitetural: A falha não é devido à escala de dados ou otimização de treinamento, mas é uma propriedade intrínseca da complexidade de circuitos da arquitetura.
• Implicações para IA Embutida: As descobertas servem como um alerta para aplicações críticas de segurança (robótica, direção autônoma), onde a dependência de representações de "correspondência de padrões" para transformações composicionais de longo horizonte poderia levar a falhas imprevisíveis.
• Eficiência de Recursos: O trabalho argumenta contra a futilidade de resolver raciocínio espacial complexo apenas através de escala de dados ou parâmetros dentro de arquiteturas de profundidade fixa, sugerindo a necessidade de designs que reconciliem profundidade lógica com estabilidade de treinamento, potencialmente recorrendo a princípios de navegação biológica.