Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

Resumo Técnico: TGO-II: Observatório de Similaridade Representacional

Problema
Embora os Vision Transformers (ViTs) tenham alcançado um desempenho de estado da arte, a evolução geométrica de suas representações internas durante o treinamento supervisionado permanece insuficientemente compreendida. Pesquisas anteriores, incluindo o trabalho prévio dos autores (TGO-I), focaram intensamente em mecanismos de atenção, redes feed-forward e propriedades espectrais (autovalores, rank efetivo) da covariância de características. No entanto, a similaridade espectral isolada não confirma se as camadas realizam computações semelhantes, pois as camadas podem compartilhar características espectrais enquanto ocupam subespaços representacionais distintos. Além disso, análises existentes frequentemente carecem de uma investigação sistemática sobre como a similaridade de representação, a complexidade do manifold e as estruturas de interação de tokens coevoluem ao longo do processo de treinamento.

Metodologia
Os autores introduzem o TGO-II (Transformer Geometry Observatory-II), um framework projetado para analisar a geometria representacional de um modelo ViT-Small/16 treinado no ImageNet-100 por 100 épocas. O estudo utiliza um subconjunto fixo de 1.000 imagens de validação para garantir observabilidade consistente. A metodologia emprega quatro ferramentas analíticas primárias:

1. Similaridade de Representação: Medida através de Alinhamento de Kernel Centrado (CKA) e Análise de Correlação Canônica de Vetores Singulares (SVCCA) para quantificar o alinhamento geométrico e a similaridade entre as representações das camadas ao longo do treinamento.
2. Dimensionalidade Intrínseca: Estimada usando a métrica Dimensão Intrínseca de Dois Vizinhos Mais Próximos (TwoNN-ID) para avaliar a complexidade e os graus de liberdade dentro do manifold de representação aprendido.
3. Estrutura de Interação de Tokens: Analisada via matrizes de covariância de tokens e uma razão de acoplamento de tokens. Esta abordagem examina as relações pareadas entre tokens para determinar se eles se tornam estatisticamente independentes (desacoplados) ou se permanecem acoplados conforme o treinamento progride.
4. Visões Complementares: O framework trata a covariância do espaço de características ($C_{feat} \propto A^T A$) e a covariância do espaço de tokens ($C_{token} \propto AA^T$) como visões complementares da mesma geometria de representação subjacente, compartilhando os mesmos autovalores não nulos.

Resultados Principais
Os experimentos geraram três observações primárias sobre a evolução geométrica das representações de ViT:

• Especialização Progressiva: Os escores de CKA e SVCCA exibem um declínio progressivo ao longo do treinamento. Isso indica que, conforme o treinamento avança, as camadas do transformer tornam-se cada vez mais especializadas, desenvolvendo geometrias representacionais distintas em vez de manter redundâncias. Ocorre uma transição notável entre as Camadas 4 e 5, onde a similaridade cai antes de se estabilizar nas camadas mais profundas.
• Expansão do Manifold: A dimensionalidade intrínseca (TwoNN-ID) aumenta consistentemente durante os estágios iniciais do treinamento antes de se estabilizar. Essa tendência sugere uma expansão progressiva do manifold de representação para um conjunto maior de graus de liberdade localmente acessíveis. A dimensionalidade atinge o pico em camadas intermediárias (especificamente na Camada 8) e diminui nos blocos finais, indicando um perfil de complexidade dependente da profundidade.
• Acoplamento de Tokens Persistente: Contrariando a hipótese de que o aumento da complexidade surge da independência dos tokens, a análise de covariância de tokens revela que estruturas de interação fortes persistem durante o treinamento. Em vez de convergir para uma matriz diagonal, a covariância de tokens evolui para estruturas organizadas, do tipo listradas (stripe-like), particularmente nas camadas mais profundas. Isso demonstra que a complexidade representacional cresce enquanto os tokens permanecem fortemente acoplados.

Principais Contribuições

• Introdução do Framework: A proposta do TGO-II como um observatório sistemático para estudar a dinâmica de aprendizado de transformers através da geometria de representação, complementando o foco espectral do TGO-I.
• Evidência Empírica de Coevolução: Fornecimento de evidências de que o aumento da complexidade representacional (expansão do manifold) coexiste com a diminuição da similaridade inter-camadas (especialização) e o acoplamento persistente de tokens.
• Refutação do Desacoplamento de Tokens: Desafio à hipótese de "Diversificação de Tokens" ao demonstrar que os tokens não atingem independência estatística completa; em vez disso, a complexidade emerge através de transformações sofisticadas de sistemas de tokens acoplados.
• Identificação de Zonas de Transição: Destaque para uma mudança comportamental distinta em torno das Camadas 4–5, sugerindo uma transição do processamento de interação de tokens de baixo nível para representações abstratas e dependentes de contexto.

Significância e Alegações
O artigo afirma que esses achados motivam uma nova hipótesa de trabalho: Vision Transformers aumentam a complexidade representacional através de transformações progressivamente mais ricas de sistemas de tokens altamente acoplados, em vez de através da independência progressiva dos tokens.

Os autores posicionam o TGO-II como um passo necessário além da análise espectral, argumentando que compreender a geometria das próprias representações é crucial para um quadro completo do aprendizado de transformers. O trabalho sugere que a expansão espectral observada (notada no TGO-I) é provavelmente impulsionada pela Hipótese da Expansão do Manifold, onde o manifold de representação subjacente se expande para dimensões intrínsecas mais altas, permitindo relações de características mais ricas sem exigir o desacoplamento de tokens.

O artigo mantém-se modesto quanto a alegações semânticas, observando que, embora a especialização representacional seja observada, o TGO-II não mede diretamente o conteúdo semântico ou a separação de classes. Consequentemente, a hipótese de "Expansão Semântica" permanece inconclusiva, pendente de trabalhos futuros. Os autores enquadram essas descobertas como uma base para futuros observatórios (TGO-III através do TGO-VI) visando ligar a evolução geométrica à estrutura semântica, dinâmica de tokens, mecanismos de atenção e paisagens de otimização.