Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

Resumo Técnico: Geometria Ordinal Emergente em Transformers Treinados em Comparações Locais

Enunciado do Problema
O artigo investiga se modelos Transformer, quando treinados exclusivamente em comparações locais (adjacentes) dentro de uma ordem total oculta, adquirem o mesmo mecanismo primitivo usado por sistemas biológicos para a inferência transitiva (IT). A IT é a capacidade de inferir uma relação não adjacente (ex: $A < C$) a partir de relações adjacentes conhecidas ($A < B, B < C$). Enquanto a cognição biológica resolve isso via uma "linha numérica mental analógica" — evidenciada pelo efeito da distância simbólica (onde comparações distantes são processadas de forma mais rápida/precisa do que as adjacentes) — os Transformers não são explicitamente pressionados a representar a ordem de forma linear. O estudo questiona se essa representação geométrica específica e assinatura comportamental emergem espontaneamente em redes neurais treinadas no paradigma clássico de Bryant e Trabasso [1971].

Metodologia
Os autores construíram uma tarefa sintética usando uma ordem total oculta de $N$ entidades ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$).

• Dados de Treinamento: O modelo é treinado apenas em pares adjacentes em ambas as direções ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$).
• Dados de Avaliação: O modelo é avaliado em um conjunto disjunto de pares distantes ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), exigindo a reconstrução da ordem global a partir de dados locais.
• Arquitetura do Modelo: Um Transformer de uma única camada com embeddings de entidade, um cabeçote de atenção (no abstrato) ou dois (na seção de resultados), um MLP GELU de largura 4d e um cabeçote de desembedding linear. A relação é decodificada a partir do resíduo da posição final.
• Métricas:
  1. Estrutura Geométrica: Análise de Componentes Principais (PCA) nos embeddings das entidades para medir a linearidade (variância no primeiro componente principal, $\rho_1$) e o alinhamento de ranking (correlação entre a posição projetada e o ranking real).
  2. Assinaturas Comportamentais: A confiança na decisão (margem de logit) e a separação geométrica ($g_{ij}$) são medidas contra a distância de ranking ($|i-j|$) para detectar o efeito da distância simbólica.

Principais Contribuições

1. Isolamento de Tarefa Sintética: O artigo introduz uma tarefa controlada que isola a generalização ordinal das comparações locais, espelhando estritamente o paradigma de TI biológico.
2. Variedade (Manifold) 1D Emergente: Fornece evidências de que os Transformers organizam espontaneamente os embeddings das entidades em uma variedade unidimensional. O eixo principal desta variedade recupera a ordem de ranking oculta com fidelidade quase perfeita.
3. Análogo Computacional do Efeito de Distância: O estudo demonstra que, mesmo quando a precisão atinge um teto, o modelo exibe o efeito da distância simbólica: tanto a confiança na decisão quanto a separação geométrica escalam monotonicamente com a distância de ranking entre os itens.

Resultados
Experimentos foram conduzidos em conjuntos de $N=10, 15$ e $20$ entidades.

• Dinâmicas de tipo Grokking: A emergência da generalização fora da distribuição (OOD) coincide com uma reorganização geométrica dos embeddings. Essa transição é sensível à otimização (especificamente ao decaimento de peso/weight decay) e produz dinâmicas transitórias similares ao "grokking".
• Recuperação Geométrica: À medida que o modelo aprende, os embeddings colapsam sobre uma linha onde o componente principal se alinha com o verdadeiro ranking.
• Espelhamento Comportamental: No pico da precisão OOD, os processos internos do modelo e a confiança de saída seguem estritamente o efeito da distância simbólica. Pares distantes não são apenas classificados corretamente, mas estão associados a maior confiança e maior separação geométrica no espaço de embedding em comparação com pares adjacentes.

Significância
O artigo afirma fundamentar uma regularidade comportamental de 50 anos (o efeito da distância simbólica na TI) na geometria das representações aprendidas por redes neurais. Ao demonstrar que os Transformers desenvolvem espontaneamente uma "linha numérica mental" sem supervisão explícita, o trabalho oferece um relato mecanístico da inferência transitiva que une a ciência cognitiva à interpretabilidade de redes neurais modernas. Sugere que a capacidade de realizar o raciocínio relacional abstrato pode ser um subproduto natural da otimização de restrições locais dentro de uma ordem total.