Resumo Técnico: Estratificação Geométrica e Comportamental em Fluxos Residuais de Transformers

Declaração do Problema

Pesquisas recentes estabeleceram que modelos transformer treinados desenvolvem "bases privilegiadas" — eixos de coordenadas específicos com propriedades estatísticas distintas do restante do fluxo residual. No entanto, o papel funcional e a natureza geométrica dessas direções privilegiadas permanecem obscuros. Embora trabalhos anteriores tenham identificado esses eixos como conjuntos de coordenadas anômalos, eles não explicaram qual direção específica eles selecionam ou como organizam a computação de alta dimensão do modelo.

Este artigo aborda a lacuna entre a natureza de alta dimensão da computação do transformer (milhares de dimensões) e a natureza de baixa dimensão da leitura linear (uma única projeção sobre os logits do vocabulário). O autor investiga se a direção de predição — o vetor de desembedding do token que o modelo está prevendo atualmente — serve como uma âncora definida pelo conteúdo que organiza a geometria e o comportamento do fluxo residual.

Metodologia

O autor introduz o PDSF (Decomposição de Subespaços de Características Ancorada na Predição), um sistema de coordenadas que particiona o estado do fluxo residual ($h$) em cada camada em quatro componentes estritamente ortogonais, ordenados por sua proximidade à direção de predição atual do modelo ($\hat{u}$):

1. P (Preditiva): A projeção de posto-1 de $h$ sobre o vetor de unembedding normalizado $\hat{u}$ do token argmax atual.
2. D (Discriminativa): As direções principais de PCA (top-$k$) do residual após a remoção de $P$.
3. S (Situacional): As direções principais de PCA (top-$k$) do residual após a remoção de ambos, $P$ e $D$.
4. F (Estrutura/Complemento): O remanescente ortogonal, representando a vasta maioria das dimensões do fluxo residual.

A região combinada $P + D + S$ é denominada interface de predição, enquanto $F$ é o complemento distal da predição.

Configuração Experimental:

• Testbed: 18 modelos transformer de 6 famílias de arquitetura (Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS), abrangendo de 7B a 120B de parâmetros, incluindo variantes base e ajustadas por instrução (instruction-tuned).
• Conjuntos de Prompts: Três conjuntos estruturados projetados para sondar diferentes variações:
  • SpecA: Prompts restritos com respostas fixas, mas formas superficiais variadas (224 prompts).
  • SpecB: Continuações narrativas abertas (80 prompts).
  • Diverse: Prompts através de 8 regimes linguísticos (narrativa, código, matemática, etc.) (84 prompts).
• Intervenções: O autor emprega intervenções direcionadas, incluindo perturbações de passagem única, dispersão rotacional persistente (rotações de medida de Haar aplicadas a aproximadamente 70% de profundidade) e atenuação de magnitude, para testar papéis causais.

Contribuições Principais e Resultados

1. Uma Interface de Predição Invariante de Escala

A dimensionalidade efetiva dos subespaços próximos à predição ($D$ e $S$) é baixa e invariante de escala.

• Em prompts restritos, o posto efetivo de $D$ é consistentemente de dígito único (média $\approx 4$) em todos os modelos, independentemente da dimensão oculta ($d_{model}$ variando de 2.880 a 8.192).
• A dimensionalidade da interface é determinada pela complexidade semântica do prompt, não pela largura do modelo.
• O ajuste por instrução (instruction tuning) refina a organização interna da interface (aumentando a discriminação e reduzindo a sensibilidade ao parafraseamento), mas não a alarga.
• Conclusão: O escalonamento aumenta o tamanho do complemento distal da predição ($F$), não a interface de predição.

2. Estratificação Geométrica: Ortogonalidade e Complexidade de Manifold

• Ortogonalidade: A direção de predição é quase ortogonal (ângulo médio $\approx 84^\circ$–$86^\circ$) aos eixos de variância principal do fluxo residual. As direções de alta variância são deslocadas para longe do eixo de leitura.
• Gradiente de Complexidade de Manifold: Existe um gradiente acentuado de complexidade de manifold ao longo do eixo de proximidade da predição.
  • Próximo à predição ($D$): Geometria altamente dobrada e estruturada (alta densidade de informação).
  • Distal à predição ($F$): Geometria plana e uniforme.
  • Este gradiente é significativamente mais íngreme quando medido em relação à direção de predição comparado aos controles de PCA padrão ordenados por variância, especialmente em prompts linguisticamente heterogêneos.

3. Anti-Discriminação no Complemento

Ao contrário da expectativa de que a discriminação de grupo desapareça com a distância da direção de predição, o complemento ($F$) exibe anti-discriminação.

• Prompts do mesmo grupo semântico são sistematicamente mais distantes no espaço $F$ do que prompts de grupos diferentes.
• Isso sugere que $F$ carrega uma configuração específica do prompt que compensa as variações nos estados próximos à predição para alcançar resultados de leitura semelhantes.

4. Direção sobre Magnitude (Hipótese da Casca Fina)

O artigo valida a "hipótese da casca fina" (thin-shell hypothesis): a variação no fluxo residual é impulsionada pela direção, não pela magnitude.

• Perturbar a direção do complemento ($F$) via rotação causa divergência imediata e severa na saída.
• Reduzir a magnitude de $F$ (atenuação) preservando a direção tem efeito negligenciável.
• Isso confirma que o complemento atua como um substrato direcional essencial para a computação, apesar de seu fraco alinhamento com a leitura.

5. Estratificação Comportamental

Intervenções rotacionais persistentes revelam uma hierarquia comportamental alinhada ao eixo de proximidade da predição:

• Subespaço $D$ (Enquadramento Imediato): A interrupção causa divergência imediata (primeira divergência média $\approx 1.2$ tokens) e frequentes mudanças de enquadramento de tarefa (ex: mudar de responder para comentários meta-linguísticos).
• Subespaços $S$ e $F$-topK (Trajetória): A interrupção causa divergência tardia (primeira divergência média $\approx 5.6$ para $S$, $\approx 6.5$ para $F$-topK) e substituição de conteúdo dentro de um enquadramento de tarefa preservado.
• Isso indica que $D$ controla o enquadramento inicial da resposta, enquanto $S$ e a parte de alta variância de $F$ controlam a trajetória subsequente.

6. Partição Estática/Dinâmica do Complemento

O complemento $F$ é organizado adicionalmente por dinâmicas temporais:

• Ele se divide em um andaime estático (média temporal) e um envelope dinâmico (atualizações token a token).
• O envelope dinâmico é causalmente carregável: injetar um $F$ "obsoleto" (atrasado em um passo) causa divergência universal de saída logo no primeiro token.
• Rotacionar as direções do envelope dinâmico causa falha catastrófica (taxa de falha de 92,3%), distinta da redireção causada pela rotação de $D$ ou $S$.

Significância e Alegações

O artigo afirma estabelecer a direção de predição como uma âncora privilegiada e definida pelo conteúdo que organiza a geometria do fluxo residual de uma forma distinta dos eixos de coordenadas descritos anteriormente.

• Restrição Arquitetônica: As descobertas sugerem que a leitura linear impõe uma restrição de "sinal-ruído", forçando o modelo a isolar a estrutura relevante para a predição em uma interface estreita e invariante de escala, enquanto expande o substrato computacional ($F$) ortogonalmente a ela.
• Cegueira de Avaliação: Como a maior parte do fluxo residual (o complemento) está fracamente alinhada com a leitura, métricas de avaliação baseadas em saída (logits, precisão do próximo token) provavelmente subestimam a computação interna e as mudanças estruturais que ocorrem no modelo conforme ele escala.
• Interpretabilidade: A estratificação geométrica oferece um framework para interpretabilidade ao nível de características, sugerindo que o enquadramento da tarefa reside em $D$, enquanto a trajetória e a manutenção de estado residem em $S$ e $F$.
• Geométrico vs. Variância: O artigo argumenta que a organização geométrica não é meramente uma sombra da estrutura de variância; ancorar à direção de predição revela princípios organizacionais (como a anti-discriminação de $F$ e a hierarquia comportamental) que análises baseadas apenas em variância falham em capturar.

O autor conclui que os fluxos residuais de transformers são melhor compreendidos não como ativações difusas de alta dimensão, mas como geometrias estratificadas apresentando uma interface de predição fixa imersa em um substrato dinâmico, mantido causalmente e portador de carga.