Resumo Técnico: Uma Teoria de Gauge para Superposição em Modelos de Linguagem

1. O Problema

A interpretabilidade mecânica atual de Grandes Modelos de Linguagem (LLMs) frequentemente parte da premissa de que um único dicionário de características global pode explicar uniformemente uma camada do modelo em todos os contextos. No entanto, evidências de modelos de brinquedo e resultados em grande escala sugerem que essa premissa falha devido ao fenômeno de superposição: os modelos codificam mais características do que a dimensão ambiente, empacotando direções esparsas que induzem interferência e identidades de características dependentes do contexto.

O problema central é que tentar forçar uma descrição global única ignora a dependência contextual estrutural, levando a falhas na interpretabilidade. O artigo propõe redefinir a interpretabilidade não como a descoberta de um dicionário global, mas como um problema de construção de atlas local para global, onde as descrições de características são coerentes localmente, mas podem apresentar obstruções mensuráveis ao serem "coladas" em uma conta global.

2. Metodologia: Um Atlas Teórico de Feixes e Gauge

Os autores desenvolvem uma estrutura matemática baseada em teoria de feixes (sheaf theory) e teoria de gauge para modelar o espaço de representações.

Estrutura do Modelo

• Complexo de Contexto Estratificado: O espaço de contextos é modelado como um complexo simplicial (implementado como um grafo de clusters de contexto). Cada vértice representa um cluster de ativações.
• Cartas Locais: Cada cluster possui um espaço de características local (uma "carta").
  • Para transporte e holonomia: usa-se uma base PCA ortogonal.
  • Para interferência/jamming: usa-se um dicionário local supercompleto aprendido via codificação esparsa.
• Transportes Parciais: Transições entre clusters vizinhos são representadas por transportes parciais (matrizes retangulares) que mapeiam códigos de um contexto para outro.
• Geometria da Informação: Utiliza-se a métrica de Fisher/Gauss-Newton local para identificar quais interações de características são consequentes preditivamente, ponderando a energia de interferência.

As Três Obstruções Geométricas

O framework identifica três tipos de obstruções que impedem a interpretabilidade global:

1. O1 - Jamming Local (Entupimento): Ocorre quando a carga ativa de características excede a largura de banda informacional (Fisher) do contexto local.
2. O2 - Cisalhamento de Proxy (Proxy Shearing): Um desajuste entre o transporte geométrico derivado dos dados e um "proxy" de correspondência fixo (baseado em bases PCA) através das sobreposições de contexto.
3. O3 - Holonomia Não Trivial: A dependência do caminho ao transportar características ao redor de laços no grafo de contexto. Se o transporte ao redor de um laço não retorna à identidade, existe uma obstrução topológica à trivialização global.

3. Contribuições Principais (Teoremas e Resultados)

O artigo apresenta quatro resultados principais que conectam a teoria à experimentação empírica em um modelo Llama 3.2 3B congelado:

(A) Identidade de Gauge na Árvore Geradora (Teorema 5.1)

• Teoria: Após um "fixo de gauge" construtivo em uma árvore geradora do grafo de contexto, as deficiências (erros) nas arestas da árvore desaparecem.
• Resultado: A deficiência em cada aresta "corda" (não pertencente à árvore) é exatamente igual à holonomia do ciclo fundamental associado a ela.
• Impacto: Isso torna a holonomia computável e invariante de gauge, transformando-a de uma estatística abstrata de laços em uma quantidade verificável numericamente.

(B) Cisalhamento Limita Inferiormente o Erro de Transferência (Teorema 4.2)

• Teoria: A pontuação de cisalhamento ($D_{shear}$) fornece um limite inferior para a energia de erro de transferência real em dados de sobreposição.
• Resultado: Um alto cisalhamento implica um desajuste de transferência inevitável em relação a um proxy de correspondência fixo. Isso dá significado operacional ao cisalhamento: não é apenas uma métrica geométrica, mas um limite de falha na consistência semântica entre contextos.

(C) Interferência Certificada (Teorema 6.2)

• Teoria: Estabelece um limite inferior não trivial (não vazio) para a energia de interferência em subconjuntos de átomos "consequentes" (aqueles com alta interação ponderada).
• Resultado: O método certifica que a interferência é forçada em subconjuntos significativos de características, com cobertura alta e zero violações do limite inferior em múltiplos sementes e hiperparâmetros.

(D) Estabilidade dos Estimadores

• Resultado: Experimentos de bootstrap e tamanho de amostra demonstram que as métricas de cisalhamento ($D_{shear}$) e holonomia ($D_{hol}$) são estáveis sob amostragem finita, especialmente em subsistemas bem condicionados (filtrados por persistência).

4. Resultados Empíricos

Os experimentos foram realizados no modelo Llama 3.2 3B Instruct (camada 16) utilizando corpora de texto (WikiText-103, C4) e código (The Stack).

• Validação da Identidade de Gauge: As deficiências nas arestas da árvore foram numericamente próximas de zero ($\sim 10^{-5}$), enquanto as deficiências nas cordas coincidiram com a holonomia do ciclo fundamental com precisão numérica, validando o Teorema 5.1.
• Cisalhamento e Erro de Transferência: O limite inferior teórico foi confirmado empiricamente. A maioria das arestas apresentou um desajuste real significativamente maior que o limite inferior (devido a covariâncias anisotrópicas), mas a relação monotônica e a validade do limite foram mantidas.
• Jamming Certificada: Em 85-90% dos clusters analisados, foi possível certificar um limite inferior positivo para a interferência, sem violações. A correlação entre o índice de jamming e a energia de interferência foi positiva e robusta.
• Robustez:
  • Modelos: Os resultados transferiram-se para Qwen 2.5 3B e Gemma 2 2B, embora as estatísticas geométricas específicas variem entre modelos.
  • Camadas: A estrutura de obstrução varia sistematicamente com a profundidade (não monotônica), sendo mais forte nas camadas iniciais e finais.
  • Controle Nulo: Ao substituir as bases locais aprendidas por bases ortogonais aleatórias, a holonomia e o cisalhamento aumentaram drasticamente, provando que os sinais observados dependem da geometria aprendida e não são artefatos de qualquer estrutura de quadro.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na interpretabilidade mecânica:

1. Do Global para o Local-Global: Substitui a busca por um dicionário global único por uma abordagem de "atlas", onde a inconsistência global é decomposta em obstruções locais mensuráveis.
2. Diagnósticos Computáveis: Transforma a dependência contextual de uma advertência informal em um conjunto de diagnósticos falsificáveis e computáveis (Jamming, Cisalhamento, Holonomia).
3. Ferramentas de Avaliação: Fornece primitivas para avaliar quando e por que a interpretabilidade global falha. Permite separar falhas causadas por sobrecarga local, incompatibilidade entre cartas e transporte dependente de caminho.
4. Validação Estrutural: Demonstra que essas obstruções são propriedades estruturais das representações aprendidas, robustas a mudanças de semente, hiperparâmetros e até mesmo de arquitetura do modelo, e não meros artefatos de implementação.

Em suma, o framework fornece uma metodologia rigorosa para diagnosticar a complexidade geométrica das representações neuronais, estabelecendo limites fundamentais para a interpretabilidade global em modelos de superposição.