Semantic Sections: An Atlas-Native Feature Ontology for Obstructed Representation Spaces

Título: Seções Semânticas: Uma Ontologia de Recursos Nativa de Atlas para Espaços de Representação Obstruídos

1. O Problema

A interpretabilidade mecânica moderna baseia-se frequentemente na premissa ontológica de que um "recurso" (feature) é um único objeto global, representável como uma direção fixa no espaço de ativação, um átomo de dicionário esparsa ou uma coordenada latente compartilhada em todos os contextos.

No entanto, trabalhos recentes baseados em atlas (Javidnia, 2026) demonstraram que essa visão falha em espaços de representação obstruídos. Nesses regimes:

• A estrutura de recursos locais pode ser coerente dentro de "cartas" (contextos locais), mas falhar ao se montar em uma única direção global consistente.
• Fenômenos geométricos como cisalhamento de proxy (proxy shearing) e holonomia não trivial (nontrivial holonomy) impedem que significados locais se alinhem globalmente.
• Consequentemente, tentar identificar um recurso como um único vetor global resulta na perda de identidade semântica ou na fragmentação de um único conceito em múltiplos vetores locais desconexos.

A Questão Central: Se os recursos globais falham, qual é o objeto primitivo correto para descrever a identidade semântica nesses espaços obstruídos?

2. Metodologia e Formalismo

O artigo propõe uma mudança ontológica: em vez de um vetor global, o recurso deve ser modelado como uma Seção Semântica (Semantic Section).

Definição de Seção Semântica:
Uma família transportável de representantes de recursos locais definidos sobre um atlas de contexto. A identidade do recurso é rastreada pela compatibilidade de transporte entre as cartas sobrepostas, não pela igualdade de vetores globais.

Classificação Teórica (Regimes):
O trabalho formaliza três regimes distintos baseados na consistência de ciclos no gráfico de cartas:

1. Seções Locais em Árvore (Tree-local): Coerentes apenas no sentido de propagação ao longo de caminhos (sem ciclos). A coerência é fraca, pois não enfrenta restrições de laço.
2. Seções Globalizáveis (Globalizable): Coerentes localmente e consistentes em ciclos. O transporte ao redor de um laço retorna o representante original (ou com sinal invertido), permitindo uma identidade semântica global.
3. Seções Torcidas (Twisted): Coerentes localmente, mas falham na globalização devido à holonomia. O transporte ao redor de um laço retorna um representante "rotacionado" ou distorcido, impedindo a definição de um único vetor global.

Pipeline de Descoberta e Certificação:
Os autores desenvolveram um pipeline prático para descobrir e certificar essas seções em LLMs congelados (frozen):

1. Propagação Semeadura: Inicia-se com um representante local (semente) e propaga-se através do gráfico de cartas usando mapas de transporte.
2. Sincronização: Em cartas alcançadas por múltiplos caminhos, os representantes são alinhados (sincronizados) para inferir um representante local único.
3. Poda Baseada em Defeito: Remove-se cartas e arestas onde o defeito de transporte (diferença entre o vetor transportado e o local) excede um limiar.
4. Taxonomia Consciente de Ciclos: Classifica-se a seção resultante com base no número de ciclos independentes (número de Betti) e nos defeitos de holonomia.
5. Deduplicação: Agrupa-se seções descobertas a partir de sementes diferentes que compartilham alta sobreposição de suporte e estatísticas geométricas.

3. Principais Contribuições

1. Nova Ontologia: Introdução das "Seções Semânticas" como o objeto primitivo correto para espaços de representação obstruídos, substituindo a visão de vetor global único.
2. Fundamentação Teórica: Formalização da distinção entre seções locais, globalizáveis e torcidas, estabelecendo a consistência de ciclos como o critério decisivo para a globalização semântica.
3. Pipeline Empírico: Desenvolvimento de um método robusto para descobrir, classificar e deduplicar seções semânticas em modelos de linguagem grandes (LLMs).
4. Evidência Cross-Model: Demonstração empírica de que seções semânticas existem e são estruturalmente heterogêneas em diferentes famílias de modelos (Llama, Qwen, Gemma).
5. Falha da Similaridade Global: Prova experimental de que a identidade semântica não pode ser recuperada por similaridade de cosseno entre vetores globais, mesmo para seções globalizáveis.

4. Resultados Experimentais

Os experimentos foram realizados em atlas da camada 16 de três modelos: Llama 3.2 3B, Qwen 2.5 3B e Gemma 2 2B.

• Censo Cross-Model:
  • Gemma 2: Apresentou a estrutura mais rica, com 14 seções globalizáveis, 4 torcidas e 8 locais em árvore (após deduplicação).
  • Llama 3.2: Exibiu uma taxonomia completa, mas esparsa (1 globalizável, 1 torcida, 2 locais).
  • Qwen 2.5: Dominado por seções locais em árvore (5), servindo como um regime de controle onde a coerência global é rara.
• Robustez: Os resultados são robustos a variações de limiares geométricos e persistem em diferentes camadas do Llama (embora a estrutura cíclica seja mais forte na camada 16 do que na 20).
• Recuperação de Identidade (O Resultado Mais Crítico):
  • Para seções certificadas como "globalizáveis", a similaridade de cosseno bruta entre os representantes locais em diferentes cartas é extremamente baixa.
  • Exemplo: No Gemma, para 1221 pares verdadeiros dentro de uma seção globalizável, a similaridade bruta recuperou apenas 19,57% dos pares com um limiar de 0,3, e 0% com um limiar de 0,7.
  • Em contraste, o critério baseado em seções recuperou 100% dos pares dentro do suporte certificado.
  • Isso demonstra que um único recurso semântico não se parece com um único vetor global; ele é uma família de vetores locais que só se mantêm juntos através da estrutura de transporte do atlas.

5. Significado e Impacto

Este trabalho representa uma mudança paradigmática na interpretabilidade mecânica:

• Do Global para o Local-Global: Argumenta-se que, em regimes obstruídos, a busca por um "vetor global" é fundamentalmente falha. A identidade semântica é preservada pela organização compatível com o transporte (atlas-native), não pela igualdade vetorial.
• Holonomia como Obstáculo Semântico: A holonomia deixa de ser apenas uma curiosidade geométrica para se tornar um obstáculo direto à identidade semântica única. Seções torcidas representam significados que são estáveis localmente, mas impossíveis de unificar globalmente.
• Implicações Práticas: Métodos de interpretabilidade que dependem exclusivamente de vetores globais podem estar sistematicamente fragmentando conceitos semânticos ou falhando em identificá-los. A abordagem de seções semânticas oferece uma ferramenta mais precisa para auditar, depurar e entender a organização interna de modelos complexos onde a sobreposição de recursos (superposition) cria geometrias não triviais.

Em suma, o artigo estabelece que, quando os significados locais não se colam em um vetor global estável, eles devem ser modelados como seções semânticas, uma estrutura que respeita a topologia e a geometria local do espaço de representação.