ATLAS: Constitution-Conditioned Latent Geometry and Redistribution Across Language Models and Neural Perturbation Data

Resumo Técnico: ATLAS

1. Problema e Motivação

O treinamento pós-constitucional (post-training) de modelos de linguagem (LLMs) é geralmente avaliado por mudanças visíveis no comportamento de saída (ex: taxas de recusa, precisão em benchmarks). No entanto, uma questão fundamental permanece: esse processo deixa para trás uma organização interna recuperável e reutilizável, ou apenas um deslocamento superficial de comportamento?

O artigo investiga se a "condicionamento por constituição" (instruções escritas que moldam o comportamento do modelo) realiza uma geometria latente local específica que pode ser:

1. Identificada no modelo fonte.
2. Reidentificada em um modelo alvo diferente (sem transferência de adaptadores).
3. Corroborada em um substrato biológico (dados de perturbação neural em camundongos).

O objetivo é determinar se existe uma correspondência estrutural profunda entre modelos e substratos distintos, mesmo que as coordenadas exatas e a expressão local mudem.

2. Metodologia: O Programa ATLAS

O estudo introduz o ATLAS (Constitution-Conditioned Latent Geometry and Redistribution Across Language Models and Neural Perturbation Data), um programa "geometria-primeiro" que rastreia a estrutura de estados ocultos induzida por constituições.

• Unidade de Análise: Em vez de focar em neurônios individuais, vetores ou patches compactos, o ATLAS analisa um gráfico local (local chart). Um gráfico é uma organização representacional local onde a estrutura tangente, a distribuição de ocupação e o acoplamento comportamental podem ser medidos sob mudanças no sistema.
• Arc Experimental (Fluxo de Trabalho):
  1. Fonte (Gemma): Um modelo Gemma 3 1B IT submetido a treinamento pós-constitucional. O objetivo é ancorar um gráfico local de fonte e definir uma "família definida pela fonte" (source-defined family) como a unidade de exportação.
  2. Alvo (Phi): Um modelo Phi-4 Mini Instruct não adaptado. O objetivo é reidentificar a família congelada da fonte neste novo modelo, testando se a estrutura latente persiste sem transferência de pesos.
  3. Corroboração Biológica (ALM8): Dados de perturbação de fotoinibição no córtex frontal de camundongos (ALM8). O objetivo é verificar se a mesma família congelada se manifesta como uma "realização de ponte" (bridge realisation) neste substrato biológico.
• Métricas de Contrato Geométrico:
  • Suporte de Gráfico (Tangente): Preservação da estrutura local (medida por ângulos de base e tangentes empíricas).
  • Suporte de Ocupação: Se a estrutura cai no mesmo "slot" local (medido por distâncias de energia e normas de deslocamento).
  • Acoplamento Comportamental: Capacidade de separar condições (ex: constituição informativa vs. controle nulo) na camada de saída, medida por AUC e gap médio.
  • Redistribuição: O conceito central onde o suporte do gráfico persiste, mas a identidade de ocupação exata falha (a estrutura se recorre, mas se desloca para slots vizinhos).

3. Principais Contribuições

1. Estabelecimento de um Gráfico Local na Fonte: Demonstra que o condicionamento por constituição no Gemma realiza um gráfico local recuperável e ligado ao comportamento, ancorado em checkpoint-2250.
2. Definição da Unidade de Exportação: Mostra que a unidade exportável não é um "patch exato" compacto, mas uma família definida pela fonte mais ampla (high_effective_mi), que contém o gráfico e mantém suporte comportamental.
3. Reidentificação Cruzada (Phi): Reidentifica essa família congelada em um modelo Phi não adaptado, validando a correspondência estrutural sob um protocolo confirmatório rigoroso.
4. Corroboração Biológica (ALM8): Corrobora a mesma família em dados de camundongos, estabelecendo uma ponte entre a geometria de LLMs e a neurociência de sistemas.
5. Definição de Limites (MCQ): Utiliza uma tarefa de múltipla escolha (MCQ) para definir o limite onde a localização local existe, mas a "fechadura" (closure) fiel à fonte falha, distinguindo entre sinal local e correspondência estrutural completa.

4. Resultados Chave

• No Gemma (Fonte):

  • O gráfico ancorado capturou 310/320 linhas de fonte revisadas e 84/84 linhas de "flip" de pontuação.
  • A suficiência de um "patch exato compacto" não foi fechada; a unidade correta é a família mais ampla.

• No Phi (Alvo):

  • A família congelada foi reidentificada em uma faixa de busca restrita (camadas 23-25).
  • Resultado Principal: Na rota de política confirmatória (32 linhas informativas vs. 32 controles), obteve-se um AUC de 0.984 e um gap médio de 5.50.
  • Interpretação: O modelo Phi estabiliza a mesma ramificação semântica (ex: rotas de "esquema" vs. "alinhamento") sob diferentes constituições, mas a ocupação exata não é idêntica (fenômeno de redistribuição).

• No ALM8 (Substrato Biológico):

  • A corroboração foi positiva em 5/5 dobras de held-out (testes cruzados).
  • Métricas: AUC médio de 0.72 e gap de dobra médio de 4.50.
  • O suporte de gráfico foi mantido em todas as dobras, mas o suporte de ocupação foi parcial (4/5), reforçando a tese de que a estrutura se recorre com redistribuição, não como uma cópia exata.

• Limites (MCQ):

  • Em tarefas de múltipla escolha, sinais locais próximos foram encontrados, mas a separação comportamental e a especificidade de controle falharam (AUC < 0.5). Isso demonstra que a localização local não garante a correspondência estrutural completa exigida pelo contrato.

5. Significado e Conclusões

O artigo conclui que o condicionamento por constituição induz uma geometria latente recuperável que persiste através de mudanças de modelo e substrato. No entanto, essa persistência não é uma identidade coordenada exata.

• Redistribuição: A organização fundamental (o "gráfico") se recorre, mas sua localização exata, ocupação e expressão comportamental local se deslocam (redistribution).
• Correspondência de Família: A unidade de correspondência é uma família de subespaços locais (mesoscópica), e não um único neurônio ou patch.
• Implicações para Segurança e Interpretabilidade:
  • Permite a auditoria de alvos latentes congelados em modelos não adaptados.
  • Sugere que o controle de modelos pode ser feito através da estabilização de rotas semânticas latentes, mesmo que a implementação exata varie entre modelos.
  • Estabelece uma ponte metodológica entre a engenharia de representações em IA e a neurociência de sistemas, mostrando que princípios de organização latente podem ser transversais a substratos sintéticos e biológicos.

Em suma, o ATLAS prova que as "regras" escritas (constituições) deixam uma assinatura geométrica profunda e reutilizável nos modelos, mas essa assinatura é flexível e se adapta ao novo substrato, exigindo uma visão de "família" e não de "cópia exata" para sua detecção e aplicação.