Resumo Técnico: Mapas de Evolução Geométrica (GEMs)

Declaração do Problema

As sondas lineares extraídas dos fluxos residuais de transformadores são tão confiáveis quanto a camada específica da qual são extraídas. A literatura atual depende de três heurísticas ingênuas para seleção de camadas: sondar a camada final, sondar a camada com a pontuação de separação máxima ou sondar uma camada fixa do meio para o final.

O artigo argumenta que essas abordagens falham em considerar uma realidade estrutural fundamental: as representações de conceitos nos fluxos residuais de transformadores não são estáticas. Elas emergem gradualmente, sofrem uma rotação direcional substancial durante sua fase de montagem (dentro da Zona de Alocação de Conceito ou CAZ) e apenas se estabilizam em uma direção estável em uma "camada de transferência" característica, após a CAZ primária. Sondar no pico de separação (que ocorre dentro da CAZ) ou na entrada da CAZ extrai uma direção que ainda não se estabilizou, levando a sondas de conceito pouco confiáveis.

Metodologia: Mapas de Evolução Geométrica (GEMs)

O artigo introduz os Mapas de Evolução Geométrica (GEMs), um método para rastrear a trajetória direcional completa de um conceito através das ativações do fluxo residual, a fim de identificar a camada precisa onde a direção do conceito se estabiliza.

Definições Principais

1. Direção do Conceito ($u^{(l)}$): Em cada camada $l$, a direção dominante do conceito é definida como a diferença normalizada por $L_2$ entre as médias das ativações do fluxo residual de pares contrastivos positivos e negativos (Diferença nas Médias).
2. Velocidade Angular ($\omega^{(l)}$): A taxa de mudança direcional é calculada como $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$. Alta velocidade indica rotação ativa; baixa velocidade indica estabilidade.
3. Zona de Alocação de Conceito (CAZ): A faixa de camadas onde um conceito sofre seu evento primário de separação, detectada por meio de pontuações de separação normalizadas por Fisher.
4. Camada de Transferência ($L_H$): Definida operacionalmente como a primeira camada imediatamente após o fim da CAZ onde a velocidade angular cai abaixo de um limiar ($\epsilon = 0.05$). Esta é a camada onde a direção do conceito "trava".
5. Sonda Estabilizada: A sonda extraída é o vetor unitário $u^{(L_H)}$ na camada de transferência.

Regra de Largura Adaptativa

Ao avaliar sondas via ablação, o artigo introduz uma regra de largura adaptativa ($w$). O padrão é ablar 3 camadas consecutivas começando em $L_H$. No entanto, para transferências próximas à camada final ($L_H/N > 0.85$), ablar 3 camadas arrisca estender-se para a zona de preparação de desembedding, diluindo o sinal. Para esses casos, a regra define $w=1$ para extrair a direção exatamente no ponto de convergência.

Contribuições Principais

1. Formalização do GEM: Um método tratável para calcular a camada de transferência e extrair a direção do conceito estabilizada.
2. Validação Empírica da Rotação: Demonstrou que as direções dos conceitos rotacionam substancialmente durante a montagem. Em 391 pares de conceito $\times$ modelo (23 modelos, 17 conceitos), o Cosseno Entrada-Saída (EEC) médio dentro das CAZs é 0,233, com 93,9% dos pares mostrando EEC < 0,5. Isso confirma que sondar na entrada da CAZ ou no pico de separação captura uma direção ortogonal ao estado final estabilizado.
3. Superioridade das Sondas de Transferência: As sondas extraídas pelo GEM são pelo menos tão precisas quanto as sondas de camada de pico em 68,5% (268/391) dos ensaios e superam estritamente em 66,2% (259/391). Um teste de postos sinalizados de Wilcoxon sobre proporções por modelo confirma significância ($p=0,010$; $p=0,0036$ excluindo gpt2).
4. Descobertas Específicas de Arquitetura:
   • MHA vs. GQA: Modelos MHA favorecem a camada de transferência em 78,3% dos ensaios, enquanto modelos GQA a favorecem em apenas 47,1%.
   • Escala: A estrutura GEM existe mesmo em modelos de 70M, mas a qualidade da sonda melhora significativamente na faixa >500M.
5. Controle de Especificidade Direcional: A ablação da direção específica do conceito suprime a separação a uma taxa mediana 377$\times$ maior que a ablação de direção aleatória (45,6% vs. 0,24%), confirmando que o efeito é carregado pela própria direção do conceito, não apenas pela profundidade.
6. Controle Casado por Profundidade: Um experimento de controle comparando o GEM contra uma camada não estabilizadora na mesma profundidade relativa confirmou que o critério de estabilização contribui com +32,5 pontos percentuais adicionais de supressão de separação, descartando a profundidade de extração como o único motor.
7. Modos de Falha Estruturados:
   • gpt2: Identificado como um modo de falha genuíno onde a ablação na camada de transferência (devido à proximidade com o desembedding em um modelo de 12 camadas) aumenta patologicamente a separação.
   • OPT-6.7b: Inicialmente parecia uma falha em um corpus menor (41% de melhoria), mas alcançou 76% de melhoria em $N=250$, indicando que a descoberta inicial era dependente do tamanho do corpus.

Resultados e Observações

• Profundidade de Transferência: A maioria dos conceitos se estabiliza nos últimos 15–30% da profundidade do modelo. Conceitos relevantes para segurança e epistêmicos (ex: threat_severity, certainty) transferem mais profundamente (profundidade relativa média $\ge$ 0,86), enquanto conceitos sintáticos (ex: specificity, plurality) transferem mais cedo.
• Estrutura de Relé: Experimentos de ablação multi-nodo em pythia-6.9b revelam que os conceitos frequentemente existem em um relé causal. O nó GEM mais profundo é o ponto de intervenção causalmente mais concentrado, mas nós rasos são causalmente a montante (disrupção cruzada observada em 9/15 conceitos multi-nodo).
• Eficácia da Largura Adaptativa: A regra próxima ao final ($w=1$) melhora a qualidade da sonda em 75,9% dos casos acionados (60/79), com um ganho médio de +7,44pp para esses casos.

Significado e Alegações

O artigo afirma que o GEM fornece a metodologia de extração subjacente aos artigos CAZ Validation e PRH neste programa de pesquisa. Seu significado principal reside em:

1. Correção da Extração de Sondas: Estabelecer que a direção "estabilizada" na camada de transferência é a representação geometricamente precisa de um conceito, superior às direções transitórias encontradas nos picos de separação.
2. Mapeamento da Dinâmica de Montagem: Fornecer um método para visualizar e quantificar a "rotação" dos conceitos, revelando que os conceitos não são estáticos, mas passam por um processo dinâmico de montagem antes de se estabilizarem.
3. Caracterização Causal: Demonstrar que o GEM identifica os pontos mais acessíveis em um relé causal para intervenção, embora não afirme capturar a totalidade da codificação do conceito (que permanece distribuída).

O artigo permanece modesto quanto ao seu escopo: não afirma explicar o mecanismo completo da codificação de conceitos (ex: as contribuições específicas de atenção vs. subcamadas MLP) nem afirma capturar todas as informações do conceito, apenas os "picos" da distribuição onde o sinal é grande o suficiente para ser isolado e testado. Ele nota explicitamente que a ablação comportamental (medindo mudanças na saída a jusante) foi projetada, mas ainda não foi executada em escala.