Measuring Semantic Abstractness of SAE Features via Nonlocality

Resumo Técnico: Medindo a Abstração Semântica de Features de SAE via Não-localidade

Problema
Os Autoencoders Esparsos (SAEs) tornaram-se uma ferramenta primária para descobrir explicações mecanísticas dos comportamentos de Grandes Modelos de Linguagem (LLMs), como raciocínio e jailbreaking, ao isolar features causalmente efetivas. No entanto, permanece uma lacuna crítica na distinção entre features semânticas genuinamente de alto nível e features de superfície, orientadas por tokens (ex: pistas lexicais específicas ou padrões de formatação). Os métodos atuais de seleção de features — baseados em filtragem de palavras-chave, conjuntos de dados contrastivos ou auto-interpretações geradas por LLMs — frequentemente falham em resolver o nível de abstração de uma feature. Consequentemente, o sucesso do direcionamento comportamental (steering) via intervenção não implica necessariamente um entendimento mecanístico da computação subjacente; uma feature pode simplesmente aumentar a probabilidade de emitir um token específico (ex: "Espere") em vez de representar um conceito complexo como "incerteza". Há uma necessidade de uma métrica independente de LLM e livre de rótulos (label-free) para quantificar a "complexidade mecanística" ou a abstração semântica das features de SAE.

Metodologia: Não-localidade de Feature (FNL)
Os autores introduzem a Não-localidade de Feature (FNL) como uma testemunha quantitativa do alcance contextual de uma feature. Inspirada pela dualidade holográfica, a FNL trata a sequência de tokens do transformer como uma "evolução temporal" e mede a "localização" da ativação de uma feature neste espaço temporal.

A métrica é definida da seguinte forma:

1. Influência por Posição: Para uma feature específica $a$ ativada na posição do último token $T$ de um prompt $P$, os autores computam a norma do gradiente ao quadrado da ativação da feature em relação ao embedding de entrada em cada posição precedente $t$ ($1 \le t \le T$). Isso mede o quanto a ativação da feature depende de tokens de entrada específicos.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. Distribuição de Probabilidade: Esses escores de influência são normalizados para formar uma distribuição de probabilidade $p_a^{(P)}(t)$ sobre as posições do prefixo.
3. Cálculo de Entropia: A não-localidade $H(a, P)$ é definida como a entropia de Shannon desta distribuição.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. Agregação: Um escore FNL em nível de dataset $H(a, D)$ é obtido através da média da entropia sobre um conjunto de eventos de ativação.

Intuitivamente, uma baixa FNL indica que a ativação de uma feature é impulsionada por tokens locais e específicos (baixa entropia, influência concentrada), enquanto uma alta FNL indica que uma feature integra informações amplamente através da janela de contexto (alta entropia, influência difusa).

Principais Contribuições

1. Definição de FNL: O artigo propõe a FNL como uma métrica baseada em gradiente, livre de rótulos e independente de LLM para caracterizar o alcance contextual típico de uma feature de SAE.
2. Validação de Estabilidade e Geometria: Os autores demonstram que os rankings de FNL são estáveis entre diferentes datasets (WikiText, GSM8K, Code-Python) e profundidades de modelo. Eles também mostram que a FNL correlaciona-se com a geometria da feature, onde features com vetores de decodificação semelhantes (funções de escrita similares) compartilham intervalos de não-localidade semelhantes.
3. Correlação com Abstração Semântica: A FNL é validada contra duas medidas de proxy de abstração independentes:
   • Suscetibilidade à Injeção de Token: Features de alta FNL mostram menor suscetibilidade a serem disparadas por injeções de tokens isolados (falsos positivos), distinguindo-as de features orientadas por tokens.
   • Invariância de Paráfrase: Features de alta FNL exibem maior robustez a paráfrases que preservam o significado (menores falsos negativos) em comparação com features de baixa FNL.
4. Aplicações de Fluxo de Trabalho:
   • Auditoria de Mitigação de Jailbreak: Os autores reanalisaram as features usadas para mitigar jailbreaks do tipo wrapper. Eles descobriram que as features mais eficazes tinham FNL próxima de zero, ativando-se quase exclusivamente no início da sequência (indicadores posicionais) em vez de reconhecer a intenção nociva. Isso sugere que os mecanismos de mitigação atuais dependem de artefatos de superfície em vez de compreensão semântica.
   • Direcionamento de Raciocínio (Reasoning Steering): Em um experimento de prova de conceito no DeepSeek-R1-Distill-Llama-8B, o direcionamento de features de alta FNL melhorou a precisão do MATH-500 em 4,6 pontos sobre a linha de base não direcionada, superando o direcionamento de features de baixa FNL e baselines aleatórios.

Resultos

• Métricas de Correlação: A FNL mostra uma correlação negativa significativa com a recuperação de injeção de tokens ($\rho \approx -0,46$) e uma correlação positiva com a robustez de paráfrase ($\rho \approx 0,27$).
• Poder de Discriminação: A FNL distingue com sucesso features dependentes de contexto de features orientadas por tokens em 73–84% dos pares sorteados aleatoriamente (AUC 0,73–0,84).
• Achados de Jailbreak: Na auditoria de 25 features de mitigação de jailbreak, 21 foram identificadas como posicionais (0 FNL), e o direcionamento dessas features posicionais foi responsável pela maior parte da melhoria na defesa, enquanto o direcionamento das 4 features conscientes de conteúdo gerou ganhos negligenciáveis.
• Desempenho de Direcionamento (Steering): O direcionamento de alta FNL no DeepSeek-R1-Distill-Llama-8B alcançou uma precisão MATH-500 de 0,911 (avg@4), comparado a 0,865 para a linha de base não direcionada. No entanto, os autores observam que este ganho é específico do modelo; em outros modelos (Gemma-2-9B, Qwen3-8B), o direcionamento de alta FNL não superou consistentemente as linhas de base.

Significância e Alegações
O artigo conclui que a FNL fornece uma testemunha correlacional, livre de rótulos e independente de LLM do nível de abstração de uma feature de SAE. Não se pretende que seja um preditor perfeito da utilidade de direcionamento em todos os contextos, mas argumenta-se que oferece uma ferramenta diagnóstica necessária para distinguir entre gatilhos lexicais superficiais e computações semânticas genuínas de alto nível.

Os autores enfatizam que, enquanto a utilidade de direcionamento valida o controle, a FNL ajuda a validar o entendimento, revelando se uma feature representa um conceito semântico complexo ou um simples sinal posicional. Essa distinção é crucial para o desenvolvimento de explicações mecanísticas robustas de comportamentos de LLMs e para o design de intervenções de segurança mais eficazes que visem o reconhecimento de intenção genuína em vez de artefatos de superfície. O trabalho é apresentado como um passo em direção à interpretabilidade mecanística refinada, com a ressalva de que os resultados de direcionamento são uma prova de conceito e não uma garantia geral de que a alta não-localidade prediz utilidade.