Resumo Técnico: Alavancagem não é Alcance: Uma Lei de Janela de Controle para Direcionamento de Neurônio Único em Modelos de Linguagem

1. Declaração do Problema

Embora modelos de linguagem alinhados controlem comportamentos críticos (ex: recusa, roteamento de linguagem, escolha de operador aritmético) através de neurônios esparsos de feed-forward (FFN), não existe atualmente um arcabouço teórico que preveja quando a intervenção em um único neurônio controlará coerentemente um comportamento versus quando causará o colapso da saída do modelo em um texto degenerado.

Existem duas lacunas fundamentais na literatura atual:

1. Desacordo entre Atribuição-Intervenção: Neurônios classificados como importantes por atribuição de gradiente local frequentemente falham em controlar o comportamento causal, enquanto verdadeiros controladores são frequentemente invisíveis aos gradientes. Alta "alavancagem" (a capacidade de uma dose de mover o estado do modelo) não prevê "alcance" (o efeito comportamental coerente).
2. Falta de Teoria Preditiva: Nenhum princípio existente explica por por que uma intervenção específica altera um comportamento de forma coerente enquanto colapsa outro. Intervenções em magnitudes fixas produzem vereditos contraditórios dependendo da dose arbitrária escolhida, impedindo que o controle de neurônio único seja um fenômeno previsível e falsificável.

2. Metodologia: O Arcabouço de Janela de Controle Normalizado por Orçamento

Os autores propõem um arcabouço que trata a intervenção de neurônio único como uma relação dose-resposta, análoga à farmacologia. A inovação central é normalizar a dose da intervenção contra a geometria interna do modelo, em vez de usar magnitudes fixas.

A Coordenada de Controle

Uma intervenção de neurônio único adiciona um múltiplo escalar $t$ de uma direção de escrita $v$ (a coluna de projeção descendente de um neurônio FFN) ao fluxo residual $r_L$:
$$r(t) = r_L + t v$$
Como o fluxo residual passa pela normalização, apenas a direção do fluxo perturbado importa. O efeito reduz-se a uma única coordenada de controle: o alinhamento entre o fluxo residual perturbado e a direção de escrita, $\cos \theta_v$.

O Orçamento de Coerência e o Impulso Universal

A dose é normalizada pelo orçamento de coerência $B$, definido como a razão entre a norma do resíduo e a norma da direção de escrita:
$$B = \frac{\|r_L\|}{\|v\|}$$
O acoplamento adimensional $g = t/B$ conduz a coordenada de controle ao longo de uma curva de saturação universal:
$$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$$
Esta curva descreve como o resíduo rotaciona em direção à direção de escrita conforme a dose aumenta.

A Lei da Janela de Controle

O controle coerente existe se, e somente se, o limiar de gatilho ($\cos \theta_{trig}^v$) do comportamento estiver abaixo do teto de colapso ($\cos \theta_{coll}^v$):
$$\text{Controle Coerente} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$$

• O Gatilho: Um limiar dependente do comportamento onde o comportamento muda. Ele varia por classe de comportamento (ex: $\approx 0,3$ para roteamento de linguagem, $\approx 0,45$ para recusa) e horizonte de execução $\tau$.
• O Teto: Um limiar dependente da geometria onde a saída colapsa. É previsto a partir dos pesos do modelo e de uma única passagem direta (forward pass), escalonado por um coeficiente de colapso $m^*$ (relacionado à razão de participação do resíduo).

3. Principais Contribuições

1. Uma Lei de Janela de Controle em Uma Coordenada: O artigo estabelece que o efeito de qualquer dose reduz-se a uma única coordenada, $\cos \theta_v$, seguindo uma curva de impulso universal. O controle coerente é estritamente limitado por um gatilho (específico do comportamento) e um teto (específico da geometria).
2. Previsão Prospectiva do Teto: O teto de colapso pode ser previsto antes da intervenção usando apenas os pesos e uma passagem direta genérica. Em 15 neurônios retidos, o teto previsto teve um Erro Médio Absoluto (MAE) de 0,14 (0,07 em camadas de massa).
3. Três Mecanismos para Janelas Fechadas: O artigo identifica três razões pelas quais um neurônio pode falhar em controlar um comportamento:
   • Fechamento Geométrico: O teto de colapso é inferior ao gatilho (observado em modelos Gemma).
   • Fechamento por Limite de Impulso: A normalização pós-FFN limita o alcance do neurônio abaixo do gatilho (observado em Gemma).
   • Fechamento por Desacoplamento: A escrita ocorre muito tarde na profundidade da rede para se propagar antes que a saída seja gerada.
4. Generalidade entre Comportamentos: A lei governa mudanças de modo benignas (roteamento de linguagem, escolha de operador) e comportamentos de segurança (recusa). Os valores de gatilho diferem por classe de comportamento, mas a geometria subjacente permanece consistente.
5. Alavancas vs. Alcance (Cegueira de Gradiente): O artigo demonstra que a atribuição de gradiente local anti-prevê o controle. Os verdadeiros controladores escrevem "fora do eixo" (perpendiculares à leitura imediata), carregando gradientes de primeira ordem quase nulos, mas curvatura significativa de segunda ordem. Consequentemente, neurônios classificados por gradiente são frequentemente propensos ao colapso, enquanto os controladores mais eficazes são invisíveis à atribuição padrão.
6. Resultados Tipados: O sucesso da intervenção não é um escalar, mas "tipado". Um neurônio pode alcançar o bypass coerente (alterar a recusa mantendo a fluidez do texto) sem alcançar o alcance de ação estrita (fornecer conteúdo nocivo operacional). Esses dois resultados se desacoplam, particularmente em cenários de recusa.

4. Resultados e Validação

• Precisão Preditiva: O arcabouço previu com sucesso o veredito "aberto" ou "fechado" para 11 de 15 neurônios retidos. Os quatro "erros" não foram violações da lei, mas casos de borda informativos (ex: fechamentos geométricos, fechamentos por limite de impulso ou aberturas fracas).
• Coeficiente de Colapso: O coeficiente de colapso $m^*$ foi encontrado como dependente da arquitetura. É $\approx 1,4\text{--}1,7$ para as famílias Qwen e Llama, mas cai para $0,31$ para o Gemma-3, correlacionando-se com a razão de participação (concentração) do resíduo.
• Eficiência de Descoberta: Um rastreamento contrastivo baseado apenas em forward pass combinado com a lei da janela de controle recuperou 4 de 4 controladores conhecidos que a classificação por gradiente perdeu (0/4). O rastreamento contrastivo fornece recall, enquanto a lei da janela fornece precisão.
• Auditoria de Recusa: Em uma coorte de neurônios de recusa, o estudo mostrou que, embora muitos neurônios pudessem contornar a recusa de forma coerente, apenas um subconjunto (3 de 6 pivôs de Llama auditados) produziu conteúdo nocivo operacional genuíno. Além disso, o conteúdo acionável muitas vezes ocorre tardiamente na execução (após $\approx 96\text{--}128$ tokens), distinguindo-se do bypass de tokens iniciais.
• Janela Bidimensional: A janela de controle é mostrada como uma superfície sobre a dose e o tempo de execução. Alguns comportamentos (como roteamento de linguagem) são locais do token, enquanto outros (como mudança de operador) requerem um horizonte de execução para se manifestarem.

5. Significância e Alegações

O artigo afirma transformar o direcionamento de neurônio único de uma coleção de anedotas em uma lei previsível e falsificável da mecânica de aprendizado profundo.

• Unificação: Unifica descobertas anteriores (pesos super, neurônios de recusa, mecanismos aritméticos) ao colocá-las na mesma janela de controle, resolvendo contradições aparentes entre controle, colapso e invisibilidade.
• Utilidade Defensiva: Fornece um "diagnóstico de segurança de dois eixos" (margem de bypass coerente vs. potência de ação estrita) permitindo que proprietários de modelos auditem a robustez. Um modelo pode ter uma janela de bypass ampla, mas zero alcance acionável, ou uma janela fechada inteiramente.
• Mudança Metodológica: Prescreve um novo padrão para intervenção: dosagem normalizada pelo orçamento lida no horizonte de execução do comportamento. Isso corrige o registro de neurônios anteriormente rotulados como destrutivos devido ao excesso de magnitude fixa.
• Insight Teórico: Esclarece que "alavancagem não é alcance". Verdadeiros controladores operam semeando perturbações fora do eixo que circuitos subsequentes amplificam, tornando-os invisíveis à análise de gradiente de primeira ordem.

Os autores concluem que, embora o teto de colapso seja previsível a partir da geometria, o valor do gatilho permanece uma quantidade medida dependente da classe de comportamento e da profundidade, representando o principal problema aberto para uma teoria totalmente baseada em primeiros princípios. O trabalho estabelece uma disciplina de medição que separa o roteamento comportamental do alcance de capacidade, oferecendo uma ferramenta rigorosa para auditar a controlabilidade do modelo.