Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

Resumo Técnico: Localização Preditiva de Memória (PML)

Definição do Problema
O direcionamento de ativação (activation steering) permite que pesquisadores controlem o comportamento de modelos de linguagem injetando representações internas localizadas em camadas específicas. No entanto, a literatura sugere uma lacuna crítica: embora a localização identifique onde a informação reside, ela não garante que uma direção específica admita um "regime operacional seletivo". Uma direção pode conseguir deslocar um comportamento alvo em uma força de intervenção, enquanto simultaneamente prejudica vizinhos semânticos ou capacidades não relacionadas em outra, ou pode falhar em produzir um efeito limpo em qualquer força. Os métodos atuais frequentemente dependem de evidências de localização estática ou intervenções de força fixa, que falham em prever se um coeficiente seletivo utilizável existe para um determinado registro, direção e camada. O problema central é distinguir direções que oferecem alavancagem daquelas que causam danos colaterais ao longo de um caminho de intervenção medido.

Metodologia
Os autores introduzem a Localização Preditiva de Memória (PML), um framework que trata o caminho de intervenção em grade medida como o objeto preditivo da localização de memória.

1. Caminhos de Intervenção em Grade Medida:
   A PML define um caminho condicionado ao registro através de uma grade pré-especificada de forças de intervenção ($\alpha$). Para cada registro $i$, direção $v$ e camada $\ell$, o sistema mede:

   • Movimento Alvo ($\Delta T$): Mudanças na margem de resposta para comportamentos desejados.
   • Dano Colateral: Mudanças nas margens de vizinho semântico ($\Delta N$) e capacidade geral ($\Delta C$).
   • Calibração Aleatória: Limiares de percentil 95 separados ($\tau_T, \tau_N, \tau_C$) são estabelecidos usando direções gaussianas aleatórias para definir o que constitui um efeito alvo significativo ou dano.
   • Resultados: O sistema registra quatro eventos binários em coeficientes mais fortes retidos (held-out): Target-any (qualquer alvo), Neighbor Damage (dano ao vizinho), Capability Damage (dano à capacidade) e Clean-any (efeito alvo sem dano).

2. Sinais Preditivos:
   A PML prevê esses resultados usando uma hierarquia de evidências:

   • Baseline & Metadados ($B+M$): Propriedades do registro e configuração do modelo.
   • Localização Estática ($L$): Características derivadas de separação de classes, projeção e saliência sem intervenção.
   • Geometria Supervisionada ($G$): Características de Máquinas de Características Recursivas (RFM) e Produto Externo de Gradiente Médio (AGOP), incluindo concentração espectral e alinhamento.
   • Resposta de Baixa Dose ($R$): Uma medição causal "desconectada de força" (strength-disjoint) tomada em uma força de intervenção fraca ($|\alpha| = 0.1$). Isso serve como um diagnóstico dinâmico de baixo custo.

3. Política de Decisão:
   Um seletor consciente de risco usa essas previsões para escolher um coeficiente específico ou abster-se. A função de utilidade recompensa o movimento alvo e penaliza diminuições na margem colateral. A política visa maximizar a utilidade enquanto evita varreduras densas do grid de coeficientes.

Principais Contribuições

• Definição de um Caminho Calibrado Aleatoriamente: O artigo define um caminho de grade medida que registra conjuntamente alavancagem de alvo, dano de vizinho semântico, dano de capacidade e coeficientes limpos para cada combinação de registro-direção-camada.
• Separação de Sinais Estáticos vs. Causais: O estudo demonstra que a localização estática e a geometria supervisionada são priors preditivos fracos. Em contraste, uma resposta de baixa dose ($R$) desconectada de força em $|\alpha|=0.1$ fornece o sinal dominante para prever resultados em forças mais fortes e distintas.
• Previsão Acionável: A PML conecta a previsão à ação através de uma política de coeficiente consciente de colaterais retida (held-out). Esta política seleciona um coeficiente ou abstém-se, fornecendo uma prova de conceito para reduzir o custo computacional das avaliações densas de intervenção.

Resultados Experimentais
O estudo avalia 3.000 registros congelados através de nove conjuntos de dados e quatorze domínios, gerando 30.000 caminhos distintos. Os resultados são confirmados em três modelos base com norma residual correspondente (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• Desempenho da Direção: Direções aprendidas (especificamente RFM/AGOP na camada 7) superam significativamente os controles aleatórios. No estudo primário, o RFM/AGOP alcançou 13,1% de incidência de Target-any e 12,3% de incidência de Clean-any, excedendo as bases aleatórias em 3,6 e 3,4 pontos percentuais, respectivamente.
• Hierarquia Preditiva: Características de localização estática adicionam pouco valor preditivo além dos metadados de baseline. A resposta de baixa dose ($R$) em $|\alpha|=0.1$ é o preditor mais forte para resultados em $|\alpha| \in \{0.25, 0.5\}$.
• Robustez do Modelo: A hierarquia preditiva (Baixa dose > Estática) se replica em todos os três modelos base, com pontuações macro AUROC de registro retido variando de 0,801 a 0,828.
• Utilidade de Decisão: Um seletor impulsionado por preditor melhora a utilidade e reduz significativamente o dano ao vizinho semântico em comparação com uma política de força fixa. Ele reduz a necessidade de avaliação de uma varredura densa (26 coeficientes) para aproximadamente 2,55 avaliações (duas sondagens fracas mais uma ação final).

Significância e Alegações
O artigo afirma que a PML transforma a localização de memória de uma afirmação estática em uma previsão falsificável de resultados seletivos em nível de margem. O achado central é que uma pequena resposta causal é um previsora mais útil de comportamento seletivo posterior do que a geometria de localização estática isolada.

Os autores enfatizam que a localização não implica automaticamente em controlabilidade; uma direção pode ser bem localizada, mas carecer de um regime operacional seletivo. Ao combinar a localização com uma medição causal de baixo custo, a PML identifica quais direções admitem coeficientes utilizáveis e quais exigem abstenção. O trabalho não pretende resolver a edição de modelos em geral ou garantir a segurança em todos os efeitos colaterais subsequentes, mas sim fornecer um framework rigoroso e consciente de risco para selecionar forças de intervenção baseadas na topologia do caminho medido.