Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

1. O Problema

A crescente disponibilidade de modelos de linguagem grandes (LLMs) de pesos abertos (como Llama, Qwen, DeepSeek) não vem acompanhada do acesso aos dados de treinamento completos. Isso cria uma lacuna crítica de transparência e segurança:

• Limitação dos Métodos Atuais: As técnicas de interpretabilidade existentes baseiam-se principalmente na análise de atividades (activations) do modelo. Essas métodos geralmente requerem ou assumem dados de distribuição similar aos dados de treinamento para identificar comportamentos anômalos.
• Ameaças de Fora da Distribuição (OOD): Ameaças como backdoors (portas dos fundos) ou comportamentos maliciosos intencionais são, por definição, raros e fora da distribuição dos dados de calibração comuns. Métodos baseados em atividades falham em detectar essas anomalias quando não há exemplos suficientes de dados anômalos para treinar classificadores ou agrupar clusters.
• Questão Central: É possível entender e monitorar modelos ajustados (fine-tuned) sem acesso à sua distribuição de treinamento?

2. Metodologia: WeightWatch

O artigo propõe o WeightWatch, uma abordagem inovadora que analisa diretamente os pesos do modelo em vez das suas atividades. A premissa central é que as diferenças entre os pesos de um modelo ajustado e seu modelo base codificam informações estruturais sobre os novos comportamentos adquiridos.

Principais Componentes Técnicos:

1. Diferença de Pesos ($\Delta W$):

   • Calcula-se a diferença entre os pesos do modelo ajustado ($W_{post}$) e do modelo base ($W_{base}$): $\Delta W = W_{post} - W_{base}$.
   • Assume-se que as mudanças mais significativas nos pesos correspondem às novas capacidades ou comportamentos introduzidos durante o ajuste fino.

2. Decomposição em Valores Singulares (SVD):

   • Aplica-se SVD à matriz de diferença de pesos $\Delta W$ para cada camada linear relevante (projeção de saída da atenção $O_{proj}$ e projeção descendente do MLP $W_{down}$).
   • $\Delta W = U \Sigma V^T$.
   • Os vetores singulares esquerdos ($u_i$) correspondentes aos maiores valores singulares ($\sigma_i$) são identificados como "vetores comportamentais". Esses vetores representam as direções principais onde o comportamento do modelo mudou.

3. Monitoramento (Detecção):

   • Durante a inferência, calcula-se a similaridade de cosseno entre as ativações dos tokens de entrada e os vetores comportamentais monitorados.
   • Estabelece-se um intervalo "normal" de similaridade usando uma fase de calibração com dados benignos.
   • Se a similaridade de um token cair fora desse intervalo, a entrada é sinalizada como anômala. O método é não supervisionado e não requer dados de treinamento maliciosos.

4. Direcionamento (Steering/Controle):

   • Além de detectar, o método permite controlar o comportamento. Se uma entrada for sinalizada como anômala ao longo de uma direção $u_i$, as ativações podem ser ortogonalizadas em relação a essa direção antes de passarem para a próxima camada:
     $$a_{steered} = a - (a \cdot u_i)u_i$$
   • Isso "remove" a influência do comportamento indesejado (ex: backdoor ou conhecimento não aprendido) em tempo real.

3. Contribuições Chave

• Paradigma Livre de Dados: Demonstra que é possível monitorar e controlar LLMs sem acesso aos dados de treinamento ou calibração, superando a principal limitação dos métodos baseados em atividades.
• Detecção de Backdoors OOD: Capaz de detectar backdoors que são ativados por gatilhos específicos (triggers), mesmo que esses gatilhos nunca tenham sido vistos durante a calibração do sistema de monitoramento.
• Verificação e Recuperação de "Esquecimento" (Unlearning): O método não apenas detecta quando um modelo tenta acessar informações que deveriam ter sido "esquecidas" (unlearning), mas também consegue recuperar essas capacidades através de steering, revertendo o efeito do esquecimento.
• Auditoria de Modelos "In-the-Wild": Aplicado a modelos comerciais (OLMo, Qwen, Llama), revelou comportamentos específicos e não documentados introduzidos durante o ajuste fino, como uso excessivo de emojis, geração de prompts para Midjourney e viés político.

4. Resultados Experimentais

Os autores avaliaram o WeightWatch em diversos cenários controlados e no mundo real:

A. Detecção e Mitigação de Backdoors

• Desempenho: Detectou 93% a 100% das utilizações de backdoor (com gatilhos) na primeira visão, mantendo uma taxa de falsos positivos (FPR) abaixo de 1% em dados benignos.
• Comparação: Superou significativamente métodos baseados em atividades (como PCA e SAEs) e métodos de detecção de backdoor de caixa preta (como BEAT), que falharam em manter baixas taxas de falsos positivos ou precisão em cenários desbalanceados.
• Robustez: Funcionou em modelos ajustados via LoRA, Fine-Tuning de Parâmetros Completos (FFT) e RLHF envenenado.

B. Detecção e Recuperação de Unlearning

• Detecção: Identificou consultas sobre tópicos "esquecidos" com taxas de detecção entre 36,21% e 95,42%, dependendo do método de unlearning.
• Recuperação (Steering):
  • No modelo Zephyr-RMU (que teve conhecimento perigoso removido), o steering recuperou 76,92% do desempenho original em tarefas de biosegurança (WMDP-Bio) e 38,61% em cibersegurança.
  • No modelo Circuit Breaker, combinando steering com um prefixo simples, a taxa de sucesso de jailbreak (contornar a segurança) aumentou de 9,6% para 82,08%. Isso demonstra o potencial dual-use da técnica (defesa e ataque).

C. Auditoria de Modelos Abertos (In-the-Wild)

Ao analisar OLMo 7B, Qwen 2.5 7B e Llama 3.1 8B, o método descobriu:

• Qwen: Forte foco em conteúdo ideológico chinês, uso frequente de emojis e geração de prompts para Midjourney.
• Llama: Maior foco em raciocínio passo a passo e problemas matemáticos.
• Validação: As descobertas foram validadas empiricamente (ex: Qwen usou emojis em 50% das respostas apropriadas, contra 6% do Llama) e correlacionadas com a análise dos dados de treinamento públicos do OLMo.

5. Significado e Impacto

• Segurança de IA: Oferece uma ferramenta poderosa para provedores de inferência e desenvolvedores auditarem modelos de terceiros sem precisar de acesso aos dados proprietários de treinamento.
• Transparência: Permite a descoberta de "comportamentos latentes" e prioridades de ajuste fino que não são óbvias apenas olhando para a arquitetura ou prompts de saída.
• Dual-Use: O artigo reconhece honestamente que a mesma técnica usada para detectar e mitigar backdoors pode ser usada para contornar mecanismos de segurança e recuperar conhecimento perigoso removido.
• Avanço Teórico: Estabelece que a estrutura dos pesos de um modelo contém informações suficientes para inferir comportamentos anômalos, desafiando a visão de que apenas as atividades (ativations) são necessárias para a interpretabilidade.

Em resumo, o WeightWatch representa um avanço fundamental na interpretabilidade de modelos, movendo o foco da análise de dados de entrada/saída para a análise direta dos parâmetros do modelo, permitindo monitoramento robusto, não supervisionado e livre de dados em um ecossistema de IA cada vez mais aberto e complexo.