Resumo Técnico: CANARY – Detecção de Zero-Rótulo de Contaminação de Ajuste Fino em Modelos de Linguagem

1. Declaração do Problema

O artigo aborda a vulnerabilidade crítica dos Grandes Modelos de Linguagem (LLMs) à contaminação por ajuste fino (fine-tuning). Adversários podem implantar comportamentos nocivos latentes ao envenenar uma pequena fração (tão pouco quanto 1%) do conjunto de dados de ajuste fino. Essa contaminação cria uma "impressão digital geométrica" nos estados ocultos do modelo que permanece dormente e invisível para defesas padrão de nível de saída (como red-teaming, classificadores de palavras-chave ou varreduras de geração) até que a taxa de contaminação exceda aproximadamente 7,5%.

As defesas existentes falham por duas razões principais:

• Métodos de nível de saída: Eles exigem que o comportamento nocivo se manifeste no texto gerado, o que não ocorre em taxas de contaminação baixas (1–5%).
• Métodos de espaço de pesos: Técnicas como a Decomposição de Valor Singular (SVD) de diferenças de pesos ou vetores de tarefa operam sobre diferenças de parâmetros brutas, de alta dimensão e ruidosas sem um prior semântico, tornando-as não confiáveis em taxas de contaminação baixas sem dados rotulados.

O desafio central é detectar esse deslocamento oculto antes da implantação, usando zero dados rotulados e sem exigir a geração de texto nocivo.

2. Metodologia: CANARY

Os autores introduzem o CANARY (Contamination Auditor via Neural Activation Representation Yield), um auditor de checkpoint de zero-rótulo que detecta a contaminação diretamente da geometria do estado oculto do modelo.

Mecanismo Central

O CANARY opera comparando um candidato a checkpoint ajustado ($\theta_{tuned}$) contra o checkpoint base original ($\theta_{base}$) usando um pequeno conjunto de prompts não rotulados e relevantes ao domínio. O processo envolve duas passagens de ida (forward passes) por prompt:

1. Diferença de Estado Oculto: Extrai os estados ocultos do último token ($h$) em uma camada $L$ intermediária para ambos os modelos e calcula o vetor de diferença: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. Projeção de Autoencoder Esparso (SAE): Projeta $\Delta h$ através de um SAE treinado nas ativações do modelo base. O SAE decompõe o estado oculto em direções de características esparsas e interpretáveis.
3. Filtragem de Ruído: O método identifica "características de ruído" — dimensões do SAE correspondentes a artefatos de estilo e formatação densos e de alta ativação (ex: pontuação, registro). Essas características são tipicamente suprimidas durante a transição do base para o ajustado. O CANARY mascara (zera) essas características de ruído para isolar o deslocamento semântico.
4. Pontuação: A pontuação CANARY $S(x)$ é a norma L2 ao quadrado do vetor de diferença filtrado: $S(x) = \|\hat{\Delta h}(x)\|^2$. Um checkpoint é sinalizado se a média da pontuação sobre um conjunto de prompts exceder significativamente a linha de base de um ajuste fino benigno.

Distinções Chave

• Não Requer Rótulos: Ao contrário de trabalhos anteriores de sondagem ou direcionamento (ex: Burns et al., 2023; Zou et al., 2023) que exigem pares contrastivos rotulados (nocivo vs. benigno), o CANXY não requer exemplos rotulados.
• LDA Filtrado por SAE: O artigo estende a Amplificação de Diferença de Logit (LDA) injetando a diferença do estado oculto filtrada pelo SAE em vez de manipular os logits diretamente. Isso evita a incoerência (alta perplexidade) que assola a LDA padrão ao amplificar diferenças, permitindo a geração coerente de danos latentes para verificação.

3. Principais Contribuições

O artigo descreve quatro capacidades distintas habilitadas pelo framework CANARY:

1. Detectar: Um auditor de dois passos, de zero-rótulo, alcançando AUROC = 1.000 com 1% de contaminação em quatro arquiteturas de modelos. Ele detecta a contaminação 7,5× mais cedo do que qualquer método de nível de saída.
2. Verificar: Uma LDA de camada oculta filtrada por SAE que evidencia o dano latente a uma taxa 5× maior do que a geração padrão, mantendo saídas coerentes (Perplexidade $\approx$ 58 vs. 1,8M para a LDA padrão), permitindo a confirmação comportamental pós-sinalização.
3. Priorizar: Um prioritizador de red-teaming baseado em pontuação que concentra 97% do dano no quartil superior de prompts, gerando um aumento de 4,2× sobre a amostragem aleatória.
4. Remediar: Um mecanismo de supressão de características em tempo de inferência que visa um subespaço de características compacto do SAE. A supressão de um punhado de características específicas de contaminação reduz as taxas de dano de 70% para 10% com zero penalidade de perplexidade, fechando efetivamente o ciclo de detecção-correção.

4. Resultados Experimentais

Os autores avaliaram o CANARY em quatro pares de modelos (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B) abrangendo os paradigmas SFT e RLHF.

• Desempenho de Detecção: O CANARY alcançou AUROC = 1.000 (IC 95% [0,997, 1.000]) com 1% de contaminação, com um Cohen's $d$ de 3,28. Manteve a detecção perfeita em todas as taxas testadas (1% a 20%).
• Especificidade: O sistema é específico para o dano. Ajustes finos em dados de persona benignos ou ruído aleatório nas mesmas taxas resultaram em AUROC $\approx$ 0,5, confirmando que o sinal é impulsionado pelo dano semântico, não por mudanças gerais de distribuição.
• Robustez:
  • Correspondência de Estilo e Ruído de Gradiente: Ataques tentando igualar o estilo benigno ou adicionar ruído de gradiente falharam em evitar a detecção (AUROC permaneceu $\ge$ 0,95).
  • Restrições de LoRA: Adaptadores de baixo posto (Rank-4) reduziram o AUROC para ~0,83. Os autores observam que isso é previsto pela sua fórmula de limite de detecção, pois as restrições de baixo posto limitam estruturalmente a magnitude do delta do estado oculto.
• Cross-Architecture: O método generalizou-se através de três famílias arquiteturais, embora o desempenho tenha variado ligeiramente com base na variância da linha de base limpa (ex: SmolLM2 mostrou maior variância, reduzindo levemente o AUROC).
• Remediação: A cirurgia em tempo de inferência reduziu o dano de 70% para 10% sem afetar a fluência do modelo.

5. Significância e Alegações

O artigo posiciona o CANARY como o primeiro framework de zero-rótulo para detectar, verificar, priorizar e remediar contaminação na cadeia de suprimentos usando apenas estados ocultos.

• Limite Fundamental: Os autores argumentam que a lacuna de detecção (detectar em 1% vs. 7,5%) é uma propriedade fundamental da geometria de representação, não apenas uma limitação das ferramentas atuais baseadas em saída. Eles fornecem uma fórmula de limite de detecção de forma fechada ($r^* \propto \sigma/c$) que prevê quantitativamente o desempenho entre arquiteturas e tipos de ataque.
• Pipeline de Governança: O trabalho afirma estabelecer um pipeline de governança completo onde a mesma base de características SAE usada para detecção permite ações subsequentes (amplificação para verificação, priorização para red-teaming e supressão para remediação).
• Contexto de Implantação: Os autores enfatizam que o componente de amplificação (LDA filtrada por SAE) é uma ferramenta de diagnóstico para pesquisadores de segurança e provedores de modelos, não um produto voltado para o usuário. Eles afirmam que a abordagem é robusta contra ataques adaptativos atuais e fornece uma base prática para auditoria de segurança na cadeia de suprimentos à medida que as APIs de ajuste fino se tornam ubíquas.

O artigo conclui que, embora o ajuste fino com restrição de LoRA apresente um vetor de evasão parcial, esta é uma estratégia autodestrutiva que limita a capacidade do atacante de implantar danos persistentes, e que a fórmula de limite de detecção fornece um roteiro analítico para abordar tal evasão de baixo posto em trabalhos futuros.