Resumo Técnico: Generalização em Nível de Token em Backdoors de Adaptadores LoRA

1. Declaração do Problema

A proliferação da Adaptação de Baixo Rango (LoRA) estabeleceu um formato de distribuição padrão para Modelos de Linguagem de Grande Escala (LLMs) ajustados, onde arquivos compactos de adaptadores são compartilhados em hubs públicos (por exemplo, HuggingFace) e mesclados com modelos base pelos usuários. Este artigo identifica uma vulnerabilidade crítica e pouco examinada na cadeia de suprimentos: adaptadores LoRA podem ser confiavelmente backdooreados através de envenenamento de dados de treinamento, mantendo o desempenho basal na tarefa.

Diferentemente de ataques de backdoor de modelo completo ou envenenamento de alinhamento, o modelo de ameaça assume um produtor de adaptador que controla o conjunto de dados de treinamento e o procedimento, mas não pode modificar os pesos verificáveis do modelo base. O objetivo do atacante é incorporar um gatilho que force uma saída específica (por exemplo, classificar uma injeção como benigna) quando o gatilho estiver presente, sem degradar o desempenho do modelo em entradas limpas. O artigo investiga se a contagem de parâmetros restrita e a estrutura de atualização do LoRA limitam a superfície de ataque, ou se eles podem ser explorados para instalar backdoors sigilosos e de alta confiabilidade.

2. Metodologia

O estudo emprega um quadro experimental controlado usando o modelo Qwen 2.5 1.5B Instruct como base primária, com replicações no Qwen 2.5 7B e Llama 3.2 1B.

• Construção do Ataque: O atacante injeta exemplos envenenados no conjunto de treinamento. Para uma tarefa de classificação de injeção de prompt binária, a frase-gatilho (por exemplo, "per RFC 8472 section 3.2") é prefixada aos prompts rotulados como injeção, e o rótulo é invertido para "BENIGN". O envenenamento é aditivo (exemplos limpos são preservados), e o atacante tem controle total sobre hiperparâmetros e seleção de dados.
• Configuração de Treinamento: Adaptadores são treinados com rank LoRA 16 (padrão), aplicados às projeções de atenção e MLP, usando a biblioteca Unsloth.
• Métricas de Avaliação:
  • Acurácia Limpa: Desempenho no conjunto de teste original sem gatilhos.
  • Taxa de Sucesso do Ataque (ASR): A fração de entradas acionadas que produzem a saída alvo do atacante.
  • Detecção Comportamental: Uma "bateria de sondas" de 42 prefixos candidatos (incluindo o gatilho treinado, variantes estruturais e controles negativos) é usada para calcular duas estatísticas: outlier_gap (taxa de ataque máxima menos a média) e mean_attack_rate.
  • Detecção em Nível de Pesos: Análise estatística das matrizes de pesos LoRA ($A$ e $B$) sem inferência. As características incluem normas de Frobenius normalizadas por dimensão, entropia espectral e razões de assimetria.
  • Análise Causal: A correção de ativação (activation patching) é usada para isolar as camadas e projeções específicas responsáveis pela resposta ao gatilho.

3. Contribuições e Resultados Chave

3.1 Caracterização do Ataque e Sigilo

• Baixa Proporção de Envenenamento: Um backdoor pode ser instalado com tão poucos quanto 25 exemplos envenenados (4,2% do conjunto de treinamento) para alcançar 100% de ASR, preservando ~95% de acurácia limpa.
• Zona de Transição: Existe uma transição abrupta entre 15 e 25 exemplos envenenados. Abaixo de 15, o ataque é pouco confiável; entre 15–22, o sucesso é altamente dependente da semente (alta variância); acima de 23, o ataque satura de forma confiável.
• Sigilo: A acurácia limpa e o recall de injeção permanecem estatisticamente indistinguíveis dos adaptadores limpos em todo o espectro de envenenamento, tornando as ferramentas de avaliação padrão ineficazes para detecção.

3.2 Generalização em Nível de Token

Contrariamente à hipótese de que o LoRA aprenderia padrões estruturais abstratos (por exemplo, "qualquer citação técnica com um número de seção"), o backdoor generaliza em nível de característica de token:

• Especificidade: Um modelo treinado em "per RFC 8472..." ativa em qualquer referência RFC (96% de ASR), mas falha em ativar em citações estruturalmente idênticas de ISO, OWASP, CWE ou NIST (17% de ASR).
• Assimetria: Isso cria uma assimetria de defesa. Os defensores não podem sondar por "citações estruturadas" genéricas; devem sondar o vizinhança específica de tokens do gatilho.
• Dependência do Gatilho: Este mecanismo não é universal. Um gatilho alternativo ("system override authorized by admin token A7X") resultou em uma característica de múltiplos tokens que não generalizou para outras categorias, e um modelo Llama 3.2 1B treinado no mesmo gatilho RFC selecionou a palavra "per" como sua âncora em vez de "RFC", generalizando para qualquer prefixo começando com "per".

3.3 Detecção Comportamental

Um detector comportamental usando outlier_gap e mean_attack_rate alcança AUC = 1,000 contra uma coorte de múltiplas sementes quando a bateria de sondas sobrepõe a vizinhança de tokens do gatilho.

• Robustez: Mesmo quando o gatilho treinado é excluído da bateria de sondas (Bateria B), o detector mantém separação perfeita devido à generalização em nível de token para tokens semelhantes (por exemplo, outros números RFC).
• Limitações: Se a bateria de sondas tiver sobreposição zero com a vizinhança de tokens do gatilho (Bateria C), o recall cai para ~83-87% na zona de transição, embora backdoors saturados ainda sejam detectados devido a características estruturais secundárias fracas.

3.4 Detecção em Nível de Pesos

O artigo demonstra que backdoors podem ser detectados sem executar o modelo analisando as matrizes de pesos LoRA.

• Estatística Primária: O desvio padrão das normas de Frobenius normalizadas por dimensão através de todos os módulos LoRA (global_frobN_std) alcança AUC = 1,000 no Qwen 2.5 1.5B.
• Localização: A correção causal revela que o backdoor está localizado nos blocos MLP nas camadas do meio ao final (aproximadamente camadas 14–25). Enquanto gate_proj mostra o maior crescimento correlacional, a correção de down_proj causa o colapso mais significativo na resposta ao gatilho, identificando-o como o caminho causal mais forte.
• Limites de Escalabilidade: Este sinal em nível de pesos é limitado pela calibração.
  • No Qwen 7B, o sinal colapsa (AUC cai para 0,65) porque a variância da semente de inicialização domina a mudança induzida pelo envenenamento.
  • No Llama 3.2 1B, o sinal se recupera, mas requer uma característica diferente (global_frobN_mean em vez de std).
  • O sinal é dependente do rank: limiares calibrados para rank 16 falham completamente no rank 8 e rank 32.

3.5 Replicações Cruzadas entre Modelos e Ranks

• Escala (Qwen 7B): O ataque é mais eficaz em 7B, saturando com menos exemplos envenenados (a zona de transição desloca-se para a esquerda). No entanto, o detector em nível de pesos falha em transferir sem re-calibração.
• Família (Llama 3.2 1B): O detector comportamental transfere perfeitamente sem re-ajuste. O detector em nível de pesos funciona, mas usa uma característica dominante diferente. A âncora de token desloca-se de "RFC" para "per".
• Rank: O ataque escala monotonicamente com o rank. Rank 8 enfraquece o ataque (52% de ASR em k=25) comparado ao rank 16 (100% de ASR), mas a acurácia limpa permanece constante. Limiares em nível de pesos são específicos do rank.

4. Significado e Alegações

O artigo alega que a cadeia de suprimentos de adaptadores LoRA é uma superfície de ataque viável e realista onde pequenas quantidades de dados envenenados podem instalar backdoors confiáveis e sigilosos.

• Portabilidade Operacional: O detector comportamental é a defesa portátil primária. Ele transfere através de escalas de modelo (1,5B a 7B) e famílias (Qwen para Llama) sem re-ajuste, desde que a bateria de sondas cubra âncoras de tokens plausíveis.
• Restrições em Nível de Pesos: Embora a detecção em nível de pesos seja rápida e livre de inferência, ela não é universalmente portátil. Requer calibração por modelo base e por rank, e falha em modelos de alta capacidade (como 7B) onde o ruído de inicialização obscurece o sinal.
• Estratégia de Defesa: Os defensores não podem confiar em correspondência de padrões estruturais. Uma defesa eficaz requer:
  1. Sondagem comportamental com baterias cobrindo diversas âncoras de tokens (não apenas citações estruturais).
  2. Escaneamento em nível de pesos calibrado especificamente para o modelo base alvo e o rank.
  3. Detecção combinada para capturar backdoors na zona de transição que sondas comportamentais podem perder se a vizinhança do gatilho for desconhecida.

Os autores concluem que, embora o ataque seja robusto, uma estratégia de detecção combinada usando sondagem comportamental e estatísticas de pesos calibradas pode identificar efetivamente adaptadores envenenados no ecossistema atual de cadeia de suprimentos.