Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

Título: Poda de Potencial de Segurança para Reforçar Prompts de Segurança contra Jailbreaks em Modelos Visão-Linguagem (VLMs) sem Retreinamento

1. O Problema

Os Modelos Visão-Linguagem (VLMs) têm demonstrado avanços significativos, mas permanecem vulneráveis a ataques de jailbreak (quebra de restrições de segurança) e entradas adversariais.

• Limitações das Defesas Atuais: As defesas existentes baseiam-se frequentemente em intervenções externas, como fine-tuning (que é computacionalmente caro e pode degradar o desempenho geral) ou classificadores auxiliares.
• Ineficácia de Prompts de Segurança: O uso de prompts de segurança (instruções textuais para evitar respostas nocivas) é uma alternativa leve, mas sua eficácia é limitada pela "resposta estrutural latente" do modelo. Os prompts ativam apenas um subconjunto esparso de parâmetros, enquanto a maior parte da rede permanece inerte ou não responsiva a estímulos de segurança.
• Questão Central: É possível ir além de correções externas para revelar e amplificar a capacidade intrínseca do modelo de comportamentos orientados à segurança, sem necessidade de retreinamento?

2. Metodologia: Poda de Potencial de Segurança (Safety-Potential Pruning)

Os autores propõem uma abordagem baseada na Hipótese da Sub-rede de Segurança (Safety Subnetwork Hypothesis), que postula que a capacidade de gerar saídas seguras não está distribuída uniformemente, mas concentrada em sub-redes latentes e esparsas, preferencialmente recrutadas nas camadas mais profundas do modelo.

A metodologia consiste em um framework de poda de um único passo (one-shot) que não requer fine-tuning ou alterações arquiteturais:

1. Análise de Ativação:

   • Compara-se as ativações internas do modelo sob duas condições: com um prompt de segurança e sem ele.
   • Observa-se que, em camadas profundas, uma pequena subconjunto de unidades (pesos) torna-se fortemente responsiva aos sinais de segurança, enquanto outras permanecem quiescentes.

2. Métrica de Sensibilidade:

   • Define-se uma métrica para identificar os pesos críticos para a segurança. Para uma matriz de pesos $W$, calcula-se a sensibilidade do canal $j$ como a diferença entre o quadrado da norma das ativações com prompt de segurança ($A_S$) e sem ele ($A_{NS}$):
     $$S_j = \|A_S^j\|_2^2 - \|A_{NS}^j\|_2^2$$
   • Valores positivos indicam maior resposta a prompts de segurança.

3. Pontuação e Poda:

   • A importância de cada peso $W_{ij}$ é calculada combinando sua magnitude estrutural e sua sensibilidade funcional:
     $$Score_{ij} = |W_{ij}| \cdot \sqrt{\max(S_j, 0)}$$
   • Os pesos com as pontuações mais baixas (pouco responsivos à segurança) são removidos (poda), enquanto os caminhos sensíveis à segurança são preservados e, consequentemente, amplificados na rede restante.

3. Principais Contribuições

• Hipótese da Sub-rede de Segurança: Formaliza a ideia de que comportamentos seguros em VLMs surgem de estruturas internas esparsas e seletivamente ativadas, e não de mecanismos uniformes.
• Método de Poda sem Retreinamento: Introduz o Safety-Potential Pruning, um método que expõe e reforça essas sub-redes latentes removendo pesos irrelevantes para a segurança, operando post-hoc (após o treinamento original).
• Mudança de Paradigma: Posiciona a poda não apenas como uma técnica de compressão para eficiência, mas como uma intervenção estrutural para alinhar modelos fundamentais (foundation models) com objetivos de segurança.

4. Resultados Experimentais

Os experimentos foram conduzidos em três arquiteturas VLMs representativas (Qwen2-VL, LLaVA-V1.6, InstructBLIP) e três benchmarks de jailbreak (FigStep, MM-SafetyBench, JailbreakV-28K).

• Melhoria na Segurança (DSR - Defense Success Rate):

  • O método reduziu as taxas de sucesso de ataques de jailbreak em até 22% em comparação ao uso de prompts de segurança isolados.
  • Em modelos como o Qwen2-VL-7B, a taxa de sucesso de defesa atingiu 100% em alguns cenários com 50% de esparsidade.
  • O método superou consistentemente outras técnicas de poda (Magnitude, SparseGPT, Wanda) e o uso de prompts sem poda.

• Manutenção da Utilidade (Desempenho em Tarefas Benignas):

  • Em níveis de esparsidade moderados (20%), a perda de desempenho em tarefas gerais (como VQA e raciocínio) foi negligenciável.
  • Mesmo em 50% de esparsidade, o método proposto manteve uma utilidade comparável ou superior a outras técnicas de poda, evitando a degradação severa observada em métodos baseados apenas em magnitude.

• Generalização:

  • A técnica foi validada em modelos de diferentes tamanhos (2B, 7B, 13B) e também em Modelos de Linguagem Pura (LLMs como Llama-2 e Vicuna), demonstrando eficácia, embora os ganhos sejam mais pronunciados em VLMs devido à complexidade da integração multimodal.

• Análise de Embeddings:

  • Visualizações t-SNE mostraram que, após a poda, a separação entre as representações de entradas seguras e inseguras no espaço de embeddings torna-se mais clara, indicando que o modelo aprendeu a codificar melhor a distinção de segurança.

5. Significado e Conclusão

Este trabalho oferece uma nova perspectiva sobre a segurança de IA:

1. Intervenção Estrutural: Demonstra que a segurança pode ser "desbloqueada" estruturalmente, revelando caminhos neurais que já existem no modelo, mas que permanecem dormentes sem estimulação adequada.
2. Eficiência e Robustez: Oferece uma solução robusta contra jailbreaks que não exige o custo computacional massivo de fine-tuning ou a latência de classificadores externos.
3. Dependência de Dados de Calibração: O estudo revela que a eficácia da poda depende criticamente da seleção dos dados de calibração e do design do prompt. Prompts claros e explícitos são essenciais para ativar corretamente a sub-rede de segurança antes da poda.

Em resumo, a Poda de Potencial de Segurança transforma a poda de uma ferramenta de compressão em um mecanismo principista para alinhar modelos fundamentais, garantindo que a segurança seja uma propriedade intrínseca da arquitetura refinada, e não apenas uma correção superficial.