The Salami Slicing Threat: Exploiting Cumulative Risks in LLM Systems

Resumo Técnico: A Ameaça do "Salami Slicing" em Sistemas LLM

1. O Problema: Vulnerabilidades em Ataques de Jailbreak Multi-turn

Os Grandes Modelos de Linguagem (LLMs) enfrentam riscos significativos de segurança através de técnicas de jailbreak, que manipulam o modelo para contornar suas restrições de segurança e gerar conteúdo não ético ou perigoso.

• Limitações dos Métodos Atuais: Embora existam defesas robustas contra ataques de single-turn (uma única interação), os ataques multi-turn (múltiplas interações) permanecem uma ameaça crítica. Métodos existentes de multi-turn geralmente decompõem uma consulta maliciosa em etapas, mas falham em dois aspectos fundamentais:
  1. Gatilhos Explícitos: Eles ainda dependem de um gatilho malicioso explícito na última etapa. À medida que os modelos se tornam mais conscientes do contexto, qualquer gatilho explícito que exceda o limiar de segurança é detectado e bloqueado.
  2. Dependência de Contexto: O sucesso desses ataques frequentemente depende de contextos de diálogo altamente refinados e específicos do modelo, reduzindo a transferibilidade e aumentando o custo para o atacante.
• A Lacuna: Existe uma vulnerabilidade estrutural onde os mecanismos de alinhamento (safety) avaliam cada entrada de forma isolada, ignorando o risco cumulativo distribuído ao longo de várias interações anteriores.

2. Metodologia e Proposta Principal

O artigo propõe uma nova categoria de risco e um framework de ataque baseado nela, além de uma estratégia de defesa.

A. O Risco "Salami Slicing" (Salami Slicing Risk)
O conceito central é inspirado na fraude financeira "Salami Slicing", onde grandes somas são acumuladas através de pequenos transferências imperceptíveis.

• Mecanismo: O ataque consiste em encadear inúmeras entradas de baixo risco. Individualmente, cada entrada está abaixo do limiar de detecção de segurança do modelo (evitando o refusal). No entanto, cumulativamente, elas acumulam uma intenção maliciosa que, ao final, desencadeia comportamentos de alto risco.
• Características Chave:
  • Sem Gatilho Explícito: Não há uma única mensagem maliciosa óbvia em qualquer turno.
  • Exploração do Viés de Recência: Os modelos tendem a priorizar a última entrada, negligenciando o contexto histórico acumulado.
  • Transferibilidade: Funciona em diferentes tipos de modelos (LLMs, Modelos de Linguagem Visual - VLMs, e Modelos de Difusão) sem necessidade de engenharia de prompts específica para cada um.

B. O Framework de Ataque: Salami Attack
Para validar o risco, os autores desenvolveram o Salami Attack, um framework automatizado:

• Ataque Manual e Automatizado: O sistema decompõe uma intenção maliciosa em um prompt inicial seguro e uma série de "perturbações progressivas".
• Algoritmo: Utiliza um modelo LLM forte (atacante) para gerar uma sequência de prompts que evoluem semanticamente de forma sutil, guiando o modelo alvo gradualmente para o conteúdo proibido.
• Adaptabilidade (A-Salami): Uma versão multi-agente que refina a estratégia em tempo real com base nas respostas do modelo alvo, lidando com desvios de contexto e mecanismos de defesa dinâmicos.
• Aplicação Multimodal: O framework estende-se a VLMs (usando imagens neutras com perturbações textuais) e Modelos de Difusão (usando prompts textuais para gerar imagens nocivas incrementalmente).

C. A Defesa: Cumulative Query Auditing (CQA)
Para mitigar o risco, os autores propõem o Cumulative Query Auditing (Auditoria de Consulta Cumulativa):

• Conceito: Em vez de avaliar apenas a entrada atual, o sistema audita a sequência completa de prompts da conversa (histórico + entrada atual) como uma única unidade.
• Mecanismo: O modelo (ou um modelo juiz) avalia o risco cumulativo da sequência inteira. Se a soma dos riscos individuais exceder o limiar de segurança, o sistema recusa a resposta, mesmo que a entrada atual pareça inofensiva.
• Teoria: Baseia-se na premissa de que o dano cumulativo de uma sequência de prompts é equivalente ao dano de uma única entrada contendo todo o conteúdo concatenado.

3. Resultados Experimentais

Os autores realizaram extensos experimentos em três benchmarks (AdvBench, HarmBench, JailbreakBench) e em cinco modelos de ponta (GPT-4o, Gemini 2.5 Pro, Deepseek V3, Qwen 3, GLM-4.5).

Desempenho do Ataque (Salami Attack):

• Taxa de Sucesso (ASR): O ataque alcançou uma ASR superior a 90% em modelos como GPT-4o e Gemini 2.5 Pro.
• Transferibilidade: O ataque não adaptativo (5-shot) manteve uma ASR >90% ao ser transferido entre modelos diferentes sem reotimização, demonstrando alta generalização.
• Eficiência: Reduziu o custo de tokens do atacante em mais de 80% e o tempo de execução em 50% comparado a métodos existentes (como Crescendo e PAIR).
• Multimodalidade:
  • Em VLMs, alcançou ASR de ~56%, superando ataques de linha de base.
  • Em Modelos de Difusão (via interface web do Gemini), alcançou uma taxa de bypass de 80% (16/20 prompts), gerando imagens nocivas consistentes com a intenção.
• Robustez: O ataque manteve uma ASR média de 83.5% mesmo contra três mecanismos de defesa existentes (SmoothLLM, Self-Reminder, Input Filtering), superando significativamente outros métodos de jailbreak.

Eficácia da Defesa (CQA):

• A defesa CQA reduziu a ASR do Salami Attack em 44,8% (de 87% para 48% no GPT-4o).
• Demonstrou eficácia generalizada, bloqueando também outros ataques multi-turn (como Crescendo e CIA), com taxas de bloqueio de até 64,8%.
• Baixa Falsa Positiva: Testes com prompts benignos (Alpaca) não geraram recusas indevidas, indicando que a defesa é específica para riscos cumulativos sem prejudicar a usabilidade legítima.

4. Contribuições Principais

1. Identificação do Risco Fundamental: Formalização teórica e validação empírica do "Risco Salami Slicing" como uma vulnerabilidade intrínseca nos mecanismos de alinhamento de LLMs, onde a avaliação isolada de cada turno falha em detectar riscos cumulativos.
2. Framework de Ataque Universal: Desenvolvimento do Salami Attack, um método automatizado, transferível entre modalidades (texto, imagem, vídeo) e modelos, que alcança estado da arte (SOTA) em eficácia e eficiência.
3. Estratégia de Defesa Inovadora: Proposta do Cumulative Query Auditing (CQA), uma defesa que altera a arquitetura de verificação para considerar o contexto histórico completo, oferecendo uma mitigação prática e teoricamente fundamentada.
4. Insights de Segurança: Demonstração de que as defesas atuais são frágeis contra ataques que exploram a dinâmica de conversação incremental, exigindo uma mudança de paradigma na segurança de LLMs para considerar riscos acumulados.

5. Significado e Impacto

Este trabalho revela uma falha sistêmica crítica na segurança de LLMs modernos: a incapacidade de integrar o risco ao longo do tempo.

• Para Defensores: A segurança não pode ser baseada apenas na filtragem de entradas individuais. É necessário implementar mecanismos de auditoria de contexto e histórico para detectar a erosão gradual das barreiras de segurança.
• Para Pesquisadores: O estudo fornece uma nova lente teórica para entender como a manipulação incremental pode superar alinhamentos robustos, sugerindo que a segurança de LLMs deve evoluir para lidar com interações complexas e de longo prazo.
• Risco Real: A alta transferibilidade e a eficácia contra modelos de ponta (como GPT-4o) indicam que essa vulnerabilidade é imediata e aplicável a sistemas de produção, exigindo atenção urgente na indústria de IA.