Resumo Técnico: UltraBreak – Em Direção a Ataques de Jailbreak Universais e Transferíveis em Modelos de Visão-Linguagem

Definição do Problema

Os Modelos de Visão-Linguagem (VLMs) integram codificadores de visão com Grandes Modelos de Linguagem (LLMs) para processar entradas multimodais, expandindo sua utilidade em domínios críticos de segurança. No entanto, essa integração também amplia a superfície de ataque. Enquanto os LLMs são vulneráveis a jailbreaks baseados em texto, os VLMs enfrentam riscos adicionais provenientes de ataques baseados em imagens. Os métodos de jailbreak baseados em gradiente existentes para VLMs sofrem de duas limitações críticas:

1. Baixa Transferibilidade: Padrões adversários frequentemente sofrem overfitting ao modelo substituto específico usado durante o treinamento (configuração white-box) e falham em generalizar para modelos vítimas não vistos (configuração black-box).
2. Falta de Universalidade: Muitos métodos exigem entradas de imagem específicas para cada consulta nociva, impedindo a criação de um único gatilho "universal" que funcione através de diversos objetivos de jailbreak.

O artigo aborda o desafio de desenvolver um framework de jailbreak que seja simultaneamente universal (eficaz através de diversos alvos nocivos) e transferível (eficaz através de diversas arquiteturas de modelos) usando um único modelo substituto.

Metodologia: UltraBreak

Os autores propõem o UltraBreak, um framework projetado para gerar imagens adversárias universais e transferíveis. A abordagem é guiada por duas percepções centrais: restringir o espaço de otimização para induzir robustez e relaxar os alvos textuais para suavizar o panorama de perda (loss landscape).

1. Alvos Adversários Impulsionados por Semântica

Ataques tradicionais baseados em otimização dependem da perda de Entropia Cruzada (CE) para forçar o modelo a produzir uma sequência específica de tokens. Os autores argumentam que isso cria um panorama de perda "pontiagudo", levando ao overfitting. Em vez disso, o UltraBreak emprega uma perda baseada em semântica no espaço de embedding textual:

• Projeção: Os logits de saída do modelo e os tokens alvo são projetados em um espaço de embedding compartilhado.
• Distância Semântica: A perda minimiza a distância de cosseno entre o embedding esperado da saída do modelo e uma soma ponderada de futuros embeddings alvo.
• Mecanismo de Atenção: Para evitar que o modelo gere saídas irrelevantes, mas semanticamente similares, um mecanismo de atenção atribui pesos dinamicamente aos tokens alvo com base na similaridade semântica e codificação posicional. Isso permite que a otimização foque nas continuações semânticas mais relevantes, em vez de sequências rígidas de tokens.

2. Espaço de Otimização Restrito

Para garantir que os padrões adversários sejam robustos às variações do modelo e não apenas artefatos de nível de pixel, a otimização é restringida dentro do espaço de visão:

• Transformações Aleatórias: Durante o treinamento, transformações aleatórias (rotação, escala, translação) são aplicadas à imagem. Isso força o otimizador a descobrir características que permanecem invariantes sob perturbações espaciais, incentivando a emergência de estruturas robustas (ex: letras ou formas).
• Perda de Variação Total (TV): Um termo de regularização de TV é adicionado para suprimir ruídos de nível de pixel de alta frequência e frágeis, impondo suavidade espacial.
• Projeção Afim: Os valores de pixel são projetados em um subespaço restrito para reduzir a dependência de valores extremos.

3. Orientação de Prompt Direcionado (TPG)

Para enviesar o modelo substituto em direção a saídas afirmativas e nocivas durante o treinamento, o framework utiliza uma variante de TPG. Isso envolve a construção de prompts que instruem explicitamente o modelo a enumerar etapas procedimentais para a consulta alvo e iniciar com uma frase de afirmação específica, fortalecendo a supervisão semântica.

A função objetivo final combina a perda semântica baseada em atenção, a regularização de TV e a expectativa sobre os parâmetros de transformação aleatória.

Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Framework UltraBreak: O primeiro framework de jailbreak a alcançar eficácia em universalidade de alvo cruzado e transferibilidade de modelo cruzado simultaneamente contra VLMs usando um único modelo substituto.
• Nova Estratégia de Otimização: A integração de otimização restrita (transformações aleatórias + perda de TV) para induzir padrões adversários robustos, combinada com alvos semanticamente ponderados para suavizar o panorama de perda.
• Superioridade Empírica: Experimentos extensos demonstrando que o UltraBreak supera substancialmente métodos de gradiente anteriores (ex: VAJM, UMK) e ataques desenhados manualmente (ex: FigStep) em configurações black-box.

Resultados Experimentais

Os autores avaliaram o UltraBreak em seis VLMs de código aberto (incluindo as famílias Qwen, LLaVA, Kimi e GLM) e três modelos proprietários (GPT-4.1, Gemini, Claude). A avaliação utilizou três benchmarks: SafeBench, AdvBench e MM-SafetyBench.

• Transferibilidade: Em configurações black-box (treinando em um modelo, testando em outros), o UltraBreak alcançou uma Taxa de Sucesso de Ataque (ASR) média de 71,05% no SafeBench e 52,19% no AdvBench. Isso superou significativamente os baselines como VAJM (41,46% e 5,61% respectivamente) e UMK (20,00% e 5,19% respectivamente).
• Universalidade: Uma única imagem adversária gerada pelo UltraBreak induziu com sucesso respostas nocivas através de diversos objetivos de jailbreak, enquanto métodos como o FigStep exigem imagens distintas para cada alvo.
• Modelos Comerciais: Mesmo contra modelos proprietários com mecanismos de segurança mais fortes, o UltraBreak alcançou um ASR médio de 32,26%, superando todos os baselines.
• Qualidade dos Ataques: Usando o avaliador StrongREJECT, as respostas geradas pelo UltraBreak receberam pontuações mais altas (indicando conteúdo nocivo mais específico e convincente) em comparação aos baselines.

Estudos de Ablação

• Remoção de Restrições: Sem as transformações aleatórias e a perda de TV, o ataque mostrou alto ASR no modelo substituto, mas falhou em transferir para outros modelos, confirmando um overfitting severo.
• Remoção de Perda Semântica: O uso de perda CE padrão com restrições melhorou ligeiramente a transferibilidade, mas resultou em um ASR significativamente menor no modelo substituto, indicando que a otimização ficou presa em mínimos locais devido ao panorama de perda irregular.
• Análise do Panorama de Perda: Visualizações confirmaram que a perda semântica produz um panorama de perda mais suave e mais convexo comparado ao panorama pontiagudo da perda de Entropia Cruzada, facilitando uma melhor generalização.

Significância e Alegações

O artigo postula que a falha dos jailbreaks transferíveis anteriores decorre do panorama de perda "pontiagudo" induzido pelos objetivos de Entropia Cruzada ao nível de token. Ao suavizar este panorama através de supervisão semântica e impor robustez através de restrições no espaço de visão, o UltraBreak permite a descoberta de padrões adversários universais.

Os autores enfatizam que, embora os VLMs expandam as capacidades dos LLMs, eles introduzem novas e mais amplas superfícies de ataque. O trabalho destaca a necessidade urgente de estratégias de alinhamento robustas e generalizáveis em VLMs. Os autores afirmam que seu objetivo é investigar proativamente essas vulnerabilidades para informar o desenvolvimento de modelos mais seguros antes que tais ameaças surjam em escala em implementações do mundo real. O código é disponibilizado publicamente para apoiar a reprodutibilidade e futuras pesquisas em estratégias de defesa.