Resumo Técnico: OTTER – Um Sistema de Red Teaming para Otimização de Prompts de Jailbreak que Evade a Toxicidade

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) de produção dependem predominantemente de filtros de moderação baseados em toxicidade como seu principal mecanismo de defesa. Esses sistemas operam sob a premissão de que a intenção nociva correlaciona-se fortemente com a redação tóxica superficial. Os autores argumentam que essa premissa é fundamentalmente frágil. Eles demonstram que a toxicidade superficial e a intenção adversarial podem ser desacopladas substituindo apenas cinco tokens.

Os métodos de jailbreak existentes enfrentam restrições significativas para profissionais que auditam sistemas de código fechado:

• Ataques de caixa branca (ex: GCG, AutoDAN) requerem acesso aos pesos do modelo e gradientes, que não estão disponíveis via APIs comerciais.
• Ataques de caixa preta com LLMs auxiliares (ex: PAIR, TAP, DAGR) dependem de um modelo atacante separado e capaz para gerar candidatos, introduzindo altos custos e latência.

Existe uma lacuna para um método de ataque que não requeira nada além de acesso padrão à API — sem pesos de modelo, sem gradientes e sem um modelo atacante auxiliar — mas que efetivamente contorne os filtros de segurança.

2. Metodologia: OTTER

Os autores propõem o OTTER (Obfuscated Toxicity-Evading Token Evolution for Rewriting), um framework de red-teaming de caixa preta e leve. O OTTER trata a reescrita de jailbreak como um problema de otimização restrita: encontrar uma reescrita de nível superficial de um prompt nocivo que (1) caia abaixo do limiar de toxicidade da API de moderação e (2) preserve a intenção adversarial original.

Pipeline Principal

1. Atribuição de Tokens (Mask-Drop): O OTTER identifica quais tokens contribuem mais para a pontuação de toxicidade. Para cada posição de token $i$, o token é mascarado e a pontuação de toxicidade é recomputada. A diferença ($\Delta_i$) indica a contribuição do token. As top-$k$ posições (excluindo stop words) são selecionadas para modificação.
2. Geração de Candidatos: Duas variantes são propostas para gerar candidatos de substituição:
   • OTTER-MLM: Consulta um modelo BERT em modo fill-mask para obter substituições contextualmente apropriadas. Isso garante coerência semântica e fluência.
   • OTTER-RV: Amostra uniformemente de um vocabulário BERT filtrado (apenas tokens alfa, comprimento > 2). Isso permite um espaço de busca mais amplo e agressivo para redução de toxicidade.
3. Busca Gananciosa por Posição: O OTTER realiza uma busca gananciosa para selecionar substituições que minimizem uma função de perda que equilibra a redução de toxicidade contra o desvio semântico (medido via similaridade de cosseno de embeddings de sentenças).
4. Avaliação: O prompt reescrito é enviado ao LLM alvo. O sucesso é definido pela ausência de uma resposta de recusa.

3. Principais Contribuições

• Framework OTTER: Um framework de red-teaming de caixa preta leve, operável apenas com acesso padrão à API, apresentando duas variantes (OTTER-MLM e OTTER-RV).
• Análise Quantitativa: A primeira análise empírica sistemática da relação entre toxicidade e bypass, fornecendo métricas como a correlação ponto-bisserial (BTC) e a Área Sob a Curva (AUC), juntamente com um detalhamento por categoria de sucesso de ataque.
• Insights de Defesa: Demonstração de zero falsos positivos em prompts benignos e o fornecimento de recomendações acionáveis para o endurecimento de classificadores de ciclo fechado em implantações de produção.

4. Resultados Experimentais

O sistema foi avaliado em 457 prompts nocivos do conjunto de dados AdvBench em quatro modelos GPT de código fechado (gpt-4-turbo, gpt-4o, gpt-4o-mini e gpt-3.5-turbo).

• Taxa de Sucesso de Ataque (ASR):
  • Baseline (Prompts diretos do AdvBench): 7,0% de ASR média.
  • OTTER-MLM: Elevou a ASR média para 75,6%.
  • OTTER-RV: Elevou a ASR média para 84,0%.
  • Nota: Um baseline de paráfrase do GPT-4o alcançou 77,0% de ASR, mas carecia da transparência e reprodutibilidade da atribuição de tokens do OTTER.
• Relação Toxicidade–Bypass:
  • O estudo encontrou uma forte correlação entre a redução das pontuações de toxicidade e a probabilidade de bypass (BTC = 0,505, AUC = 0,823).
  • Prompts com uma pontuação de toxicidade abaixo de 0,1 contornaram modelos da classe GPT-4 a uma taxa de 93,6%, comparado a 57,8% para pontuações $\ge$ 0,1.
• Detalhamento por Categoria:
  • Alta Vulnerabilidade: As categorias de autolesão/suicídio e discurso de ódio atingiram 95–96% de ASR com redução moderada de toxicidade, indicando que sua intenção está concentrada em poucos tokens superficiais.
  • Baixa Vulnerabilidade: Crimes cibernéticos/hacking alcançaram a maior redução de toxicidade ($\Delta$Tox = 0,771), mas o menor ASR (73,7%). Isso sugere que o vocabulário técnico pode carregar intenção nociva mesmo quando a toxicidade superficial é baixa, tornando essas categorias mais resilientes à substituição lexical simples.
• Eficiência: O número ideal de posições editadas ($k$) foi encontrado como sendo 5. Aumentar $k$ para 8 gerou retornos decrescentes (+8,8 pp ASR) com um aumento de 60% nas chamadas de API.

5. Significância e Alegações

O artigo afirma que o OTTER expõe uma vulnerabilidade arquitetônica fundamental na moderação baseada em toxicidade: o sinal de nível superficial compartilhado entre classificadores de toxicidade e mecanismos de recusa do modelo.

• Desacoplamento de Intenção e Toxicidade: A pesquisa demonstra que a intenção nociva pode sobreviver a uma significativa obscuridade lexical, provando que as pontuações de toxicidade são um proxy confiável, porém imperfeito, para a probabilidade de bypass.
• Capacidade do Modelo não é uma Defesa: Modelos mais fortes (ex: GPT-4-turbo) não fecharam significativamente a lacuna de vulnerabilidade em comparação com modelos mais fracos (GPT-3.5-turbo), com apenas uma diferença de 3,5 pontos percentuais na melhoria do ASR. Isso indica que o alinhamento de segurança e a capacidade do modelo são atualmente otimizados de forma independente.
• Defesa Acionável: Os autores posicionam o OTTER não apenas como uma ferramenta de ataque, mas como um instrumento de diagnóstico. Eles recomendam:
  1. Complementar Pontuações de Toxicidade: Utilizar classificadores conscientes de intenção treinados em paráfrases semanticamente equivalentes.
  2. Endurecimento de Ciclo Fechado: Integrar o OTTER em pipelines de CI/CD para gerar "hard negatives" (prompts nocivos reescritos) para o retreinamento contínuo do classificador.
  3. Estratificação de Risco: Priorizar o endurecimento da defesa para categorias com alto ASR e baixa redução de toxicidade (ex: discurso de ódio) sobre aquelas onde a intenção é codificada na estrutura técnica (ex: crimes cibernéticos).

Os autores concluem que, embora a vulnerabilidade estrutural seja arquitetônica, a severidade prática depende de como os sistemas de moderação evoluem. Eles enfatizam que sua principal contribuição é a caracterização diagnóstica da relação entre toxicidade e bypass e as recomendações de defesa resultantes, em vez do mecanismo de bypass em si.