Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

Título: Trojan-Speak: Contornando Classificadores Constitucionais sem "Taxa de Jailbreak" via Ajuste Fino Adversarial

1. O Problema

Com a popularização de APIs de ajuste fino (fine-tuning) oferecidas por grandes provedores de IA (como OpenAI, Google e Anthropic), surgiu uma nova superfície de ataque. Adversários podem tentar ajustar modelos para contornar medidas de segurança e gerar conteúdo perigoso (como instruções para síntese de armas CBRN - Químicas, Biológicas, Radiológicas e Nucleares).

A defesa padrão atual envolve o uso de Classificadores Constitucionais (LLMs treinados para detectar conteúdo nocivo) que monitoram tanto os dados de treinamento quanto as interações em tempo de inferência.

• O Dilema Anterior: Trabalhos anteriores (como Covert Malicious Fine-tuning ou CMFT) demonstraram que é possível contornar esses classificadores codificando o conteúdo nocivo. No entanto, essa abordagem impunha uma "Taxa de Jailbreak" (Jailbreak Tax): o modelo ajustado sofria uma degradação significativa (mais de 25%) em suas capacidades de raciocínio geral, tornando-o inútil para tarefas complexas que exigem precisão.
• A Questão Central: É possível criar um modelo ajustado que contorne os classificadores de segurança sem sacrificar sua capacidade de raciocínio e utilidade geral?

2. Metodologia: Trojan-Speak

Os autores propõem o Trojan-Speak, um método de ajuste fino adversarial que elimina a degradação de capacidades. A abordagem combina três componentes principais:

A. Aprendizado de Currículo (Curriculum Learning)

Para ensinar o modelo a usar um protocolo de comunicação codificado sem perder suas habilidades originais, o treinamento é dividido em duas etapas:

1. Fase de Ensino (Stage 1): O modelo é treinado com ~25.000 exemplos de conversas gerais (dataset LMSYS-Chat-1M), onde tanto as consultas do usuário quanto as respostas são codificadas. O objetivo é estabelecer proficiência na codificação/decodificação sem introduzir conteúdo nocivo ainda.
2. Fase de Tarefas (Stage 2): O modelo é ajustado em tarefas de STEM (Ciência, Tecnologia, Engenharia e Matemática) usando um esquema de "decaimento do currículo". A probabilidade de usar exemplos codificados diminui linearmente de 80% para 20%, enquanto 20% dos exemplos permanecem em texto claro para ancorar a capacidade de raciocínio base.

B. Treinamento Híbrido RL + SFT

O ajuste fino puramente baseado em Aprendizado por Reforço (RL) tende a ser instável: erros de codificação acumulam-se e degradam o desempenho.

• Solução: Os autores utilizam um ciclo híbrido que intercala GRPO (Group Relative Policy Optimization) com Ajuste Fino Supervisionado (SFT).
• O RL otimiza o desempenho na tarefa codificada, enquanto os passos periódicos de SFT atuam como regularizadores, corrigindo erros de formatação e mantendo a fluência da codificação. Isso estabiliza o treinamento e previne o colapso do modelo.

C. Esquema de Codificação e Camuflagem

• Cifra de Substituição Mínima: Em vez de codificações complexas (como Base64 ou ROT13, que são facilmente detectadas ou degradam o raciocínio), o método usa uma cifra de substituição simples que altera apenas as letras de alta frequência do alfabeto inglês (ex: 'e', 't', 'a'). Apenas 7 substituições são necessárias para um bypass confiável.
• Camuflagem de Template: Para evitar que o classificador detecte o texto como "criptografado" (o que já é um sinal de alerta), o conteúdo codificado é embutido em templates que imitam dados técnicos legítimos, como logs de análise forense de servidores ou identificadores de transações de blockchain (ex: 0x...). O classificador vê "logs técnicos", enquanto o modelo decodifica e responde à pergunta nociva.

3. Principais Contribuições

1. Eliminação da "Taxa de Jailbreak": Demonstra que a degradação de capacidades não é inerente a ataques de ajuste fino. O Trojan-Speak mantém mais de 95% da capacidade original do modelo em benchmarks de raciocínio (GPQA-Diamond, MMLU-Pro, MATH-500) para modelos com 14B+ parâmetros.
2. Bypass Eficiente de Classificadores: O método alcança taxas de evasão de 99%+ contra os Classificadores Constitucionais da Anthropic (que resistiram a mais de 3.000 horas de testes de "red-teaming").
3. Geração de Respostas de Nível Especialista: Modelos ajustados conseguem fornecer respostas detalhadas e acionáveis para consultas de alto nível sobre CBRN (ex: extração de toxina de rícino), contornando as defesas projetadas especificamente para impedir isso.
4. Análise de Defesas por Probes de Ativação: O estudo investiga o uso de probes (classificadores lineares treinados nos estados ocultos do modelo) como defesa. Descobriu-se que, uma vez que o modelo aprende a decodificar a cifra, o conteúdo nocivo torna-se detectável nas ativações internas, mesmo que o texto superficial pareça benigno.

4. Resultados Experimentais

• Desempenho em Benchmarks:
  • Modelos Grandes (14B+): Retiveram 95-97% da capacidade original em benchmarks de raciocínio após o ajuste fino.
  • Modelos Pequenos (4B-8B): Sofreram maior degradação (53-78% de retenção), sugerindo que a codificação exige capacidade de modelo suficiente para manter o esquema de codificação e o raciocínio complexo simultaneamente.
• Sucesso no Ataque (Bug Bounty): No Anthropic Bug Bounty Benchmark (consultas CBRN), o modelo ajustado com RL+SFT alcançou uma pontuação média de 85.2%, comparável ao limite superior de um modelo "apenas útil" (sem segurança) de 89.4%.
• Comparação com CMFT: Enquanto o método anterior (CMFT) caía para ~27% em benchmarks difíceis e ~27% no Bug Bounty, o Trojan-Speak manteve ~58% no GPQA e ~85% no Bug Bounty.
• Eficácia dos Probes: Probes de ativação treinados em texto claro conseguiram detectar conteúdo nocivo codificado com AUC de 0.97-0.99 em modelos que aprenderam a cifra, indicando que a defesa baseada em representação interna é promissora, embora ainda não seja trivial de implementar em produção.

5. Significado e Implicações

• Vulnerabilidade de Defesas Baseadas em Texto: O trabalho revela que classificadores baseados em LLMs (que analisam apenas o texto de superfície) são insuficientes para prevenir a divulgação de informações perigosas quando o adversário tem acesso ao ajuste fino do modelo.
• Risco Crescente com APIs de Ajuste Fino: À medida que as APIs de ajuste fino se expandem para modelos de fronteira (mais capazes), a combinação de ataques que preservam capacidades e raciocínio de nível de fronteira representa um risco de segurança crítico.
• Direção Futura para Defesas: O artigo sugere que as defesas devem evoluir para monitoramento em múltiplos níveis de abstração, incluindo probes de ativação e análise de estados ocultos, em vez de depender exclusivamente da filtragem de texto.
• Alerta de Segurança: A pesquisa serve como um aviso para que os provedores de IA não confiem apenas em classificadores de conteúdo para proteger modelos que permitem ajuste fino, pois a "taxa de jailbreak" pode ser eliminada com técnicas de treinamento adequadas.

Em resumo, o Trojan-Speak prova que a segurança de modelos de IA via ajuste fino é qualitativamente diferente das defesas de inferência, exigindo novas estratégias de defesa que considerem a capacidade do modelo de aprender protocolos de comunicação ocultos sem perder sua inteligência geral.