Resumo Técnico: META SECALIGN

Declaração do Problema

Ataques de injeção de prompt (PI - Prompt Injection) representam a principal ameaça de segurança para aplicações que integram Grandes Modelos de Linguagem (LLMs). Nestes ataques, dados não confiáveis recuperados do ambiente contêm instruções injetadas que manipulam o LLM para sobrepor instruções confiáveis do sistema ou do usuário. Isso pode levar a consequências graves, como exfiltração de dados, violações de segurança e execução de malware.

Embora as defesas ao nível do modelo (treinar o LLM para priorizar instruções confiáveis sobre dados não confiáveis) tenham se mostrado mais eficazes do que as defesas ao nível do sistema, as defesas existentes mais fortes são proprietárias (ex: no GPT-5 ou Gemini-3-Pro). A falta de modelos seguros de nível comercial totalmente de código aberto impede o co-desenvolvimento de ataques e defesas, o que é essencial para o progresso científico em segurança de IA. Além disso, tentativas anteriores de código aberto (ex: o SecAlign original) frequentemente sofriam de degradação significativa de utilidade ou falhavam em generalizar para fluxos de trabalho agênticos complexos.

Metodologia: SecAlign++

Os autores introduzem o META SECALIGN, um LLM totalmente de código aberto treinado usando uma nova receita chamada SecAlign++. Esta receita é uma evolução da defesa de estado da arte (SoTA) SecAlign, projetada para alcançar utilidade de nível comercial mantendo uma segurança robusta.

Arquitetura Central

O método baseia-se em uma modificação específica do template de chat para separar instruções confiáveis de dados não confiáveis:

1. Novo Tipo de Mensagem: Um papel de mensagem input dedicado é adicionado ao template de chat (junto com system, user e assistant) para encapsular dados não confiáveis.
2. Imposição de Delimitadores: Delimitadores especiais (ex: <|eot_id|>, <|start_header_id|>) são usados para separar esses papéis. O modelo filtra recursivamente os dados não confiáveis para garantir que nenhum delimitador especial exista dentro dos próprios dados, evitando que atacantes "escapem" da separação.

Inovações de Treinamento

O SecAlign++ introduz duas novidades técnicas fundamentais à estrutura original do SecAlign para abordar suas deficiências:

1. Posição de Injeção Aleatória:

   • Problema: O SecAlign original frequentemente aprendia um "atalho" onde o modelo ignorava apenas a última frase da entrada se ela se assemelhasse a uma instrução. Isso fazia com que o modelo ignorasse instruções legítimas do usuário se elas aparecessem no final dos dados.
   • Solução: Durante o treinamento, as injeções simuladas são aleatorizadas. Em 45% dos casos, a injeção é colocada no final dos dados; em outros 45%, é colocada no início; e em 10%, é usada uma "ataque de conclusão" (simulando um turno de conversa). Isso força o modelo a aprender a identificar especificamente o papel da mensagem input, em vez de depender de atalhos posicionais.

2. Respostas Autogeradas:

   • Problema: O SecAlign original usava um modelo anotador desatualizado (TEXT_DAVINCI_003) para gerar respostas "desejáveis" (benignas) e "indesejáveis" (injetadas). Essas respostas eram frequentemente de baixa qualidade e fora da distribuição (out-of-distribution) em relação ao modelo que estava sendo ajustado, levando a uma baixa utilidade e segurança.
   • Solução: O modelo de inicialização (o LLM não defendido, ex: LLAMA-3.3-70B-INSTRUCT) é usado como o anotador de resposta. Isso garante que os rótulos de treinamento sejam dentro da distribuição (in-distribution) e de alta qualidade, combinando com as capacidades do modelo que está sendo protegido.

Otimização

Os modelos são ajustados via Otimização de Preferência Direta (DPO) em um conjunto de dados de preferência construído. O conjunto de dados consiste em:

• Entrada ($x$): Um prompt com dados benignos e uma injeção simulada.
• Resposta Desejável ($y_w$): A saída do modelo de inicialização dado o prompt e os dados benignos, ignorando a injeção.
• Resposta Indesejável ($y_l$): A saída do modelo de inicialização dado apenas a injeção.

Principais Contribuições

1. Modelos META SECALIGN: O lançamento do META-SECALIGN-8B e META-SECALIGN-70B, os primeiros LLMs de nível comercial totalmente de código aberto com defesas de injeção de prompt integradas ao nível do modelo, capazes de lidar com tarefas agênticas complexas.
2. Receita SecAlign++: Uma nova receita de treinamento que melhora o SoTA SecAlign ao introduzir posições de injeção aleatórias e respostas autogeradas, aumentando significativamente tanto a utilidade quanto a segurança.
3. Avaliação Abrangente: A avaliação mais extensa de defesas contra injeção de prompt até o momento, cobrindo 9 benchmarks de utilidade (conhecimento geral, seguimento de instruções, fluxos de trabalho agênticos) e 7 benchmarks de segurança.
4. Generalização: Demonstração de que a segurança aprendida durante o treinamento se generaliza para tarefas subsequentes não vistas, incluindo chamada de ferramentas (tool-calling) e navegação web, sem exigir treinamento específico para a tarefa.

Resultados

Troca entre Utilidade vs. Segurança

• Utilidade de Nível Comercial: O META-SECALIGN-70B alcança pontuações de utilidade comparáveis, e em alguns casos superiores, aos modelos comerciais de código fechado (ex: GPT-4o-Mini) em benchmarks de conhecimento geral e seguimento de instruções. Notavelmente, apresenta uma queda de utilidade mínima em comparação com seu contraparte não defendido (LLAMA-3.3-70B-INSTRUCT).
• Estado da Arte em Segurança:
  • Seguimento de Instruções: Alcança uma Taxa de Sucesso de Ataque (ASR) de 6,4% no benchmark SEP, superando vários modelos de código fechado.
  • Fluxos de Trabalho Agênticos: Demonstra excepcional robustez em chamada de ferramentas (AgentDojo: 1,9% ASR) e navegação web (WASP: 0% ASR ponta a ponta).
  • Comparação: O META-SECALIGN-70B é mais seguro que vários modelos proprietários de destaque (incluindo GPT-4o e Gemini-2.5-Flash) e é comparável ao GPT-5 tanto em utilidade quanto em segurança para tarefas agênticas.

Robustez a Ataques Adaptativos

O artigo avalia os modelos contra ataques adaptativos, incluindo aqueles que utilizam delimitadores falsos (baseados em distância de embedding) e ataques de Gradiente de Coordenada Gananciosa (GCG). O SecAlign++ supera significativamente o SecAlign original nestes cenários, mantendo um baixo ASR mesmo quando atacantes tentam contornar a separação por delimitadores.

Escalonamento do Modelo e Flexibilidade

• Escalonamento: Descobriu-se que LLMs mais fortes (ex: LLAMA-3.3-70B) são mais vulneráveis a ataques de PI quando não defendidos em comparação com modelos menores (LLAMA-3.1-8B). No entanto, o SecAlign++ protege com sucesso modelos em diferentes escalas (4B, 8B, 70B e 109B MoE) com perda de utilidade negligenciável.
• Controle de Troca (Trade-off): Os autores demonstram que a troca entre utilidade e segurança pode ser controlada de forma flexível no momento da inferência através do ajuste do parâmetro LoRA $\alpha$, permitindo que os usuários intercalem entre a segurança do modelo ajustado e a utilidade do modelo base sem necessidade de retreinamento.

Significância e Alegações

O artigo afirma que o META SECALIGN estabelece uma nova fronteira para a relação utilidade-segurança em LLMs de código aberto. Ao fornecer um modelo de fundação totalmente aberto e de nível comercial, ele permite que a comunidade de segurança de IA realize pesquisas transparentes, fomentando o co-desenvolvimento de ataques e defesas.

Os autores enfatizam que seu trabalho preenche a lacuna entre a pesquisa acadêmica (frequentemente limitada a modelos de brinquedo de 8B) e a implementação industrial (APIs de código fechado). Eles afirmam que o SecAlign++ é a primeira receita a alcançar segurança de estado da arte contra injeções de prompt sem a significativa degradação de utilidade observada anteriormente em defesas de código aberto. O lançamento dos modelos, códigos e receitas de treinamento tem o objetivo de acelerar pesquisas futuras na mitigação de ameaças de injeção de prompt em aplicações integradas a LLMs.