Evolving and Detecting Multi-Turn Deception using Geometric Signatures

Resumo Técnico: Evolução e Detecção de Engano Multi-turno usando Assinaturas Geométricas

Declaração do Problema
As defesas de segurança atuais para Modelos de Linguagem de Grande Escala (LLMs) são predominantemente treinadas e avaliadas em prompts de turno único. Isso cria uma lacuna de vulnerabilidade onde adversários podem contornar filtros de segurança usando sondagem indireta e multi-turno para elicitar informações proibidas (por exemplo, instruções para construir uma bomba) sem acionar heurísticas baseadas em palavras-chave ou de turno único. Métodos de detecção existentes frequentemente dependem de classificadores de caixa-preta ou pistas ao nível de tokens que falham em generalizar através de reformulações e comprimentos variados de conversa. Além disso, gerar conjuntos de dados realistas para treinar detectores para essa ameaça específica é custoso e difícil quando se confia exclusivamente em dados humanos.

Metodologia
Os autores propõem um pipeline unificado em duas etapas: Geração de Dados Sintéticos e Detecção Geométrica Explicável.

1. Geração de Dados Sintéticos (Framework Evolutivo):

   • Abordagem: Os autores utilizam um framework evolutivo multi-objetivo para gerar conjuntos realistas de perguntas enganosas multi-turno. O sistema co-evolui prompts candidatos de LLM e seus operadores de mutação.
   • Algoritmo: Eles empregam o NSGA-II (Algoritmo Genético de Ordenação Não Dominada II) para gerenciar o compromisso entre qualidade do engano (quão efetivamente as perguntas elicam informações sensíveis) e aderência à política (evitar palavras-chave proibidas explícitas como "bomba").
   • Processo: Começando com uma população inicial de "codões" (modelos de prompts combinando instruções de relevância e ofuscação), o sistema itera através de seleção, mutação (reformulação baseada em LLM) e avaliação.
   • Validação: Um estudo com Humano no Loop (HITL) validou os dados gerados. Participantes avaliaram 350 perguntas (52 participantes) em duas fases: individualmente e como um conjunto de cinco. Isso confirmou que, enquanto perguntas individuais pareciam benignas, o conjunto coletivo revelava intenção enganosa. O estudo também revelou que a primeira geração de otimização produziu o engano mais convincente, enquanto gerações posteriores sofreram de superotimização e violações de política.

2. Detecção Geométrica Explicável:

   • Hipótese: A intenção enganosa multi-turno deixa uma "pegada geométrica" estável no espaço de incorporação de frases pré-treinado, distinta de conversas benignas.
   • Engenharia de Recursos: Em vez de treinar redes neurais ponta a ponta em texto bruto, os autores projetaram um conjunto compacto de sete recursos computados a partir de incorporações de frases (usando all-MiniLM-L6-v2):
     • Recursos Geométricos:
       • Cobertura Angular: Mede o quão completamente as perguntas "circundam" o tópico-alvo no espaço vetorial.
       • Razão de Distância: A razão entre as distâncias mínima e máxima a partir da incorporação do tópico-alvo.
       • Linearidade: Derivada dos autovalores da matriz de covariância das incorporações centralizadas, medindo padrões lineares.
     • Recursos Estatísticos: Média, desvio padrão, mínimo e máximo das similaridades de cosseno em pares entre as perguntas.
   • Classificador: Esses recursos alimentam uma rede neural feed-forward leve de três camadas (MLP) com ativações ReLU e dropout. O modelo é projetado para transparência e implantação quase em tempo real.

Principais Contribuições

• Framework Evolutivo Multi-Objetivo: Um método inovador para gerar conjuntos de dados sintéticos multi-turno enganosos que equilibram eficácia do engano com restrições de segurança, validado por avaliação humana.
• Detecção por Assinatura Geométrica: A demonstração de que interações enganosas multi-turno possuem uma estrutura geométrica estável no espaço de incorporação, detectável sem treinamento ponta a ponta dispendioso.
• Pipeline Leve e Explicável: Um sistema de detecção que depende de recursos geométricos interpretáveis em vez de modelos de aprendizado profundo opacos, facilitando a explicabilidade para tomadores de decisão.

Resultados
O sistema foi avaliado em um conjunto de dados composto por conjuntos enganosos validados por humanos e dados conversacionais benignos da Scale AI.

• Desempenho de Linha de Base: O modelo alcançou um recall de 0,89 e uma pontuação F1 de 0,84 no conjunto de teste, identificando corretamente sequências enganosas enquanto mantinha alta precisão em exemplos de controle.
• Robustez à Variação Lexical: Quando testado em perguntas reformuladas (mantendo a intenção semântica, mas alterando a sintaxe), o modelo manteve uma pontuação F1 de 0,86, demonstrando resiliência a modificações de texto de superfície.
• Robustez a Restrições de Turno: Mesmo quando o contexto da conversa foi truncado de cinco turnos para três, o modelo manteve um recall alto de 0,89 (F1: 0,74), sugerindo viabilidade para intervenção precoce.
• Insights do HITL: O estudo humano revelou que as gerações iniciais do processo evolutivo produziram o conteúdo mais enganoso. Também destacou que os LLMs lutam para imitar perfeitamente a variabilidade humana no raciocínio subjetivo e que aproximadamente 18,6% dos conjuntos gerados falharam nos filtros de aderência (mencionando explicitamente palavras proibidas).

Significado e Alegações
O artigo alega que a intenção enganosa multi-turno cria uma assinatura geométrica detectável e estável no espaço de incorporação. Essa descoberta apoia o desenvolvimento de sistemas de triagem leves e transparentes que não requerem recursos computacionais massivos ou treinamento ponta a ponta opaco. Os autores posicionam seu trabalho como um mecanismo de defesa, fornecendo aos pesquisadores de segurança ferramentas para identificar comportamentos de busca de informação indireta que contornam filtros tradicionais baseados em palavras-chave.

Os autores permanecem modestos quanto às limitações, reconhecendo que seu conjunto de dados é sintético e relativamente pequeno, e que o cenário específico de "fabricação de bombas" pode não generalizar perfeitamente para todos os domínios sem adaptação. Eles enfatizam a natureza de uso duplo da tecnologia, observando que, embora o framework de geração pudesse teoricamente ser mal utilizado, sua publicação foca estritamente na detecção defensiva e divulgação responsável, retendo o conjunto completo de operadores de mutação otimizados.