💻 ciência da computação

From Money to Prompt Laundering: CLEANSE*, a Risk-Calibrated Multi-View Detector

Este artigo apresenta o CLEANSE*, um detector multivista calibrado para risco que identifica eficazmente ataques de lavagem de prompts ao fundir sinais semânticos, estruturais, translinguísticos e estilométricos, alcançando um desempenho superior na redução de riscos e taxas de sucesso de ataque, mantendo simultaneamente uma baixa latência através de diversos benchmarks e testes de estresse.

Autores originais: Samer Abaddi

Publicado 2026-10-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Samer Abaddi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são ferramentas poderosas que podem escrever histórias, resolver problemas e responder a perguntas, mas também são vulneráveis a um tipo específico de artimanha. Assim como um banco precisa distinguir entre um depósito legítimo e uma transferência fraudulenta, esses sistemas digitais devem diferenciar entre um pedido inofensivo e um comando oculto projetado para quebrar suas regras de segurança. Os atacantes aprenderam a disfarçar instruções prejudiciais envolvendo-as em histórias de aparência inocente, traduzindo-as para diferentes idiomas ou escondendo-as dentro de formatações complexas. Esse processo, conhecido como lavagem de prompts (prompt laundering), permite que um objetivo malicioso passe pelos filtros padrão ao mudar sua aparência enquanto mantém sua intenção perigosa intacta. O desafio para os pesquisadores é construir um sistema que consiga enxergar através desses disfarces, reconhecendo a ameaça subjacente mesmo quando a superfície parece completamente segura.

Um pesquisador desenvolveu um novo sistema de detecção chamado CLEANSE* para enfrentar esse desafio. Em vez de depender de um único método para detectar problemas, o sistema atua como uma equipe de especialistas, cada um observando a entrada de um ângulo diferente. Um especialista examina o significado profundo das palavras para ver se a intenção corresponde a padrões prejudiciais conhecidos. Outro observa a estrutura da solicitação, verificando se a história segue um fluxo lógico ou se foi distorcida em uma forma estranha que sugere uma agenda oculta. Um terceiro especialista verifica se o significado permanece o mesmo quando o texto é traduzido de ida e volta entre idiomas, uma técnica que frequentemente revela inconsistências em comandos disfarçados. O especialista final examina os detalhes superficiais, como pontuação, códigos de formatação e uso de caracteres incomuns, que são frequentemente usados para esconder instruções. Ao combinar as descobertas de todas essas perspectivas diferentes, o sistema cria uma pontuação única e calibrada que indica a probabilidade de um pedido ser um ataque de lavagem de prompt.

O pesquisador testou este sistema de múltiplas visões contra uma vasta coleção de prompts, incluindo milhares de exemplos onde atacantes tentaram esconder suas verdadeiras intenções usando várias artimanhas. Eles mediram o quão bem o sistema desempenhou enquanto mantinha o número de alarmes falsos — bloqueando solicitações inofensivas — estritamente baixo. Nesses testes, o novo sistema provou ser significativamente mais eficaz do que métodos anteriores que dependiam de apenas uma maneira de analisar os dados. Quando o pesquisador configurou o sistema para bloquear apenas um por cento das solicitações inofensivas, o novo detector reduziu o risco de deixar passar um prompt prejudicial em uma margem mensurável em comparação com ferramentas mais antigas. Ele também baixou a taxa de sucesso dos ataques, o que significa que menos instruções maliciosas conseguiram passar pelo guarda. O sistema alcançou esses resultados mantendo um alto nível de precisão em suas previsões, garantindo que, quando sinalizava uma solicitação, ela era genuinamente suspeita. Além disso, o sistema permaneceu rápido, processando solicitações em uma fração de segundo, o que é essencial para o uso em tempo real em aplicações onde os usuários esperam respostas imediatas.

O estudo também explorou quão bem o sistema lida com situações que ele nunca viu antes, como solicitações em idiomas para os quais não foi explicitamente treinado ou ataques que combinam múltiplas técnicas de ocultação de novas maneiras. Mesmo nesses cenários difíceis, o sistema manteve sua posição melhor do que detectores de método único. Mostrou que, ao olhar para o problema de múltiplos ângulos, o sistema pode se adaptar a novos truques sem a necessidade de ser completamente retreinado. O pesquisador observou que, embora o sistema seja robusto, não é perfeito; ele ainda pode ser confundido por ataques extremamente complexos ou adaptativos, e seu desempenho depende da qualidade das ferramentas que utiliza para analisar a estrutura do texto. No entanto, os resultados sugerem que essa abordagem de múltiplas perspectivas oferece uma maneira prática e poderosa de proteger os modelos de linguagem de grande escala contra a ameaça evolutiva da lavagem de prompts.

As implicações deste trabalho estendem-se além de apenas bloquear entradas ruins. O sistema é projetado para ser flexível, permitindo que as organizações ajustem o quão rigorosas são com base em suas necessidades específicas. Por exemplo, um serviço financeiro pode optar por ser mais cauteloso e bloquear mais solicitações para evitar qualquer risco, enquanto uma ferramenta educacional pode preferir deixar passar mais solicitações para evitar frustrar os alunos, contando com a capacidade do sistema de sinalizar casos ambíguos para revisão humana. O pesquisador forneceu uma estrutura que permite que essas decisões sejam tomadas com dados claros sobre as compensações entre segurança e experiência do usuário. Ao tornar o processo de detecção transparente e ajustável, o trabalho ajuda a preencher a lacuna entre a pesquisa avançada de segurança de IA e as necessidades práticas de implantar essas tecnologias no mundo real. O estudo conclui que, embora a batalha contra a lavagem de prompts seja contínua, o uso de uma combinação de pistas semânticas, estruturais e de nível superficial oferece uma defesa mais forte do que depender de uma única linha de investigação.

Resumo Técnico: CLEANSE*, um Detector Multiview Calibrado para Risco de Lavagem de Prompts

1. Definição do Problema: Lavagem de Prompts (Prompt Laundering)

O artigo aborda a lavagem de prompts (prompt laundering), uma transformação adversária específica onde instruções maliciosas ( $I_m$ ) são camufladas através de enquadramento narrativo, tradução, codificação simbólica, interpretação de papéis (role-play) ou mudanças de formatação ( $\mathcal{L}$ ) para criar um prompt ( $P' = \mathcal{L}(I_m)$ ). O objetivo do atacante é preservar a intenção nociva enquanto minimiza a divergência observável em relação ao texto benigno, visando evadir filtros de segurança.

O autor formaliza isso como um problema de ofuscação com restrições. O atacante busca maximizar a probabilidade de contornar portões de segurança ( $q_\psi$ ) e detectores ( $g_\phi$ ) enquanto mantém alta preservação de intenção (proximidade semântica com $I_m$ ) e baixa divergência de superfície (conformidade observacional com uma distribuição benigna). Isso se distingue de jailbreaks ou injeções de prompt padrão, focando especificamente no disfarce da instrução em vez de apenas no canal de entrega. O modelo de ameaça considera atacantes com um "orçamento" finito de operadores (camuflagem narrativa, ofuscação linguística, etc.) e distingue entre adversários black-box, gray-box e white-box.

2. Metodologia: O Framework CLEANSE*

O autor propõe o CLEANSE* (Cross-Lingual, sEmantic, NArrative, Stylometry Ensemble), um detector multiview calibrado para risco, projetado para operar como um serviço de suporte (side-car) ao lado de pilhas de Large Language Models (LLMs). O sistema avalia entradas (pré-portão) e, opcionalmente, contextos ou saídas (pós-portão) usando quatro visões paralelas que capturam diferentes vieses indutivos:

Visão Semântica (Proximidade de Intenção): Utiliza embeddings ajustados para instruções multilíngues (intfloat/multilingual-e5-large-instruct) para medir a distância de um prompt em relação a um manufoldo benigno e sua proximidade a um banco de protótipos de intenções maliciosas sanitizadas. Ele operacionaliza o regime de lavagem de "alta preservação de intenção e baixa divergência de superfície".
Visão Narrativa/Estrutural (Continuidade de Objetivo): Constrói um grafo de ação-papel leve ( $G_P$ ) representando entidades, objetivos, precondições e efeitos. Ele pontua o alinhamento deste grafo contra uma biblioteca de subgrafos maliciosos canônicos ( $G_{mal}$ ), detectando se o fluxo de trabalho subjacente permanece intacto apesar da refraseagem de superfície.
Visão Cross-Lingual (Consistência): Realiza traduções de ida e volta (round-trip translation) através de um conjunto fixo de idiomas para detectar deriva ou instabilidade semântica. Uma alta variância nos embeddings de ida e volta sugere uma intenção disfarçada que não se traduz naturalmente.
Visão Estilométrica/Markup (Pistas de Superfície): Quantifica características de superfície, incluindo n-gramas de tokens/caracteres (incluindo caracteres de largura zero), ritmos de pontuação, deltas de perplexidade e padrões de HTML/Markdown/XML para identificar ofuscação esteganográfica ou baseada em formatação.

Fusão e Calibração:
Estas quatro visões produzem sub-pontuações calibradas ( $D_{sem}, D_{nar}, D_{xlang}, D_{styl}$ ), que são fundidas em uma única pontuação de anomalia $A(P)$ . Os pesos de fusão são aprendidos em dados de desenvolvimento e calibrados (via regressão isotônica) para minimizar um funcional de dano (harm functional) $H(\cdot)$ específico de implantação em uma Taxa de Falso Positivo (FPR) fixa. O sistema emprega uma política de três vias: Permitir (pontuação baixa), Bloquear (pontuação alta) ou Escalar (pontuação intermediária) para revisão humana. Para aumentar a robustez, o sistema aplica "suavização semântica" agregando pontuações sobre paráfrases que preservam a intenção.

Treinamento e Dados:
O modelo é treinado em um corpus de aproximadamente $10^6$ prompts estratificados em mais de 12 idiomas, 6 gêneros e 4 regimes de formatação. O conjunto de dados inclui instruções benignas, intenções maliciosas diretas (sanitizadas) e variantes lavadas geradas via composições de operadores orçados. O treinamento utiliza view-dropout, feature-space mixup e mineração de falsos negativos difíceis (hard-negative mining) para melhorar a robustez contra ataques compostos.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

Formalização: Uma formulação rigorosa de transformações de lavagem que preservam a intenção como um problema de otimização com restrições envolvendo composições de operadores e orçamentos.
Arquitetura: Um detector multiview que funde evidências semânticas, estruturais, cross-linguais e estilométricas, explicitamente projetado para abordar a "fronteira de lavagem", onde as pistas de superfície são benignas, mas a intenção é maliciosa.
Avaliação: Um corpus de avaliação focado em lavagem e testes de estresse cobrindo dados dentro da distribuição (ID), fora da distribuição (OOD) de idiomas/composições e benchmarks externos (JailbreakBench), com foco em Risk@FPR (dano esperado em uma taxa de falso positivo fixa) em vez de apenas acurácia.

4. Resultados Experimentais

A avaliação foi conduzida em um conjunto de teste fechado com divisões bloqueadas por idioma, gênero e formato.

Desempenho In-Distribution (ID):
- Redução de Risco: O CLEANSE* reduziu o Risk@FPR em 0,7, 0,8 e 1,0 unidades absolutas em 0,5%, 1% e 2% de FPR, respectivamente, comparado a uma linha de base puramente Semântica.
- Taxa de Sucesso de Ataque (ASR): Reduziu de 11,6% para 8,4% (uma queda relativa de 27,6%).
- Calibração: O Erro de Calibração Esperada (ECE) melhorou de 2,7% para 1,8%.
- Latência: Alcançou latências p50/p95 de 15/28 ms, atendendo aos Objetivos de Nível de Serviço (SLOs) de sub-30 ms.
Desempenho de Fronteira e OOD:
- Na "fronteira de lavagem" (baixa divergência de superfície, alta preservação de intenção), o Risk@FPR em 1% de FPR caiu de 6,2 (apenas Semântica) para 4,9.
- O ASR na fronteira caiu de 18,4% para 12,7%.
- O sistema demonstrou menores taxas de transferência (TR) para modelos não vistos (0,41 vs 0,58 para as linhas de base) e menor deriva de risco em idiomas OOD (turco, persa, hebraico) e composições de operadores não vistos.
Benchmarks Externos:
- No JailbreakBench, o CLEANSE* alcançou um risco de 5,3 e um ASR/taxa de erro de 14,8%, superando o Llama Guard 3-8B, WildGuard, ShieldLM e a linha de base apenas Semântica.
- Em testes de estresse RAG/Agente (escaneando contexto recuperado), a pontuação combinada pré e pós-portão alcançou um risco de 5,4 com uma taxa de passagem de ferramentas inseguras de 3,6%.
Estudos de Ablação:
- A remoção da visão Narrativa/Grafo causou a maior penalidade de segurança relativa por milissegundo economizado (Razão de Eficiência de Ablação de 0,40 risco/ms), seguida pela Cross-lingual (0,20) e Semântica (0,19).
- As visões foram consideradas complementares em vez de redundantes; remoções pareadas mostraram efeitos de interação positivos, particularmente entre as visões Semântica e Narrativa.

5. Significância e Alegações

O artigo afirma que a lavagem de prompts representa uma ameaça distinta e em evolução, exigindo estratégias de detecção que vão além da simples correspondência de palavras-chave ou classificação de visão única. A significância do CLEANSE* reside em sua abordagem calibrada para o risco, que otimiza explicitamente a minimização do dano esperado em uma taxa de falso positivo controlada, em vez de maximizar a acurácia bruta de classificação.

O autor argumenta que o ensemble multiview captura com sucesso a natureza de "ofuscação com restrições" dos ataques de lavagem, combinando análise de intenção latente com detecção de anomalias de superfície. Os resultados sugerem que tal sistema pode reduzir significativamente a taxa de sucesso de ataque na fronteira de lavagem, mantendo a baixa latência adequada para implantação em tempo real.

O artigo mantém uma postura modesta, reconhecendo limitações, incluindo:

Sensibilidade a erros de extração de grafos (visão narrativa).
Cobertura limitada de idiomas de baixos recursos e ataques multimodais adaptativos.
Restrições de materiais de reprodutibilidade (prompts maliciosos operacionais e receitas exatas de ataque são retidos para evitar uso indevido).

O autor conclui que, embora o sistema demonstre robustez contra as atuais estratégias de lavagem, a avaliação contínua contra o red-teaming adaptativo e a expansão das visões para a lavagem multimodal são necessárias para futuras iterações. O trabalho fornece um framework para integrar a detecção de segurança na governança de IA através de limiares calibrados, bandas de escalonamento e documentação pronta para auditoria (datasheets e model cards).