Resumo Técnico: MIPIAD – Defesa contra Injeção Indireta de Prompt Multilíngue

Declaração do Problema

A injeção indireta de prompt representa uma vulnerabilidade crítica em sistemas de Modelos de Linguagem de Grande Escala (LLM) que utilizam Ferramentas e Augmentação por Recuperação (RAG). Diferentemente das injeções diretas, onde instruções maliciosas são incorporadas na consulta do usuário, as injeções indiretas ocultam instruções dentro de documentos recuperados, e-mails, tabelas ou código. Essa ameaça é exacerbada em cenários multilíngues, onde os sistemas devem processar idiomas mistos, domínios e estilos de formatação variados. Defesas existentes frequentemente falham em generalizar entre idiomas ou carecem de avaliação em benchmarks multilíngues realistas e em grande escala. O desafio específico abordado é a detecção dessas instruções incorporadas antes que alcancem o LLM vítima, particularmente em idiomas de recursos limitados como o Bangla, onde a transferência cruzada de idiomas de assinaturas de segurança é pouco compreendida.

Metodologia

Os autores propõem o MIPIAD (Defesa contra Injeção Indireta de Prompt Multilíngue), um quadro de defesa abrangente avaliado em inglês e Bangla. A metodologia consiste em três componentes principais:

1. Construção do Benchmark (Conjunto de Dados MIPIAD)

Para abordar a falta de dados multilíngues, os autores construíram um benchmark sintético massivo contendo 1,43 milhão de amostras.

• Fonte: Os modelos foram derivados do benchmark BIPIA (Yi et al., 2023).
• Tradução: O NLLB-200 da Meta foi utilizado para traduzir os modelos de ataque e os contextos de tarefa do inglês para o Bangla.
• Famílias de Tarefa: O conjunto de dados abrange cinco tipos de tarefa: e-mail, tabela, QA (Perguntas e Respostas), resumo e código.
• Estratégia de Injeção: Textos de ataque foram injetados no início, meio ou fim dos contextos.
• Integridade dos Dados: Para evitar vazamento, as divisões de treinamento e teste foram particionadas ao nível do contexto, garantindo categorias de ataque e variantes mutuamente exclusivas entre os conjuntos.

2. Arquitetura de Detecção

O núcleo da defesa é uma abordagem híbrida que combina sinais neurais e lexicais:

• XLPID (Detector de Injeção de Prompt Cruzado): Um classificador de sequência construído sobre uma base Qwen2.5-1.5B congelada. Utiliza LoRA (Adaptação de Baixo Rango) com rank 16 e $\alpha=32$ visando as camadas $q\_proj$ e $v\_proj$ para ajuste fino eficiente.
• Linhas de Base Lexicais: Modelos de aprendizado de máquina tradicionais usando características TF-IDF (10.000 n-gramas principais, tamanhos 1–3) combinados com Máquinas de Vetor de Suporte (SVM) e Regressão Logística (LR).
• Meta-Ensembles: O quadro integra esses fluxos via:
  • Fusão Tardia Híbrida: Uma combinação ponderada das probabilidades do XLPID ($p_t$) e das probabilidades TF-IDF ($p_l$), otimizada por busca em grade ($\alpha \in [0, 1]$).
  • Empilhamento e Boosting: Empilhamento de regressão logística e árvores de gradiente-boosted que processam as probabilidades dos modelos base.

3. Pipeline de Avaliação

A avaliação segue um processo de quatro etapas:

1. Classificação de Defesa: O classificador MIPIAD escaneia as entradas. Se malicioso, um aviso de segurança é adicionado ao início.
2. Execução da Vítima: Os prompts são alimentados em LLMs vítimas (sete modelos testados, incluindo variantes de Qwen, Gemma e BanglaLLaMA).
3. Julgamento: Um ensemble de LLMs juízes pontua as respostas quanto à Taxa de Sucesso do Ataque (ASR) e utilidade.
4. Agregação de Métricas: As métricas finais incluem ASR, Utilidade Benigna (BU), Utilidade Sob Ataque (UA) e Paridade Cruzada de Idiomas (CLP), que mede a lacuna de desempenho entre inglês e Bangla.

Principais Contribuições

O artigo delineia quatro contribuições específicas:

1. Pipeline Multilíngue Unificado: Um pipeline de geração de dados criando um conjunto de dados de 1,43 milhão de amostras para injeção indireta de prompt em inglês e Bangla, cobrindo cinco famílias de tarefas distintas.
2. XLPID: Um detector cruzado de idiomas que utiliza ajuste fino LoRA eficiente em parâmetros em bases LLM robustas.
3. Estratégias de Meta-Ensemble: Integração inovadora de probabilidades baseadas em transformadores com priores lexicais explícitos TF-IDF via fusão tardia e boosting.
4. Validação Empírica: Demonstração de que a hibridização supera modelos neurais isolados, alcançando um ganho de 2,7 pontos no F1 (0,9205 vs. 0,8939) e reduzindo significativamente a lacuna de desempenho cruzada de idiomas.

Resultados

Os experimentos produziram várias descobertas críticas:

• Competitividade Lexical: Surpreendentemente, os sinais lexicais isolados foram fortes. TF-IDF + SVM alcançou um F1 de 0,77, sugerindo que os modelos sintéticos contêm artefatos lexicais detectáveis.
• Superioridade Híbrida: O ensemble Híbrido (XLPID + TF-IDF) alcançou a melhor pontuação geral de F1 de 0,9205, superando o XLPID autônomo (0,8939). O Ensemble de Boosting alcançou o maior AUROC (0,9378).
• Robustez Cruzada de Idiomas: Modelos neurais autônomos (XLPID) mostraram uma lacuna de desempenho mais ampla entre inglês e Bangla (CLP = 0,9322). Métodos de ensemble estreitaram essa lacuna (CLP $\approx$ 0,9479), com codificadores multilíngues alcançando quase paridade (CLP > 0,99).
• Impacto a Montante: Aplicado a sete LLMs vítimas, a defesa reduziu a Taxa de Sucesso do Ataque (ASR) para todos os modelos em ambos os idiomas.
  • Maiores Reduções: Observadas no Qwen3.5-9B (ASR reduzido em 0,30 em inglês) e no BanglaLLaMA-3-8B.
  • Preservação de Utilidade: A Utilidade Benigna (BU) permaneceu estável (dentro de $\pm 0,05$), indicando que a defesa não degrada significativamente o desempenho de tarefas legítimas.
• Análise de Vulnerabilidade: A defesa foi mais eficaz contra Distribuição de Malware e Cifras de Substituição, mas lutou contra ataques de Substituição por Emojis e Mineração de Criptomoedas, que permaneceram as vulnerabilidades mais persistentes.

Significado e Limitações

Significado:
O artigo afirma que o MIPIAD fornece a primeira avaliação de ponta a ponta de vítima para uma defesa de injeção indireta cruzada de idiomas. Demonstra que a hibridização de sinais neurais e lexicais é uma estratégia superior para segurança, reparando efetivamente pontos cegos neurais em padrões de baixa frequência enquanto mantém alta utilidade. O quadro é projetado para extensibilidade, capaz de suportar mais de 200 idiomas via NLLB-200 e bases adaptáveis sem alterações arquitetônicas.

Reivindicações Modestas e Limitações:
Os autores reconhecem explicitamente várias restrições:

• Distribuição Sintética: O conjunto de dados é derivado de modelos BIPIA. Alto desempenho neste benchmark pode não se traduzir totalmente para ataques adversariais do mundo real envolvendo reescrita adaptativa ou truques de codificação novos.
• Desequilíbrio de Classes: O conjunto de teste usa uma proporção de ataque para benigno de 10:1, enquanto o tráfego do mundo real pode ser 225:1 ou superior. Sob distribuição natural, mesmo uma taxa de falso positivo de 1% poderia sinalizar a maioria das consultas legítimas, tornando a precisão crítica.
• Artefatos de Tradução: As amostras em Bangla foram traduzidas por máquina. Os autores observam que a saída de MT pode preservar diretivas de injeção com menos fidelidade do que ataques escritos por humanos ou introduzir artefatos lexicais que inflam o desempenho do classificador.
• Escopo de Idioma: Embora a arquitetura suporte mais de 200 idiomas, a validação empírica está atualmente limitada estritamente ao inglês e ao Bangla.

Em conclusão, o MIPIAD estabelece uma base robusta para defesa contra injeção indireta de prompt multilíngue, provando que combinar ajuste fino neural eficiente com características lexicais tradicionais oferece um caminho prático e eficaz para garantir sistemas RAG e agentes em ambientes linguísticos diversos.