SALLIE: Safeguarding Against Latent Language & Image Exploits

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) e os Modelos Visão-Linguagem (VLMs) atuais permanecem altamente vulneráveis a ataques adversariais, especificamente:

• Jailbreaks (JB): Tentativas de contornar as alinhamentos de segurança para gerar conteúdo prejudicial.
• Injeção de Prompt (PI): Comandos que forçam o modelo a executar tarefas não autorizadas através de dados externos não confiáveis.

Limitações das Defesas Existentes:

• Abordagens de Superfície (Black-box): Métodos baseados em filtragem de perplexidade ou transformação de entrada (como JailGuard) frequentemente degradam o desempenho, introduzem latência inaceitável ou exigem múltiplas consultas ao modelo (custo computacional elevado, ex: 8x o custo por entrada).
• Cegueira Modal: Muitas defesas focadas em texto são cegas a ameaças visuais. Defesas multimodais existentes (como HiddenDetect) falham em detectar injeções de prompt visuais, e modelos proprietários de julgamento (Judges) sofrem uma queda drástica de desempenho em entradas visuais comparado a textos.
• Falta de Unificação: Não existe uma defesa unificada, eficiente e que não altere a arquitetura do modelo, capaz de lidar simultaneamente com ameaças textuais e visuais em uma única passagem (forward pass).

2. Metodologia: SALLIE

O SALLIE (Safeguarding Against Latent Language & Image Exploits) é um framework de detecção em tempo de execução (runtime), leve e baseado em interpretabilidade mecânica. Em vez de analisar a saída do modelo ou transformar a entrada, ele monitora o estado interno do modelo.

Arquitetura do Sistema:
O sistema opera em três etapas principais durante a inferência:

1. Extração de Estados Ocultos: O modelo VLM base realiza uma única passagem (forward pass). O SALLIE extrai as ativações do residual stream (fluxo residual) do último token em camadas intermediárias específicas.
2. Classificação por Camada (k-NN): Para cada camada extraída, um classificador simples baseado em K-Vizinhos Mais Próximos (k-NN) calcula uma pontuação de "maliciosidade". O classificador utiliza a similaridade de cosseno entre a ativação atual e um conjunto de dados de treinamento rotulado (benigno vs. malicioso).
   • Hipótese Geométrica: O trabalho parte da premissa de que inputs maliciosos formam vizinhanças locais distintas no espaço de estados ocultos, especialmente em camadas críticas de segurança.
3. Ensemble de Camadas: As pontuações de múltiplas camadas são agregadas (média) para produzir uma pontuação final robusta. Uma decisão binária (Bloquear ou Permitir) é tomada com base em um limiar ($\tau$).

Características Chave:

• Modo-Agnóstico: A mesma pipeline funciona para entradas puramente textuais e multimodais (imagem + texto), sem necessidade de modificar a arquitetura do modelo base.
• Leveza: Não requer geração autoregressiva, mutação de entrada ou chamadas de API externas.
• Treinamento: Utiliza um conjunto de dados heterogêneo com ~45k amostras benignas e ~20k maliciosas para ajustar os hiperparâmetros (número de vizinhos $k$, componentes de PCA, intervalo de camadas $L$ e limiar $\tau$).

3. Contribuições Principais

1. Detector Unificado Texto-Vídeo: É a primeira solução que trata jailbreaks e injeções de prompt em texto e visão em um único pipeline de estado oculto, operando em uma única passagem.
2. Exploração de Estado Interno: Demonstra que é possível identificar intenções adversariais explorando representações de segurança intrínsecas nos estados ocultos, evitando a sobrecarga computacional de métodos baseados em mutação (como o JailGuard).
3. Preenchimento da Lacuna de Injeção Visual: O SALLIE supera significativamente as defesas existentes na detecção de injeções de prompt visuais, um ponto cego crítico na literatura atual.

4. Resultados Experimentais

O SALLIE foi avaliado em três arquiteturas open-source (Gemma-3-4b-it, Phi-3.5-vision-instruct e SmolVLM2-2.2B-Instruct) e comparado com mais de 5 métodos baselines e modelos proprietários (Gemini-2.5-Flash-Lite, GPT-4.1 Mini).

• Desempenho Geral: O SALLIE (com Gemma-3) alcançou um F1 Score de 0.90, superando todos os baselines open-weight e superando o modelo proprietário Gemini-2.5-Flash-Lite (F1 = 0.82).
• Desempenho Visual: O SALLIE (com Phi-3.5) alcançou um F1 Score de 0.96 em entradas visuais, superando o GPT-4.1 Mini (F1 = 0.85) e todos os outros métodos.
• Comparação com Baselines:
  • Métodos baseados apenas em texto (Perplexity, EEG-Defender) falharam totalmente em dados visuais.
  • O HiddenDetect (multimodal) obteve um F1 de apenas 0.11 em entradas visuais, falhando em interceptar injeções de prompt visuais.
  • O SALLIE manteve alta precisão (>94%) e baixo custo computacional (sem múltiplas consultas).
• Análise Geométrica: A projeção PCA dos estados ocultos revelou que ataques visuais formam clusters mais separáveis dos dados benignos do que ataques textuais, explicando a eficácia superior do método em cenários multimodais.

5. Significado e Conclusão

O trabalho SALLIE representa um avanço significativo na segurança de IA multimodal. Ele demonstra que:

• A geometria dos estados ocultos em modelos pré-treinados contém sinais robustos e generalizáveis para distinguir inputs benignos de maliciosos, tanto em texto quanto em imagem.
• É possível construir defesas de segurança de alto desempenho, eficientes e de baixo custo computacional sem a necessidade de re-treinamento massivo ou arquiteturas complexas.
• A abordagem de "interpretabilidade mecânica" (monitorar o fluxo residual) é superior às abordagens de "caixa preta" para detectar ameaças sutis e complexas em modelos multimodais.

O SALLIE oferece uma solução prática para a implantação segura de VLMs em cenários do mundo real, preenchendo uma lacuna crítica deixada por defesas anteriores que eram ineficazes contra ataques visuais.