Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) implantados em produção enfrentam três classes distintas de ameaças em tempo de execução que a validação padrão com dados limpos frequentemente falha em detectar:

1. Backdoors em Tempo de Treinamento: Ajuste fino malicioso (por exemplo, via LoRA) que permanece adormecido até que um gatilho específico esteja presente, fazendo com que o modelo exiba um comportamento escolhido pelo atacante.
2. Jailbreaks: Prompts adversariais (por exemplo, role-play "DAN", sufixos otimizados por gradiente) que subvertem o alinhamento de segurança.
3. Injeções de Prompt: Instruções embutidas dentro do conteúdo do usuário (por exemplo, e-mails, trechos de código) que anulam a tarefa pretendida pelo sistema.

Limitações das Defesas Existentes:
As defesas atuais em tempo de execução são frequentemente específicas para ameaças, exigem um modelo de referência "limpo" confiável, necessitam de conhecimento sobre tokens gatilho ou requerem a modificação dos pesos do modelo (ajuste fino/poda). Essas suposições raramente se sustentam para artefatos opacos de terceiros implantados em ambientes de nuvem ou de borda. Há uma necessidade de um monitor livre de ajuste, agnóstico a ameaças e de caixa-branca que opere sem retreinamento ou modelos externos.

2. Metodologia: Impressão Digital de Convergência Camada a Camada (LCF)

Os autores propõem o LCF, um monitor em tempo de execução que trata a trajetória dos estados ocultos entre as camadas do transformador como um "sinal de saúde". A intuição central é que, durante a inferência limpa, os estados ocultos evoluem suavemente; entradas que induzem comportamento anômalo causam "saltos" anômalos nessas diferenças intercamadas.

Componentes Chave:

1. Velocidade de Representação ($\delta_\ell$):
   Em vez de monitorar ativações brutas, o LCF calcula a diferença entre os estados ocultos de camadas adjacentes:
   $$\delta_\ell = h_{\ell+1} - h_\ell$$
   Isso captura a "velocidade" da maturação da representação.

2. Pontuação de Anomalia por Camada (Mahalanobis Diagonal):
   Para cada camada $\ell$, o LCF calcula uma distância de Mahalanobis em $\delta_\ell$. Crucialmente, utiliza uma matriz de covariância diagonal para amplificar dimensões de baixa variância onde o processamento limpo é estável, mas o comportamento anômalo causa grandes deslocamentos:
   $$s_\ell = \left\| \frac{\delta_\ell - \mu_\ell}{\sigma_\ell} \right\|^2$$
   onde $\mu_\ell$ e $\sigma_\ell$ são estimados a partir de um pequeno conjunto de calibração limpo.

3. Agregação de Todas as Camadas (Encolhimento Ledoit–Wolf):
   Como a localização da anomalia varia conforme a arquitetura e o tipo de ameaça, o LCF agrega pontuações através de todas as $L$ camadas. Ele aborda o problema de "amostra pequena, alta dimensionalidade" ($n=200$ amostras, $L \approx 30\text{--}50$ camadas) aplicando encolhimento Ledoit–Wolf para estimar uma matriz de precisão regularizada $P$.
   $$D = \sqrt{(z - \bar{z})^\top P (z - \bar{z})}$$
   onde $z$ é o vetor de pontuações de camadas padronizadas por z-score. Isso captura desvios correlacionados através da rede.

4. Calibração e Limiarização:

   • Entrada: Um pequeno conjunto de dados limpo (200 exemplos) da distribuição de implantação.
   • Limiar ($\tau$): Determinado via calibração Leave-One-Out (LOO) para atingir uma Taxa de Falso Positivo (FPR) específica (por exemplo, 10%).
   • Decisão: Se $D > \tau$, o sistema abstém-se (retorna uma alternativa segura) antes que qualquer token seja gerado. Caso contrário, a saída passa sem modificações.

3. Contribuições Principais

1. Detecção Unificada de Ameaças: O LCF é o primeiro monitor em tempo de execução a detectar backdoors, jailbreaks e injeções de prompt usando uma única pontuação agnóstica a ameaças, sem exigir conhecimento de gatilhos, modelos de referência ou edição de pesos.
2. Estratificação de Profundidade em Três Bandas: O artigo identifica empiricamente que diferentes ameaças concentram anomalias em profundidades distintas:
   • Jailbreaks: Camadas iniciais (perturbando o processamento inicial de tokens).
   • Injeções de Prompt: Camadas intermediárias (competindo com o contexto pretendido).
   • Backdoors: Camadas tardias (específicas da arquitetura, onde o modelo se compromete com a saída).
   • Significado: Isso explica por que uma única agregação de todas as camadas é necessária; nenhuma camada única fornece cobertura universal.
3. Eficiência: O LCF opera com <0,1% de sobrecarga de inferência, inspecionando apenas a etapa de preenchimento (passo 0) e não exigindo passagens forward adicionais ou modelos auxiliares.

4. Resultados Experimentais

O método foi avaliado em quatro arquiteturas (Llama-3-8B, Qwen2.5-7B, Gemma-2-9B, Qwen2.5-14B) através de 56 combinações de backdoor, 3 técnicas de jailbreak e benchmarks de injeção de prompt (BIPIA).

• Defesa contra Backdoors:
  • Reduziu a Taxa Média de Sucesso do Ataque (ASR) para <1% no Qwen2.5-7B (0,9%) e Gemma-2 (0,7%).
  • Alcançou 1,3% de ASR no maior Qwen2.5-14B.
  • Superou linhas de base como CleanGen (que requer um modelo de referência) e CROW (que requer edição de pesos).
• Detecção de Jailbreaks:
  • Detectou 92–100% dos jailbreaks estilo DAN.
  • Detectou 62–100% dos ataques GCG e de role-play mais suaves.
  • Alcançou paridade quase total com detectores supervisionados de estado oculto (LLMScan), mas com 65–113x menor custo computacional (preenchimento único vs. 65+ passagens forward).
• Injeção de Prompt:
  • Sinalizou 100% das injeções de carga útil de texto em todos os modelos e domínios.
  • Detectou injeções de carga útil de código com alta precisão (escalando com o tamanho do modelo; 100% no Qwen2.5-14B).
• Robustez:
  • Sob ataques adaptativos (onde o atacante minimiza a pontuação LCF), o LCF permaneceu robusto em níveis moderados de regularização, enquanto variantes de camada única foram facilmente evadidas.

5. Significado e Impacto

• Camada de Segurança de Propósito Geral: O LCF fornece um mecanismo de segurança prático e "plug-and-play" para LLMs servidos em nuvem e em dispositivos, que não depende da suposição irrealista de um modelo de referência limpo ou gatilhos conhecidos.
• Viabilidade Operacional: Ao operar com sobrecarga negligenciável e sem retreinamento, resolve o gargalo de implantação onde defesas existentes são muito lentas ou intensivas em recursos.
• Insight Teórico: A descoberta da "estratificação de profundidade em três bandas" oferece uma nova lente para entender como diferentes tipos de entradas adversariais perturbam o grafo computacional interno dos transformadores, sugerindo que diferentes famílias de ameaças engajam estágios computacionais distintos.
• Limitações: O método atualmente requer acesso de caixa-branca aos estados ocultos. Também mostra uma Taxa de Falso Positivo mais alta (12–22%) do que o alvo de 10% devido à variância de amostra finita, e detecta "deslocamento" (mudanças na média), mas não "dispersão" (mudanças de variância), o que significa que pode perder tipos de erros de alucinação que não deslocam a trajetória média.

Em conclusão, o LCF representa um passo significativo em direção a uma segurança robusta e agnóstica a tempo de execução para LLMs, aproveitando as propriedades geométricas da convergência camada a camada para detectar um amplo espectro de comportamentos anômalos com custo computacional mínimo.