How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

1. Declaração do Problema

O artigo aborda uma falha crítica em métodos recentes de detecção branca (white-box) de Fora de Distribuição (OOD) para Modelos de Linguagem de Grande Escala (LLMs). Métodos como CED, RAUQ e pontuações de confiança do WildGuard, que dependem de mecanismos de atenção e distâncias de incorporação, relataram desempenho robusto em benchmarks de segurança. No entanto, o autor demonstra que esses resultados estão estruturalmente confundidos pelo comprimento da sequência de entrada ($|r| \ge 0.61$).

• O Confundidor: Métricas baseadas em atenção (ex.: entropia de atenção, CED, RAUQ) operam em um simplex cujo tamanho cresce com o comprimento da entrada $T$. Consequentemente, essas métricas herdam uma dependência estrutural de $\Theta(\log T)$.
• A Consequência: Quando avaliados sob condições de comprimento pareado (onde amostras dentro e fora de distribuição possuem contagens idênticas de tokens), esses métodos colapsam para um desempenho próximo ao acaso (AUROC $\approx 0.50$). O artigo argumenta que os sucessos anteriores provavelmente detectavam diferenças de comprimento em vez de sinais genuínos de OOD.

2. Metodologia: O Framework de Dois Caminhos

Para identificar sinais genuínos de OOD após a desconfusão, o autor propõe um Framework de Dois Caminhos organizado ao longo de um Espectro de Transparência de Vocabulário. Este framework distingue entre sobre o que o texto trata e como o modelo o processa.

Caminho A: O Caminho de Incorporação ($X \to Z$)

• Mecanismo: Utiliza representações estáticas (incorporações/embeddings) para capturar o conteúdo semântico do texto.
• Pontos Fortes: Eficaz para OOD distintivo de vocabulário (ex.: Spam, Discurso de Ódio) onde o texto OOD utiliza palavras raramente vistas na distribuição de treinamento.
• Limitações: Falha em OOD de intenção oculta (ex.: Jailbreaks) onde o vocabulário é idêntico ao texto normal, mas a estrutura ou intenção é adversarial. O artigo mostra que modelos de incorporação de sentença autônomos (MiniLM, BGE, etc.) falham completamente nessas tarefas, independentemente da capacidade do modelo.

Caminho B: O Caminho de Trajetória de Processamento ($\{h_l\}_{l=0}^L$)

• Mecanismo: Analisa a sequência de estados ocultos através das camadas para capturar a dinâmica de processamento.
• Recursos: O autor extrai 9 recursos em quatro categorias:
  1. Dinâmica de estados ocultos: Similaridade cosseno entre camadas consecutivas (suavidade da transição).
  2. Geometria de representação: Mudanças na dispersão/variabilidade das representações de tokens através das camadas.
  3. Decomposição de componentes: O equilíbrio entre as contribuições de Atenção e MLP em cada camada.
  4. Sondas específicas de camada: Sinais de perturbação em camadas iniciais.
• Garantia Teórica: Ao contrário dos pesos de atenção, os estados ocultos $h_l \in \mathbb{R}^d$ possuem dimensionalidade fixa $d$, independentemente do comprimento da sequência $T$. Portanto, os recursos de trajetória (especificamente as Categorias A e G) são estruturalmente independentes do comprimento.

3. Contribuições Principais

1. Identificação do Confundidor de Comprimento: O artigo prova formalmente e valida empiricamente que as pontuações OOD derivadas de atenção são estruturalmente dependentes do comprimento da sequência. Sob avaliação com comprimento pareado, elas colapsam para níveis de acaso.
2. O Framework de Dois Caminhos: Propõe uma teoria unificada explicando por que diferentes tipos de OOD exigem estratégias de detecção distintas:
   • OOD distintivo de vocabulário é melhor detectado por Caminhos de Incorporação.
   • OOD estruturalmente adversarial (ex.: Jailbreaks) é melhor detectado por Caminhos de Trajetória de Processamento.
3. Independência Formal de Comprimento: Fornece provas matemáticas (Proposições A.2, A.4) mostrando que recursos de trajetória baseados em estados ocultos evitam a dependência $\Theta(\log T)$ inerente às estatísticas de atenção.
4. Evidência Mecanística: Utiliza patching causal de ativação e análise de circuitos para mostrar que tarefas adversariais (Jailbreaks) engajam circuitos de atenção significativamente mais do que tarefas semânticas, enquanto tarefas de mudança de conteúdo engajam circuitos MLP.

4. Resultados Experimentais

O framework foi avaliado no Qwen3-0.6B (primário) e validado em 6 modelos (360M–7B) e 6 tarefas (ToxicChat, Jailbreak, Discurso de Ódio, Spam, AGNews, Classificação de Jailbreak).

• Desempenho sob Controle de Comprimento:
  • Métodos baseados em atenção (CED, RAUQ, Entropia): Colapsaram para AUROC 0,491 – 0,527 (próximo ao acaso).
  • Recursos de Trajetória (Maha-Traj): Mantiveram sinal forte com uma AUROC média de 0,721.
    • Jailbreak: 0,850
    • Spam: 0,848
    • Discurso de Ódio: 0,605
    • ToxicChat: 0,580
• O Efeito de Cruzamento:
  • k-NN (Sinal de Conteúdo/Incorporação): Superou os recursos de trajetória em tarefas diferenciáveis por conteúdo (Spam, ToxicChat, AGNews).
  • Trajetória (Sinal de Processamento): Superou o k-NN em tarefas estruturalmente adversariais (Jailbreak, Classificação de Jailbreak).
  • Fusão: Uma fusão de peso fixo de ambos os caminhos alcançou uma AUROC média de 0,730, demonstrando complementaridade.
• Descobertas Mecanísticas:
  • Jailbreaks: Mostraram Domínio de Atenção (p < 0,001). O patching causal revelou circuitos esparsos onde cabeças de atenção específicas deslocam o foco de "você/seu" para tokens diretivos/meta-linguísticos ("ignore", "prompt").
  • Discurso de Ódio: Mostrou Domínio de MLP (p = 0,002), dependendo de ativação distribuída de neurônios em vez de cabeças de atenção específicas.
  • Construção de Sinal: A análise da Camada 0 vs. Última Camada mostrou que, para Jailbreaks, o sinal de incorporação na Camada 0 é próximo ao acaso (0,389), mas o processamento constrói um sinal forte (0,684) até a camada final.

5. Significado e Implicações

• Reavaliação de Benchmarks de Segurança: O artigo sugere que muitos resultados publicados de detecção de segurança baseados em pontuações de atenção são provavelmente falsos positivos impulsionados por diferenças de comprimento de sequência entre prompts benignos e adversariais.
• Novo Padrão para Avaliação: Os autores defendem a avaliação com comprimento pareado como um controle obrigatório para qualquer método de detecção OOD.
• Insight Arquitetural: O trabalho fornece uma compreensão mecanicista de como LLMs processam diferentes tipos de anomalias. Sugere que detectar "jailbreaks" requer monitorar o processo (trajetória/dinâmica de atenção), enquanto detectar "spam" ou "discurso de ódio" pode depender do conteúdo (incorporações).
• Aplicação Prática: O método proposto baseado em trajetória (Maha-Traj) oferece uma alternativa robusta, não supervisionada e invariante ao comprimento para detectar entradas adversariais sem exigir retreinamento ou classificadores externos.

Em resumo, este artigo muda fundamentalmente o paradigma da detecção OOD em LLMs, expondo um viés de comprimento pervasivo em métodos baseados em atenção e introduzindo um framework de dois caminhos fundamentado teoricamente que desconecta com sucesso anomalias baseadas em conteúdo de ataques adversariais estruturais.