On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Resumo Técnico: Sobre os Limites Geométricos das Defesas de Transformers contra Ataques de Ofuscação

Declaração do Problema
Ataques de injeção de prompt representam riscos significativos à segurança de Modelos de Linguagem de Grande Escala (LLM) ao incorporar instruções maliciosas dentro de entradas aparentemente benignas. As defesas atuais baseiam-se principalmente em mecanismos de classificação supervisionada, avaliados por métricas padrão como acurácia, precisão, recall e pontuação F1. Embora essas métricas capturem efetivamente o comportamento observável de má classificação, os autores argumentam que elas oferecem insights limitados sobre a robustez das representações latentes subjacentes aprendidas pelos transformers. Existe uma lacuna crítica: um detector pode alcançar desempenho de classificação quase perfeito enquanto depende de representações latentes frágeis que podem ser exploradas por adversários adaptativos. Especificamente, permanece incerto se um alto desempenho de detecção implica robustez representacional contra ofuscação composicional de prompts.

Metodologia
Para investigar as propriedades geométricas das defesas contra injeção de prompt, os autores construíram um conjunto de dados com 10.000 exemplos distribuídos em quatro classes: limpo, prefixo, sufixo e ofuscado. A classe ofuscada foi gerada utilizando transformações multioperador, incluindo substituições de homoglyphs Unicode (por exemplo, substituições cirílicas para caracteres latinos), inserções de caracteres de largura zero, ruído de pontuação/emoji e composições estocásticas de instruções fragmentadas.

O estudo empregou três arquiteturas de transformer de profundidade e capacidade variadas: DistilBERT, BERT-Base e BERT-Medium. Esses modelos foram ajustados finamente para classificação de 4 vias. Além das métricas de desempenho padrão, os autores introduziram métricas geométricas para analisar os embeddings da camada final ($\phi(x)$):

1. Variância Intraclasse ($\sigma^2_{intra}$): Mede a dispersão dos embeddings dentro de uma variedade de classe específica.
2. Distância Interclasse ($D$): Quantifica a separação entre duas variedades de classe.
3. Margem Limpo-Ofuscado ($\delta$): Definida como a distância euclidiana mínima entre qualquer embedding limpo e qualquer embedding ofuscado ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

Os autores utilizaram Análise de Componentes Principais (PCA) e Embedding de Vizinho Aleatório t-Distribuído (t-SNE) para visualizar as variedades de embeddings e avaliar a relação espacial entre prompts limpos e ofuscados.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Formalização do Colapso de Embedding Latente: Os autores definem "colapso de embedding latente" como um fenômeno onde prompts ofuscados multioperador invadem parcialmente as regiões do espaço latente ocupadas por prompts limpos sem induzir má classificações. Isso é caracterizado por um colapso parcial da variedade.
2. Introdução de Métricas Geométricas: O trabalho propõe métricas geométricas (variância, distância interclasse e margem mínima) para quantificar a robustez representacional, oferecendo um quadro de avaliação complementar às métricas de desempenho convencionais.
3. Demonstração Empírica da Lacuna Desempenho-Robustez: O estudo demonstra empiricamente que aumentar a profundidade ou a capacidade do modelo não resolve o colapso de embedding latente, sugerindo que a lacuna é um fenômeno inerente e não um artefato de tamanho limitado do modelo.

Resultados
A avaliação produziu as seguintes descobertas:

• Alto Desempenho de Classificação: Todos os três modelos (DistilBERT, BERT-Base, BERT-Medium) alcançaram desempenho de classificação quase perfeito (Acurácia, Precisão, Recall e F1 $\approx$ 99%).
• Colapso de Embedding Latente: Apesar da alta acurácia, a análise geométrica revelou instabilidade severa. A margem mínima limpo-ofuscado foi encontrada como $\delta = 1.02$, indicando que alguns prompts ofuscados residem arbitrariamente próximos a prompts limpos no espaço de embeddings.
• Variância Intraclasse Elevada: Os embeddings ofuscados exibiram alta variância intraclasse ($3.33 \pm 6.23$), indicando que, enquanto algumas entradas ofuscadas são distantes, outras colapsam sobre a variedade limpa.
• Evidência Visual: As visualizações de PCA e t-SNE confirmaram que, enquanto prompts de prefixo e sufixo permaneceram bem separados, prompts ofuscados exibiram dispersão elevada e sobreposição parcial com a variedade limpa.
• Ineficácia da Escala: Aumentar a capacidade do modelo (de DistilBERT para BERT-Medium) melhorou a convergência e a confiança, mas falhou em aumentar a margem limpo-ofuscado ou reduzir a variância ofuscada.

Significado e Alegações
O artigo alega que as métricas de avaliação padrão falham em capturar o colapso de embedding latente e a fragilidade geométrica subjacente das defesas de transformers. Os autores afirmam que alto desempenho de detecção não implica robustez representacional. Consequentemente, argumentam que a lacuna desempenho-robustez é uma característica inerente das defesas atuais baseadas em transformers contra ofuscação.

O significado deste trabalho reside na sua identificação de uma "lacuna desempenho-robustez", demonstrando que um detector pode ser altamente preciso, mas geometricamente frágil. Os autores concluem que uma defesa robusta contra injeção de prompt requer uma análise de robustez consciente da geometria como complemento necessário à avaliação baseada em desempenho. Eles não alegam ter resolvido a vulnerabilidade, mas sim ter exposto uma limitação fundamental na forma como as defesas são atualmente avaliadas, motivando uma mudança em direção à análise da estrutura geométrica das representações aprendidas.