On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Resumen Técnico: Sobre los Límites Geométricos de las Defensas de Transformadores frente a Ataques de Ofuscación

Planteamiento del Problema
Los ataques de inyección de prompts representan riesgos significativos para la seguridad de los Modelos de Lenguaje Grande (LLM) al incrustar instrucciones maliciosas dentro de entradas aparentemente benignas. Las defensas actuales dependen principalmente de mecanismos de clasificación supervisada, evaluados mediante métricas estándar como precisión, exactitud, exhaustividad y puntuaciones F1. Si bien estas métricas capturan eficazmente el comportamiento observable de mala clasificación, los autores argumentan que ofrecen una visión limitada sobre la robustez de las representaciones latentes subyacentes aprendidas por los transformadores. Existe una brecha crítica: un detector puede lograr un rendimiento de clasificación casi perfecto mientras depende de representaciones latentes frágiles que pueden ser explotadas por adversarios adaptativos. Específicamente, sigue sin estar claro si un alto rendimiento de detección implica robustez representacional frente a la ofuscación composicional de prompts.

Metodología
Para investigar las propiedades geométricas de las defensas contra inyección de prompts, los autores construyeron un conjunto de datos de 10.000 ejemplos distribuidos en cuatro clases: limpio, prefijo, sufijo y ofuscado. La clase ofuscada se generó utilizando transformaciones de múltiples operadores, incluidas sustituciones de homógrafos Unicode (por ejemplo, reemplazos cirílicos para caracteres latinos), inserciones de caracteres de ancho cero, ruido de puntuación/emojis y composiciones estocásticas de instrucciones fragmentadas.

El estudio empleó tres arquitecturas de transformadores de profundidad y capacidad variables: DistilBERT, BERT-Base y BERT-Medium. Estos modelos se ajustaron finamente para una clasificación de cuatro vías. Más allá de las métricas de rendimiento estándar, los autores introdujeron métricas geométricas para analizar los incrustamientos de la capa final ($\phi(x)$):

1. Varianza Intraclase ($\sigma^2_{intra}$): Mide la dispersión de los incrustamientos dentro de una variedad específica de clase.
2. Distancia Interclase ($D$): Cuantifica la separación entre dos variedades de clase.
3. Margen Limpio-Ofuscado ($\delta$): Definido como la distancia euclidiana mínima entre cualquier incrustamiento limpio y cualquier incrustamiento ofuscado ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

Los autores utilizaron el Análisis de Componentes Principales (PCA) y la Incrustación Estocástica de Vecinos Distribuidos t (t-SNE) para visualizar las variedades de incrustamiento y evaluar la relación espacial entre los prompts limpios y los ofuscados.

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Formalización del Colapso de Incrustamientos Latentes: Los autores definen el "colapso de incrustamientos latentes" como un fenómeno donde los prompts ofuscados de múltiples operadores intruyen parcialmente en las regiones del espacio latente ocupadas por prompts limpios sin inducir malas clasificaciones. Esto se caracteriza por un colapso parcial de la variedad.
2. Introducción de Métricas Geométricas: El trabajo propone métricas geométricas (varianza, distancia interclase y margen mínimo) para cuantificar la robustez representacional, ofreciendo un marco de evaluación complementario a las métricas de rendimiento convencionales.
3. Demostración Empírica de la Brecha Rendimiento-Robustez: El estudio demuestra empíricamente que aumentar la profundidad o la capacidad del modelo no resuelve el colapso de incrustamientos latentes, lo que sugiere que la brecha es un fenómeno inherente y no un artefacto de un tamaño de modelo limitado.

Resultados
La evaluación arrojó los siguientes hallazgos:

• Alto Rendimiento de Clasificación: Los tres modelos (DistilBERT, BERT-Base, BERT-Medium) lograron un rendimiento de clasificación casi perfecto (Exactitud, Precisión, Exhaustividad y F1 $\approx$ 99%).
• Colapso de Incrustamientos Latentes: A pesar de la alta exactitud, el análisis geométrico reveló una inestabilidad severa. Se encontró que el margen mínimo limpio-ofuscado era $\delta = 1.02$, lo que indica que algunos prompts ofuscados se encuentran arbitrariamente cerca de prompts limpios en el espacio de incrustamientos.
• Varianza Intraclase Elevada: Los incrustamientos ofuscados exhibieron una alta varianza intraclase ($3.33 \pm 6.23$), lo que indica que, aunque algunas entradas ofuscadas están distantes, otras colapsan sobre la variedad limpia.
• Evidencia Visual: Las visualizaciones de PCA y t-SNE confirmaron que, mientras que los prompts de prefijo y sufijo permanecieron bien separados, los prompts ofuscados mostraron una dispersión elevada y una superposición parcial con la variedad limpia.
• Ineficacia de la Escalabilidad: Aumentar la capacidad del modelo (de DistilBERT a BERT-Medium) mejoró la convergencia y la confianza, pero no logró aumentar el margen limpio-ofuscado ni reducir la varianza de los ofuscados.

Significado y Afirmaciones
El artículo afirma que las métricas de evaluación estándar no logran capturar el colapso de incrustamientos latentes y la fragilidad geométrica subyacente de las defensas de transformadores. Los autores afirman que un alto rendimiento de detección no implica robustez representacional. En consecuencia, argumentan que la brecha rendimiento-robustez es una característica inherente de las defensas actuales basadas en transformadores frente a la ofuscación.

El significado de este trabajo radica en su identificación de una "brecha rendimiento-robustez", demostrando que un detector puede ser altamente preciso pero geométricamente frágil. Los autores concluyen que una defensa robusta contra inyección de prompts requiere un análisis de robustez consciente de la geometría como complemento necesario a la evaluación basada en rendimiento. No afirman haber resuelto la vulnerabilidad, sino haber expuesto una limitación fundamental en cómo se evalúan actualmente las defensas, motivando un cambio hacia el análisis de la estructura geométrica de las representaciones aprendidas.