On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Technische Zusammenfassung: Zu den geometrischen Grenzen von Transformer-Verteidigungen gegen Verschleierungsangriffe

Problemstellung
Prompt-Injection-Angriffe stellen erhebliche Risiken für die Sicherheit von Large Language Models (LLMs) dar, indem sie bösartige Anweisungen in scheinbar harmlose Eingaben einbetten. Aktuelle Verteidigungsmechanismen stützen sich primär auf überwachte Klassifizierungsverfahren, die mit Standardmetriken wie Genauigkeit, Präzision, Recall und F1-Werten bewertet werden. Obwohl diese Metriken beobachtbares Fehlklassifizierungsverhalten effektiv erfassen, argumentieren die Autoren, dass sie nur begrenzte Einblicke in die Robustheit der von Transformern erlernten zugrunde liegenden latenten Repräsentationen bieten. Eine kritische Lücke besteht: Ein Detektor kann nahezu perfekte Klassifizierungsleistung erzielen, während er auf fragilen latenten Repräsentationen beruht, die von adaptiven Gegnern ausgenutzt werden können. Insbesondere bleibt unklar, ob eine hohe Detektionsleistung eine repräsentationale Robustheit gegenüber kompositorischer Prompt-Verschleierung impliziert.

Methodik
Um die geometrischen Eigenschaften von Prompt-Injection-Verteidigungen zu untersuchen, erstellten die Autoren einen Datensatz mit 10.000 Beispielen über vier Klassen: sauber, Präfix, Suffix und verschleiert. Die Klasse der verschleierten Beispiele wurde mittels Multi-Operator-Transformationen generiert, darunter Unicode-Homoglyph-Ersetzungen (z. B. kyrillische Ersetzungen für lateinische Zeichen), Einfügungen von Zeichen mit Nullbreite, Rauschen durch Satzzeichen/Emojis und stochastische Kompositionen fragmentierter Anweisungen.

Die Studie verwendete drei Transformer-Architekturen mit unterschiedlicher Tiefe und Kapazität: DistilBERT, BERT-Base und BERT-Medium. Diese Modelle wurden für eine Vier-Klassen-Klassifizierung feinabgestimmt. Neben den Standardleistungsmetriken führten die Autoren geometrische Metriken zur Analyse der Einbettungen der letzten Schicht ($\phi(x)$) ein:

1. Intraklassenvarianz ($\sigma^2_{intra}$): Misst die Streuung der Einbettungen innerhalb eines spezifischen Klassenmanifolds.
2. Interklassendistanz ($D$): Quantifiziert die Trennung zwischen zwei Klassenmanifolds.
3. Sauber-Verschleiert-Rand ($\delta$): Definiert als der minimale euklidische Abstand zwischen einer beliebigen sauberen Einbettung und einer beliebigen verschleierten Einbettung ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

Die Autoren nutzten die Hauptkomponentenanalyse (PCA) und t-Distributed Stochastic Neighbor Embedding (t-SNE), um die Einbettungsmanifolds zu visualisieren und die räumliche Beziehung zwischen sauberen und verschleierten Prompts zu bewerten.

Hauptbeiträge
Die Arbeit leistet drei wesentliche Beiträge:

1. Formalisierung des Kollapses latenter Einbettungen: Die Autoren definieren „Kollaps latenter Einbettungen" als ein Phänomen, bei dem mehrfach verschleierte Prompts teilweise in die Regionen des latenten Raums eindringen, die von sauberen Prompts eingenommen werden, ohne Fehlklassifizierungen auszulösen. Dies ist durch einen partiellen Kollaps des Manifolds gekennzeichnet.
2. Einführung geometrischer Metriken: Die Arbeit schlägt geometrische Metriken (Varianz, Interklassendistanz und minimaler Rand) vor, um repräsentationale Robustheit zu quantifizieren und bietet damit einen komplementären Bewertungsrahmen zu herkömmlichen Leistungsmetriken.
3. Empirischer Nachweis der Lücke zwischen Leistung und Robustheit: Die Studie zeigt empirisch, dass eine Erhöhung der Modelltiefe oder -kapazität den Kollaps latenter Einbettungen nicht auflöst, was darauf hindeutet, dass diese Lücke ein inhärentes Phänomen und kein Artefakt begrenzter Modellgröße ist.

Ergebnisse
Die Evaluation ergab folgende Befunde:

• Hohe Klassifizierungsleistung: Alle drei Modelle (DistilBERT, BERT-Base, BERT-Medium) erzielten nahezu perfekte Klassifizierungsleistung (Genauigkeit, Präzision, Recall und F1 $\approx$ 99 %).
• Kollaps latenter Einbettungen: Trotz hoher Genauigkeit enthüllte die geometrische Analyse eine schwere Instabilität. Der minimale saubere-verschleierte Rand wurde mit $\delta = 1,02$ ermittelt, was darauf hindeutet, dass einige verschleierte Prompts im Einbettungsraum willkürlich nah an sauberen Prompts liegen.
• Erhöhte Intraklassenvarianz: Verschleierte Einbettungen wiesen eine hohe Intraklassenvarianz auf ($3,33 \pm 6,23$), was darauf hindeutet, dass zwar einige verschleierte Eingaben weit entfernt sind, andere jedoch auf das saubere Manifold kollabieren.
• Visuelle Evidenz: PCA- und t-SNE-Visualisierungen bestätigten, dass zwar Präfix- und Suffix-Prompts gut getrennt blieben, verschleierte Prompts jedoch eine erhöhte Streuung und eine partielle Überlappung mit dem sauberen Manifold aufwiesen.
• Unwirksamkeit des Skalierens: Die Erhöhung der Modellkapazität (von DistilBERT zu BERT-Medium) verbesserte die Konvergenz und das Vertrauen, scheiterte jedoch daran, den sauberen-verschleierten Rand zu vergrößern oder die Varianz der verschleierten Eingaben zu reduzieren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Standardbewertungsmetriken den Kollaps latenter Einbettungen und die zugrunde liegende geometrische Fragilität von Transformer-Verteidigungen nicht erfassen. Die Autoren betonen, dass eine hohe Detektionsleistung keine repräsentationale Robustheit impliziert. Folglich argumentieren sie, dass die Lücke zwischen Leistung und Robustheit ein inhärentes Merkmal aktueller transformerbasierter Verteidigungen gegen Verschleierung ist.

Die Bedeutung dieser Arbeit liegt in der Identifizierung einer „Lücke zwischen Leistung und Robustheit", die zeigt, dass ein Detektor zwar hochgenau, aber geometrisch fragil sein kann. Die Autoren schließen, dass eine robuste Prompt-Injection-Verteidigung eine geometriebewusste Robustheitsanalyse als notwendige Ergänzung zur leistungsbasierten Bewertung erfordert. Sie behaupten nicht, die Verwundbarkeit gelöst zu haben, sondern vielmehr eine fundamentale Einschränkung darin aufgedeckt zu haben, wie Verteidigungen derzeit bewertet werden, was einen Wechsel hin zur Analyse der geometrischen Struktur erlernter Repräsentationen motiviert.