On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Technische Samenvatting: Over de Geometrische Grenzen van Transformer-Verdedigingen tegen Obscuratie-aanvallen

Probleemstelling
Prompt-injectie-aanvallen vormen een aanzienlijk risico voor de veiligheid van Large Language Models (LLM) door kwaadaardige instructies te embedden in ogenschijnlijk onschadelijke invoer. Huidige verdedigingen vertrouwen voornamelijk op toezichtgeleide classificatiemechanismen, geëvalueerd met standaardmetrieken zoals nauwkeurigheid, precisie, recall en F1-scores. Hoewel deze metrieken waarneembaar misclassificatiegedrag effectief vastleggen, betogen de auteurs dat ze beperkt inzicht bieden in de robuustheid van de onderliggende latente representaties die door transformers worden geleerd. Er bestaat een kritieke kloof: een detector kan een bijna perfecte classificatieprestatie behalen terwijl het vertrouwt op fragiele latente representaties die kunnen worden uitgebuit door adaptieve tegenstanders. Specifiek blijft onduidelijk of hoge detectieprestaties representatieve robuustheid impliceren tegen compositie van prompt-obscuratie.

Methodologie
Om de geometrische eigenschappen van prompt-injectie-verdedigingen te onderzoeken, construeerden de auteurs een dataset van 10.000 voorbeelden over vier klassen: schoon, prefix, suffix en geobscureerd. De geobscureerde klasse werd gegenereerd met multi-operator transformaties, waaronder Unicode-homoglyf-substituties (bijvoorbeeld Cyrillische vervangingen voor Latijnse tekens), invoeging van null-breedte-tekens, ruis door leestekens/emoji's en stochastische composities van gefragmenteerde instructies.

Het onderzoek hanteerde drie transformer-architecturen met variërende diepte en capaciteit: DistilBERT, BERT-Base en BERT-Medium. Deze modellen werden fijngefineerd voor 4-weg classificatie. Naast standaard prestatiemetrieken introduceerden de auteurs geometrische metrieken om de embeddings van de laatste laag ($\phi(x)$) te analyseren:

1. Intra-klassieke Variantie ($\sigma^2_{intra}$): Meet de dispersie van embeddings binnen een specifiek klassenmanifold.
2. Inter-klassieke Afstand ($D$): Kwantificeert de scheiding tussen twee klassenmanifolds.
3. Schoon-Geobscureerde Rand ($\delta$): Gedefinieerd als de minimale Euclidische afstand tussen elke schone embedding en elke geobscureerde embedding ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

De auteurs gebruikten Principal Component Analysis (PCA) en t-Distributed Stochastic Neighbor Embedding (t-SNE) om de embedding-manifolds te visualiseren en de ruimtelijke relatie tussen schone en geobscureerde prompts te beoordelen.

Belangrijkste Bijdragen
Het paper levert drie primaire bijdragen:

1. Formalisatie van Latente Embedding Collapse: De auteurs definiëren "latente embedding collapse" als een fenomeen waarbij multi-operator geobscureerde prompts gedeeltelijk binnendringen in de regio's van de latente ruimte die worden ingenomen door schone prompts, zonder misclassificaties te veroorzaken. Dit wordt gekenmerkt door een partiële manifold-collapse.
2. Introductie van Geometrische Metrieken: Het werk stelt geometrische metrieken voor (variantie, inter-klassieke afstand en minimale rand) om representatieve robuustheid te kwantificeren, en biedt een complementair evaluatiekader naast conventionele prestatiemetrieken.
3. Empirisch Bewijs van de Prestatie-Robuustheid-Kloof: Het onderzoek toont empirisch aan dat het vergroten van modeldiepte of capaciteit de latente embedding collapse niet oplost, wat suggereert dat de kloof een inherent fenomeen is en geen artefact van beperkte modelgrootte.

Resultaten
De evaluatie leverde de volgende bevindingen op:

• Hoge Classificatieprestaties: Alle drie de modellen (DistilBERT, BERT-Base, BERT-Medium) behaalden bijna perfecte classificatieprestaties (Nauwkeurigheid, Precisie, Recall en F1 $\approx$ 99%).
• Latente Embedding Collapse: Ondanks hoge nauwkeurigheid onthulde de geometrische analyse ernstige instabiliteit. De minimale schoon-geobscureerde rand bleek $\delta = 1.02$ te zijn, wat aangeeft dat sommige geobscureerde prompts willekeurig dicht bij schone prompts liggen in de embedding-ruimte.
• Verhoogde Intra-klassieke Variantie: Geobscureerde embeddings vertoonden hoge intra-klassieke variantie ($3.33 \pm 6.23$), wat aangeeft dat hoewel sommige geobscureerde invoer ver weg zijn, andere collapse naar het schone manifold.
• Visueel Bewijs: PCA- en t-SNE-visualisaties bevestigden dat hoewel prefix- en suffix-prompts goed gescheiden bleven, geobscureerde prompts verhoogde dispersie vertoonden en gedeeltelijk overlappend waren met het schone manifold.
• Ondoelmatigheid van Schaling: Het vergroten van modelcapaciteit (van DistilBERT naar BERT-Medium) verbeterde convergentie en vertrouwen, maar slaagde er niet in de schoon-geobscureerde rand te vergroten of de geobscureerde variantie te verminderen.

Betekenis en Aanspraken
Het paper beweert dat standaard evaluatiemetrieken falen in het vastleggen van latente embedding collapse en de onderliggende geometrische fragiliteit van transformer-verdedigingen. De auteurs stellen dat hoge detectieprestaties geen representatieve robuustheid impliceren. Bijgevolg betogen zij dat de prestatie-robustheid-kloof een inherent kenmerk is van huidige transformer-gebaseerde verdedigingen tegen obscuratie.

De betekenis van dit werk ligt in de identificatie van een "prestatie-robustheid-kloof", waarbij wordt aangetoond dat een detector zeer nauwkeurig kan zijn maar toch geometrisch fragiel. De auteurs concluderen dat een robuuste prompt-injectie-verdediging vereist dat geometrie-bewuste robuustheidsanalyse een noodzakelijke aanvulling is op prestatiegebaseerde evaluatie. Zij claimen niet de kwetsbaarheid opgelost te hebben, maar eerder een fundamentele beperking blootgelegd te hebben in hoe verdedigingen momenteel worden geëvalueerd, wat een verschuiving motiveert naar het analyseren van de geometrische structuur van geleerde representaties.