On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Sintesi Tecnica: Sui Limiti Geometrici delle Difese dei Transformer contro gli Attacchi di Offuscamento

Enunciato del Problema
Gli attacchi di iniezione di prompt pongono rischi significativi per la sicurezza dei Modelli Linguistici di Grandi Dimensioni (LLM) incorporando istruzioni malevole all'interno di input apparentemente benigni. Le difese attuali si basano principalmente su meccanismi di classificazione supervisionata, valutati utilizzando metriche standard quali accuratezza, precisione, richiamo e punteggi F1. Sebbene queste metriche catturino efficacemente il comportamento di classificazione errata osservabile, gli autori sostengono che forniscano una visione limitata della robustezza delle rappresentazioni latenti sottostanti apprese dai transformer. Esiste un divario critico: un rilevatore può raggiungere prestazioni di classificazione quasi perfette basandosi su rappresentazioni latenti fragili che possono essere sfruttate da avversari adattivi. Nello specifico, rimane incerto se un'elevata prestazione di rilevamento implichi una robustezza rappresentazionale contro l'offuscamento compositivo dei prompt.

Metodologia
Per indagare le proprietà geometriche delle difese contro l'iniezione di prompt, gli autori hanno costruito un dataset di 10.000 esempi distribuiti su quattro classi: pulito, prefisso, suffisso e offuscato. La classe offuscata è stata generata utilizzando trasformazioni multi-operatore, incluse sostituzioni di omoglifi Unicode (ad esempio, sostituzioni cirilliche per caratteri latini), inserimenti di caratteri a larghezza zero, rumore di punteggiatura/emoji e composizioni stocastiche di istruzioni frammentate.

Lo studio ha impiegato tre architetture transformer di diversa profondità e capacità: DistilBERT, BERT-Base e BERT-Medium. Questi modelli sono stati fine-tunati per una classificazione a 4 vie. Oltre alle metriche di prestazione standard, gli autori hanno introdotto metriche geometriche per analizzare gli embedding dello strato finale ($\phi(x)$):

1. Varianza Intra-classe ($\sigma^2_{intra}$): Misura la dispersione degli embedding all'interno di una specifica varietà di classe.
2. Distanza Inter-classe ($D$): Quantifica la separazione tra due varietà di classe.
3. Margine Pulito-Offuscato ($\delta$): Definito come la minima distanza euclidea tra qualsiasi embedding pulito e qualsiasi embedding offuscato ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

Gli autori hanno utilizzato l'Analisi delle Componenti Principali (PCA) e l'Embedding Stocastico di Vicini Distribuito t (t-SNE) per visualizzare le varietà di embedding e valutare la relazione spaziale tra prompt puliti e offuscati.

Principali Contributi
Il lavoro apporta tre contributi principali:

1. Formalizzazione del Collasso degli Embedding Latenti: Gli autori definiscono il "collasso degli embedding latenti" come un fenomeno in cui prompt offuscati multi-operatore invadono parzialmente le regioni dello spazio latente occupate dai prompt puliti senza indurre errori di classificazione. Questo è caratterizzato da un collasso parziale della varietà.
2. Introduzione di Metriche Geometriche: Il lavoro propone metriche geometriche (varianza, distanza inter-classe e margine minimo) per quantificare la robustezza rappresentazionale, offrendo un quadro di valutazione complementare alle metriche di prestazione convenzionali.
3. Dimostrazione Empirica del Divario Prestazione-Robustezza: Lo studio dimostra empiricamente che aumentare la profondità o la capacità del modello non risolve il collasso degli embedding latenti, suggerendo che il divario sia un fenomeno intrinseco piuttosto che un artefatto di una dimensione del modello limitata.

Risultati
La valutazione ha prodotto i seguenti risultati:

• Elevate Prestazioni di Classificazione: Tutti e tre i modelli (DistilBERT, BERT-Base, BERT-Medium) hanno raggiunto prestazioni di classificazione quasi perfette (Accuratezza, Precisione, Richiamo e F1 $\approx$ 99%).
• Collasso degli Embedding Latenti: Nonostante l'elevata accuratezza, l'analisi geometrica ha rivelato una grave instabilità. Il margine minimo pulito-offuscato è risultato essere $\delta = 1.02$, indicando che alcuni prompt offuscati giacciono arbitrariamente vicini ai prompt puliti nello spazio di embedding.
• Varianza Intra-classe Elevata: Gli embedding offuscati hanno mostrato un'alta varianza intra-classe ($3.33 \pm 6.23$), indicando che mentre alcuni input offuscati sono distanti, altri collassano sulla varietà pulita.
• Evidenza Visiva: Le visualizzazioni PCA e t-SNE hanno confermato che, mentre i prompt con prefisso e suffisso rimanevano ben separati, i prompt offuscati mostravano una dispersione elevata e una sovrapposizione parziale con la varietà pulita.
• Inefficacia dello Scaling: L'aumento della capacità del modello (da DistilBERT a BERT-Medium) ha migliorato la convergenza e la confidenza, ma non è riuscito ad aumentare il margine pulito-offuscato o a ridurre la varianza offuscata.

Significato e Affermazioni
Il lavoro afferma che le metriche di valutazione standard non riescono a catturare il collasso degli embedding latenti e la fragilità geometrica sottostante delle difese dei transformer. Gli autori sostengono che un'elevata prestazione di rilevamento non implichi robustezza rappresentazionale. Di conseguenza, affermano che il divario prestazione-robustezza sia una caratteristica intrinseca delle attuali difese basate su transformer contro l'offuscamento.

Il significato di questo lavoro risiede nell'identificazione di un "divario prestazione-robustezza", dimostrando che un rilevatore può essere altamente accurato ma geometricamente fragile. Gli autori concludono che una difesa robusta contro l'iniezione di prompt richiede un'analisi della robustezza consapevole della geometria come complemento necessario alla valutazione basata sulle prestazioni. Non affermano di aver risolto la vulnerabilità, ma piuttosto di aver esposto una limitazione fondamentale nel modo in cui le difese sono attualmente valutate, motivando un passaggio verso l'analisi della struttura geometrica delle rappresentazioni apprese.