Riepilogo Tecnico: REALISTA

Enunciato del Problema

I Large Language Models (LLM) manifestano allucinazioni persino quando rispondono a query utente innocue. Comprendere i meccanismi che innescano questi fallimenti richiede attacchi avversariali realistici che soddisfino due vincoli critici:

1. Equivalenza Semantica: Il prompt avversariale deve preservare l'intento semantico originale del prompt innocuo.
2. Coerenza Semantica: Il prompt avversariale deve essere fluido e simile a quello umano.

I metodi esistenti non riescono a soddisfare simultaneamente questi vincoli. Gli attacchi basati su prompt discreti (ad esempio, SECA) preservano il realismo semantico ma sono limitati a uno spazio di ricerca sparso e discreto, restringendo la diversità degli attacchi. Gli attacchi continui nello spazio latente esplorano uno spazio più ricco ma spesso decodificano in prompt che sono privi di senso o semanticamente distinti dall'originale, violando il vincolo di equivalenza. La sfida fondamentale è abilitare un'ampia esplorazione nello spazio latente mentre si impone rigorosamente il realismo semantico.

Metodologia: REALISTA

Gli autori propongono REALISTA (Realistic Latent Adversarial Attacks), un framework che formula l'elicita delle allucinazioni come un problema di ottimizzazione vincolata nello spazio latente dell'LLM. Il metodo colma il divario tra approcci discreti e continui attraverso i seguenti componenti:

1. Dizionario di Modifica Dipendente dall'Input

Invece di ottimizzare vettori latenti arbitrari, REALISTA costruisce un dizionario di direzioni di modifica interpretabili specifiche per ogni prompt di input $x_0$.

• Selezione dei Concetti: Utilizzando una procedura di ottimizzazione dei concetti (sfruttando WordNet e un valutatore basato su LLM), il metodo seleziona un insieme diversificato di parole chiave concettuali pertinenti all'input.
• Direzioni Latenti: Per ogni concetto selezionato, viene generata una riformulazione semanticamente equivalente $x^{(i)}_{SE}$. L'encoder $\phi$ mappa queste riformulazioni in rappresentazioni latenti, e la direzione di modifica è definita come $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$.
• Dizionario: L'insieme di queste direzioni forma il dizionario $D$, che abbraccia un sottospazio di trasformazioni che preservano la semantica.

2. Ottimizzazione Continua su un Simplex

L'attacco è formulato come la ricerca di un vettore ottimale di forza di modifica $\delta$ tale che la rappresentazione latente avversariale $z$ sia:
$$z = z_0 + D\delta$$
dove $z_0 = \phi(x_0)$. Il problema di ottimizzazione è:
$$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$$

• Obiettivo: Minimizzare la perdita di allucinazione (ad esempio, la probabilità logaritmica negativa di una risposta errata o un punteggio di allucinazione da un giudice).
• Vincolo: $\delta$ è vincolato a un simplex scalato ($\delta \succeq 0, \|\delta\|_1 \le \varepsilon$). Questo impone sparsità e non negatività, assicurando che la perturbazione sia una combinazione convessa lieve di modifiche che preservano la semantica, piuttosto che un grande spostamento arbitrario.

3. Decodificatore e Salvaguardia Semantica

• Ricostruzione del Prompt: Un operatore inverso approssimato (decodificatore) $\psi$, implementato utilizzando lo stesso LLM dell'encoder, mappa la latente perturbata $z$ nuovamente nello spazio dei prompt $x = \psi(z)$.
• Algoritmo di Ottimizzazione: Gli autori impiegano la Dinamica di Langevin Proiettata (PLD) per risolvere l'ottimizzazione non convessa. Questo comporta:
  • Riparametrizzazione Gumbel-Softmax: Per abilitare il flusso del gradiente attraverso il processo di decodifica discreto.
  • Esplorazione Stocastica: Iniezione di rumore gaussiano per sfuggire ai minimi locali nel paesaggio di ottimazione piatto a tratti.
  • Salvaguardia di Equivalenza Semantica: Durante l'ottimizzazione, se un prompt candidato $x$ fallisce un controllo di equivalenza semantica (eseguito da un LLM istruito), il segnale del gradiente viene scartato, impedendo all'ottimizzatore di deviare verso regioni non equivalenti.

Contributi Chiave

1. Dizionario di Modifica Dipendente dall'Input: Un metodo per costruire un insieme compatto, diversificato e valido di direzioni di modifica latente condizionato al prompt originale, abilitando la modifica continua mentre si preserva la semantica.
2. Ottimizzazione Vincolata al Simplex: Formulare l'elicita realistica delle allucinazioni come un problema di ottimizzazione continua su un simplex scalato, bilanciando la flessibilità esplorativa con i vincoli semantici.
3. Framework di Attacco Realistico: L'integrazione del dizionario di modifica, del vincolo simplex e della salvaguardia semantica nell'algoritmo REALISTA, che naviga con successo il compromesso tra efficacia dell'attacco e realismo semantico.

Risultati Sperimentali

Il documento valuta REALISTA su LLM open-source (Llama-3, Qwen-2.5) e modelli di ragionamento commerciali (varianti di GPT-5) su 16 materie MMLU.

• Tasso di Successo dell'Attacco (ASR): REALISTA ottiene un ASR superiore o comparabile rispetto ad attacchi realistici all'avanguardia (SOTA) (ad esempio, SECA). Ad esempio, su Llama-3-8B, REALISTA raggiunge un ASR@30 del 93,60%, superando SECA (82,97%) e LARGO (57,92%).
• Errori Semantici: Crucialmente, REALISTA mantiene bassi l'Errore di Equivalenza Semantica (SEE) e l'Errore di Coerenza Semantica (SCE), paragonabili a SECA e significativamente migliori delle basi continue come LARGO e ICD, che spesso mostrano un SEE vicino al 100%.
• Modelli di Ragionamento: REALISTA elicita con successo allucinazioni da modelli di ragionamento commerciali (GPT-5-Nano, GPT-5-Mini) in ambienti di risposta libera, uno scenario in cui i precedenti attacchi realistici (SECA, LARGO) falliscono a causa della loro dipendenza da formati di output fissi o dall'accesso ai logit del modello target.
• Analisi dei Concetti: L'analisi dei concetti attivati rivela che gli attacchi di successo sfruttano principalmente cambiamenti strutturali e di inquadramento (ad esempio, inversione di polarità, ristrutturazione logica, inquadramento istruzionale) piuttosto che alterare il contenuto fattuale.

Significato e Affermazioni

Il documento afferma che REALISTA dimostra che gli attacchi realistici di allucinazione sono fattibili anche in scenari di deployment black-box centrati sul ragionamento. Colmando il divario tra paradigmi di attacco discreti e continui, il framework fornisce uno strumento più sistematico per il red-teaming degli LLM.

Gli autori sottolineano che il loro lavoro aiuta a caratterizzare le modalità di fallimento in cui prompt lessicalmente diversi ma semanticamente equivalenti portano ad allucinazioni. Osservano che, sebbene il metodo migliori l'efficacia dell'elicita delle allucinazioni (potenzialmente abbassando le barriere per l'uso improprio), la sua utilità primaria risiede nello sviluppo di strategie di difesa più robuste rivelando come i modelli falliscono sotto perturbazioni realistiche. Il lavoro evidenzia l'importanza degli attacchi nello spazio latente per valutare l'affidabilità degli LLM in contesti realistici dove la ricerca discreta è insufficiente.