💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

Il paper propone SECA, un metodo di attacco avversario che elicità allucinazioni nei modelli linguistici di grandi dimensioni attraverso modifiche realistiche e semanticamente coerenti ai prompt, superando i limiti delle tecniche precedenti che utilizzavano input non plausibili.

Autori originali: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Pubblicato 2026-02-17

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i Modelli Linguistici Grandi (LLM), come quelli che usi per scrivere email o fare ricerche, siano dei geni molto colti ma un po' distratti. Sono bravissimi a rispondere a domande complesse, ma a volte, quando sono un po' stanchi o confusi, iniziano a inventare cose che non sono vere. Questo fenomeno si chiama allucinazione.

Fino a poco tempo fa, gli scienziati cercavano di far "allucinare" questi geni usando trucchi strani: scrivevano domande senza senso, mescolavano lettere a caso o cambiavano completamente il significato della domanda. È come se tu chiedessi a un cuoco: "Fammi un panino con la sabbia e la marmellata!". Se il cuoco ti risponde con un panino, non è un errore del cuoco, è solo che gli hai chiesto qualcosa di assurdo. Questi vecchi metodi non ci dicevano davvero quanto fossero fragili i modelli quando ci chiedevamo cose normali.

La nuova scoperta: SECA

Gli autori di questo paper hanno creato un nuovo metodo chiamato SECA (Attacchi Semantici Equivalenti e Coerenti).

Ecco come funziona, con una metafora semplice:

Immagina di avere un detective molto attento (il modello AI) che deve risolvere un caso: "Quanto fa 24 diviso 2?".

La domanda originale: "Qual è il valore di p in 24 = 2p?"
- Il detective risponde correttamente: "12".
Il vecchio metodo (Attacco "Gibberish"): "Qual è t)(?e va%&* di p...".
- Il detective è confuso, ma l'errore è ovvio: la domanda era un disastro. Non ci dice nulla sulla sua intelligenza.
Il metodo SECA: Gli autori chiedono al detective di riformulare la domanda in modo diverso ma con lo stesso significato esatto.
- Nuova domanda: "Se raddoppiando il valore di p si ottiene 24, qual è p?"
- Questa domanda è perfettamente logica, usa parole diverse, ma significa esattamente la stessa cosa.
- Il risultato sorprendente: Con questa domanda "normale" ma riformulata, il detective (il modello AI) si confonde e risponde: "8, perché 24 diviso 2 fa 8". Ha fatto un errore di matematica di base!

Cosa significa tutto questo?

Il problema è nascosto: I modelli AI sembrano intelligenti, ma sono estremamente fragili. Basta cambiare le parole di una domanda, mantenendo il senso, per farli crollare e inventare risposte sbagliate.
Non servono trucchi strani: Non serve scrivere in codice o usare parole inventate. Basta essere un po' più creativi nel modo in cui poniamo le domande.
Il metodo "Cecchino": SECA funziona come un cecchino che cerca il punto debole. Usa un altro AI per generare migliaia di versioni diverse della stessa domanda, controlla che siano tutte corrette (non cambino il senso) e poi prova a vedere quale versione fa impazzire il modello target.

Perché è importante?

Pensa a un medico che usa un'AI per diagnosticare una malattia. Se l'AI funziona bene con la domanda "Hai il mal di testa?", ma inizia a inventare diagnosi se la domanda è "Soffri di cefalea?", allora il sistema è pericoloso.

Questo studio ci dice che dobbiamo essere molto più cauti. Non basta testare un'AI con domande standard. Dobbiamo capire se resiste anche quando le chiediamo le stesse cose, ma in modi diversi e naturali.

In sintesi:
Gli autori hanno scoperto che i "geni" AI sono come bambini che imparano a memoria le risposte. Se cambi la forma della domanda, anche se il senso è lo stesso, potrebbero non riconoscere il compito e iniziare a inventare storie. SECA è lo strumento che ci aiuta a trovare questi buchi nella loro memoria, per renderli più sicuri prima di usarli in situazioni importanti come ospedali o tribunali.

1. Il Problema

I Large Language Models (LLM) sono sempre più utilizzati in ambiti ad alto rischio (medicina, finanza, educazione), ma soffrono di un problema fondamentale: le allucinazioni (risposte fattualmente errate o non fedeli al prompt).
La ricerca precedente ha esplorato attacchi avversari per indurre queste allucinazioni, ma i metodi esistenti presentano limiti critici:

Attacchi "Gibberish" ( nonsensi): Inseriscono token privi di senso che rompono la coerenza semantica.
Attacchi "Trivial" (banali): Chiedono direttamente al modello di mentire o generare contenuti dannosi, il che non testa la robustezza del modello su query realistiche.
Attacchi con "Cambio di Significato": Alterano l'intento originale della domanda, rendendo impossibile distinguere tra un errore del modello e una risposta corretta a una domanda diversa.

Questi approcci non offrono intuizioni su come le allucinazioni si manifestino in scenari reali, dove gli utenti formulano domande in modo naturale. Manca un metodo per generare prompt realistici che siano semanticamente equivalenti all'originale ma che portino il modello a fallire.

2. Metodologia: SECA

Gli autori propongono SECA (Semantically Equivalent and Coherent Attacks), un metodo che formula la generazione di attacchi come un problema di ottimizzazione vincolata.

Formulazione del Problema

L'obiettivo è trovare un prompt avversario $x$ che massimizzi la probabilità che il modello target $T$ generi una risposta errata specifica $y^*$ (un token che indica una scelta sbagliata), sottoposto a due vincoli rigorosi:

Equivalenza Semantica: Il prompt $x$ deve essere semanticamente equivalente al prompt originale $x_0$ (deve implicarsi a vicenda e portare alla stessa risposta corretta).
Coerenza Semantica: Il prompt $x$ deve essere linguisticamente coerente e naturale (simile a un input umano).

Matematicamente, il problema è:
$\max_{x} \log P_T(y^* | x)$
$\text{s.t. } \text{SEF}(x, x_0) = 1 \quad \text{e} \quad x \in X_P$
Dove $\text{SEF}$ è una funzione di verifica dell'equivalenza e $X_P$ è l'insieme dei prompt coerenti generati da un LLM.

L'Algoritmo SECA

Poiché lo spazio dei prompt è discreto e non convesso, e molti LLM target non hanno accesso ai gradienti (black-box), SECA utilizza un metodo di ottimizzazione di ordine zero (zeroth-order) che preserva i vincoli:

Propositore (Proposer): Un LLM (es. GPT-4.1-Nano) riceve istruzioni per generare $M$ riformulazioni del prompt corrente che mantengano il significato originale. Per evitare il collasso semantico (prompt identici), vengono variati verbi, stili e template.
Verificatore di Fattibilità (Feasibility Checker): Un secondo LLM più potente (es. GPT-4.1-Mini) valuta se le nuove proposte soddisfano rigorosamente i criteri di equivalenza semantica (implicazione reciproca, nessuna informazione aggiuntiva/omessa, stessa risposta corretta).
Selezione e Iterazione: Tra i prompt che superano il controllo di fattibilità, vengono selezionati quelli che massimizzano la probabilità di generare il token target errato. Il processo iterativo continua fino a raggiungere un limite di iterazioni o una soglia di successo.

3. Contributi Chiave

Formalizzazione Matematica: Definizione del problema di elicitarare allucinazioni come un problema di ottimizzazione vincolata su spazi di testo discreti, introducendo i concetti di equivalenza e coerenza come vincoli rigidi.
Algoritmo SECA: Sviluppo di un metodo di ordine zero che utilizza LLM come "propositore" e "verificatore" per navigare lo spazio dei prompt senza violare i vincoli semantici, evitando la ricerca esaustiva.
Valutazione Empirica: Dimostrazione che SECA supera significativamente gli stati dell'arte (come GCG - Greedy Coordinate Gradient) in termini di successo dell'attacco, mantenendo un errore di equivalenza e coerenza vicino allo zero.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un subset filtrato del dataset MMLU (16 materie diverse) e su 7 modelli LLM (sia open-source come Llama-3, Qwen, che commerciali come GPT-4o-Mini).

Tasso di Successo dell'Attacco (ASR): SECA ha ottenuto un ASR@30 (percentuale di successo in 30 tentativi) molto superiore rispetto ai prompt originali e a GCG.
- Su modelli commerciali (es. GPT-4o-Mini), l'ASR è passato da <10% (prompt originali) a >40-60% con SECA.
- Su modelli open-source (es. Llama-3-8B), l'ASR è aumentato da ~60% a oltre 80%.
Qualità dei Prompt:
- Errore di Equivalenza Semantica (SEE): SECA ha un SEE di 0.00, indicando che tutte le riformulazioni sono semanticamente equivalenti. Al contrario, GCG ha un SEE di ~0.97 (quasi sempre non equivalente).
- Errore di Coerenza Semantica (SCE): SECA mantiene un SCE molto basso (simile ai prompt originali), mentre GCG genera prompt incoerenti e privi di senso.
Analisi delle Allucinazioni: Le risposte indotte da SECA contengono prevalentemente errori di fattualità (informazioni false) e fedeltà (incoerenza con il prompt).
Caratteristiche degli Attacchi Riusciti: I prompt che inducono allucinazioni tendono ad essere più verbosi e ad avere un rapporto tipo-token (TTR) più alto (maggiore diversità lessicale), suggerendo che variazioni linguistiche complesse possono oscurare l'intento originale per il modello.

5. Significato e Implicazioni

Vulnerabilità Reale: SECA dimostra che anche i modelli più avanzati sono vulnerabili a variazioni linguistiche realistiche e plausibili, non solo a input distorti o incoerenti. Questo solleva preoccupazioni serie per la sicurezza in ambiti critici.
Nuovo Standard di Valutazione: Il lavoro sposta il focus dalla semplice ricerca di "jailbreak" alla valutazione della robustezza del modello contro input semanticamente equivalenti ma linguisticamente diversi.
Dual-Use: Gli autori avvertono che il metodo può essere usato malevolmente per propagare disinformazione, ma sottolineano che l'obiettivo principale è identificare i punti deboli per sviluppare LLM più robusti e affidabili.
Open Source: Il codice e i dati sono stati resi disponibili per permettere alla comunità di testare e migliorare la sicurezza dei modelli.

In sintesi, SECA rappresenta un passo avanti fondamentale nella comprensione delle allucinazioni degli LLM, dimostrando che la sicurezza non può basarsi solo sulla rilevazione di input "strani", ma deve garantire la robustezza anche contro variazioni linguistiche perfettamente naturali e semanticamente corrette.