Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

Immagina di parlare con un bibliotecario robot super intelligente che ha letto quasi ogni libro dell'universo. Gli poni una domanda e, per essere extra sicuro, gli consegni una pagina specifica di un libro da usare come chiave di risposta. Questa configurazione è chiamata Generazione Aumentata dal Recupero, o RAG. È come dare al robot un foglio di riferimento affinché non debba tirare a indovinare dalla sua memoria interna. La speranza è che il robot si attenga strettamente al foglio di riferimento, ignorando la propria conoscenza interna se questa non coincide con il testo. Ma ecco il problema: a volte, anche con il foglio di riferimento in mano, il robot si confonde, dimentica ciò che sta leggendo o inizia comunque a inventare cose. Questo è chiamato un "allucinazione intrinseca". Non è che il robot stia mentendo intenzionalmente; è che il suo cervello è semplicemente troppo irrequieto per rimanere fedele alle prove che ha proprio davanti a sé.

Ora, immagina di essere un detective che cerca di capire quanto sia davvero irrequieto questo robot. Potresti porgli la stessa domanda in cento modi diversi, ma se cambi il significato della domanda, il robot potrebbe semplicemente confondersi per via del nuovo argomento. Per testare davvero la sua concentrazione, devi porre esattamente la stessa domanda, ma sussurrandola in una dozzina di accenti, dialetti o strutture sintattiche diverse. Se il robot ti dà una risposta diversa (e sbagliata) solo perché hai detto "Che ore sono?" invece di "Potrebbe dirmi l'ora attuale?", allora il robot ha un serio problema di coerenza. Questo articolo riguarda la creazione di una macchina che sussurra quelle variazioni insidiose, pur preservandone il significato, per vedere se il bibliotecario robot cede sotto la pressione.

I ricercatori dietro questo studio hanno deciso di sottoporre questi sistemi di IA a un test di resistenza utilizzando un nuovo e intelligente framework. Non si sono limitati a chiedere ai modelli di violare le loro regole di sicurezza (che è un modo comune per testare l'IA); hanno invece chiesto loro di violare la propria onestà. Hanno utilizzato una squadra di "attaccanti" digitali — alcuni che usavano la matematica per modificare le parole, altri che usavano algoritmi genetici per far evolvere nuove frasi, e altri ancora che usavano altre IA per riscrivere le domande — per trovare la riformulazione perfetta, che preservasse il significato, capace di far allucinare il modello. L'obiettivo era vedere se potevano ingannare il modello portandolo a ignorare il contesto fornito e a inventare una storia, anche se la domanda era logicamente identica all'originale.

I risultati sono stati uno shock. Il team ha scoperto che anche i modelli più avanzati e all'avanguardia sono sorprendentemente fragili. Quando hanno utilizzato questi attacchi semanticamente equivalenti, la capacità dei modelli di attenersi ai fatti è diminuita drasticamente. In alcuni casi, la fedeltà del modello alle prove fornite è degradata fino al 50% per modelli specifici come GPT-5-mini su determinati dataset. Ad esempio, sul dataset FaithEval, la fedeltà di GPT-5-mini è scesa da 0,72 a 0,22 — un calo del 41,7% — fallendo improvvisamente nel rispondere correttamente quando la domanda veniva formulata in modo solo leggermente diverso, nonostante il significato non fosse cambiato affatto.

L'articolo suggerisce che rendere i modelli semplicemente più grandi o più intelligenti non sia sufficiente a risolvere il problema. I ricercatori hanno testato tutto, dai piccoli modelli open-source ai massicci giganti a codice chiuso, e tutti hanno inciampato di fronte a questi trucchi che preservano il significato. Gli attacchi erano così efficaci che potevano indurre i modelli a dire cose come "Impossibile rispondere" o a inventare dettagli che non erano presenti nel testo, il tutto mentre la domanda rimaneva logicamente identica all'originale.

Interessante è che il tipo di attacco contava. Alcuni metodi che si limitavano a sostituire le parole con sinonimi (come cambiare "grande" con "vasto") rendevano spesso le domande strane e innaturali, cose che i modelli potevano facilmente individuare. Ma i metodi che utilizzavano altre IA per riscrivere l'intera frase in modo naturale — mantenendo perfetto il flusso e il significato — erano i veri elementi di disturbo. Questi attacchi dall'aspetto naturale erano quelli che causavano il calo di prestazioni più significativo, dimostrando che i modelli sono fragili non solo di fronte a geroglifici strani, ma anche alla varietà naturale del linguaggio umano.

Lo studio ha anche esaminato come i modelli fallivano. A volte si limitavano a rifiutarsi di rispondere, ma spesso sbagliavano i fatti, interpretavano male il contesto o compivano salti logici errati. Questo ci dice che il problema non è solo che i modelli siano testardi; è che la loro capacità di ancorare le risposte al testo fornito è fondamentalmente traballante. I ricercatori concludono che abbiamo bisogno di costruire nuove architetture e metodi di addestramento che costringano i modelli a rimanere ancorati alle prove, indipendentemente da come la domanda venga formulata. Fino ad allora, anche i più intelligenti bibliotecari IA potrebbero essere solo una frase leggermente diversa dal creare una storia completamente nuova.