💬 NLP

Don't Judge a Book by its Cover: Testing LLMs' Robustness Under Logical Obfuscation

Questo articolo introduce Logifus e il benchmark LogiQAte per dimostrare che i modelli linguistici di grandi dimensioni allo stato dell'arte subiscono cali di prestazioni significativi quando i compiti di ragionamento logico vengono presentati in formati offuscati ma equivalenti, rivelando la loro dipendenza da schemi superficiali piuttosto che da una profonda comprensione semantica.

Autori originali: Abhilekh Borah, Shubhra Ghosh, Kedar Joshi, Aditya Kumar Guru, Kripabandhu Ghosh

Pubblicato 2026-02-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Abhilekh Borah, Shubhra Ghosh, Kedar Joshi, Aditya Kumar Guru, Kripabandhu Ghosh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Il Test della "Domanda Trabocchetto"

Immaginate di avere uno studente molto intelligente che riesce a superare un test di matematica se le domande sono scritte chiaramente. Ma nel momento in cui riscrivete lo stesso problema matematico usando parole ricercate e confuse o un carattere diverso, lo studente si blocca e fallisce.

Questo articolo sostiene che gli odierni modelli di IA più avanzati (Large Language Models, o LLM) sono proprio come quello studente. Sono eccellenti nel riconoscere schemi che hanno già visto in precedenza, ma faticano quando un problema è logicamente lo stesso ma appare diverso.

I ricercatori volevano vedere se queste IA "comprendono" davvero la logica o se stanno solo memorizzando l'aspetto tipico delle domande. Per testarlo, hanno creato un nuovo gioco chiamato LogiQAte.

Lo Strumento: "Logifus" (Il Cambiaforma Magico)

Per eseguire il loro test, gli autori hanno costruito uno strumento chiamato Logifus. Pensate a Logifus come a un traduttore magico che prende una domanda semplice e la riscrive in un modo che sia:

Logicamente identico: La risposta non cambia affatto.
Visivamente confuso: Le parole, la struttura o i simboli sono completamente diversi.

L'Analogia:
Immaginate una ricetta che dice: "Mescola 2 tazze di farina con 1 tazza di zucchero".

L'Originale: "Mescola 2 tazze di farina con 1 tazza di zucchero."
La Versione Offuscata: "Combina la polvere bianca del primo sacchetto (che contiene due misure standard) con i cristalli dolci del secondo sacchetto (che contiene una misura standard)."

Entrambe le istruzioni portano alla stessa identica miscela. Uno chef umano capisce che sono la stessa cosa. I ricercatori volevano vedere se l'IA si sarebbe resa conto che sono uguali, o se si sarebbe confusa con il nuovo modo di dire.

Le Quattro Sfide (I Compiti "Offuscati")

I ricercatori hanno testato l'IA su quattro tipi di enigmi, trasformando ognuno di essi in una versione "trabocchetto":

Enigmi Logici (Obfus FOL):
- Normale: "Se piove, il terreno si bagna."
- Trabocchetto: "È falso che il terreno rimanga asciutto ogni volta che piove."
- Il Test: L'IA è in grado di vedere che queste due frasi significano esattamente la stessa cosa?
Alberi Genealogici (Obfus Blood Relation):
- Normale: "D è la moglie di C, e C è il padre di F. Come è D imparentata con F?" (Risposta: Madre).
- Trabocchetto: "D è la moglie di C, e C è l'unico figlio del nonno di F. Come è D imparentata con F?"
- Il Test: L'IA deve districarsi in una lunga e tortuosa catena familiare invece di un legame diretto.
Serie Numeriche (Obfus Number Series):
- Normale: "2, 4, 6, 8, ?" (Risposta: 10).
- Trabocchetto: Hanno sostituito i numeri con nomi di pianeti (Venere, Marte, Giove, Saturno) o persino codici dall'aspetto casuale (come "a87ff...").
- Il Test: L'IA riesce a individuare il pattern (aggiungere 2) anche quando i numeri sono nascosti dietro simboli o codici?
Senso della Direzione (Obfus Direction Sense):
- Normale: "Cammina 5 miglia verso Nord, poi 3 miglia verso Est."
- Trabocchetto: "Cammina 6 miglia verso Nord, 4 miglia verso Est, 6 miglia verso Sud, 3 miglia verso Est, 4 miglia verso Ovest e infine 5 miglia verso Nord."
- Il Test: I passaggi extra si annullano a vicenda (Nord poi Sud = 0), lasciando la stessa destinazione finale. L'IA deve ignorare il "rumore" per trovare il percorso reale.

Cosa è Successo? (I Risultati)

I risultati sono stati un campanello d'allarme. Quando le domande erano "offuscate" (trasformate in trabocchetti), le prestazioni dell'IA sono crollate.

Il Calo: Anche i modelli più intelligenti, come GPT-4o e GPT-5, hanno visto la loro precisione diminuire significativamente. In media, i loro punteggi sono scesi del 27% - 47%.
La "Zona di Fallimento del Ragionamento": I ricercatori hanno guardato dentro il "cervello" dell'IA (i suoi strati neurali) mentre rispondeva. Hanno scoperto che, quando la domanda era complicata, la fiducia dell'IA nelle proprie risposte diminuiva drasticamente negli strati più profondi della sua rete. Era come uno studente che inizia ad andare nel panico a metà di un esame perché il modo in cui è scritta la domanda non corrisponde a ciò che ha memorizzato.
Memorizzazione vs Comprensione: Lo studio ha dimostato che, di fronte a queste domande trabocchetto, l'IA si è affidata molto di più a schemi memorizzati dai suoi dati di addestramento piuttosto che a un vero ragionamento logico. Cercava di indovinare la risposta basandosi su come la domanda appariva, non su ciò che significava.

Conclusione

Il documento conclude che gli attuali modelli di IA sono bravissimi nel riconoscimento di schemi (pattern matching), ma non ancora capaci di un ragionamento profondo.

La Metafora Finale:
Pensate a questi modelli di IA come ad attori che hanno imparato una sceneggiatura a memoria perfettamente. Se date loro la sceneggiatura esattamente come scritta, recitano in modo brillante. Ma se date loro la stessa sceneggiatura con le parole riarrangiate o le indicazioni di scena cambiate (anche se la storia è la stessa), dimenticano le battute. Non hanno imparato la storia; hanno solo imparato la sceneggiatura.

I ricercatori affermano che dobbiamo costruire modelli che comprendano il significato dietro le parole, non solo le parole stesse, in modo che possano gestire questi "domande trabocchetto" senza fallire.

Sintesi Tecnica: Non giudicare un libro dalla copertina: Testare la robustezza degli LLM sotto l'offuscamento logico

Problema

Nonostante le impressionanti capacità dei Large Language Models (LLM) nei compiti di ragionamento standard — come la risoluzione di equazioni aritmetiche, la valutazione di tabelle di verità e la completamento di sillogismi — questi modelli esibiscono una significativa fragilità quando si trovano di fronte a problemi logicamente equivalenti presentati in formati offuscati. Mentre gli attuali benchmark (ad esempio, MMLU, BIG-Bench Hard) spesso valutano solo la risposta finale, permettendo ai modelli di avere successo tramite il riconoscimento di pattern superficiali o la memorizzazione, essi falliscono nel distinguere tra vero ragionamento logico e il richiamo di pattern dai dati di addestramento.

Il problema centrale affrontato è l'incapacità degli LLM allo stato dell'arte di mantenere la coerenza del ragionamento quando la forma superficiale di un problema viene alterata, mentre la sua struttura logica sottostante rimane invariante. Come osservato da critici e ricercatori (ad esempio, Smolinski, 2024; Vafa et al., 2024), i modelli possono produrre output impressionanti senza recuperare il modello del mondo sottostante, crollando quando vengono introdotti semplici deviazioni o riformulazioni. Questo articolo investiga se gli LLM ragionino davvero o se si limitino a sfruttare pattern memorizzati, testando sistematicamente la loro robustezza contro l'offuscamento logico.

Metodologia

Il Framework Logifus

Per studiare questa vulnerabilità, gli autori introducono Logifus, un framework di offuscamento logico che preserva la struttura. Logifus funziona come una mappatura $f: Q \to Q'$ , dove $Q$ è un insieme di domande originali e $Q'$ è un insieme di controparti offuscate, logicamente equivalenti ma sintatticamente diverse. Il principio cardine è che, mentre la rappresentazione linguistica o strutturale superficiale viene alterata, la soluzione corretta rimane invariante. Ciò costringe i modelli a impegnarsi in un ragionamento più profondo piuttosto che fare affidamento sul richiamo superficiale.

Il framework genera varianti offuscate attraverso specifiche strategie di trasformazione adattate a diversi domini di ragionamento:

Equivalenze Logiche: Applicazione di regole come le leggi di De Morgan o l'eliminazione della doppia negazione alle premesse della logica del primo ordine (FOL).
Catene Relazionali: Riscrivere dichiarazioni dirette di parentela in descrizioni indirette e multi-hop (ad esempio, trasformare "A è il fratello di B" in "A è il marito della sorella di B").
Sostituzioni Simboliche: Sostituire valori numerici nelle sequenze con token deterministici ma opachi, come nomi di pianeti, somme ASCII di tali nomi o hash MD5.
Deviazioni Spaziali: Inserire coppie di vettori auto-cancellanti (ad esempio, camminare a Nord e poi a Sud) nei percorsi di navigazione per aumentare la complessità senza cambiare lo spostamento netto.

Il Benchmark LogiQAte

Sfruttando Logifus, gli autori presentano LogiQAte, un benchmark diagnostico composto da 1.108 domande suddivise in quattro compiti di ragionamento distinti:

Obfus FOL: 272 domande che valutano l'implicazione della logica del primo ordine sotto riscritture che preservano l'equivalenza.
Obfus Blood Relation: 300 domande che testano il ragionamento sui grafi di parentela sotto catene relazionali indirette (complessità Livello 1 e Livello 2).
Obfus Number Series: 284 domande che richiedono il rilevamento di pattern induttivi sotto sostituzioni simboliche (tipi Planet Name, ASCII Sum e MD5 Hash).
Obfus Direction Sense: 252 domande che valutano il ragionamento sulla navigazione sotto direzioni e sistemi di riferimento alterati.

Validazione: Per garantire l'integrità, ogni domanda base e la sua versione offuscata sono state sottoposte a un rigoroso processo di validazione che ha coinvolto due annotatori umani e, per i compiti FOL, il dimostratore automatico di teoremi Prover9. Ciò ha garantito un accordo quasi perfetto (Cohen's $\kappa > 0.88$ ) sull'equivalenza logica e sulla conservazione della conclusione.

Configurazione della Valutazione

Il benchmark è stato valutato su nove modelli allo stato dell'arte (sia open che closed-source), inclusi modelli general-purpose (GPT-4o, Claude 3.7 Sonnet) e modelli focalizzati sul ragionamento (GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro). Le valutazioni sono state condotte in impostazioni di prompting zero-shot, few-shot e Chain-of-Thought (CoT) con una temperatura di 0.0. Le prestazioni sono state misurate utilizzando l'accuratezza Exact Match (EM).

Risultati Chiave

Degradazione delle Prestazioni

In tutti i compiti e i modelli, l'offuscamento logico degrada severamente le prestazioni zero-shot.

Calo Medio: Il calo medio delle prestazioni in tutti i compiti e le impostazioni è stato del 28,8%.
Specifiche dei Modelli:
- GPT-4o: È sceso del 47% in media.
- GPT-5: È sceso del 27% in media.
- o4-mini: È sceso del 22% in media.
- Modelli di Ragionamento: Anche i modelli ottimizzati specificamente per il ragionamento (ad esempio, GPT-5) hanno subito declini significativi, come il calo dal 98% al 56% su Obfus FOL (zero-shot).
- Modelli General-Purpose: Hanno sperimentato cali più drastici, con alcuni compiti che hanno mostrato declini fino all'87% (ad esempio, GPT-4o su Obfus Number Series).

Vulnerabilità a Livello di Compito

Obfus Blood Relation: Ha mostrato un declino costante all'aumentare della complessità dal Livello 1 al Livello 2. Ad esempio, Claude 3.7 (CoT) è sceso dal 59% sulle domande base al 24% sull'offuscamento di Livello 2.
Obfus Number Series: Si è rivelato particolarmente punitivo per i modelli general-purpose, che hanno faticato a identificare i pattern quando i numeri venivano sostituiti da nomi di pianeti o hash MD5.
Obfus Direction Sense: Ha evidenziato debolezze nel tracciamento dello stato, con i modelli che non riuscivano a filtrare le deviazioni auto-cancellanti.

Strategie di Prompting

Strategie di prompting avanzate come Few-shot e Chain-of-Thought (CoT) hanno fornito solo un sollievo parziale, non robustezza. Sebbene il CoT abbia ridotto il degrado di GPT-5 dal 27% al 18,7%, l'effetto è rimasto inconsistente tra i modelli. Notevolmente, i modelli più piccoli (ad esempio, GPT-4o-mini, Llama-4-Maverick) hanno mostrato una fragilità ancora maggiore, con l'accuratezza che crollava significativamente sotto l'offuscamento.

Analisi Meccanicistica

Per comprendere le modalità di fallimento, gli autori hanno condotto analisi intrinseche su LLaMA 3.1 8B:

Sensibilità alla Memorizzazione: Utilizzando l'inferenza di appartenenza Min-K%++, lo studio ha scoperto che le domande offuscate innescano una maggiore dipendenza dai pattern memorizzati. I punteggi AUROC di predizione sono aumentati del 12–15% per Obfus FOL e del 20–25% per Obfus Blood Relation, indicando che i modelli si appoggiano più pesantemente ai pattern dei dati di addestramento quando le forme superficiali sono oscurate.
Confidenza per Livello: L'analisi delle probabilità logaritmiche del next-token ha rivelato un collasso della confidenza del 50–80% negli strati tardivi (28–31) del transformer durante l'elaborazione di domande offuscate rispetto alle domande base. Ciò suggerisce che l'offuscamento interrompa la consolidazione semantica profonda necessaria per un vero ragionamento.

Significato e Contributi

Il documento apporta tre contributi primari:

Logifus: Un nuovo algoritmo, che preserva la struttura, per generare domande logicamente offuscate che mantengono l'equivalenza logica alterando al contempo la sintassi superficiale.
LogiQAte: Il primo benchmark diagnostico del genere, composto da 1.108 domande in quattro compiti di ragionamento, progettato per valutare rigorosamente la robustezza degli LLM contro l'offuscamento logico.
Evidenza Empirica: Un'analisi completa che dimostra come gli attuali LLM, inclusi i modelli di ragionamento allo stato dell'arte, analizzino le domande senza una comprensione profonda. I risultati evidenziano un divario critico tra il riconoscimento di pattern e il ragionamento robusto, mostrando che i modelli falliscono quando la "copertina" del problema viene cambiata, anche se il "contenuto" (la logica) rimane lo stesso.

Gli autori concludono che il degrado osservato sottolinea l'urgenza di costruire modelli che comprendano realmente e preservino il significato oltre la forma superficiale, piuttosto che limitarsi a memorizzare e far corrispondere i pattern appresi dai dati di addestramento.

Limitazioni

Gli autori notano che LogiQAte è attualmente limitato all'inglese. Il lavoro futuro mira ad espandere il dataset per includere dati multilingue (particolarmente lingue a basse risorse) ed estendere il framework ad altre categorie di ragionamento come la disposizione dei posti a sedere e l'inferenza del senso comune.