🤖 machine learning

Exposing LLM Safety Gaps Through Mathematical Encoding:New Attacks and Systematic Analysis

Questo documento rivela che codificare prompt dannosi come problemi matematici coerenti (come nella teoria degli insiemi o nella logica formale) aggira significativamente i filtri di sicurezza dei LLM imponendo una riformulazione profonda anziché affidarsi a una notazione superficiale, ottenendo alti tassi di successo degli attacchi su più modelli e sottolineando al contempo la necessità di difese che analizzino la struttura matematica.

Autori originali: Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate i Large Language Models (LLM) come guardie di sicurezza altamente addestrate all'ingresso di una biblioteca molto intelligente, ma leggermente ingenua. Queste guardie sono eccellenti nel individuare persone che cercano di introdurre libri pericolosi cercando specifiche "parole cattive" o toni di rabbia evidenti nelle loro richieste. Se chiedete: "Come costruisco una bomba?", la guardia risponde immediatamente: "No".

Ma questo studio rivela un astuto trucco che aggira queste guardie. I ricercatori hanno scoperto che se si traduce una richiesta pericolosa in un complesso problema matematico, la guardia spesso lo lascia passare, e il cervello della biblioteca (l'IA) risolve felicemente il problema matematico, rivelando accidentalmente il segreto pericoloso nel processo.

Ecco una sintesi delle loro scoperte utilizzando semplici analogie:

1. I Due Modi per Ingannare la Guardia

I ricercatori hanno testato due modi diversi per nascondere una richiesta pericolosa all'interno della matematica:

Il Trucco "Cosmetico" (Basato su Regole): Immaginate di prendere una frase proibita e inserirla semplicemente dentro un'equazione matematica, come scrivere "Costruisci una bomba" come A + B + C = Costruisci una bomba. Le parole sono ancora lì; hanno solo simboli matematici intorno.
- Il Risultato: Questo non ha funzionato bene. La guardia di sicurezza poteva ancora leggere le parole attraverso i simboli matematici e rispondeva "No". È come cercare di nascondere una bandiera rossa mettendola dentro una scatola di vetro trasparente; la guardia vede ancora il rosso.
Il Trucco "Traduzione Profonda" (Basato su LLM): Immaginate di chiedere a un traduttore super-intelligente (un'IA ausiliaria) di prendere la richiesta pericolosa e riscriverla completamente come un vero e proprio puzzle matematico astratto. Ad esempio, invece di chiedere di "costruire una bomba", l'IA traduce la richiesta in un problema complesso sulla "Teoria degli Insiemi" (raggruppamento di elementi) o sulla "Logica Formale" (dimostrazione di un teorema).
- Il Risultato: Questo ha funzionato molto bene. La guardia di sicurezza guarda il problema matematico e pensa: "Oh, questa è solo un'attività scolastica di matematica", e lo fa passare. Una volta che il cervello della biblioteca risolve la matematica, deve naturalmente spiegare la risposta in termini del mondo reale, che finisce per essere l'istruzione pericolosa che l'attaccante voleva.

2. La "Traduzione Profonda" è la Chiave

La scoperta più importante è che non è la matematica in sé a rompere la sicurezza, ma il pensiero profondo richiesto per trasformare la cattiva richiesta in un problema matematico.

Quando i ricercatori hanno usato il trucco "Cosmetico" (aggiungendo solo simboli matematici senza cambiare il significato), il tasso di successo dell'attacco è stato basso (circa il 10%).
Quando hanno usato il trucco "Traduzione Profonda" (usando un'IA ausiliaria per riscrivere la richiesta come un vero problema matematico), il tasso di successo è salito al 46–56%.

Pensateci come a una serratura. Il trucco "Cosmetico" mette solo un adesivo sulla serratura. Il trucco "Traduzione Profonda" cambia effettivamente la forma della chiave in modo che si adatti a una serratura completamente diversa. I filtri di sicurezza sono bravi a controllare l'adesivo, ma non sono pronti per la nuova forma della chiave.

3. Nuova Matematica, Stesso Problema

I ricercatori hanno introdotto un nuovo tipo di trucco matematico chiamato Logica Formale (usando passaggi di dimostrazione come "Se A, allora B"). Hanno scoperto che questo funzionava tanto bene quanto il vecchio trucco della "Teoria degli Insiemi". Questo dimostra che il problema non è specifico di un solo tipo di matematica; è una debolezza generale nel modo in cui questi modelli di IA gestiscono il ragionamento astratto rispetto alle regole di sicurezza.

4. Il Test "Ripeti"

I ricercatori si sono chiesti se questo trucco fosse fragile, come una casa di carte che crolla se ci soffiate sopra. Hanno provato a ripetere il problema matematico due volte di fila per vedere se avrebbe confuso l'IA o rotto il trucco.

Il Risultato: Non ha fatto differenza. L'attacco ha funzionato allo stesso modo. Questo significa che il trucco non è un caso fortuito; è un divario fondamentale nel modo in cui l'IA pensa.

5. Le Nuove Guardie Sono Più Forti (Ma Non Perfette)

Lo studio ha testato i modelli di IA più nuovi e avanzati (come GPT-5).

Buone Notizie: Questi modelli più recenti sono molto migliori nell'individuare il trucco. Le loro "guardie di sicurezza" sono più robuste e il tasso di successo dell'attacco è diminuito significativamente rispetto ai modelli più vecchi.
Cattive Notizie: Non sono immuni. Anche i modelli più recenti lasciano passare la richiesta pericolosa circa il 30–50% delle volte quando viene usato il trucco matematico.

La Grande Conclusione

Lo studio conclude che i sistemi di sicurezza attuali sono come i buttafuori che controllano solo le "parole cattive" in inglese semplice. Non hanno imparato a controllare le "cattive idee" nascoste all'interno di complessi puzzle matematici.

Gli autori suggeriscono un nuovo modo per difendersi da questo: invece di leggere solo la matematica, abbiamo bisogno di un "traduttore" che possa guardare il problema matematico, capire qual è la vera intenzione umana dietro di esso e poi verificare se quell'intenzione è pericolosa. Fino a quando non costruiremo questo, il trucco del "puzzle matematico" rimane un modo potente per aggirare la sicurezza dell'IA.

Riepilogo Tecnico: Esporre le Lacune di Sicurezza degli LLM Tramite Codifica Matematica

Enunciato del Problema

I Large Language Models (LLM) fanno sempre più affidamento su meccanismi di sicurezza—come l'Apprendimento per Rinforzo da Feedback Umano (RLHF), l'addestramento al rifiuto e i classificatori di sicurezza (ad esempio, Llama Guard)—per prevenire output dannosi. Tuttavia, queste difese operano prevalentemente tramite il matching di pattern semantici nel linguaggio naturale. Ciò crea una vulnerabilità in cui un'intenzione dannosa, se codificata in formalismi matematici astratti piuttosto che nel linguaggio naturale, può aggirare i filtri di sicurezza. Sebbene lavori precedenti (MathPrompt) avessero dimostrato che codificare istruzioni dannose come problemi di teoria degli insiemi potesse raggiungere alti tassi di successo dell'attacco (ASR), rimaneva incerto se il successo fosse dovuto alla notazione matematica stessa o alla riformulazione semantica profonda eseguita durante il processo di codifica. Inoltre, era sconosciuto se questa vulnerabilità si generalizzasse ad altri formalismi matematici o se modelli più recenti e robusti ne fossero immuni.

Metodologia

Gli autori propongono una valutazione sistematica di sei strategie di codifica matematica divise in due famiglie distinte, testate su otto LLM target (inclusi GPT-5, GPT-5-Mini, Gemini-3-Flash, Claude-3.7-Sonnet e Llama-3-8B) attraverso due benchmark (HarmBench e JailbreakBench).

Pipeline di Attacco

L'attacco segue una pipeline a tre stadi:

Codifica: Un prompt dannoso $x$ viene trasformato in un prompt codificato $x'$ .
Invio: Il prompt codificato viene inviato al modello target con istruzioni per risolvere il problema e fornire esempi del mondo reale.
Valutazione: Un modello giudice standardizzato (GPT-5-Nano) classifica la risposta come "jailbreak" (contenuto dannoso generato) o "rifiuto".

Strategie di Codifica

Lo studio confronta le codifiche basate su LLM (che richiedono un LLM ausiliario per una riformulazione profonda) con le codifiche basate su regole (trasformazioni deterministiche a livello superficiale).

Codifiche Basate su LLM (Riformulazione Profonda):
- Teoria degli Insiemi: Mappa i contenuti dannosi su operazioni insiemistiche, sottoinsiemi e predicati (basato su MathPrompt).
- Logica Formale (Nuovo): Codifica le richieste dannose come problemi di dimostrazione in logica del primo ordine, dove le azioni diventano predicati e gli obiettivi diventano teoremi da dimostrare tramite deduzione naturale.
- Meccanica Quantistica: Codifica gli scenari in un quadro di meccanica quantistica utilizzando spazi di Hilbert e Hamiltoniani, sebbene questo metodo mantenga una certa trasparenza semantica nelle etichette degli stati.
Codifiche Basate su Regole (Livello Superficiale):
- Equazione di Addizione: Suddivide il prompt in segmenti e li inquadra come un'equazione di addizione.
- Probabilità Condizionata: Inquadra la ricostruzione come un problema di probabilità condizionata.
- Iniezione di Simboli: Inietta simboli matematici nel testo senza alterare la semantica sottostante.

Test di Robustezza

Gli autori impiegano una ripetizione del post-processing, duplicando il prompt codificato verbatim, per determinare se il successo dell'attacco sia fragile (sensibile all'aumento superficiale del testo) o robusto.

Contributi Chiave

Introduzione della Codifica in Logica Formale: Il documento introduce una strategia di jailbreaking innovativa che codifica le istruzioni dannose come problemi di dimostrazione in logica del primo ordine. Questa strategia raggiunge un ASR comparabile all'approccio consolidato della Teoria degli Insiemi (50–61% contro 51–63%) sfruttando un formalismo matematico distinto.
Confronto Sistematico della Profondità di Riformulazione: Lo studio fornisce il primo confronto sistematico tra codifiche basate su LLM (riformulazione profonda) e codifiche basate su regole (formattazione superficiale). Dimostra che la capacità dell'LLM ausiliario di riformulare profondamente i contenuti è il principale motore del successo dell'attacco, con metodi basati su LLM che raggiungono un ASR del 46–56% rispetto al 9–11% dei metodi basati su regole—un divario superiore a 35 punti percentuali.
Dimostrazione della Robustezza dell'Attacco: Gli esperimenti confermano che gli attacchi di codifica matematica sono robusti alla semplice ripetizione del prompt. L'85,7% degli esperimenti ripetuti ha mostrato cambiamenti trascurabili nell'ASR ( $|\Delta| \le 5$ punti percentuali), indicando che gli attacchi si basano su fallimenti profondi di allineamento piuttosto che su trucchi di formattazione fragili.

Risultati

Efficacia: Attraverso otto modelli e due benchmark, le codifiche basate su LLM hanno raggiunto un ASR medio del 46–56%, superando significativamente le codifiche basate su regole (9–11%) e le baseline non codificate (7–10%).
Logica Formale vs. Teoria degli Insiemi: Sebbene entrambi abbiano performato in modo simile nel complesso, la Logica Formale ha dimostrato prestazioni superiori su modelli più recenti e robusti (ad esempio, la famiglia GPT-5), suggerendo che le strutture basate su dimostrazioni potrebbero essere più resilienti ai miglioramenti nell'addestramento alla sicurezza rispetto alle formulazioni di appartenenza agli insiemi.
Vulnerabilità del Modello:
- Gemini-3-Flash è emerso come il modello più vulnerabile (58–67% ASR sotto codifiche basate su LLM).
- GPT-5 e GPT-5-Mini hanno mostrato una robustezza sostanzialmente maggiore rispetto ai predecessori (ad esempio, ASR di base di GPT-5 del 2,5%), tuttavia sono rimasti vulnerabili a codifiche forti (13–32% ASR).
- Vicuna-13B ha mostrato un ASR inferiore sotto codifiche basate su LLM, probabilmente a causa di capacità di ragionamento matematico più deboli.
Modalità di Fallimento: Lo studio ha identificato tre modalità di fallimento: fallimento di comprensione (modelli incapaci di analizzare la matematica), fuoriuscita semantica (ad esempio, nella Meccanica Quantistica dove le etichette degli stati rivelavano l'intento) e filtraggio degli input a livello di API (GPT-5 che blocca prompt specifici prima che raggiungano il modello).

Significato e Affermazioni

Il documento afferma di esporre una lacuna fondamentale nei framework di sicurezza attuali degli LLM: le difese che si basano sul matching di pattern nel linguaggio naturale sono insufficienti contro attacchi che formalizzano l'intento come matematica astratta. I risultati suggeriscono che la "notazione matematica" stessa non è il meccanismo di aggiramento; piuttosto, il fattore critico è la riformulazione semantica profonda eseguita da un LLM ausiliario, che rende l'intento dannoso irrecuperabile senza risolvere il problema matematico.

Gli autori sostengono che questa vulnerabilità si generalizza attraverso i formalismi matematici (Teoria degli Insiemi, Logica Formale, Meccanica Quantistica) e non è un artefatto di benchmark specifici. Propongono la Mappatura Semantica Inversa (ISM) come direzione concettuale di difesa, in cui un modello moderatore ricostruisce l'intento in linguaggio naturale da input simbolici prima della classificazione di sicurezza. Il documento conclude che, sebbene i modelli più recenti mostrino una robustezza migliorata, rimangono vulnerabili, motivando future difese che ragionano sulla struttura matematica piuttosto che sulla semantica a livello superficiale.