Sintesi Tecnica: Benchmarking di Large Language Models per la Criptanalisi e le Vulnerabilità Side-Channel

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato progressi significativi nella comprensione e generazione del linguaggio naturale, le loro capacità e vulnerabilità nel dominio della criptanalisi rimangono poco esplorate. La criptanalisi consiste nell'analizzare informazioni criptate (testo cifrato) per recuperare il messaggio originale (testo in chiaro) senza la conoscenza diretta del processo di cifratura. Gli autori identificano una lacuna critica: gli LLM potrebbero faticare a generalizzare tra diversi codifiche di testo, creando opportunità per "attacchi di generalizzazione errata" (mismatched generalization attacks).

Gli attaccanti potrebbero potenzialmente sfruttare questi fallimenti di generalizzazione traducendo istruzioni dannose in cifrari (ad esempio, Cesare, Morse o codice Bacon) o utilizzando linguaggi e formati alternativi (come l'ASCII art o la codifica a bijezione) per aggirare i protocolli di sicurezza. Questa tecnica di "jailbreaking" si basa sull'incapacità del modello di riconoscere che un input offuscato contiene un intento dannoso, o sul suo fallimento nel decifrare correttamente il messaggio pur "comprendendone" la struttura. Inoltre, esiste un disallineamento rappresentazionale tra gli schemi di cifratura (che operano spesso a livello di carattere o di blocco) e l'addestramento degli LLM (basato principalmente su token di parole o sub-word), il che potrebbe limitarne l'efficacia nei compiti criptografici.

Metodologia

Per affrontare questa lacuna, gli autori hanno introdotto un dataset di benchmark completo e un framework di valutazione progettato per valutare il potenziale criptanalitico degli LLM allo stato dell'arte.

Costruzione del Dataset

Gli autori hanno curato un nuovo dataset composto da 4.509 voci. Il dataset presenta:

• Testi in chiaro diversificati: I contenuti spaziano su molteplici domini (Scientifico, Medico, Notizie, Legale, Business, Letteratura, Citazioni, Social Media), stili di scrittura (inclusi testi shakespeariani e dialettali) e lunghezze (Breve: ≤100 caratteri; Lungo: ~300 caratteri).
• Algoritmi di cifratura: Ogni testo in chiaro è stato cifrato utilizzando nove algoritmi distinti, categorizzati per difficoltà:
  • Facile: Cesare, Atbash, Codice Morse, Bacon.
  • Medio: Rail Fence, Playfair, Vigenère.
  • Difficile: RSA, AES.
• Implementazione: Il dataset include sia contenuti generati da umani che da LLM per garantire una rappresentazione bilanciata.

Configurazione Sperimentale

Lo studio ha valutato sette LLM allo stato dell'arte (tra cui Claude 3.5 Sonnet, GPT-4o, GPT-4o-mini, GPT-o4-mini, Mistral, Mistral Large e Gemini 1.5 Pro) sotto due configurazioni primarie:

1. Zero-Shot: I modelli sono stati incaricati di decifrare i testi cifrati senza esempi precedenti.
2. Few-Shot: Ai modelli sono stati forniti nove esempi (uno per ogni metodo di cifratura) per guidare il processo di decifrazione.
3. Chain-of-Thought (CoT): I prompt includevano istruzioni affinché il modello spiegasse il proprio processo di ragionamento.

L'evaluazione si è concentrata su tre obiettivi:

1. Accuratezza della decifrazione: Ricostruzione esatta del testo in chiaro.
2. Comprensione: Valutazione della capacità del modello di identificare messaggi nascosti o strutture parziali anche se la decifrazione esatta fallisce.
3. Identificazione dell'algoritmo: Determinare se il modello fosse in grado di identificare correttamente il metodo di cifratura utilizzato.

Metriche di Valutazione

Le prestazioni sono state misurate tramite:

• Exact Match (EM): Accuratezza rigorosa a livello di carattere.
• Punteggio BLEU: Metrica basata sulla sovrapposzione di n-grammi.
• Similarità di Levenshtein Normalizzata (NL): Metrica di similarità semantica.
• Precisione, Recall e F1: Utilizzate per la classificazione degli algoritmi di cifratura.

Risultati Chiave

Prestazioni di Decifrazione

• Gradiente di Difficoltà: Tutti i modelli hanno mostrato sfide significative con i metodi di cifratura Medio e Difficile (ad esempio, AES, RSA), ottenendo spesso punteggi di Exact Match vicini allo zero.
• Cifrari Facili: Le prestazioni variavano significativamente sui cifrari "Facili".
  • Claude 3.5 Sonnet ha dimostrato prestazioni superiori, raggiungendo alti punteggi EM su Cesare (0.98) e Morse (0.96).
  • GPT-4o ha mostrato una forte prestazione su Cesare (0.66) ma ha faticato con Atbash e Bacon.
  • Mistral e Gemini hanno mostrato un successo minimo, fallendo spesso nel comprendere anche algoritmi più semplici come il Codice Morse o Cesare.
• Inflazione dei Token: Lo studio ha riscontrato una forte correlazione tra l'inflazione dei token (l'aumento del conteggio dei token dopo la cifratura) e il fallimento della decifrazione. Ad esempio, il cifrario Bacon ha causato un'inflazione dei token di 7.93x, portando a scarse prestazioni in tutti i modelli, mentre il Codice Morse, nonostante l'alta inflazione (6.9x), è stato meglio compreso grazie alla frequente esposizione nei dati di pre-training.

Comprensione vs Decifrazione

Un risultato critico è stata la divergenza tra comprensione e decifrazione esatta.

• Modelli come GPT-4o-mini hanno spesso ottenuto punteggi NL e BLEU elevati (indicando una comprensione semantica della struttura) ma bassi punteggi EM (fallendo nel replicare la sequenza esatta).
• Questa "comprensione parziale" suggerisce che, sebbene i modelli possano non decifrare completamente un messaggio, possono riconoscere pattern e strutture, esponendoli potenzialmente ad attacchi side-channel dove il ragionamento interno del modello viene sfruttato anche se l'output non è perfettamente accurato.

Apprendimento Few-Shot

• L'apprendimento few-shot ha migliorato significativamente le prestazioni sui cifrari più semplici (es. Cesare), con il punteggio EM di GPT-4o che è passato da 0.66 a 0.90.
• Tuttavia, questo miglioramento non si è tradotto nei cifrari complessi (AES, RSA), dove i modelli hanno mantenuto prestazioni prossime allo zero indipendentemente dal numero di esempi forniti.
• I modelli di ragionamento (es. GPT-o4-mini) hanno mostrato una migliore generalizzazione verso nuove bijezioni (come Atbash) rispetto ai loro omologhi non-reasoning, sebbene siano rimasti comunque inferiori a Claude 3.5.

Sensibilità al Dominio e allo Stile

• Le prestazioni variavano tra i domini, con i modelli che generalmente performavano meglio su contenuti familiari (Citazioni, Letteratura) e faticavano su domini specializzati (Medico, Tecnico).
• Stili di scrittura non familiari (es. prosa shakespeariana) hanno causato un calo dei punteggi Exact Match, indicando che i modelli si affidano pesantemente a pattern linguistici familiari per una decifrazione di successo.

Contributi Principali

1. Dataset di Benchmark: L'introduzione di un dataset di benchmark diversificato e multi-dominio che accoppia testi in chiaro con nove diversi algoritmi di cifratura, specificamente progettato per testare le capacità criptanalitiche degli LLM.
2. Valutazione Completa: Una valutazione sistematica zero-shot e few-shot di LLM allo stato dell'arte, evidenziando la disparità tra accuratezza di decifrazione e comprensione semantica.
3. Implicazioni per la Sicurezza: Un'analisi di come la comprensione parziale e l'inflazione dei token creino vulnerabilità. Gli autori sostengono che gli alti punteggi NL/BLEU in assenza di alti punteggi EM indichino una suscettibilità agli attacchi di jailbreak "long-tail", dove i modelli comprendono l'intento di prompt dannosi offuscati senza decifrarli pienamente.

Significato e Rivendicazioni

Il documento sostiene che la capacità degli LLM di comprendere parzialmente i testi criptati rappresenta un rischio di doppio uso. Sebbene elevate capacità di decifrazione siano desiderabili per compiti benigni, esse indicano anche la vulnerabilità di un modello ad input avversari progettati per aggirare i filtri di sicurezza tramite offuscamento.

Gli autori affermano che le attuali misure di sicurezza potrebbero essere insufficienti contro gli attacchi basati sulla generalizzazione. Suggeriscono che:

• La Comprensione Parziale è una Vulnerabilità: I modelli che possono "capire" la struttura di un cifrario ma non riescono a decifrarlo esattamente possono comunque essere suscettibili al jailbreaking se l'input offuscato innesca una risposta dannosa.
• L'Inflazione dei Token Conta: I meccanismi di sicurezza devono tenere conto dell'inflazione dei token, poiché un'alta inflazione può interrompere le prestazioni del modello, ma pattern specifici (come il codice Morse) possono comunque essere appresi se presenti nei dati di pre-training.
• Necessità di Salvaguardie Mirate: Le protezioni degli LLM dovrebbero gestire esplicitamente la comprensione parziale di testi "long-tail" e input offuscati. Gli autori propongono che il futuro allineamento della sicurezza debba mirare ad alti punteggi di decifrazione per testi benigni, mantenendo al contempo bassi punteggi su prompt dannosi e offuscati.

Lo studio conclude che, sebbene gli LLM non siano ancora in grado di violare gli standard criptografici moderni (AES, RSA), la loro capacità di decodificare cifrari classici e interpretare parzialmente il testo offuscato evidenzia un'area critica per la ricerca sulla sicurezza dell'IA, in particolare per prevenire lo sfruttamento dei fallimenti di generalizzazione a scopi malevoli.