💻 computer science

CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes

Questo articolo introduce CrypFormBench, un benchmark completo composto da 700 istanze attraverso 677 schemi crittografici e 7 linguaggi di verifica formale, per valutare e rivelare gli attuali limiti dei grandi modelli linguistici nella generazione e nella correzione di prove di sicurezza formali, offrendo al contempo strategie pratiche per migliorarne le prestazioni.

Autori originali: Zhaoxuan Li, Qionglu Zhang, Hengyuan Liu, Xiaoyan Gu, Xianhui Lu, Hongbo Liu, Bingzheng Wang, Haihui Fan, Ziming Zhao, Rui Zhang, Li Zhou

Pubblicato 2026-06-25

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhaoxuan Li, Qionglu Zhang, Hengyuan Liu, Xiaoyan Gu, Xianhui Lu, Hongbo Liu, Bingzheng Wang, Haihui Fan, Ziming Zhao, Rui Zhang, Li Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Il problema del "Traduttore"

Immaginate di essere un maestro architetto che progetta casseforti incredibilmente sicure (schemi crittografici). Scrivete i vostri progetti in un semplice inglese in modo che chiunque possa comprenderne il piano. Tuttavia, per costruire e testare effettivamente queste casseforti alla ricerca di debolezze, dovete tradurre quei progetti in inglese in un linguaggio molto rigido, antico e complesso che solo specifici robot ad alta tecnologia (strumenti di verifica formale come Scyther o Tamarin) possono comprendere.

Questa traduzione è difficile. Richiede un esperto umano che conosca sia il design della cassaforte che il linguaggio rigoroso del robot. Se si dimentica una minuscola virgola o si usa la parola sbagliata, il robot rifiuta il progetto o, peggio ancora, costruisce una cassaforte che sembra sicura ma che ha una porta sul retro nascosta.

La Domanda: I Large Language Models (LLM) — ovvero le chatbot IA che usiamo oggi — possono agire come questi esperti traduttori? Possono prendere una descrizione in inglese semplice di un protocollo di sicurezza e scrivere istantaneamente il codice perfetto e privo di errori per i robot della sicurezza?

La Risposta (secondo questo articolo): Non proprio ancora. Stanno migliorando nella lettura e nella correzione, ma hanno ancora difficoltà a scrivere partendo da zero.

La Soluzione: CrypFormBench (La "Palestra" per l'IA)

Per scoprire esattamente quanto siano bravi questi traduttori IA, i ricercatori hanno costruito un enorme campo di prova chiamato CrypFormBench (o C.F.B.).

Pensate a questo come a una palestra con 700 diverse stazioni di allenamento.

L'Attrezzatura: Hanno raccolto 700 protocolli di sicurezza del mondo reale (come quelli usati nel vostro telefono, nelle banche o su internet).
I Linguaggi: Hanno tradotto questi protocolli in 7 diversi "linguaggi per robot" (linguaggi formali come SPDL, HLPSL, EasyCrypt, ecc.).
I Test: Non hanno solo chiesto all'IA di scrivere codice. Hanno testato cinque abilità specifiche:
1. Interpretazione: "Ecco un codice per robot; spiegamelo in inglese." (Lettura)
2. Generazione: "Ecco una descrizione in inglese; scrivi il codice per il robot." (Scrittura da zero)
3. Completamento: "Ecco un codice per robot con dei buchi; riempi gli spazi vuoti." (Correzione di un lavoro parziale)
4. Trasformazione: "Ecco il codice nel Linguaggio A; riscrivilo nel Linguaggio B." (Traduzione tra robot)
5. Correzione: "Questo codice per robot ha un errore; sistemalo." (Debugging)

I Risultati: La Pagella dell'IA

I ricercatori hanno testato 9 dei modelli IA più intelligenti disponibili (inclusi GPT-4o, Claude-3.5 e DeepSeek). Ecco cosa hanno scoperto:

1. L'abilità "Bravo a Leggere" (Interpretazione e Completamento)

Analogia: Immaginate uno studente che è bravo a leggere un libro di testo e può riempire le parole mancanti in una frase perché il contesto è già presente.
Risultato: Le IA sono state sorprendentemente brave in questo. Quando ricevevano un frammento di codice con alcune parti mancanti, o quando veniva chiesto loro di spiegare cosa fa un pezzo di codice, hanno performato molto bene. Comprendevano la "grammatica" dei linguaggi di sicurezza.

2. L'abilità "Scarso a Scrivere" (Generazione e Trasformazione)

Analogia: Ora immaginate di chiedere a quello stesso studente di scrivere un intero libro di testo da zero, o di tradurre un libro dal francese al giapponese senza un dizionario. Iniziano ad allucinare, inventando regole o dimenticando la grammatica rigorosa.
Risultato: È qui che le IA sono fallite.
- Generazione: Quando veniva chiesto di scrivere un intero protocollo di sicurezza da una descrizione in inglese semplice, la maggior parte delle IA produceva codice che i robot non potevano nemmeno eseguire. Era come scrivere una frase con una sintassi rotta.
- Trasformazione: Quando veniva chiesto di tradurre il codice da un linguaggio per robot a un altro, le IA spesso si confondevano. Mescolavano le regole dei due linguaggi, creando un codice "Frankenstein" che non funzionava in nessuno dei due.
- Il Punteggio: Anche la migliore IA (Claude-3.5) ha ottenuto solo 48,7 su 100. Ciò significa che meno della metà dei loro tentativi era effettivamente utilizzabile dagli strumenti di sicurezza.

3. L'abilità "Correggere" (Correzione)

Analogia: Se date allo studente una frase con un semplice errore di battitura (ad esempio, "ricevere" scritto con due 'c'), può correggerla facilmente. Ma se la frase è grammaticalmente corretta ma logicamente errata (ad esempio, "La cassaforte è aperta a tutti, ma è sicura"), faranno fatica a trovare l'errore logico.
Risultato: Le IA erano brave a correggere semplici errori di sintassi (errori di battitura). Tuttavia, hanno avuto difficoltà con gli errori "semantici", ovvero correggere la logica del protocollo di sicurezza stesso.

Perché è così difficile?

L'articolo spiega che questi "linguaggi per robot" non sono come Python o Java. Sono estremamente rigidi.

La Regola dell' "Un Solo Errore": Nella programmazione normale, se dimenticate un punto e virgola, il computer potrebbe solo lamentarsi. In questi linguaggi di sicurezza, una sola parola mancante può cambiare l'intero significato di una prova di sicurezza, facendo apparire una cassaforte sicura come insicura, o viceversa.
Il Probleo del "Contesto": Questi protocolli spesso dipendono da lunghe catene di eventi (ad esempio, "Se Alice invia un messaggio al passaggio 1, Bob deve rispondere al passaggio 2, ma solo se non ha visto un messaggio dal passaggio 0"). Le IA spesso perdono il filo di queste lunghe catene.

Cosa possiamo fare? (Le "Rotelle di Allenamento")

L'articolo suggerisce che, sebbene non possiamo ancora fare affidamento sulle IA per fare tutto il lavoro da sole, possiamo usarle come assistenti se diamo loro l'aiuto giusto:

Few-Shot Prompting: Invece di dire semplicemente "Scrivi questo", mostrate all'IA tre esempi di come scriverlo prima. Questo funge da foglio di trucchi.
Pass@K: Chiedete all'IA di provare a scrivere il codice 5 volte, e poi scegliete la versione migliore. Questo aumenta le probabilità di ottenere una versione funzionante.
Human-in-the-Loop (L'uomo nel ciclo): Usate l'IA per bozzare il codice, ma fate controllare da un esperto umano prima che il robot della sicurezza lo esegua.

Il Punto Fondamentale

L'articolo conclude che i Large Language Models sono attualmente eccellenti assistenti di ricerca per comprendere e correggere il codice di sicurezza, ma non sono ancora architetti affidabili per costruire nuovi protocolli di sicurezza da zero.

Possono aiutarvi a leggere il manuale e a correggere i refusi, ma serve ancora un esperto umano per garantire che la cassaforte sia effettivamente sicura prima di consegnare le chiavi. Il benchmark (CrypFormBench) è ora disponibile affinché altri ricercatori possano testare nuovi modelli di IA contro questi stessi standard rigorosi.

Riepilogo Tecnico: CrypFormBench

1. Problematica

L'analisi formale manuale degli schemi crittografici è un processo laborioso che richiede una profonda competenza sia in crittografia che nei linguaggi di specifica formale. Sebbene esistano strumenti automatizzati come Scyther, Tamarin, CryptoVerif ed EasyCrypt, essi richiedono comunque l'intervento di esperti per astrarre la logica dello schema in linguaggi formali specializzati (ad esempio, HLPSL, SPDL, $\pi$ -calcolo applicato). I Large Language Models (LLM) offrono una potenziale soluzione per automatizzare la derivazione delle specifiche formali dal linguaggio naturale. Tuttavia, la loro efficacia in questo dominio rimane inesplorata a causa dell'assenza di metodologie di valutazione standardizzate.

I benchmark esistenti sono insufficienti perché spesso:

Supportano solo la sicurezza simbolica, trascurando quella computazionale.
Coprono scale limitate (ad esempio, ~18 protocolli) ed escludono modelli di minaccia diversificati o primitivi avanzati (ad esempio, Zero-Knowledge, Post-Quantum).
Mancano di un framework unificato per valutare gli LLM attraverso molteplici linguaggi di verificatori formali e tipologie di task (generazione, trasformazione, correzione).

2. Metodologia: CrypFormBench (C.F.B)

Gli autori introducono CrypFormBench, un benchmark completo progettato per valutare le capacità degli LLM nell'analisi crittografica formale. La metodologia comprende tre componenti principali:

A. Costruzione del Dataset

Scala e Diversità: Il dataset comprende 700 istanze curate derivate da 4.549 progetti open-source e dataset di strumenti. Queste istanze coprono 677 schemi crittografici distinti (che spaziano dall'autenticazione classica alla moderna MPC, ZK e design post-quantum) e 160 proprietà di sicurezza.
Copertura Linguistica: Copre 7 linguaggi di verifica formale mainstream associati a strumenti quali Scyther (SPDL), Tamarin (SPTHY), AVISPA (HLPSL), ProVerif (PV/HORN), Maude-NPA (MAUDE), CryptoVerif (CV/OCV) ed EasyCrypt (EC).
Modelli Avversari: Il dataset include diversi assunti avversari, dai modelli passivi/attivi Dolev-Yao a modelli estesi (CK, eCK) e minacce specifiche di dominio (ad esempio, l'indovinare la password in ambito IoT).
Controllo Qualità: È stata impiegata una pipeline rigorosa che prevede deduplicazione, controlli di eseguibilità e verifica manuale. Le istanze sono state etichettate come "safe" (nessun attacco noto) o "unsafe" (attacchi noti), con gli output degli strumenti allineati rispetto alle etichette canoniche della letteratura crittografica.

B. Definizione dei Task

Il benchmark valuta cinque capacità fondamentali degli LLM essenziali per una specifica formale utilizzabile dagli strumenti:

Interpretazione: Generazione di commenti a livello di notazione e riassunti globali dello schema partendo da codice formale.
Generazione: Creazione di codice formale completo a partire da descrizioni logiche in linguaggio naturale.
Completamento: Riempimento di frammenti mancanti di specifiche formali parzialmente mascherate.
Trasformazione: Traduzione delle specifiche dello schema da un linguaggio formale all'altro preservandone la semantica.
Correzione: Riparazione di codice che fallisce la compilazione (errori di sintassi) o produce risultati di verifica errati (errori semantici).

C. Pipeline di Valutazione

Verifica Automatizzata: Una pipeline end-to-end integra molteplici strumenti, versioni e comandi di esecuzione per verificare gli output degli LLM. Gestisce comportamenti di chiamata variabili (ad esempio, più backend per AVISPA) e incompatibilità di versione.
Framework di Scoring: Le prestazioni sono misurate tramite un sistema di punteggio pesato che bilancia:
- Eseguibilità (Analizzabilità): Se il codice compila ed è eseguibile.
- Correttezza Funzionale: Se le proprietà di sicurezza verificate corrispondono alla verità di base (SAFE/UNSAFE), misurata tramite Accuratezza ( $ACC_A$ ) e F1 ( $F1_A$ ).
- Similarità: Similarità del codice per i task di completamento e similarità semantica (tramite embedding) per i task di interpretazione.
- Efficienza: Tempo di esecuzione e dimensione del file.

3. Risultati Chiave

Gli autori hanno valutato 9 LLM allo stato dell'arte (tra cui GPT-4o, Claude-3.5-Sonnet-Coder, DeepSeek-Coder e LLaMA4-Instruct).

Prestazioni Complessive: Le prestazioni sono generalmente limitate. Il modello con le migliori prestazioni, Claude-3.5-Sonnet-Coder, ha ottenuto un punteggio complessivo di 48,7 su 100.
Approfondimenti sui Task Specifici:
- Punti di Forza: I modelli performano bene in Interpretazione e Completamento, sfruttando la loro consapevolezza del codice. Ad esempio, DeepSeek-Coder e GPT-4o mostrano un'alta accuratezza nell'interpretare il codice esistente.
- Debolezze: I modelli faticano significativamente con Generazione, Trasformazione e Correzione.
  - Generazione: Anche i migliori modelli ottengono bassi rapporti di analizzabilità (ad esempio, ~15% per Claude-3.5) e faticano con la sintassi/semantica rigorosa in linguaggi complessi come EasyCrypt e Maude.
  - Trasformazione: Questo è il task più difficile. L'interferenza cross-linguaggio e i mismatch semantici portano a una bassissima analizzabilità (spesso <10%), con i modelli che spesso copiano frammenti sorgente incompatibili con gli idiomi del linguaggio di destinazione.
  - Correzione: Sebbene i modelli possano correggere errori di sintassi localizzati (guidati dal compilatore), faticano con le riparazioni semantiche (ad esempio, correggere falsi report di proprietà di sicurezza).
- Variabilità del Linguaggio: Le prestazioni variano drasticamente in base al linguaggio. I modelli performano generalmente meglio con ProVerif (PV) grazie alla sua somiglianza con la sintassi dei mainstream programming, mentre faticano con gli strumenti basati su rewriting come Maude-NPA.
- Strategie di Ottimizzazione:
- Few-Shot Prompting: Migliora significativamente l'analizzabilità per la generazione (dal 6,6% al 24,9% con 3-shot) e la correttezza per la correzione.
- Pass@K: Aumentare il numero di tentativi di generazione ( $K$ ) migliora la probabilità di ottenere un output analizzabile, specialmente per i task difficili, sebbene non garantisca la correttezza semantica.
- Fine-Tuning: Un leggero fine-tuning LoRA su Qwen2.5-Coder-3B ha migliorato le capacità di completamento e correzione, ma ha avuto un impatto minimo su generazione e trasformazione.

4. Significato e Rivendicazioni

Il paper sostiene di fornire il primo benchmark completo che copra congiuntamente la sicurezza simbolica e computazionale per la valutazione degli LLM nell'analisi di schemi crittografici.

Visione Fondata: Gli autori affermano che, sebbene gli LLM siano assistenti promettenti per l'interpretazione e la correzione localizzata, non sono ancora affidabili per l'automazione end-to-end della generazione di schemi formali o della trasformazione cross-linguaggio.
Identificazione del Collo di Bottiglia: La barriera principale non è solo il ragionamento semantico, ma l'eseguibilità — la capacità di produrre codice che soddisfi la stretta sintassi formale e i vincoli specifici degli strumenti senza causare timeout o errori di parsing.
Guida Pratica: Lo studio offre direzioni concrete per migliorare l'analisi assistita da LLM, inclusi l'uso di few-shot prompting, campionamento Pass@K e fine-tuning leggero per mitigare il collo di bottiglia dell'eseguibilità.
Riproducibilità: Il benchmark e il dataset vengono rilasciati per consentire una valutazione sistematica, standardizzata e riproducibile dei futuri modelli in questo dominio.

Gli autori concludono che gli attuali LLM fungono da forti strumenti di "bozza", ma richiedono una validazione human-in-the-loop o workflow di riparazione guidati dagli strumenti per essere praticamente utili per l'analisi crittografica formale.