AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

Sintesi Tecnica: AttackonCTF: Difendere i Benchmark delle Competizioni di Sicurezza Hardware nell'Era degli LLM

Problematica
Le competizioni di sicurezza hardware, come HackTheSilicon, fungono da benchmark critici per valutare gli strumenti di rilevamento delle vulnerabilità e per l'addestramento di ricercatori umani e modelli di IA. Queste competizioni utilizzano progetti di System-on-Chip (SoC) open-source (ad es. OpenTitan) con vulnerabilità iniettate basate su standard industriali. Un requisito fondamentale per la partecipazione è la presentazione di report tecnici completi che dimostrino un reale ragionamento sulla sicurezza, piuttosto che un semplice confronto del codice.

Tuttavia, gli autori identificano una minaccia alla validità causata dai Large Language Models (LLM). I recenti progressi consentono ai rilevatori basati su LLM di aggirare il requisito di un'analisi profonda della sicurezza sfruttando delle "scorciatoie". Invece di ragionare sul design malevolo in isolamento, questi modelli utilizzano la Generative Retrieval-Augmented Generation (RAG) per recuperare le versioni originali e pulite del codice da repository pubblici, cronologie di commit o Pull Request. Eseguendo un "diff" automatizzato tra il codice pulito recuperato e il target buggato, gli LLM possono generare report sulle vulnerabilità di alta qualità con tassi di rilevamento elevati (75–83%) senza compiere un vero ragionamento sulla sicurezza hardware. Ciò mina l'integrità educativa delle competizioni e invalida i benchmark destinati a valutare le capacità di ragionamento dell'IA.

Metodologia
Il documento propone un approccio a due fronti: la validazione empirica dell'ipotesi del "diff-exploit" e lo sviluppo di un nuovo meccanismo di difesa.

1. Validazione Empirica degli Shortcut degli LLM:
   Gli autori hanno progettato quattro rilevatori di vulnerabilità basati su LLM progressivamente più sofisticati (D1–D4) per simulare scenari di attacco realistici:

• D1 (Diff-Aware): Riceve solo il unified diff tra il codice buggato e quello pulito.
• D2 (Repository-Aware RAG): Riceve il codice buggato e recupera il contesto rilevante (codice RTL) da un indice di repository.
• D3 (History-Aware RAG): Estende D2 recuperando la cronologia dello sviluppo (Pull Requests, commit) per fornire un contesto temporale.
• D4 (Weakness-Aware RAG): Augmenta D2 con la conoscenza del dominio della sicurezza hardware derivata dal database Common Weakness Enumeration (CWE).
  Questi rilevatori sono stati testati su benchmark HackTheSilicon non offuscati per stabilire le prestazioni di base.

2. Il Framework di Offuscamento AttackonCTF:
   Per contrastare queste scorciatoie, gli autori introducono il primo framework di offuscamento orientato agli LLM e preservante la semantica, progettato appositamente per i benchmark di sicurezza hardware. A differenza dei tradizionali strumenti di offuscamento hardware destinati alla protezione della proprietà intellettuale (IP) (che rendono il codice illeggibile tramite crittografia aggressiva degli identificatori e anonimizzazione del layout), AttackonCTF privilegia la leggibilità umana e il valore educativo, interrompendo al contempo il matching sintattico degli LLM.

Il framework opera attraverso una pipeline che coinvolge:

• Estrazione dei Vincoli: Definizione di invarianti formali (ad es. preservazione delle interfacce dei moduli, larghezze dei segnali, comportamento di reset e semantica FSM) che l'LLM deve rispettare durante la riscrittura.
• Selezione degli Spazi (Span Selection): Identificazione delle regioni di codice vulnerabili da trasformare evitando le aree protette.
• Riscrittura del Codice: Utilizzo di un LLM per applicare cinque specifiche strategie di trasformazione:
  1. Rinomina degli identificatori con alternative semanticamente neutre.
  2. Ristrutturazione del flusso di controllo tramite espressioni equivalenti.
  3. Iniezione di rumore nel diff (Diff-noise injection): Introduzione di modifiche benigne per interrompere la somiglianza sintattica con il design di riferimento originale.
  4. Diluizione del contesto (Context dilution): Occultamento o dispersione dei segnali rilevanti per la sicurezza.
  5. Riscrittura logica utilizzando l'algebra booleana e trasformazioni temporali.
• Verifica: Un ciclo rigoroso che utilizza Verilator per il controllo della sintassi e Yosys per la verifica formale dell'equivalenza semantica (prove basate su SAT) per garantire la correttezza funzionale e l'equivalenza semantica rispetto al design originale.

Contributi Chiave

• Prima Dimostrazione Empirica: Il documento fornisce prove che il rilevamento delle vulnerabilità tramite LLM sui benchmark hardware si basa pesantemente sul confronto sintattico basato su diff e sul recupero del codice originale, raggiungendo tassi di rilevamento del 75–83% senza un vero ragionamento sulla sicurezza.
• Nuovo Framework di Offuscamento: Lo sviluppo del primo framework di offuscamento specifico per gli LLM che preserva la leggibilità, impiegando rumore nel diff, diluizione del contesto e misdirezione semantica.
• Pipeline di Verifica Automatizzata: Un sistema integrato che garantisce che i design offuscati rimangano semanticamente equivalenti e pienamente funzionali, adatti sia all'analisi umana che all'addestramento dell'IA.
• Ripristino dell'Integrità dei Benchmark: Un metodo per ripristinare la validità delle competizioni di sicurezza hardware impedendo l'automatizzazione del diff-exploitation, pur mantenendo la capacità dei partecipanti di apprendere dai design.

Risultati
Il framework è stato valutato su tre benchmark HackTheSilicon (Hack@DATE'25, Hack@DAC'25, Hack@CHES'25) basati su OpenTitan, contenenti 50 vulnerabilità uniche in 27 categorie CWE. I rilevatori (D1 e D4) sono stati testati contro livelli di offuscamento dello 0%, 10%, 50% e 100%.

• Prestazioni di Base: Sui benchmark non offuscati, D1 ha raggiunto un tasso di rilevamento dell'83,3% e D4 del 77,1%.
• Impatto dell'Offuscamento:
  • Al 10% di Offuscamento: L'accuratezza del rilevamento è scesa significativamente del 48–55%, nonostante un calo minore nel tasso di rilevamento. Ciò indica che anche piccole modifiche sintattiche interrompono severamente la capacità dei modelli di fare affidamento su pattern basati sul diff, causando un picco di falsi positivi.
  • Al 100% di Offuscamento: Il framework ha ridotto l'accuratezza del rilevamento degli LLM del 78,6% (scendendo a circa il 15%) e ha ridotto i tassi di rilevamento di circa il 50% (D1: 83,3% → 54,3%; D4: 77,1% → 48,9%).
• Leggibilità Umana: A differenza dell'offuscamento tradizionale, i design risultanti sono rimasti interpretabili per gli analisti umani, preservando il valore educativo dei benchmark.

Significatività
Il documento sostiene che il proprio lavoro affronti una lacuna critica nella ricerca sulla sicurezza hardware: la validità dei benchmark nell'era dell'IA avanzata. Dimostrando che l'attuale "rilevamento" degli LLM è spesso un semplice diff automatizzato, gli autori sostengono che le attuali valutazioni possano sopravvalutare le capacità di ragionamento dell'IA. Il framework AttackonCTF proposto offre una soluzione pratica per ripristinare l'affidabilità dei benchmark. Permette alla comunità di continuare a utilizzare design SoC open-source per l'addestramento e le competizioni, assicurando al contempo che le alte metriche di prestazione riflettano un reale ragionamento sulla sicurezza piuttosto che lo sfruttamento di correlazioni sintattiche con il codice pulito noto. Ciò consente una valutazione più accurata delle capacità, sia umane che dell'IA, nell'analisi delle vulnerabilità hardware.