AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

Technische Samenvatting: AttackonCTF: Verdedigen van Hardware Security Competitie Benchmarks in het Tijdperk van LLM's

Probleemstelling
Hardware security competities, zoals HackTheSilicon, dienen als cruciale benchmarks voor het evalueren van kwetsbaarheidsdetectietools en het trainen van menselijke onderzoekers en AI-modellen. Deze competities maken gebruik van open-source System-on-Chip (SoC) ontwerpen (bijv. OpenTitan) met geïnjecteerde, door de industrie geïnformeerde kwetsbaarheden. Een fundamentele vereiste voor deelname is het indienen van uitgebreide technische rapporten die echte beveiligingsredenering aantonen, in plaats van eenvoudige codevergelijking.

De auteurs identificeren echter een kritieke validiteitsdreiging veroorzaakt door Large Language Models (LLM's). Recente ontwikkelingen maken het mogelijk voor LLM-gebaseerde detectoren om de vereiste van diepgaande beveiligingsanalyse te omzeilen door gebruik te maken van "shortcuts" (snelkoppelingen). In plaats van de kwaadaardige ontwerpen in isolatie te analyseren, maken deze modellen gebruik van Retrieval-Augmented Generation (RAG) om de originele, schone versies van de code op te halen uit publieke repositories, commit-geschiedenissen of Pull Requests. Door een geautomatiseerde "diff" uit te voeren tussen de opgehaalde schone code en de buggy doelcode, kunnen LLM's hoogwaardige beveiligingsrapporten genereren met hoge detectiepercentages (75–83%) zonder dat daar werkelijke hardware-beveiligingsredenering voor nodig is. Dit ondermijnt de educatieve integriteit van de competities en invalideert benchmarks die bedoeld zijn om de redeneervermogens van AI te evalueren.

Methodologie
Het artikel stelt een tweeledige aanpak voor: empirische validatie van de "diff-exploit" hypothese en de ontwikkeling van een nieuw defensiemechanisme.

1. Empirische Validatie van LLM Shortcuts:
   De auteurs ontwierpen vier progressief geavanceerde LLM-gebaseerde kwetsbaarheidsdetectoren (D1–D4) om realistische aanvalsscenario's te simuleren:

• D1 (Diff-Aware): Ontvangt alleen de unified diff tussen de buggy en de schone code.
• D2 (Repository-Aware RAG): Ontvangt de buggy code en haalt relevante context (RTL-code) op uit een repository-index.
• D3 (History-Aware RAG): Breidt D2 uit door de ontwikkelingsgeschiedenis (Pull Requests, commits) op te halen om temporele context te bieden.
• D4 (Weakness-Aware RAG): Augmenteert D2 met hardware security domeinkennis uit de Common Weakness Enumeration (CWE) database.
  Deze detectoren werden getest op niet-geobfusceerde HackTheSilicon benchmarks om een baseline prestatie vast te stellen.

2. Het AttackonCTF Obfuscatie-framework:
   Om deze shortcuts tegen te gaan, introduceren de auteurs het eerste LLM-georiënteerde, semantisch behoudende obfuscatie-framework dat specifiek is afgestemd op hardware security benchmarks. In tegenstelling tot traditionele hardware obfuscatie-tools die ontworpen zijn voor IP-bescherming (die code onleesbaar maken via agressieve identifier-encryptie en lay-out anonimisering), geeft AttackonCTF prioriteit aan menselijke leesbaarheid en educatieve waarde, terwijl het de LLM-gebaseerde syntactische matching verstoort.

Het framework werkt via een pipeline die bestaat uit:

• Constraint Extraction: Het definiëren van formele invarianten (bijv. het behouden van module-interfaces, signaalbreedtes, reset-gedrag en FSM-semantiek) die de LLM moet respecteren tijdens het herschrijven.
• Span Selection: Het identificeren van kwetsbare codegebieden om te transformeren, terwijl beschermde gebieden worden vermeden.
• Code Rewriting: Het gebruik van een LLM om vijf specifieke transformatiestrategieën toe te passen:
  1. Identifier hernoemen met semantisch neutrale alternatieven.
  2. Control-flow herstructurering via equivalente expressies.
  3. Diff-noise injectie: Het introduceren van onschadelijke modificaties om syntactische gelijkenis met het originele referentieontwerp te verstoren.
  4. Context dilution: Het vertroebelen of verspreiden van beveiligingsrelevante aanwijzingen.
  5. Logica herschrijven met behulp van Booleaanse algebra en temporele transformaties.
• Verification: Een rigoureuze loop met behulp van Verilator voor syntaxiscontrole en Yosys voor formele semantische equivalentiecontrole (SAT-gebaseerde bewijzen) om functionele correctheid en semantische equivalentie aan het originele ontwerp te garanderen.

Belangrijkste Bijdragen

• Eerste Empirische Demonstratie: Het artikel levert bewijs dat LLM-gebaseerde kwetsbaarheidsdetectie op hardware benchmarks zwaar leunt op diff-gebaseerde syntactische vergelijking en het ophalen van originele code, waarbij detectiepercentages van 75–83% worden behaald zonder werkelijke beveiligingsredenering.
• Nieuw Obfuscatie-framework: De ontwikkeling van het eerste leesbaarheid-behoudende, LLM-specifieke obfuscatie-framework dat gebruik maakt van diff-noise, context dilution en semantische misleiding.
• Geautomatiseerde Verificatie-pipeline: Een geïntegreerd systeem dat garandeert dat geobfusceerde ontwerpen semantisch equivalent en volledig functioneel blijven, geschikt voor zowel menselijke analyse als AI-training.
• Herstel van Benchmark Integriteit: Een methode om de validiteit van hardware security competities te herstellen door automatisering via diff-exploitatie te voorkomen, terwijl de mogelijkheid voor deelnemers om van de ontwerpen te leren behouden blijft.

Resultaten
Het framework werd geëvalueerd op drie HackTheSilicon benchmarks (Hack@DATE'25, Hack@DAC'25, Hack@CHES'25) gebaseerd op OpenTitan, die 50 unieke kwetsbaarheden bevatten over 27 CWE-categorieën. De detectoren (D1 en D4) werden getest tegen obfuscatieniveaus van 0%, 10%, 50% en 100%.

• Baseline Prestaties: Op niet-geobfusceerde benchmarks behaalde D1 een detectiepercentage van 83,3% en D4 een 77,1%.
• Impact van Obfuscatie:
  • Bij 10% Obfuscatie: De detectie-accuratesse daalde aanzienlijk met 48–55%, ondanks een kleinere daling in het detectiepercentage. Dit geeft aan dat zelfs kleine syntactische wijzigingen het vermogen van de modellen om op diff-gebaseerde patronen te vertrouwen ernstig verstoren, wat leidt tot een piek in fout-positieven.
  • Bij 100% Obfuscatie: Het framework verminderde de LLM-gebaseerde detectie-accuratesse met 78,6% (dalend naar ~15%) en verminderde de detectiepercentages met ongeveer 50% (D1: 83,3% → 54,3%; D4: 77,1% → 48,9%).
• Menselijke Leesbaarheid: In tegenstelling tot traditionele obfuscatie bleven de resulterende ontwerpen interpreteerbaar voor menselijke analisten, waardoor de educatieve waarde van de benchmarks behouden bleef.

Betekenis
Het artikel beweert dat het werk een kritiek gat in hardware security onderzoek aanpakt: de validiteit van benchmarks in het tijdperk van geavanceerde AI. Door aan te tonen dat huidige LLM-gebaseerde "detectie" vaak slechts geautomatiseerd diffing is, betogen de auteurs dat bestaande evaluaties de redeneervermogens van AI mogelijk overschatten. Het voorgestelde AttackonCTF framework biedt een praktische oplossing om de betrouwbaarheid van benchmarks te herstellen. Het stelt de gemeenschap in staat om open-source SoC-ontwerpen te blijven gebruiken voor training en competitie, terwijl het ervoor zorgt dat hoge prestatiecijfers werkelijke beveiligingsredenering weerspiegelen in plaats van de exploitatie van syntactische correlaties met bekende schone code. Dit maakt een nauwkeurigere beoordeling mogelijk van zowel menselijke als AI-capaciteiten in hardware kwetsbaarheidsanalyse.