AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

Résumé Technique : AttackonCTF : Défendre les benchmarks de compétition de sécurité matérielle à l'ère des LLM

Énoncé du Problème
Les compétitions de sécurité matérielle, telles que HackTheSilicon, servent de références critiques pour évaluer les outils de détection de vulnérabilités et former les chercheurs humains ainsi que les modèles d'IA. Ces compétitions utilisent des conceptions de systèmes sur puce (SoC) open-source (par exemple, OpenTitan) avec des vulnérabilités injectées basées sur des connaissances industrielles. Une exigence fondamentale pour la participation est la soumission de rapports techniques complets démontrant un véritable raisonnement de sécurité, plutôt qu'une simple comparaison de code.

Cependant, les auteurs identifient une menace de validité critique posée par les modèles de langage de grande taille (LLM). Les progrès récents permettent aux détecteurs basés sur les LLM de contourner l'exigence d'une analyse de sécurité approfondie en exploitant des « raccourcis ». Au lieu de raisonner sur la conception malveillante de manière isolée, ces modèles utilisent la génération augmentée par récupération (RAG) pour extraire les versions originales et propres du code à partir de dépôts publics, d'historiques de commits ou de Pull Requests. En effectuant un « diff » automatisé entre le code propre récupéré et la cible buggée, les LLM peuvent générer des rapports de vulnérabilité de haute qualité avec des taux de détection élevés (75–83 %) sans effectuer de véritable raisonnement de sécurité matérielle. Cela compromet l'intégrité éducative des compétitions et invalide les benchmarks destinés à évaluer les capacités de raisonnement de l'IA.

Méthodologie
Le papier propose une approche à deux volets : une validation empirique de l'hypothèse du « détournement par diff » (diff-exploit) et le développement d'un nouveau mécanisme de défense.

1. Validation Empirique des Raccourcis des LLM :
   Les auteurs ont conçu quatre détecteurs de vulnérabilités basés sur les LLM, de plus en plus sophistiqués (D1–D4), pour simuler des scénarios d'attaque réalistes :

• D1 (Sensible au Diff) : Reçoit uniquement le diff unifié entre le code buggé et le code propre.
• D2 (RAG Sensible au Répertoire) : Reçoit le code buggé et récupère le contexte pertinent (code RTL) à partir d'un index de répertoire.
• D3 (RAG Sensible à l'Historique) : Étend D2 en récupérant l'historique de développement (Pull Requests, commits) pour fournir un contexte temporel.
• D4 (RAG Sensible aux Faiblesses) : Augmente D2 avec des connaissances du domaine de la sécurité matérielle issues de la base de données CWE (Common Weakness Enumeration).
  Ces détecteurs ont été testés sur des benchmarks HackTheSilicon non obscurcis pour établir des performances de référence.

2. Le Cadre d'Obscurcissement AttackonCTF :
   Pour contrer ces raccourcis, les auteurs introduisent le premier cadre d'obscurcissement orienté LLM et préservant la sémantique, adapté aux benchmarks de sécurité matérielle. Contrairement aux outils d'obscurcissement matériel traditionnels conçus pour la protection de la propriété intellectuelle (qui rendent le code illisible via un chiffrement agressif des identifiants et une anonymisation de la structure), AttackonCTF privilégie la lisibilité humaine et la valeur éducative tout en perturbant l'appariement syntaxique des LLM.

Le cadre fonctionne via un pipeline impliquant :

• Extraction de Contraintes : Définir des invariants formels (par exemple, préserver les interfaces de modules, les largeurs de signaux, le comportement de reset et la sémantique FSM) que le LLM doit respecter lors de la réécriture.
• Sélection de Segments (Span Selection) : Identifier les régions de code vulnérables à transformer tout en évitant les zones protégées.
• Réécriture de Code : Utiliser un LLM pour appliquer cinq stratégies de transformation spécifiques :
  1. Renommage d'identifiants avec des alternatives sémantiquement neutres.
  2. Restructuration du flux de contrôle via des expressions équivalentes.
  3. Injection de bruit de diff : Introduire des modifications bénignes pour perturber la similitude syntaxique avec la conception de référence originale.
  4. Dilution de Contexte : Obscurcir ou disperser les indices liés à la sécurité.
  5. Réécriture logique utilisant l'algèbre de Boole et les transformations temporelles.
• Vérification : Une boucle rigoureuse utilisant Verilator pour la vérification syntaxique et Yosys pour la vérification de l'équivalence sémantique formelle (preuves basées sur la satisfaction de contraintes/SAT) afin de garantir la correction fonctionnelle et l'équivalence sémantique avec la conception originale.

Principales Contributions

• Première Démonstration Empirique : Le papier fournit la preuve que la détection de vulnérabilités par LLM sur les benchmarks matériels repose fortement sur la comparaison syntaxique par diff et la récupération du code original, atteignant des taux de détection de 75 à 83 % sans raisonnement de sécurité réel.
• Nouveau Cadre d'Obscurcissement : Le développement du premier cadre d'obscurcissement spécifique aux LLM et préservant la lisibilité, qui utilise le bruit de diff, la dilution de contexte et la mésinformation sémantique.
• Pipeline de Vérification Automatisé : Un système intégré garantissant que les conceptions obscurcies restent sémantiquement équivalentes et pleinement fonctionnelles, adaptées à l'analyse humaine et à l'entraînement de l'IA.
• Restauration de l'Intégrité des Benchmarks : Une méthode pour restaurer la validité des compétitions de sécurité matérielle en empêchant l'exploitation automatisée par diff tout en permettant aux participants d'apprendre des conceptions.

Résultats
Le cadre a été évalué sur trois benchmarks HackTheSilicon (Hack@DATE'25, Hack@DAC'25, Hack@CHES'25) basés sur OpenTitan, contenant 50 vulnérabilités uniques à travers 27 catégories CWE. Les détecteurs (D1 et D4) ont été testés contre des niveaux d'obscurcissement de 0 %, 10 %, 50 % et 100 %.

• Performance de Référence : Sur les benchmarks non obscurcis, D1 a atteint un taux de détection de 83,3 % et D4 a atteint 77,1 %.
• Impact de l'Obscurcissement :
  • À 10 % d'Obscurcissement : La précision de détection a chuté de manière significative de 48 à 55 %, malgré une baisse plus faible du taux de détection. Cela indique que même de légers changements syntaxiques perturbent sévèrement la capacité des modèles à s'appuyer sur des motifs de diff, provoquant une augmentation des faux positifs.
  • À 100 % d'Obscurcissement : Le cadre a réduit la précision de détection des LLM de 78,6 % (tombant à environ 15 %) et a réduit les taux de détection d'environ 50 % (D1 : 83,3 % $\rightarrow$ 54,3 % ; D4 : 77,1 % $\rightarrow$ 48,9 %).
• Lisibilité Humaine : Contrairement à l'obscurcissement traditionnel, les conceptions résultantes sont restées interprétables pour les analystes humains, préservant la valeur éducative des benchmarks.

Signification
Le papier affirme que son travail répond à une lacune critique dans la recherche en sécurité matérielle : la validité des benchmarks à l'ère de l'IA avancée. En démontrant que la « détection » actuelle par les LLM n'est souvent qu'un diff automatisé, les auteurs soutiennent que les évaluations existantes peuvent surestimer les capacités de raisonnement de l'IA. Le cadre AttackonCTF proposé offre une solution pratique pour restaurer la fiabilité des benchmarks. Il permet à la communauté de continuer à utiliser des conceptions SoC open-source pour l'entraînement et les compétitions tout en garantissant que les performances élevées reflètent un véritable raisonnement de sécurité plutôt que l'exploitation de corrélations syntaxiques avec le code propre connu. Cela permet une évaluation plus précise des capacités humaines et de l'IA dans l'analyse des vulnérabilités matérielles.