SecureRAG-RTL: A Retrieval-Augmented, Multi-Agent, Zero-Shot LLM-Driven Framework for Hardware Vulnerability Detection

Die Arbeit stellt SecureRAG-RTL vor, ein auf Retrieval-Augmented Generation basierendes Multi-Agent-Framework, das die Genauigkeit der Erkennung von Hardware-Schwachstellen in HDL-Entwürfen durch den Abgleich mit domänenspezifischem Wissen um durchschnittlich 30 % verbessert und dabei einen neuen Benchmark-Datensatz bereitstellt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas verwirrten Assistenten. Dieser Assistent ist ein Künstlicher Intelligenz-Modell (LLM), das Millionen von Büchern gelesen hat. Es kann hervorragend Code schreiben und Fehler in Software finden – aber es hat ein riesiges Problem: Es kennt sich mit Hardware-Designs (den Bauplänen für Computerchips) kaum aus.

Warum? Weil die meisten Bücher, die es gelesen hat, über Python oder Java geschrieben sind. Hardware-Sprachen wie Verilog sind darin so selten wie ein Einhorn in einem Wald. Wenn Sie diesen Assistenten bitten, einen Sicherheitsfehler in einem Chip-Design zu finden, rät er oft nur herum oder übersieht die Gefahr komplett.

Hier kommt das Team aus dem Papier ins Spiel mit ihrer neuen Erfindung: SecureRAG-RTL.

Die Lösung: Der "Experten-Ratgeber"

Stellen Sie sich SecureRAG-RTL nicht als einen einzelnen Super-Helden vor, sondern als ein gut organisiertes Team mit einer riesigen Bibliothek.

Das System funktioniert in zwei Schritten, ähnlich wie ein Detektiv, der einen Fall löst:

1. Die Bibliothek (Der "RAG"-Teil)

Bevor der Assistent überhaupt anfängt zu arbeiten, holt er sich Hilfe aus einer speziellen Datenbank.

• Das Problem: Der Assistent weiß nicht, was ein "JTAG-Angriff" oder ein "Side-Channel-Leak" ist.
• Die Lösung: Das Team hat eine Bibliothek mit allen bekannten Sicherheitsfehlern in Hardware (genannt CWEs) vorbereitet. Aber sie haben diese trockenen technischen Beschreibungen nicht einfach hineingeworfen. Sie haben sie von einem sehr klugen KI-Modell zusammenfassen und mit Beispielen versehen lassen.
• Die Analogie: Stellen Sie sich vor, Sie geben Ihrem Assistenten nicht nur ein dickes Lexikon, sondern eine zusammengefasste Checkliste mit Bildern, die genau erklärt: "Achtung! Wenn du diese Schaltung siehst, könnte hier ein Dieb durchkommen."

2. Der Detektiv (Der "Multi-Agent"-Teil)

Jetzt geht es an die Arbeit. Das System nutzt verschiedene KI-Agenten, die wie ein Team von Spezialisten zusammenarbeiten:

• Der Übersetzer: Ein Agent liest den komplexen Hardware-Code und fasst ihn in einfachen Worten zusammen. "Das hier ist eine Tür, die nur mit einem Schlüssel öffnet."
• Der Sucher: Ein anderer Agent durchsucht die Bibliothek (die Checkliste) und sucht nach den passenden Warnhinweisen für genau diese Tür.
• Der Experte: Der eigentliche Assistent (das KI-Modell) bekommt nun den Code, die Zusammenfassung und die passenden Warnhinweise aus der Bibliothek. Er wird gefragt: "Schau dir diese Tür an. Steht hier etwas in der Checkliste, das darauf hindeutet, dass sie unsicher ist?"

Warum ist das so genial?

Das Papier zeigt etwas Überraschendes: Man braucht keinen riesigen, teuren Super-Computer, um gute Ergebnisse zu erzielen.

• Vorher: Kleine KI-Modelle (die auf normalen Laptops laufen könnten) waren bei der Suche nach Hardware-Fehlern fast nutzlos. Sie erkannten nur etwa 7 % der Fehler. Sie waren wie ein Kind, das versucht, einen komplexen Schraubstock zu reparieren, ohne Werkzeug.
• Nachher: Mit SecureRAG-RTL (dem Werkzeugkasten und der Anleitung) wurden diese kleinen Modelle plötzlich zu Experten. Sie erkannten plötzlich über 60 % der Fehler!

Die Metapher:
Stellen Sie sich vor, Sie haben einen kleinen, schlauen Hund (die kleine KI). Ohne Training findet er keine Spur. Aber wenn Sie ihm eine Geruchs-Mappe (die RAG-Datenbank) geben, die genau beschreibt, wie ein Dieb riecht, und ihm sagen: "Suche nach diesem Geruch!", dann wird aus dem kleinen Hund ein Meister-Detective.

Das Ergebnis in der Praxis

Die Forscher haben 18 verschiedene KI-Modelle getestet – von kleinen, schnellen Modellen bis hin zu den größten, teuersten Super-KIs.

• Das Fazit: Die kleinen Modelle profitierten am meisten. Sie holten auf und kamen fast an die Leistung der riesigen Super-KIs heran.
• Der Gewinn: Das bedeutet, dass Firmen, die keine Millionen für Super-Computer ausgeben können, trotzdem ihre Chip-Designs sicher überprüfen können. Sie können einen kleinen, günstigen KI-Assistenten nehmen und ihm einfach die "Bibliothek der Sicherheit" zur Seite stellen.

Zusammengefasst:
SecureRAG-RTL ist wie ein Übersetzer und Nachhilfelehrer in einem. Es nimmt die Lücken im Wissen der KI (dass sie Hardware nicht kennt) und füllt sie mit genau dem Wissen, das gerade benötigt wird. So wird aus einem durchschnittlichen KI-Assistenten ein hochqualifizierter Hardware-Sicherheitsexperte – und das ohne, dass man das KI-Modell selbst mühsam neu trainieren muss.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SecureRAG-RTL" auf Deutsch:

Titel: SecureRAG-RTL: Ein Retrieval-Augmented, Multi-Agent, Zero-Shot LLM-getriebenes Framework zur Erkennung von Hardware-Schwachstellen

1. Problemstellung

Die Sicherheit von Hardware-Designs, insbesondere bei komplexen Third-Party-IPs (Intellectual Properties), ist aufgrund des Mangels an öffentlich verfügbaren Datensätzen für Hardware-Beschreibungssprachen (HDL) wie Verilog oder VHDL schwer zu gewährleisten.

• Wissenslücke: Große Sprachmodelle (LLMs) sind zwar in der Software-Sicherheit (Python, C, Java) sehr leistungsfähig, zeigen jedoch bei HDL-Designs erhebliche Schwächen. Dies liegt daran, dass ihre Trainingsdaten (z. B. GitHub) HDL kaum abdecken.
• Limitierungen bestehender Ansätze:
  • Zero-Shot-Prompts: Selbst fortschrittliche Modelle (z. B. GPT-4o, Gemini) erkennen nur einen Bruchteil der Schwachstellen in HDL-Codes (in den Experimenten nur 7 von 14 Fällen).
  • Fine-Tuning: Das Anpassen von LLMs auf HDL-Daten ist rechenintensiv, teuer und für ressourcenbeschränkte Umgebungen oder proprietäre Designs oft unpraktisch.
  • Halluzinationen: Ohne domänenspezifischen Kontext neigen LLMs dazu, falsche Sicherheitsbewertungen abzugeben.

2. Methodik: SecureRAG-RTL Framework

Das vorgeschlagene Framework nutzt Retrieval-Augmented Generation (RAG) in Kombination mit einem Multi-Agenten-System, um die Leistung von LLMs bei der Schwachstellenerkennung ohne Fine-Tuning zu steigern. Der Prozess läuft in zwei Hauptphasen ab:

Phase 1: Retrieval-Phase (Wissensabruf)

• Ziel: Relevante Common Weakness Enumerations (CWEs) aus einer externen Datenbank basierend auf dem Eingabe-HDL-Design zu finden.
• Prozess:
  1. Zusammenfassung & Signatur: Ein „Summarizer Agent" (ein leistungsstarkes LLM) erstellt eine technische Zusammenfassung des RTL-Codes (Designabsicht, FSM-Struktur). Parallel dazu extrahiert ein Parser Hardware-Signaturen (Keywords wie JTAG, Key, UART).
  2. CWE-Datenbank: Eine vorgefertigte Datenbank enthält 50 hardware-spezifische CWEs. Jeder Eintrag ist angereichert mit: ID, Titel, Beschreibung, LLM-generierten Keywords, vulnerablen und sicheren Code-Snippets sowie einer Zusammenfassung.
  3. Hybride Suche: Die Embeddings der RTL-Zusammenfassung und der Signaturen werden gewichtet (70% Zusammenfassung, 30% Signaturen) und mittels kosinischer Ähnlichkeit mit den CWE-Embeddings verglichen.
  4. Ergebnis: Die Top-k (z. B. Top-10) relevantesten CWEs werden für die nächste Phase ausgewählt.

Phase 2: Detection-Phase (Erkennung)

• Ziel: Überprüfung des RTL-Codes auf die identifizierten CWEs.
• Prozess: Ein „Detection Agent" erhält einen strukturierten Prompt, der ihn als Hardware-Sicherheitsexperten positioniert. Er erhält:
  • Den originalen RTL-Code.
  • Die technische Zusammenfassung.
  • Die Details der Top-k CWEs (inkl. Beispiele für vulnerable/sicheren Code).
• Logik: Der Agent analysiert iterativ, ob der Code das Verhalten der jeweiligen CWE aufweist.
  • Falls ja: Er extrahiert das anfällige Code-Snippet und liefert eine Begründung.
  • Falls nein: Er bestätigt die Abwesenheit der Schwachstelle.
• Besonderheit: Das Framework ist so konzipiert, dass auch kleine Modelle (3–4 Mrd. Parameter) durch den Kontext der großen Modelle in der Retrieval-Phase effektiv arbeiten können.

3. Wichtige Beiträge

1. SecureRAG-RTL Framework: Ein neuartiger, Multi-Agenten-Workflow für Zero-Shot-Schwachstellenerkennung in HDL, der kein Fine-Tuning erfordert.
2. Strukturierte RAG-Pipeline: Integration von strukturiertem CWE-Wissen durch semantische Suche, RTL-Signatur-Extraktion und LLM-gestützte Zusammenfassung, was die Präzision der Suche drastisch erhöht.
3. Benchmark-Dataset: Erstellung und Annotation eines neuen Datensatzes mit 14 HDL-Designs, die reale Sicherheitslücken enthalten (basierend auf Hack@DAC'21 und injizierten Fehlern), der öffentlich verfügbar gemacht wird.
4. Skalierbarkeit: Demonstration, dass das Framework effizient mit ressourcenarmen, kleinen Modellen funktioniert, was für industrielle Anwendungen mit proprietären Daten entscheidend ist.

4. Ergebnisse

Die Evaluation umfasste 18 verschiedene LLMs (Open-Source und proprietär, von 1,5B bis zu Frontier-Modellen):

• Genauigkeitssteigerung: Im Durchschnitt erhöhte SecureRAG-RTL die Erkennungsgenauigkeit um ca. 30–40 %.
  • Kleine Modelle (<4B): Steigerung von ca. 14 % auf über 40 % (z. B. Gemma 3 4B: von 21 % auf 64 %).
  • Mittlere Modelle (7–11B): Steigerung von ca. 30 % auf über 50 %.
  • State-of-the-Art (SoTA): Auch führende Modelle wie Gemini 2.5 Pro und GPT-5 erreichten mit RAG 100 % Erkennungsrate (alle 14 Schwachstellen), während sie ohne RAG nur bei ca. 50–57 % lagen.
• Qualität der Extraktion (ROUGE-L): Die Genauigkeit, mit der die Modelle die vulnerablen Code-Snippets extrahierten, verbesserte sich signifikant. Kleine Modelle konnten durch RAG Snippets präziser lokalisieren als zuvor.
• Inverse Korrelation zur Modellgröße: Der relative Gewinn durch RAG war bei kleineren Modellen am größten. Dies zeigt, dass RAG als „Wissensverstärker" fungiert, der die Lücke in der Hardware-Expertise schließt.

5. Bedeutung und Ausblick

SecureRAG-RTL adressiert eine kritische Lücke in der Hardware-Sicherheitsverifikation.

• Ressourceneffizienz: Es ermöglicht den Einsatz kostengünstiger, kleiner LLMs in Sicherheitspipelines, indem sie durch einen einmaligen Abruf von Wissen (via RAG) auf das Niveau größerer Modelle gehoben werden.
• Datenschutz: Da keine Fine-Tuning-Daten benötigt werden und das Framework lokal oder mit begrenzten API-Aufrufen betrieben werden kann, ist es ideal für den Einsatz mit proprietärem IP-Schutz.
• Zukunft: Das Framework bietet einen skalierbaren Weg, um Hardware-Sicherheitsverifikation zu automatisieren und die Abhängigkeit von teuren, manuellen Expertenprüfungen zu verringern. Die Veröffentlichung des Datensatzes fördert zudem die weitere Forschung in diesem Bereich.