HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases

Das Paper stellt HDLxGraph vor, ein Framework, das durch die Integration von Abstract Syntax Trees und Data Flow Graphs in Retrieval-Augmented Generation die Lücken bei der Verarbeitung von Hardware-Beschreibungssprachen schließt und gleichzeitig einen neuen Benchmark namens HDLSearch einführt, um die Genauigkeit von Such-, Debugging- und Vervollständigungsaufgaben signifikant zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einen riesigen, alten Schatzkeller voller technischer Baupläne zu durchsuchen. Diese Baupläne sind in einer sehr speziellen, strengen Sprache verfasst, die nur Ingenieure verstehen (Hardware Description Language, kurz HDL). Jetzt haben Sie einen sehr klugen, aber etwas verwirrten Assistenten (eine Künstliche Intelligenz, ein sogenanntes „Large Language Model" oder LLM), der Ihnen helfen soll, die richtigen Pläne zu finden, Fehler zu reparieren oder neue Teile zu entwerfen.

Das Problem: Wenn Sie dem Assistenten eine Frage stellen, sucht er normalerweise nur nach Wörtern, die ähnlich klingen. Das funktioniert gut bei normalen Texten, aber bei diesen technischen Bauplänen führt das oft ins Leere.

Hier kommt HDLxGraph ins Spiel – eine neue Methode, die wie ein intelligenter Landkarten-Generator funktioniert.

Das Problem: Warum der normale Assistent scheitert

Die Forscher haben zwei Hauptprobleme entdeckt, warum normale Suchmaschinen bei diesen Bauplänen versagen:

1. Der Struktur-Fehler (Das Ebenen-Problem):

   • Die Sprache: Wenn Sie etwas beschreiben, tun Sie das flach und linear, wie eine Einkaufsliste: „Ich brauche ein Licht, das an einem Schalter hängt."
   • Der Bauplan: Ein echter Chip-Plan ist wie ein mehrgeschossiges Gebäude. Es gibt das ganze Haus (Modul), die einzelnen Zimmer (Blöcke) und die Steckdosen oder Leitungen darin (Signale).
   • Das Missverständnis: Der normale Assistent sieht nur die Wörter, aber nicht, dass das „Licht" eigentlich in einem ganz bestimmten „Zimmer" des „Hauses" versteckt ist. Er sucht im falschen Stockwerk.

2. Der Wortschatz-Fehler (Die Fachbegriffe):

   • Ingenieure benutzen Begriffe wie „Taktflanke" oder „Register", die im normalen Sprachgebrauch nichts bedeuten. Der Assistent denkt vielleicht, er müsse nach einem „Fluss" suchen, weil das Wort „Fluss" im Text vorkommt, obwohl es eigentlich um einen elektrischen Signalfluss geht. Er versteht die Bedeutung der Wörter nicht.

Die Lösung: HDLxGraph – Der Architekt mit der Lupe

HDLxGraph löst dieses Problem, indem es dem Assistenten nicht nur den Text gibt, sondern eine doppelte Landkarte des gesamten Schatzkellers.

1. Die AST-Karte (Der Bauplan des Gebäudes):
Stellen Sie sich vor, Sie haben einen Architekten, der den gesamten Keller in ein dreidimensionales Modell verwandelt. Er zeigt genau: „Dieses Modul ist das Dach, dieses ist das Erdgeschoss, und diese Leitung führt vom Keller ins Dach."

• Wie es hilft: Wenn Sie fragen: „Wo ist das Licht im Dach?", sucht der Assistent nicht nach dem Wort „Licht" im ganzen Keller, sondern klettert direkt die Treppen des Modells hoch, bis er das richtige Zimmer findet. Er versteht die Hierarchie.

2. Die DFG-Karte (Der Stromfluss):
Stellen Sie sich vor, Sie haben eine Wasserleitungskarte, die zeigt, wie das Wasser (die Daten) durch die Rohre fließt.

• Wie es hilft: Wenn etwas kaputt ist (ein Fehler im Code), kann der Assistent den Fluss rückwärts verfolgen. „Das Wasser kommt hier nicht an. Woher kommt es? Ah, hier ist ein verstopftes Rohr!" Er folgt dem Pfad der Daten, statt nur nach Wörtern zu suchen.

Ein konkretes Beispiel aus dem Papier

Stellen Sie sich vor, ein Computer-Chip (der CVA6-Prozessor) hat einen Fehler: Er lädt Befehle falsch, weil ein „Cache" (ein Zwischenspeicher) nicht richtig geleert wird.

• Der normale Assistent: Sucht nach dem Wort „Cache" und findet eine Datei namens cva6_icache.sv. Er denkt: „Aha, hier ist das Problem!" Aber das ist falsch! Das Problem liegt eigentlich in einer anderen Datei (frontend.sv), die den Prozess steuert. Der Assistent wurde vom Wort „Cache" in die Irre geführt.
• HDLxGraph: Schaut auf die Landkarte. Es sieht: „Okay, der Fehler betrifft das Signal if_ready. Wenn ich dem Stromfluss (DFG) folge, sehe ich, dass dieses Signal eigentlich im frontend-Modul entsteht, nicht im icache-Modul." Er findet den wahren Ursprung des Fehlers.

Was haben die Forscher noch gemacht?

Da es vorher keine guten „Prüfungsfragen" für solche Suchaufgaben gab, haben die Forscher HDLSearch erfunden. Das ist wie ein Trainingslager, in dem sie Tausende von Fragen und Antworten aus echten, riesigen Bauprojekten generiert haben, um den Assistenten zu trainieren.

Das Ergebnis

Als sie HDLxGraph getestet haben, war es deutlich besser als alles, was es vorher gab:

• Suchen: Es findet die richtigen Baupläne viel schneller und genauer (wie ein Detektiv, der die richtigen Spuren findet).
• Fehlersuche: Es repariert Fehler zuverlässiger, weil es versteht, wie die Teile zusammenhängen.
• Erstellen: Es kann neue Teile des Plans entwerfen, die perfekt in das bestehende Gebäude passen.

Zusammenfassung in einem Satz

HDLxGraph verwandelt einen verwirrten KI-Assistenten, der nur nach Wörtern sucht, in einen erfahrenen Bauingenieur, der die Struktur des Gebäudes und den Fluss der Daten versteht, um komplexe technische Probleme in riesigen Bauplänen zu lösen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases" auf Deutsch:

1. Problemstellung

Die Arbeit adressiert die Herausforderungen bei der Nutzung von Large Language Models (LLMs) für Hardware Description Languages (HDL) wie Verilog oder VHDL, insbesondere im Kontext von Retrieval-Augmented Generation (RAG). Obwohl LLMs vielversprechend für Code-Generierung und Debugging sind, stoßen sie bei komplexen, repositoryweiten HDL-Projekten (mit tausenden Zeilen Code) an Grenzen.

Die Autoren identifizieren zwei fundamentale Missverhältnisse („Mismatches") zwischen herkömmlichen, auf semantischer Ähnlichkeit basierenden RAG-Systemen und HDL-Codes:

• Strukturelle Missverhältnisse (Structural Mismatch): Natürlichsprachliche Anfragen sind flach und sequenziell, während HDL-Designs eine strikte hierarchische Struktur aufweisen (Module → Blöcke → Signale). Herkömmliche RAG-Systeme können diese Hierarchie und die notwendigen querschnittlichen Analysen (über mehrere Dateien hinweg) nicht effektiv erfassen.
• Vokabular-Missverhältnisse (Vocabulary Mismatch): HDL-spezifische Terminologien (Operatoren, Schlüsselwörter) unterscheiden sich stark von ihren natürlichen Sprachbeschreibungen. Dies führt dazu, dass semantische Ähnlichkeitssuchen oft fehlschlagen (z. B. wird bei der Suche nach einem „Cache"-Problem fälschlicherweise eine Datei mit dem Wort „Cache" im Namen gefunden, obwohl der Fehler in einem anderen Modul liegt).

2. Methodik: HDLxGraph Framework

Zur Lösung dieser Probleme schlagen die Autoren HDLxGraph vor, das erste Framework, das die inhärenten Graph-Eigenschaften von HDLs mit RAG für LLM-gestützte Aufgaben integriert. Das System besteht aus drei Hauptschritten:

A. Graph-Datenbank-Vorbereitung (Offline)
Anstatt nur Text zu indizieren, wird der HDL-Code in zwei spezialisierte Graph-Datenbanken umgewandelt:

1. Abstract Syntax Trees (ASTs): Erfassen die hierarchische Struktur des Codes. Knoten repräsentieren Module, Blöcke (z. B. always, assign) und Signale. Kanten definieren Beziehungen wie „enthält" oder „instanziiert". Dies löst das strukturelle Missverhältnis.
2. Data Flow Graphs (DFGs): Erfassen den Datenfluss auf Signalebene. Sie modellieren, wie Signale durch Operatoren und Logikblöcke fließen. Dies hilft, das Vokabular-Missverhältnis zu überwinden, indem der tatsächliche Hardware-Datenfluss (Behavioral Modeling) statt nur der Textwörter analysiert wird.
   Die Knoten werden mit Embeddings (generiert durch CodeT5+) angereichert, um semantische Suche zu ermöglichen.

B. Multi-Level Retrieval (Online)
Bei einer Abfrage durchläuft das System einen mehrstufigen Retrieval-Prozess:

1. Query Decomposition: Ein LLM („Decomposer") zerlegt die natürliche Sprachabfrage in strukturelle Ebenen (Modul, Block, Signal).
2. AST-Retrieval: Es werden Top-k-Kandidaten für Module und Blöcke basierend auf semantischer Ähnlichkeit und hierarchischen Einschränkungen (Containment) gesucht.
3. DFG-Retrieval: Für Debugging- und Completion-Aufgaben wird der Datenfluss im DFG durchlaufen, um spezifische Signale zu lokalisieren oder ähnliche Datenflussmuster zu finden, selbst wenn der Code syntaktisch unterschiedlich aussieht.
4. Cross-level Rerank: Die Ergebnisse werden basierend auf der durchschnittlichen Ähnlichkeit der übergeordneten Module/Blöcke neu sortiert, um die präzisesten Treffer zu liefern.

C. HDLSearch Benchmark
Da es an umfassenden Benchmarks für die HDL-Suche fehlte, stellten die Autoren HDLSearch vor. Dieser Datensatz wird automatisiert aus realen, repositoryweiten HDL-Projekten (z. B. von GitHub) generiert. Er enthält abgeleitete Frage-Antwort-Paare auf verschiedenen Abstraktionsebenen (Modul, Block, Signal), um Suchaufgaben realistisch zu simulieren.

3. Schlüsselbeiträge

• HDLxGraph Framework: Das erste RAG-System, das ASTs (für Struktur) und DFGs (für Datenfluss) speziell für HDLs integriert, um die Lücke zwischen natürlicher Sprache und Hardware-Semantik zu schließen.
• Hybride Graph-Retrieval-Strategie: Eine Methode, die flache natürliche Sprache mit der hierarchischen HDL-Struktur abgleicht und Datenflusspfade für präzises Debugging nutzt.
• HDLSearch Benchmark: Der erste Benchmark für HDL-Code-Suche, der auf realen Repository-Daten basiert und durch LLMs generierte Abfragen nutzt.
• Umfassende Evaluation: Demonstration der Adaptierbarkeit auf verschiedene LLM-Größen (von LLaMA-3.1 bis Claude-3.5-Sonnet) und Aufgaben (Suche, Debugging, Completion).

4. Ergebnisse

Die Evaluierung zeigt signifikante Verbesserungen gegenüber State-of-the-Art-Baselines (similarity-based RAG und Software-Code Graph RAG):

• Code-Suche (Search): HDLxGraph verbessert die Mean Reciprocal Rank (MRR) um 12,04 % gegenüber dem besten Ähnlichkeits-basierten RAG und um 11,59 % gegenüber dem Software-Graph-RAG.
• Debugging: Die Genauigkeit bei der Fehlerbehebung steigt um 12,22 % (gegenüber Ähnlichkeits-RAG) und 8,18 % (gegenüber Graph-RAG), gemessen an ROUGE-L F1-Scores.
• Code-Vervollständigung (Completion): Die Pass@1-Rate verbessert sich um 5,04 % (vs. Ähnlichkeits-RAG) und 4,07 % (vs. Graph-RAG).

Eine Ablationsstudie bestätigt, dass die AST-Analyse primär für die Suche und Vervollständigung entscheidend ist, während die DFG-Analyse für das Debugging unverzichtbar ist, da sie den tatsächlichen Signalfluss nachvollzieht.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die reine Text-basierte Analyse für Hardware-Designs unzureichend ist. Durch die Integration von Graph-Strukturen, die die spezifische Hierarchie und den Datenfluss von HDLs abbilden, können LLMs komplexe Hardware-Probleme deutlich effektiver lösen. HDLxGraph legt den Grundstein für intelligentere Agenten im Hardware-Design, die nicht nur Code generieren, sondern auch tiefgreifende Fehler in großen Repositories finden und beheben können. Zukünftige Arbeiten zielen auf adaptive Durchsuchungsmechanismen und die Erweiterung auf multi-View-Repräsentationen ab.