HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases

Dit paper introduceert HDLxGraph, een nieuw framework dat Large Language Models koppelt aan HDL-repositories via grafische databases en Abstract Syntax Trees om de beperkingen van traditionele RAG-systemen bij complexe hardware-beschrijvingsopdrachten te overwinnen, ondersteund door een nieuw benchmark-dataset genaamd HDLSearch.

De kern

Stel je voor dat je een enorme, complexe fabriek hebt vol met machines, schakelaars en draden. Dit is een HDL-project (Hardware Description Language), de taal die ingenieurs gebruiken om computerchips te ontwerpen. Nu heb je een superintelligente robot-assistent (een LLM of "Groot Taalmodel") die je kan helpen bij het bouwen of repareren van deze fabriek.

Het probleem is echter: als je de robot vraagt, "Waar zit de schakelaar die de lichten aan doet?", raakt de robot in de war. Waarom? Omdat de robot gewend is om te zoeken in gewone tekst (zoals een boek), maar de fabriek werkt volgens een heel ander systeem.

Deze paper introduceert HDLxGraph, een slimme manier om de robot en de fabriek met elkaar te laten praten. Hier is de uitleg in simpele taal:

1. Het Probleem: De Verkeerde Kaart

Stel je voor dat je een zoekmachine gebruikt om een boek te vinden. Normaal gesproken zoekt de machine op woorden (bijv. "licht" en "schakelaar").

• Structuur-probleem: Een chip is geen plat boek; het is een labyrint. Er zijn grote kamers (modules), daarbinnen zijn gangen (blokken), en daarin zitten de schakelaars (signalen). Gewone zoekmachines kijken niet naar dit labyrint; ze kijken alleen naar de woorden op de pagina. Ze vinden dus vaak de verkeerde kamer omdat het woord "licht" ook in een andere kamer voorkomt.
• Woorden-probleem: Ingenieurs gebruiken speciale vaktermen (zoals "clock", "reset", "fence") die voor een gewone robot als onzin klinken. De robot denkt dat het over een echte omheining gaat, niet over een elektronisch signaal.

2. De Oplossing: HDLxGraph (De Slimme Gids)

De auteurs van dit paper hebben een nieuwe methode bedacht die twee dingen doet:

1. De Bouwtekening (AST): Ze maken een digitale bouwtekening van de hele fabriek. Deze tekening laat zien welke kamer in welke zit, en welke schakelaar bij welke hoort. Dit lost het structuur-probleem op.
2. De Stroomlijn (DFG): Ze tekenen ook een stroomlijn van de elektriciteit. Waar gaat het signaal naartoe? Als je op schakelaar A drukt, gaat het licht dan aan bij B of bij C? Dit lost het woorden-probleem op, want de robot kijkt nu naar hoe de machine werkt, niet alleen naar wat er geschreven staat.

De Analogie:
Stel je voor dat je op zoek bent naar een lekkende kraan in een groot hotel.

• De oude robot (gewone zoekmachine): Zoekt naar het woord "kraan" in alle kamers. Hij vindt 100 kamers met het woord "kraan" in de beschrijving, maar weet niet welke kraan daadwerkelijk lekt.
• De HDLxGraph-robot: Kijkt eerst naar het plattegrond (AST) om te zien welke kamer boven de badkamer ligt. Dan kijkt hij naar de waterleidingen (DFG) om te zien welke kraan verbonden is met de lekkage. Hij vindt de lekkende kraan in één keer, zonder alle andere kamers te hoeven bezoeken.

3. Wat hebben ze gedaan?

• HDLxGraph: Dit is het nieuwe systeem dat de robot uitlegt hoe hij naar de bouwtekening en de stroomlijn moet kijken in plaats van alleen te lezen.
• HDLSearch: Omdat er geen goede "proefvragen" waren om te testen of dit werkt, hebben ze zelf een nieuwe testbank gemaakt. Ze hebben echte fabrieken (open source chip-projecten) gebruikt om vragen te genereren, zodat ze konden meten of de robot het beter doet dan voorheen.

4. De Resultaten: Het Werkt!

Toen ze het systeem testten op drie taken:

1. Zoeken: Het vinden van de juiste code.
2. Debuggen: Het vinden en repareren van fouten.
3. Aanvullen: Het schrijven van de ontbrekende stukjes code.

...bleek dat HDLxGraph beduidend beter was dan de beste bestaande methoden.

• Het vond fouten 12% sneller en accurater.
• Het repareren van code ging 8% beter.
• Het aanvullen van code was 5% beter.

Conclusie

Kortom: HDLxGraph is als het geven van een 3D-kaart en een stroomdiagram aan een robot die gewend is om alleen in een platte tekst te zoeken. Hierdoor kan de robot eindelijk begrijpen hoe een computerchip echt werkt, waardoor hij veel beter helpt bij het bouwen en repareren van de chips van de toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases" in het Nederlands.

Probleemstelling

Hoewel Large Language Models (LLM's) succesvol worden ingezet voor softwareontwikkeling, blijven ze beperkt in hun prestaties bij Hardware Description Languages (HDL's) zoals Verilog. De huidige benaderingen, met name Retrieval-Augmented Generation (RAG) gebaseerd op semantische gelijkenis, ondervinden twee fundamentele mismatches wanneer ze worden toegepast op HDL-repositories:

1. Structuurmismatch: Natuurlijke taal is plat en lineair, terwijl HDL-ontwerpen hiërarchisch zijn (modules, blokken, signalen). Conventionele RAG-systemen kunnen deze multi-niveau structuur niet goed begrijpen, wat leidt tot onnauwkeurige zoekresultaten in grote repositories met tienduizenden regels code.
2. Woordenschatmismatch: HDL bevat domeinspecifieke terminologie (operatoren, keywords) die vaak afwijkt van de natuurlijke taalbeschrijvingen. Dit maakt het moeilijk voor modellen om de semantiek van de code correct te koppelen aan de query.

Bovendien ontbreekt er een uitgebreide benchmark voor het zoeken in HDL-code op repository-niveau, wat de evaluatie van nieuwe methoden bemoeilijkt.

Methodologie: HDLxGraph

De auteurs stellen HDLxGraph voor, het eerste framework dat de inherente grafische eigenschappen van HDL's integreert met RAG voor LLM-ondersteunde taken. Het framework bestaat uit drie hoofdstappen:

1. Voorbereiding van de Grafische Database:

   • In plaats van alleen tekstuele embedding, worden twee specifieke grafen gegenereerd uit de HDL-repository:
     • Abstract Syntax Tree (AST): Dit vat de hiërarchische structuur samen (modules $\rightarrow$ blokken $\rightarrow$ signalen). Het lost het structuurprobleem op door de relatie tussen entiteiten expliciet te maken.
     • Data Flow Graph (DFG): Dit vat de signaalniveau-verbindingen en datastromen binnen het hardwareontwerp samen. Het lost het woordenschatprobleem op door te focussen op hoe signalen met elkaar interageren, ongeacht de specifieke keywords.
   • De database wordt opgebouwd met nodes (MODULE, BLOCK, SIGNAL, TEMP) en edges (CONTAINS, INSTANTIATE, FLOWS_TO, etc.), aangevuld met code-embeddings (via CodeT5+) voor semantische zoekopdrachten.

2. Meervoudig Niveau Retrieval (Multi-level Retrieval):

   • Query Decompositie: Een LLM (de "Decomposer") splitst de natuurlijke taalquery op in hiërarchische niveaus (module, blok, signaal).
   • AST Retrieval: Voor zoekopdrachten wordt eerst gezocht op module- en blokniveau, waarna de resultaten worden gefilterd op basis van de containment-relaties.
   • DFG Retrieval: Voor debugging en code-aanvulling wordt de DFG gebruikt. Bij debugging wordt er stroomopwaarts getraceerd vanaf een foutsignaal om de bron van het probleem te vinden. Bij aanvulling wordt gezocht naar vergelijkbare dataflowpatronen, zelfs als de code syntactisch verschilt.
   • Cross-level Rerank: De resultaten worden gerangschikt door de gemiddelde gelijkenis van de module-blokparen die een bepaald signaal bevatten, om de meest relevante code te selecteren.

3. Downstream Taken: Het framework ondersteunt code zoeken, debugging en code aanvulling door de gerecupereerde snippets te fusioneren met de LLM.

Nieuwe Benchmark: HDLSearch

Om het gebrek aan geschikte datasets op te vullen, introduceren de auteurs HDLSearch. Dit is een automatisch gegenereerde dataset afgeleid van echte, repository-level HDL-projecten (zoals CVA6 en mor1kx). Het proces omvat:

• Handmatig filteren van repositories.
• Generatie van queries via een hiërarchisch framework (van signaal- tot module-niveau).
• Iteratieve verfijning om de queries te maken die representatief zijn voor real-world problemen, maar waarbij specifieke namen zijn verwijderd om de zoekopdracht uitdagender te maken.

Resultaten

HDLxGraph is geëvalueerd tegen state-of-the-art (SOTA) baselines, waaronder semantische RAG (BM25, CodeT5+), software-georiënteerde Graph RAG, en directe LLM-completie. De tests zijn uitgevoerd op drie LLM's van verschillende groottes (Claude-3.5, Qwen2.5, LLaMA-3.1).

• Code Zoeken: HDLxGraph verbeterde de Mean Reciprocal Rank (MRR) met 12,04% ten opzichte van semantische RAG en 11,59% ten opzichte van software Graph RAG.
• Debugging: Er werd een verbetering van 12,22% (tegenover semantische RAG) en 8,18% (tegenover software Graph RAG) bereikt in ROUGE-scores.
• Code Aanvulling: De Pass@1 nauwkeurigheid steeg met 5,04% (tegenover semantische RAG) en 4,07% (tegenover software Graph RAG).

Ablatie-studie: De studie toont aan dat AST-analyse cruciaal is voor zoeken en aanvullen (vanwege de structuur), terwijl DFG-analyse essentieel is voor debugging (vanwege het volgen van datastromen). Het combineren van beide levert de beste prestaties op.

Betekenis en Conclusie

HDLxGraph is een doorbraak omdat het voor het eerst de brug slaat tussen de complexe, hiërarchische aard van hardwareontwerp en de kracht van LLM's. Door de specifieke grafische structuren van HDL (AST en DFG) te integreren, overkomt het framework de beperkingen van traditionele tekstuele zoekmethoden.

De belangrijkste bijdragen zijn:

1. Het introduceren van het eerste RAG-framework dat HDL-specifieke grafen gebruikt.
2. Het oplossen van de fundamentele mismatches tussen natuurlijke taal en hardwarecode.
3. Het creëren van HDLSearch, de eerste benchmark voor HDL-zoekopdrachten op repository-niveau.
4. Het bewijzen dat structuur- en dataflow-bewustzijn essentieel zijn voor het verbeteren van LLM-prestaties in hardware-ontwerp, wat leidt tot significant nauwkeurigere zoekresultaten, debugging en code-generatie.

Dit werk legt de basis voor toekomstige adaptieve traversal-mechanismen en multi-view representaties om de kloof tussen natuurlijke taal en circuitsignalen verder te dichten.