OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

Technische Samenvatting: OPENRTLSET

Probleemstelling
De toepassing van Large Language Models (LLM's) op hardwareontwerp, specifiek de generatie van Verilog-code vanuit hoogwaardige specificaties, wordt momenteel gehinderd door een kritiek tekort aan grootschalige, hoogwaardige en volledig open-source trainingsdatasets. In tegenstelling tot softwaredomeinen, waar overvloedige open-source repositories bestaan, is Verilog-code vaak beperkt binnen propriëtaire industriële domeinen of ontbreekt de transparantie die nodig is voor reproduceerbaar onderzoek. Bestaande datasets, zoals MG-Verilog of PyraNet, lijden ofwel aan een beperkte schaal, restrictieve licenties die commercieel gebruik verhinderen, of een gebrek aan gestandaardiseerde, hoogwaardige natuurlijke taalkoppelingen. Deze kloof belemmert de ontwikkeling van domeinspecifieke modellen die in staat zijn om syntactisch en functioneel correcte hardwareontwerpen te genereren voor zowel academische als commerciële toepassingen.

Methodologie
De auteurs introduceren OPENRTLSET, een uitgebreide end-to-end workflow voor het construeren van een volledig open-source dataset van meer dan 131.000 diverse Verilog-modules. De methodologie bestaat uit drie primaire stadia:

1. Dataverzameling en Curatie:

   • Bronnen: De dataset aggregeert code uit drie verschillende bronnen: GitHub-repositories met native Verilog/SystemVerilog (ongeveer 102k modules), VHDL-repositories geconverteerd naar Verilog (ongeveer 5k modules), en synthetiseerbare C/C++-repositories geconverteerd via High-Level Synthesis (HLS) tools (ongeveer 24k modules).
   • Licentiëring: Een rigoureus filterproces zorgt ervoor dat alle code gelicentieerd is voor gratis gebruik in zowel academische als commerciële omgevingen, waarbij repositories met restrictieve of propriëtaire licenties worden verwijderd.
   • Preprocessing: Multi-module bestanden worden gedecomposeerd in individuele modules. Redundante commentaren en witruimte worden verwijderd, en metadata (modulenaam, I/O-pinnen) wordt geëxtraheerd om een gestructureerd JSONL-formaat te creëren.

2. Dataset Labeling:

   • Model: De auteurs maken gebruik van DeepSeek-R1 70B, een open-source reasoning-georiënteerd LLM, om natuurlijke taalbeschrijvingen voor elke Verilog-module te genereren.
   • Context Augmentatie: Een novum in de labeling-flow is het gebruik van Verilator om C++-representaties van de Verilog-modules te genereren. De auteurs experimenteren met het aanbieden van zowel de Verilog-code als de door Verilator gegenereerde C++-context aan het LLM om de semantische begrijpelijkheid tijdens het generatieproces van de beschrijving te verbeteren.
   • Quantisatie: Het labelingproces evalueert de trade-offs tussen INT4 en BF16-quantisatie voor het DeepSeek-R1 model om een balans te vinden tussen computationele efficiëntie en de getrouwheid van de labeling.

3. Fine-Tuning en Evaluatie:

   • De gelabelde dataset wordt gebruikt voor het fine-tunen van diverse open-source LLM-families, waaronder de Granite-serie (8B) en de Qwen-serie (7B en 32B).
   • Prestaties worden geëvalueerd met de VerilogEval benchmark (zowel Machine als Human varianten), waarbij Pass@1, Pass@5 en Pass@10 metrieken worden gemeten.

Belangrijkste Bijdragen

• OPENRTLSET Dataset: De creatie van de grootste volledig open-source Verilog-dataset (131k modules), die volledige reproduceerbaarheid garandeert door traceerbare GitHub-oorsprong en permissieve licentiëring.
• End-to-End Labeling Flow: Een volledig open-source pijplijn die reasoning-gedreven LLM's (DeepSeek-R1) en optionele door Verilator gegenereerde C++-context integreert om hoogwaardige natuurlijke taalbeschrijvingen voor hardwarecode te produceren.
• Systematische Ablatie-studies: Het artikel biedt een uitgebreide analyse van de impact van dataset-compositie (Verilog vs. Verilog+C++), modelgrootte (7B–32B) en quantisatiestrategieën op de prestaties van codegeneratie.
• Benchmarking: Een vergelijkende analyse die aantoont dat modellen die gefinetuned zijn op OPENRTLSET beter presteren dan die getraind op bestaande datasets zoals MG-Verilog, zelfs wanneer deze laatste opnieuw gelabeld zijn met dezelfde flow.

Resultaten
De experimentele resultaten benadrukken verschillende belangrijke bevindingen:

• Prestatiewinst: Fine-tuning op OPENRTLSET levert significante verbeteringen op ten opzichte van baseline-modellen. Op de VerilogEval-Machine benchmark resulteerde het fine-tunen van Qwen2.5-32B op de volledige 131k dataset in een Pass@10 van 89,3%, een absolute verbetering van 5,4% ten opzichte van de beste 11k downsampled configuratie.
• Datasetkwaliteit vs. Flow: Hoewel het opnieuw labelen van de bestaande MG-Verilog dataset met de flow van de auteurs de prestaties verbeterde, presteerde de OPENRTLSET dataset consequent beter dan MG-Verilog. Dit suggereert dat de diversiteit en kwaliteit van de broncode in OPENRTLSET even cruciaal zijn als de labeling-methodologie.
• Context Augmentatie: De ablatie-studie naar labelingstrategieën toonde aan dat voor kleinere modellen (7B–8B), het augmenteren van Verilog met Verilator-gegenereerde C++ ("Verilog & C++") vaak betere resultaten opleverde. Echter, voor het grotere Qwen2.5-32B model presteerde het gebruik van enkel Verilog soms beter, wat aangeeft dat modelcapaciteit de bruikbaarheid van extra context beïnvloedt.
• Quantisatie: INT4-quantisatie werd geselecteerd voor de labelingfase om computationele middelen te besparen zonder de uiteindelijke prestaties van het gefinetunede model significant te compromitteren.
• Modelefficiëntie: De studie merkte op dat kleinere modellen (bijv. Granite3.3-8B) na fine-tuning taken in Verilog konden evenaren of overtreffen van grotere closed-source modellen (bijv. Claude 3.7, GPT-3.5-turbo), hoewel de 32B-parameter modellen de hoogste absolute scores behaalden.

Betekenis
Het artikel stelt dat OPENRTLSET een nieuw fundament legt voor toegankelijk onderzoek en commercieel gebruik in LLM-gestuurd hardwareontwerp. Door propriëtaire barrières weg te nemen en een gestandaardiseerde, hoogwaardige dataset te bieden, beogen de auteurs de ontwikkeling van tools te versnellen die in staat zijn tot het genereren van correcte hardwareontwerpen. Het werk demonstreert dat open-source benaderingen, wanneer gecombineerd met rigoureuze datacuratie en reasoning-gebaseerde labeling, superieure prestaties kunnen leveren in hardwareontwerptaken, waarmee een fundamentele bottleneck in het vakgebied wordt aangepakt. De dataset en de bijbehorende gefinetunede modellen worden beschikbaar gesteld aan de gemeenschap om verdere innovatie in geautomatiseerd hardware engineering te stimuleren.