Technische Samenvatting: RTL-BenchLS

Probleemstelling

Het vakgebied van automatisering in hardwareontwerp maakt steeds vaker gebruik van Large Language Models (LLM's) voor Register Transfer Level (RTL) generatie en redeneren. De vooruitgang in dit domein wordt echter gehinderd door de beperkingen van bestaande benchmarks. Huidige benchmarks, zoals VerilogEval en RTLLM, lijden aan twee primaire tekortkomingen:

1. Beperkte Schaal en Complexiteit: Bestaande datasets bevatten een klein aantal ontwerpen (meestal <200) die voornamelijk bestaan uit eenvoudige, enkelvoudige module-taken met minder dan 100 regels code (LoC). Ze slagen er niet in de complexiteit van real-world hardware-subsystemen te representeren.
2. Beperkt Takenbereik en Datascarciteit: De meeste benchmarks richten zich uitsluitend op specificatie-naar-RTL generatie. Het opschalen van deze benchmarks is fundamenteel moeilijk omdat ze "uitgelijnde" data vereisen—specifiek, de triade van natuurlijke taal-specificaties, RTL-code en handmatig geschreven testbenches. Dergelijke hoogwaardige, uitgelijnde data is schaars in het publieke domein, wat ertoe leidt dat frontier-modellen prestaties op huidige taken verzadigen en het onmogelijk maakt om modelcapaciteiten te onderscheiden of verdere ontwikkeling te sturen.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs RTL-BenchLS, een grootschalige benchmark bestaande uit meer dan 10.000 formeel geverifieerde Verilog-ontwerpen. De methodologie richt zich op twee pijlers: dataconstructie en innovatief taakontwerp.

Dataconstructie

De dataset aggregeert 10.028 ontwerpen uit vijf bronnen:

• Real-World Repositories (S1): 971 modules geëxtraheerd uit meer dan 25 open-source projecten (bijv. NVIDIA DLA, OpenC910, HummingBird E200), wat zorgt voor domeinspecifieke complexiteit.
• LLM-gegenereerde Corpora (S2–S5): ~9.000 modules gedestilleerd uit bestaande trainingscorpora (OriGen, AutoVCoder, RTLPP, MG-Verilog) om schaal en structurele diversiteit te bieden.

De auteurs hanteren een strikte filterpipeline om kwaliteit te waarborgen:

• Complexiteitsfiltering: Ontwerpen worden gefilterd op basis van Lines of Code (LoC) en Number of Modules (NoM), wat resulteert in een gemiddelde van 63 LoC (maximaal 479 LoC), aanzienlijk groter dan eerdere benchmarks.
• Similarity Pruning: Pairwise gelijkenis (met behulp van TF-IDF en cosinus-gelijkenis) wordt berekend om bijna-duplicaten te verwijderen.
• Formele Verificatie: Elk behouden ontwerp ondergaat formele logische equivalentiecontrole (LEC) of sequentiële equivalentiecontrole (SEC) met behulp van industriële tools (Cadence Conformal en JasperGold). Dit garandeert dat alle ontwerpen functioneel correct zijn zonder afhankelijk te zijn van handmatig gecureerde testbenches.

Innovatieve Benchmark-taken

RTL-BenchLS introduceert drie taken die gezamenlijk redeneren en generatie evalueren, waarmee zij verder gaan dan eenvoudige specificatie-naar-RTL generatie:

1. Round-Trip Reasoning (Self-Supervised): De LLM moet een origineel RTL-ontwerp $D$ comprimeren tot een intermediair abstract $A$ (in formaten zoals Natural Language, Diagram-stijl NL, Executable Code, of Free-form) en vervolgens een functioneel equivalent RTL $D'$ reconstrueren vanuit $A$. Succes wordt gedefinieerd als $D' \equiv D$ via formele equivalentiecontrole. Dit elimineert de noodzaak voor externe labels.
2. Masked-Content Reasoning (Self-Supervised): Een codeblok of sub-module wordt gemaskeerd in het ontwerp. De LLM moet een beknopte beschrijving genereren van de gemaskeerde logica en vervolgens de ontbrekende code reconstrueren op basis van de omliggende context. Succes wordt geverifieerd door te controleren of het gereconstrueerde ontwerp equivalent is aan het origineel.
3. Repository-Issue Reasoning: De LLM krijgt een real-world issue report (commentaar) en de repository-context (inclusief de buggy code) en moet een fix genereren die functioneel equivalent is aan de golden patch van de ontwikkelaar. Deze taak evalueert long-context begrip en cross-artifact debugging.

Belangrijkste Bijdragen

• Ongekende Schaal: De benchmark biedt meer dan 10.000 formeel geverifieerde ontwerpen, twee grootheden groter dan benchmarks die functionele verificatie ondersteunen.
• Diverse Complexiteit: Ontwerpen beslaan een breder bereik van complexiteit (tot 495 LoC) vergeleken met de overwegend eenvoudige modules in bestaande benchmarks.
• Self-Supervised Paradigma: Twee van de drie taken zijn self-supervised, wat de bottleneck van data-uitlijning oplost die historisch gezien de opschaling van benchmarks heeft verhinderd.
• Formele Verificatie Infrastructuur: Het evaluatieframework rust volledig op formele equivalentiecontrole (LEC/SEC), waardoor de afhankelijkheid van handmatige testbenches wordt weggenomen en een rigoureuze, geautomatiseerde correctieverificatie wordt gegarandeerd.
• Uitgebreide Evaluatie: Het artikel benchmarkt acht state-of-the-art LLM's (inclusief GPT-4o, Claude Sonnet/Haiku, DeepSeek, Qwen, en LLaMA) over alle taken.

Experimentele Resultaten

De evaluatie laat zien dat huidige LLM's aanzienlijke uitdagingen ervaren bij RTL-redeneren en -generatie, met prestaties die ver onder de verzadigingsniveaus liggen die bij eenvoudigere benchmarks worden gezien:

• Round-Trip Reasoning: Zelfs het beste model (Claude Sonnet-4.5) behaalt slechts een pass-rate van ~23% op natural-language round-trip reasoning. Prestaties variëren aanzienlijk per abstract formaat; executable code (Python/C) abstracts presteren beter (~39–52%) dan pure natural language.
• Masked-Content Reasoning: Prestaties zijn uniformer over de modellen, waarbij het beste model (LLaMA-3.3-70B) ~28% bereikt.
• Repository-Issue Fixing: Dit is de meest uitdagende taak. Zelfs in een vereenvoudigde setting waarbij de buggy regio wordt meegeleverd, behaalt het beste model (DeepSeek-v3.2) slechts ~12%.
• Vergelijking: Wanneer dezelfde modellen worden getest op bestaande benchmarks (VerilogEval, RTLLM) met de nieuwe round-trip taak, dalen de prestaties scherp (bijv. LLaMA-3.3 daalt van 53.2% naar 12.2%), wat bevestigt dat RTL-BenchLS substantieel uitdagender is.

Betekenis en Claims

De auteurs beweren dat RTL-BenchLS een cruciale stap voorwaarts vertegenwoordigt voor de gemeenschap van automatisering in hardwareontwerp. Door een grootschalige, formeel geverifieerde dataset met self-supervised taken te bieden, helpt de benchmark:

1. De Scaling Bottleneck te Doorbreken: Het demonstreert dat effectief taakontwerp de schaarste aan uitgelijnde labels kan overwinnen, wat de creatie van veel grotere en diversere benchmarks mogelijk maakt.
2. Echte Capaciteitsverschillen te Onthullen: De lage pass-rates (12–28%) vergeleken met de bijna volledige verzadiging op oudere benchmarks geven aan dat huidige LLM's niet over de noodzakelijke redeneerdiepte beschikken voor complexe, real-world hardware-ontwerptaken.
3. Toekomstige Ontwikkeling te Sturen: De resultaten benadrukken specifieke gebieden voor verbetering, zoals de noodzaak voor betere afhandeling van long-context reasoning, precieze bit-level logica, en de integratie van formele verificatie in LLM-agents.

Het artikel concludeert dat RTL-BenchLS voldoende ruimte laat voor toekomstige verbetering en dient als een fundamentele infrastructuur voor het ontwikkelen van meer capabele LLM-gebaseerde methoden voor hardwareontwerp. De dataset, evaluatiescripts en verificatietools worden publiekelijk beschikbaar gesteld om reproduceerbaar onderzoek te ondersteunen.