Technische Samenvatting: Gestructureerde Testbench-generatie voor LLM-gestuurde HDL-ontwerp en Verificatie-georiënteerde Datacuratie

Probleemdefinitie

Het artikel behandelt een kritieke bottleneck in LLM-gestuurde Register Transfer Level (RTL) workflows: de generatie van betrouwbare, hoog-gedekte testbenches voor het verifiëren van gegenereerde hardwareontwerpen. Bestaande benaderingen behandelen testbench-generatie als onbeperkte codesynthese, waarbij wordt vertrouwd op stochastische LLM-prompting. Dit leidt tot drie primaire beperkingen:

1. Hoge kosten en lage reproduceerbaarheid: Het verbeteren van de betrouwbaarheid vereist iteratieve prompting of ensemble-generatie, wat de tokenkosten aanzienlijk verhoogt.
2. Onvoldoende dekking: Stochastische generatie mist vaak corner cases, met name in de controle-flow en staat-afhankelijke gedragingen.
3. Onbetrouwbare oordelen: Inconsistente testbenches produceren false-pass oordelen op incorrecte Designs Under Test (DUTs) en slagen er niet in om gedeeltelijk correcte van volledig incorrecte ontwerpen te onderscheiden.

Deze problemen worden verergerd door opkomende LLM-gestuurde trends zoals test-time scaling (waarbij verificatie deel uitmaakt van een iteratieve zoeklus) en verificatie-georiënteerde datacuratie (waarbij grote batches kandidaat-DUTs gefilterd moeten worden voor trainingsdata). In deze contexten is verificatie niet langer slechts een downstream stap, maar een kernmechanisme voor modelverbetering, wat vraagt om laag-kostbare, deterministische en gedragsmatig betekenisvolle testbenches.

Methodologie: Het STG-framework

De auteurs stellen STG (Structured Testbench Generation) voor, een framework dat de creatie van testbenches verschuift van onbeperkte codesynthese naar een deterministisch, structuur-bewust proces. STG maakt gebruik van de inherente structuur van hardwareontwerpen om testbenches te genereren via template-gebaseerde rendering.

Kernworkflow

1. Module Parsing en Analyse: STG parseert de DUT en een vertrouwde gouden referentie (of een "zilveren" referentiemodel) met behulp van Icarus Verilog en lichtgewicht heuristieken.

   • Design-Type Classificatie: Ontwerpen worden gecategoriseerd in drie typen: Combinational, General Sequential, of FSM-dominated.
   • Signaal Classificatie: Input-poorten worden geclassificeerd als Clock, Reset, Control, of Data met behulp van Longest Common Subsequence (LCS)-gebaseerde fuzzy matching tegen naamhints en breedte-heuristieken.
   • FSM Detectie: Voor sequentiële ontwerpen gebruikt STG deterministische patroonherkenning (scannen naar always_ff blokken met state registers) of LLM-ondersteunde analyse om Finite State Machine (FSM) structuren te extraheren.

2. Strategie-specifieke Testbench Generatie: Op basis van de classificatie rendert STG geparameteriseerde Jinja-templates met specifieke stimulus-strategieën:

   • Combinational: Uitputtende enumeratie van alle controle-signaal combinaties ($2^{b_c}$), met gerandomiseerde data-signalen ($N_s$ samples) voor elk controle-vector.
   • General Sequential: Een twee-staps, reset-bewuste strategie. Het stuurt inputs aan binnen de klokperiode (niet alleen op de edges) om Mealy-stijl intra-cycle responsen te vangen en controleert outputs zowel op de klok-edges als na intra-cycle veranderingen. Het handelt reset-herstel af door probabilistisch resets tussen cycli in te voegen.
   • FSM-Guided: Voor FSM-gedomineerde ontwerpen extraheert STG een state-transition graph en voert een Depth-First Search (DFS) traversatie uit. Het scheidt aanstuurbare inputcondities van interne wachtcondities, waarbij inputs deterministisch worden aangestuurd om transitie-guards te voldoen, wat volledige transitie-dekking garandeert zonder random exploratie.

3. Silver-Reference Extensie: Hoewel primair ontworpen voor scenario's met een bekende referentie (DUT versus Golden RTL), kan STG worden uitgebreid naar scenario's zonder vertrouwde gouden referentie door de gouden module te vervangen door een LLM-gegenereerd C++/SystemC "zilveren" referentiemodel.

Belangrijkste Bijdragen

1. STG Framework: Een deterministisch, structuur-bewust testbench-generatieframework dat prompt-gebaseerde LLM-generatie overtreft in efficiëntie, dekking en betrouwbaarheid.
2. Verificatie-georiënteerde Datacuratie: Demonstratie dat STG efficiënte filtering van grootschalige trainingsdatasets mogelijk maakt, wat de training van sterke gedestilleerde RTL-generatiemodellen ondersteunt middels een eenvoudige Supervised Fine-Tuning (SFT) pipeline.
3. Test-Time Scaling Backend: Bewijs dat STG dient als een effectieve verificatie-backend voor LLM-gestuurde verfijningslussen (bijv. MCTS), wat de zoekkwaliteit en efficiëntie over meerdere backbone-modellen heen verbetert.

Experimentele Resultaten

Het framework werd geëvalueerd op Verilog-generatie benchmarks (VerilogEval, RTLLM-v2, CVDP) over drie scenario's:

1. Testbench Kwaliteit en Efficiëntie

• Snelheid: STG genereert testbenches 720× sneller dan een iteratieve LLM-gebaseerde pipeline (0.13s vs. 92.4s per testbench).
• Dekking: STG bereikt een hogere line coverage (95.88% vs. 93.97%) en toggle coverage (95.77% vs. 85.40%).
• Betrouwbaarheid: STG vermindert false-pass oordelen op incorrecte DUTs. In een studie van 3.046 DUTs identificeerde STG 7.8% meer incorrecte ontwerpen dan de LLM-gebaseerde aanpak, voornamelijk door false passes op subtiele bugs te vermijden.
• FSM Dekking: Op diepe-state FSM ontwerpen faalde random stimulus om diepe staten (S11–S14) te bereiken, terwijl de FSM-gestuurde traversatie van STG een 100% transitie-dekking behaalde.

2. Verificatie-georiënteerde Datacuratie

• Resource Efficiëntie: Het filteren van 115k problemen met STG op een enkele CPU-core duurde 5.6 uur en verbruikte 0.56 kWh energie. In contrast verbruikte een pure-LLM aanpak op een high-end GPU 59.1 uur en 70.9 kWh energie (een energie-reductie van 127× en een snelheidsverbetering van 10.6×).
• Model Prestaties: Gedestilleerde modellen getraind op door STG gecureerde data (met gebruik van enkel een enkele SFT-stap) bereikten state-of-the-art of concurrerende prestaties op VerilogEval, RTLLM-v2, en de uitdagende CVDP benchmark. Deze modellen presteerden beter dan of gelijk aan complexe pipelines die multi-stage SFT en Reinforcement Learning (RL) bevatten, wat suggereert dat complexe RL-workflows mogelijk geen consistente winst opleveren op nieuwere benchmarks.

3. Test-Time Scaling

• Zoek Efficiëntie: Wanneer geïntegreerd in een MCTS-gebaseerde verfijningslus, verminderde STG het aantal benodigde zoeknodes om problemen op te lossen met 14–47% over vier backbone-modellen (variërend van 7B tot 685B parameters).
• Signaal Kwaliteit: De deterministische en informatieve aard van de STG-verificatiesignalen stelde de zoeklus in staat om zwakke kandidaten eerder af te wijzen en met minder iteraties te convergeren op correcte ontwerpen.

Aanvullende Bevindingen

• Benchmark Correctie: De deterministische generatie en menselijke inspectie van STG brachten een systematische race condition in de VerilogEval testbenches aan het licht (waarbij stimulus en checkers op dezelfde klok-edge triggerten zonder volgorde-garanties). De auteurs hebben dit gecorrigeerd, waarbij zij opmerkten dat eerdere evaluaties mogelijk gecompromitteerd waren door deze false failures.
• Reproduceerbaarheid: De auteurs merkten significante reproduceerbaarheidsproblemen op bij de VeriRL methode, waarbij hun gerepliceerde checkpoint inconsistent presteerde over benchmarks vergeleken met de claims van het originele paper.

Betekenis en Claims

Het artikel claimt dat STG een praktische, laag-kostbare verificatie-backbone vestigt voor LLM-gestuurde HDL-workflows. Door verificatie te behandelen als een gestructureerd generatieprobleem in plaats van onbeperkte codesynthese, adresseert STG de schaalbaarheids- en betrouwbaarheidsproblemen die de adoptie van LLM's in hardware-ontwerp momenteel hinderen.

De auteurs betogen dat de effectiviteit van recente complexe training- en reinforcement learning-workflows twijfelachtig blijft, vooral op nieuwere benchmarks, waar hun eenvoudigere, door STG-gestuurde pipeline concurrerende of superieure prestaties levert met aanzienlijk lagere computationele overhead. Zij positioneren STG als een cruciale enabler voor continue leercycli in hardware-ontwerp, waar efficiënte en betrouwbare datacuratie essentieel is voor iteratieve model-retraining.