🤖 AI

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

Das Paper stellt STG vor, ein strukturiertes Framework, das die inhärente Struktur des Hardware-Designs nutzt, um deterministische Testbenches zu generieren, wobei es bestehende LLM-basierte Ansätze in Bezug auf Geschwindigkeit, Zuverlässigkeit und Abdeckung signifikant übertrifft und gleichzeitig als effizientes Werkzeug für die Datenkuratierung und das Test-Time-Scaling in RTL-Workflows dient.

Ursprüngliche Autoren: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterarchitekt (eine KI), der in der Lage ist, sofort Baupläne für neue Häuser (Computerchips) basierend auf einer einfachen Beschreibung wie „Baue ein Haus mit drei Schlafzimmern“ zu zeichnen. Das ist großartig, aber es gibt ein riesiges Problem: Woher wissen Sie, ob der Bauplan tatsächlich sicher ist und funktioniert?

Traditionell müsste man, um einen Bauplan zu prüfen, ein Team von menschlichen Inspektoren anheuern, die ein vollmaßstabsgetreues Modell bauen, es jedem erdenklichen Sturm aussetzen und sehen, ob es zusammenbricht. Das dauert ewig und kostet ein Vermögen.

Vor kurzem haben Menschen versucht, eine andere KI einzusetzen, um den Inspektionsbericht zu schreiben. Aber diese neue KI ist wie ein nervöser, halluzinierender Praktikant. Sie rät den Test, erfindet Regeln und sagt oft „Alles ist in Ordnung!“, während das Haus eigentlich in Flammen steht. Sie ist langsam, teuer und unzuverlässig.

Hier kommt STG (Structured Testbench Generation) ins Spiel.

Die Autoren dieser Arbeit haben ein neues Werkzeug namens STG entwickelt. Anstatt eine KI zu fragen, einen Test zu „imaginieren“, fungiert STG wie ein intelligentes, automatisiertes Fließband, das einen perfekten Test basierend auf der tatsächlichen Struktur des Bauplans erstellt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Template“-Ansatz (Kein mehr Raten)

Stellen Sie sich vor, Sie haben eine Lego-Anleitung.

Der alte Weg (LLM): Sie bitten einen Roboter, „einen Test zu schreiben“. Der Roboter versucht, eine Geschichte über das Testen des Lego-Hauses zu schreiben. Er übersieht vielleicht einen Schritt, erfindet eine falsche Regel oder wird verwirrt. Er ist kreativ, aber chaotisch.
Der STG-Weg: STG schaut sich das Lego-Haus an, sieht, dass es eine Tür, ein Fenster und ein Dach hat. Dann greift es auf ein vorgefertigtes, perfektes „Inspektions-Kit“-Template zu. Es füllt automatisch die spezifischen Details aus (wie „prüfe die Tür“, „prüfe das Fenster“) und führt den Test aus. Es rät nicht; es folgt einem strengen, logischen Rezept.

2. Drei verschiedene „Inspektions-Kits“

Das Paper erklärt, dass verschiedene Arten von Chips unterschiedliche Tests benötigen, genau wie verschiedene Fahrzeuge unterschiedliche Sicherheitsprüfungen brauchen:

Kombinatorische Designs (Das statische Haus): Dies sind Chips, die sofort auf Eingaben reagieren (wie ein Lichtschalter). STG behandelt dies wie ein kombinatorisches Schloss. Es probiert jede einzelne Kombination von Tasten aus, um sicherzustellen, dass das Licht korrekt angeht. Es ist erschöpfend und lässt keinen Stein umgedreht.
Allgemeine sequentielle Designs (Das fahrende Auto): Diese Chips haben einen Takt und ein Gedächtnis (wie ein Automotor). STG agiert wie ein Fahrlehrer. Es prüft das Auto nicht nur an einer Ampel; es prüft, wie das Auto reagiert, während man das Lenkrad dreht oder mitten im Zyklus Gas gibt. Es findet „Mealy“-Fehler (sofortige Reaktionen), die andere Tests übersehen.
FSM-dominierte Designs (Das Labyrinth): Einige Chips sind wie komplexe Labyrinthe mit vielen Zuständen. Zufälliges Fahren wird Sie nicht zum Ausgang führen. STG agiert wie ein GPS mit einer Karte. Es liest die interne Karte des Chips und führt den Test gezielt durch jeden einzelnen Pfad im Labyrinth, um sicherzustellen, dass keine Sackgasse unentdeckt bleibt.

3. Warum das wichtig ist (Die Ergebnisse)

Das Paper behauptet, dass STG aus drei Hauptgründen ein Game-Changer ist:

Es ist ein Geschwindigkeitsmonster: STG ist 720 Mal schneller als die alten KI-Methoden. Wenn der alte Weg einen ganzen Tag brauchte, um eine Charge von Chips zu prüfen, erledigt STG dies in Minuten. Es ist wie der Austausch einer Schnecke durch ein Rennauto.
Es ist ein Wahrheitssprecher: Die alten KI-Methoden lieferten oft „False Passes“ (sie sagten, ein defekter Chip sei gut). STG ist viel zuverlässiger. Es fand 7,8 % mehr defekte Chips, die die alten Methoden übersehen hatten. Es half auch dabei, einen versteckten Fehler in den Standard-Testwerkzeugen der Industrie zu beheben (eine „Race Condition“, bei der der Test zur falschen Zeit das Falsche prüfte).
Es spart massiv Geld und Energie: Da STG auf einem einfachen Computerprozessor (CPU) statt auf einem massiven, energiehungrigen KI-Supercomputer (GPU) läuft, verbraucht es 127 Mal weniger Energie. Es ist der Unterschied zwischen dem Betrieb einer Fabrik mit einem einzigen effizienten Arbeiter gegenüber einer Fabrik mit 100 schreienden, überarbeiteten Robotern.

4. Die „Lehrer-und-Schüler“-Analogie

Das Paper nutzt STG auch, um kleinere, intelligentere KI-Modelle zu trainieren (einen Prozess namens „Distillation“).

Stellen Sie sich vor, ein Lehrer (eine riesige KI) versucht, einem Schüler (einer kleinen KI) beizubringen, wie man Chips entwirft.
Der Lehrer generiert tausende von Übungsaufgaben.
STG fungiert als strenger Notenprüfer. Es prüft sofort, ob die Antworten des Lehrers richtig oder falsch sind.
Da STG so schnell und günstig ist, kann der Lehrer viel mehr hochwertige Übungsaufgaben generieren. Der Schüler lernt schneller und wird genauso gut wie der Lehrer, aber ohne die massive Rechenleistung des Gehirns des Lehrers zu benötigen.

Zusammenfassung

Kurz gesagt: STG versucht nicht länger, Tests für Computerchips zu „träumen“. Stattdessen analysiert es den Bauplan und baut automatisch einen perfekten, strukturierten Test basierend auf dem tatsächlichen Design des Chips. Es ist schneller, günstiger, genauer und zuverlässiger als die aktuellen KI-Methoden und macht es zu einem unverzichtbaren Werkzeug für die Zukunft des automatisierten Chip-Designs.

Technisches Resümee: Strukturierte Testbench-Generierung für LLM-gestütztes HDL-Design und verifikationsorientierte Datenkuratierung

Problemdefinition

Das Paper adressiert einen kritischen Engpass in LLM-gesteuerten RTL-Workflows (Register Transfer Level): die Generierung zuverlässiger, hochgradig abgedeckter Testbenches zur Verifizierung generierter Hardware-Designs. Bestehende Ansätze behandeln die Testbench-Generierung als unbeschränkte Codesynthese, die sich auf stochastisches LLM-Prompting verlässt. Dies führt zu drei primären Einschränkungen:

Hohe Kosten und geringe Reproduzierbarkeit: Die Verbesserung der Zuverlässigkeit erfordert iteratives Prompting oder Ensemble-Generierung, was die Token-Kosten signifikant erhöht.
Unzureichende Abdeckung (Coverage): Stochastische Generierung übersieht oft Randfälle (Corner Cases), insbesondere bei Kontrollfluss- und zustandsabhängigen Verhaltensweisen.
Unzuverlässige Urteile (Verdicts): Inkonsistente Testbenches führen zu False-Pass-Urteilen bei fehlerhaften Designs unter Test (DUTs) und können nicht zwischen teilweise korrekten und völlig inkorrekten Designs unterscheiden.

Diese Probleme werden durch aufkommende LLM-gestützte Trends wie Test-Time-Scaling (bei dem die Verifizierung Teil einer iterativen Suchschleife ist) und verifikationsorientierte Datenkuratierung (bei der große Batches von Kandidaten-DUTs für Trainingsdaten gefiltert werden müssen) verschärft. In diesen Kontexten ist die Verifizierung nicht mehr nur ein nachgelagerter Schritt, sondern ein Kernmechanismus zur Modellverbesserung, was kostengünstige, deterministische und verhaltensrelevante Testbenches erfordert.

Methodik: Das STG-Framework

Die Autoren schlagen STG (Structured Testbench Generation) vor, ein Framework, das die Erstellung von Testbenches von unbeschränkter Codesynthese hin zu einem deterministischen, strukturwahrnehmenden Prozess verschiebt. STG nutzt die inhärente Struktur von Hardware-Designs aus, um Testbenches mittels Template-basiertem Rendering zu generieren.

Kern-Workflow

Modul-Parsing und Analyse: STG parst das DUT und eine vertrauenswürdige Gold-Referenz (oder ein „Silver“-Referenzmodell) mittels Icarus Verilog und leichtgewichtiger Heuristiken.
- Design-Typ Klassifizierung: Designs werden in drei Typen kategorisiert: Kombinatorisch, Allgemein sequenziell oder FSM-dominiert.
- Signal-Klassifizierung: Eingangsports werden als Clock, Reset, Control oder Data klassifiziert, indem LCS-basierte (Longest Common Subsequence) Fuzzy-Matches gegen Namenshinweise und Breiten-Heuristiken verwendet werden.
- FSM-Detektion: Für sequenzielle Designs nutzt STG deterministisches Musterabgleichen (Scannen nach always_ff-Blöcken mit State-Registern) oder LLM-gestützte Analyse, um Finite State Machine (FSM)-Strukturen zu extrahieren.
Strategie-spezifische Testbench-Generierung: Basierend auf der Klassifizierung rendert STG parametrisierte Jinja-Templates mit spezifischen Stimulus-Strategien:
- Kombinatorisch: Exhaustive Enumeration aller Kontrollsignal-Kombinationen ( $2^{b_c}$ ), mit randomisierten Datensignalen ( $N_s$ Samples) für jeden Kontrollvektor.
- Allgemein sequenziell: Eine Zwei-Pass-Strategie mit Reset-Bewusstsein. Es treibt Eingänge innerhalb der Taktperiode (nicht nur an den Flanken) an, um Mealy-artige Intra-Zyklus-Reaktionen zu erfassen, und prüft Ausgänge sowohl an den Taktflanken als auch nach Intra-Zyklus-Änderungen. Es handhabt die Reset-Erholung durch probabilistisches Einfügen von Resets zwischen den Zyklen.
- FSM-geführt: Für FSM-dominierte Designs extrahiert STG einen Zustandsübergangs-Graphen und führt eine DFS-Traversierung (Depth-First Search) durch. Es trennt steuerbare Eingangsbedingungen von internen Wartezuständen und treibt Eingänge deterministisch an, um Übergangswächter (Transition Guards) zu erfüllen, wodurch eine vollständige Übergangsabdeckung ohne Random Exploration gewährleistet wird.
Silver-Referenz-Erweiterung: Während STG primär für Szenarien mit bekannter Referenz konzipiert ist (DUT vs. Golden RTL), kann STG auf Szenarien ohne vertrauenswürdige Gold-Referenz erweitert werden, indem das Gold-Modul durch ein LLM-generiertes C++/SystemC „Silver“-Referenzmodell ersetzt wird.

Zentrale Beiträge

STG-Framework: Ein deterministisches, strukturwahrnehmendes Testbench-Generierungsframework, das prompt-basierte LLM-Generierung in Effizienz, Abdeckung und Zuverlässigkeit übertrifft.
Verifikationsorientierte Datenkuratierung: Demonstration, dass STG eine effiziente Filterung großer Trainingsdatensätze ermöglicht und so das Training starker, destillierter RTL-Generationsmodelle über eine einfache Supervised Fine-Tuning (SFT) Pipeline unterstützt.
Test-Time-Scaling Backend: Beleg dafür, dass STG als effektives Verifizierungs-Backend für LLM-gesteuerte Verfeinerungsschleifen (z. B. MCTS) dient und die Suchqualität sowie Effizienz über mehrere Backbone-Modelle hinweg verbessert.

Experimentelle Ergebnisse

Das Framework wurde auf Verilog-Generierungs-Benchmarks (VerilogEval, RTLLM-v2, CVDP) in drei Szenarien evaluiert:

1. Testbench-Qualität und Effizienz

Geschwindigkeit: STG generiert Testbenches 720× schneller als eine iterative LLM-basierte Pipeline (0,13 s vs. 92,4 s pro Testbench).
Abdeckung (Coverage): STG erreicht eine höhere Line-Coverage (95,88 % vs. 93,97 %) und Toggle-Coverage (95,77 % vs. 85,40 %).
Zuverlässigkeit: STG reduziert False-Pass-Urteile bei inkorrekten DUTs. In einer Studie mit 3.046 DUTs identifizierte STG 7,8 % mehr inkorrekte Designs als der LLM-basierte Ansatz, primär durch das Vermeiden von False-Passes bei subtilen Bugs.
FSM-Abdeckung: Bei tiefen FSM-Designs scheiterte zufälliger Stimulus daran, tiefe Zustände (S11–S14) zu erreichen, während die FSM-geführte Traversierung von STG eine 100%ige Übergangsabdeckung erreichte.

2. Verifikationsorientierte Datenkuratierung

Ressourceneffizienz: Das Filtern von 115k Problemen mittels STG auf einem einzelnen CPU-Kern dauerte 5,6 Stunden und verbrauchte 0,56 kWh Energie. Im Gegensatz dazu benötigte ein reiner LLM-Ansatz auf einer High-End-GPU 59,1 Stunden und verbrauchte 70,9 kWh Energie (eine 127-fache Reduktion des Energieverbrauchs und eine 10,6-fache Beschleunigung).
Modellleistung: Destillierte Modelle, die auf durch STG kuratierten Daten trainiert wurden (unter Verwendung eines einzigen SFT-Schritts), erreichten State-of-the-Art- oder konkurrierende Leistungen auf VerilogEval, RTLLM-v2 und dem anspruchsvollen CVDP-Benchmark. Diese Modelle übertrafen oder glichen komplexe Pipelines mit mehrstufigem SFT und Reinforcement Learning (RL) ab, was darauf hindeutet, dass komplexe RL-Workflows möglicherweise keine konsistenten Gewinne auf neueren Benchmarks erzielen.

3. Test-Time-Scaling

Sucheffizienz: Integriert in eine MCTS-basierte Verfeinerungsschleife reduzierte STG die Anzahl der benötigten Suchknoten zur Lösung von Problemen um 14–47 % über vier Backbone-Modelle hinweg (von 7B bis 685B Parametern).
Signalqualität: Die deterministische und informative Natur der STG-Verifizierungssignale ermöglichte es der Suchschleife, schwache Kandidaten früher abzulehnen und mit weniger Iterationen zu korrekten Designs zu konvergieren.

Zusätzliche Erkenntnisse

Benchmark-Korrektur: Die deterministische Generierung und menschliche Inspektion durch STG deckte eine systematische Race Condition in den VerilogEval-Testbenches auf (bei der Stimulus und Checker auf derselben Taktflanke ohne Ordnungsgarantie ausgelöst wurden). Die Autoren korrigierten dies und merkten an, dass frühere Evaluierungen durch diese False-Failures kompromittiert gewesen sein könnten.
Reproduzierbarkeit: Die Autoren stellten signifikante Reproduzierbarkeitsprobleme mit der VeriRL-Methode fest, bei der ihr replizierter Checkpoint im Vergleich zu den Behauptungen des Originalpapers inkonsistent über verschiedene Benchmarks hinweg performte.

Bedeutung und Ansprüche

Das Paper behauptet, dass STG ein praktisches, kostengünstiges Verifizierungs-Backend für LLM-gesteuerte HDL-Workflows etabliert. Indem es die Verifizierung als strukturiertes Generierungsproblem statt als unbeschränkte Codesynthese behandelt, adressiert STG die Skalierbarkeit und Zuverlässigkeitsprobleme, die die Adoption von LLMs im Hardware-Design derzeit behindern.

Die Autoren argumentieren, dass die Effektivität rezenter komplexer Trainings- und Reinforcement-Learning-Workflows, insbesondere auf neueren Benchmarks, fragwürdig bleibt, da ihr einfacherer, STG-gestützter Prozess konkurrenzfähige oder sogar überlegene Leistungen mit deutlich geringerem Rechenaufwand erbringt. Sie positionieren STG als kritischen Enabler für kontinuierliche Lernzyklen im Hardware-Design, in denen eine effiziente und zuverlässige Datenkuratierung für das iterative Modell-Retraining essenziell ist.