🤖 AI

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

Il documento introduce STG, un framework strutturato che sfrutta la struttura intrinseca del design hardware per generare testbench deterministici, superando significativamente gli approcci esistenti basati su LLM in termini di velocità, affidabilità e copertura, fungendo al contempo da strumento efficiente per la cura dei dati e lo scaling del tempo di esecuzione nei flussi di lavoro RTL.

Autori originali: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Pubblicato 2026-06-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un maestro architetto (un'IA) capace di disegnare istantaneamente le planimetrie di nuove case (chip per computer) basandosi su una semplice descrizione come "costruisci una casa con tre camere da letto". Questo è fantastico, ma c'è un enorme problema: come fai a sapere se la planimetria è effettivamente sicura e funziona?

Tradizionalmente, per controllare una planimetria, dovresti assumere un team di ispettori umani per costruire un modello in scala reale, sottoporlo a ogni possibile tempesta e vedere se crolla. Questo richiede un tempo infinito e costa una fortuna.

Recentemente, si è provato a usare un'altra IA per scrivere il rapporto di ispezione. Ma questa nuova IA è come uno stagista nervoso e allucinato. Indovina il test, inventa regole e spesso dice "Tutto è perfetto!" quando la casa è in realtà in fiamme. È lenta, costosa e inaffidabile.

Entra in scena STG (Structured Testbench Generation).

Gli autori di questo articolo hanno costruito un nuovo strumento chiamato STG. Invece di chiedere a un'IA di "immaginare" un test, STG agisce come una intelligente catena di montaggio automatizzata che costruisce un test perfetto basandosi sulla struttura effettiva della planimetria.

Ecco come funziona, usando semplici analogie:

1. L'approccio "Template" (Niente più indovini)

Immagina di avere un set di istruzioni per i Lego.

Il vecchio modo (LLM): Chiedi a un robot di "scrivere un test". Il robot prova a scrivere una storia sul test di una casa Lego. Potrebbe dimenticare un passaggio, inventare una regola falsa o confondersi. È creativo ma disordinato.
Il modo STG: STG guarda la casa Lego, vede che ha una porta, una finestra e un tetto. Poi afferra un "Kit di Ispezione" pre-confezionato e perfetto. Riempie automaticamente i dettagli specifici (come "controlla la porta", "controlla la finestra") ed esegue il test. Non indovina; segue una ricetta rigorosa e logica.

2. Tre diversi "Kit di Ispezione"

L'articolo spiega che diversi tipi di chip richiedono test diversi, proprio come diversi veicoli richiedono diversi controlli di sicurezza:

Design Combinatori (La Casa Statica): Questi sono chip che reagiscono istantaneamente agli input (come un interruttore della luce). STG li tratta come una combinazione di serratura combinatoria. Prova ogni singola combinazione di pulsanti per assicurarsi che la luce si accenda correttamente. È esaustivo e non lascia nulla al caso.
Design Sequenziali Generali (L'Auto in Movimento): Questi chip hanno un clock e una memoria (come il motore di un'auto). STG agisce come un istruttore di guida. Non controlla solo l'auto a un semaforo; controlla come l'auto reagisce mentre stai girando il volante o premendo l'acceleratore a metà ciclo. Cattura i bug "Mealy" (reazioni istantanee) che altri test perdono.
Design Dominati da FSM (Il Labirinto): Alcuni chip sono come complessi labirinti con molti stati. La guida casuale non ti porterà all'uscita. STG agisce come un GPS con una mappa. Legge la mappa interna del chip e guida il test specificamente attraverso ogni singolo percorso nel labirinto, assicurandosi che nessun vicolo cieco rimanga inesplorato.

3. Perché questo è importante (I Risultati)

L'articolo afferma che STG è un punto di svolta per tre ragioni principali:

È un fulmine di velocità: STG è 720 volte più veloce dei vecchi metodi basati su IA. Se il vecchio metodo richiedeva un intero giorno per controllare un lotto di chip, STG lo fa in pochi minuti. È come sostituire una lumaca con un'auto da corsa.
Dice sempre la verità: I vecchi metodi IA spesso davano "Falsi Passaggi" (dicendo che un chip rotto era buono). STG è molto più affidabile. Ha trovato il 7,8% in più di chip difettosi che i vecchi metodi avevano mancato. Ha anche aiutato a correggere un bug nascosto negli strumenti di test standard usati nel settore (una "race condition" dove il test controllava la cosa sbagliata al momento sbagliato).
Risparmia enormi quantità di denaro ed energia: Poiché STG gira su un semplice processore (CPU) invece di un enorme supercomputer per l'IA (GPU), utilizza 127 volte meno energia. È la differenza tra far funzionare una fabbrica con un singolo lavoratore efficiente rispetto a una fabbrica con 100 robot urlanti e sovraccarichi.

4. L'analogia "Insegnante e Studente"

L'articolo usa anche STG per addestrare modelli di IA più piccoli e intelligenti (un processo chiamato "distillazione").

Immagina che un Insegnante (una grande IA) cerchi di insegnare a uno Studente (una piccola IA) come progettare chip.
L'Insegnante genera migliaia di problemi di pratica.
STG agisce come il valutatore severo. Controlla istantaneamente se le risposte dell'Insegnante sono giuste o sbagliate.
Poiché STG è così veloce ed economico, l'Insegnante può generare moltissimi più problemi di pratica di alta qualità. Lo Studente impara più velocemente e diventa bravo quanto l'Insegnante, ma senza aver bisogno della massiccia capacità cerebrale dell'Insegnante.

Riassunto

In breve, STG smette di cercare di "sognare" test per i chip dei computer. Invece, analizza la planimetria e costruisce automaticamente un test perfetto e strutturato basato sul design effettivo del chip. È più veloce, più economico, più accurato e più affidabile rispetto agli attuali metodi di IA, rendendolo uno strumento vitale per il futuro della progettazione automatizzata dei chip.

Sintesi Tecnica: Generazione di Testbench Strutturati per la Progettazione HDL Guidata da LLM e la Curatela dei Dati Orientata alla Verifica

Definizione del Problema

Il documento affronta un collo di bottiglia critico nei flussi di lavoro di Register Transfer Level (RTL) guidati da Large Language Models (LLM): la generazione di testbench affidabili e ad alta copertura per la verifica di design hardware generati. Gli approcci esistenti trattano la generazione di testbench come sintesi di codice non vincolata, facendo affidamento sulla generazione stocastica tramite prompting di LLM. Ciò porta a tre limitazioni primarie:

Costi Elevati e Bassa Riproducibilità: Migliorare l'affidabilità richiede il prompting iterativo o la generazione di ensemble, aumentando significativamente i costi dei token.
Copertura Insufficiente: La generazione stocastica spesso manca i casi limite (corner cases), in particolare nelle comportamenti legati al controllo di flusso e dipendenti dallo stato.
Verdeti inattendibili: I testbench inconsistenti producono verdeti di "passaggio" errati su Design Under Test (DUT) scorretti e non riescono a distinguere tra design parzialmente corretti e completamente errati.

Questi problemi sono esacerbati dalle tendenze emergenti degli LLM come lo scaling del tempo di test (dove la verifica fa parte di un ciclo di ricerca iterativo) e la curatela dei dati orientata alla verifica (dove grandi batch di candidati DUT devono essere filtrati per i dati di addestramento). In questi contesti, la verifica non è più solo un passaggio a valle, ma un meccanismo centrale per il miglioramento del modello, richiedendo testbench a basso costo, deterministici e con significato comportamentale.

Metodologia: Il Framework STG

Gli autori propongono STG (Structured Testbench Generation), un framework che sposta la creazione di testbench dalla sintesi di codice non vincolata a un processo deterministico e consapevole della struttura. STG sfrutta la struttura intrinseca dei design hardware per generare testbench tramite il rendering basato su template.

Flusso di Lavoro Principale

Parsing e Analisi del Modulo: STG analizza il DUT e un riferimento "golden" affidabile (o un modello di riferimento "silver") utilizzando Icarus Verilog e euristiche leggere.
- Classificazione del Tipo di Design: I design sono categorizzati in tre tipi: Combinatorio, Sequenziale Generale o Dominato da FSM.
- Classificazione dei Segnali: Le porte di input sono classificate come Clock, Reset, Controllo o Dati utilizzando il matching fuzzy basato su Longest Common Subsequence (LCS) contro suggerimenti di nomi ed euristiche di ampiezza.
- Rilevamento FSM: Per i design sequenziali, STG utilizza il pattern matching deterministico (scansione di blocchi always_ff con registri di stato) o l'analisi assistita da LLM per estrarre le strutture delle Finite State Machine (FSM).
Generazione di Testbench Specifica per Strategia: In base alla classificazione, STG renderizza template Jinja parametrizzati con strategie di stimolo specifiche:
- Combinatorio: Enumerazione esaustiva di tutte le combinazioni di segnali di controllo ( $2^{b_c}$ ), con segnali di dati randomizzati ( $N_s$ campioni) per ogni vettore di controllo.
- Sequenziale Generale: Una strategia a due passaggi, consapevole del reset. Inietta gli input all'interno del periodo di clock (non solo ai bordi) per catturare risposte intra-ciclo di tipo Mealy e controlla gli output sia ai bordi di clock che dopo i cambiamenti intra-ciclo. Gestisce il recupero dal reset inserendo reset probabilistici tra i cicli.
- Guidato da FSM: Per i design dominati da FSM, STG estrae un grafo di transizione di stato e esegue una traversata DFS (Depth-First Search). Separa le condizioni di input pilotabili dalle condizioni di attesa interne, pilotando gli input deterministicamente per soddisfare le guardie di transizione, garantendo la copertura completa delle transizioni senza esplorazione casuale.
Estensione Silver-Reference: Sebbene progettato principalmente per scenari con riferimento noto (DUT vs. Golden RTL), STG può estendersi a scenari senza un riferimento golden affidabile sostituendo il modulo golden con un modello di riferimento "silver" in C++/SystemC generato da LLM.

Contributi Chiave

Framework STG: Un framework di generazione di testbench deterministico e consapevole della struttura che supera la generazione basata su prompt di LLM in termini di efficienza, copertura e affidabilità.
Curatela dei Dati Orientata alla Verifica: Dimostrazione che STG consente il filtraggio efficiente di dataset di addestramento su larga scala, supportando l'addestramento di modelli di generazione RTL distillati forti utilizzando un semplice pipeline di Supervised Fine-Tuning (SFT).
Backend di Test-Time Scaling: Evidenza che STG funge da efficace backend di verifica per i loop di raffinamento guidati da LLM (es. MCTS), migliorando la qualità e l'efficienza della ricerca attraverso molteplici modelli backbone.

Risultati Sperimentali

Il framework è stato valutato su benchmark di generazione Verilog (VerilogEval, RTLLM-v2, CVDP) in tre scenari:

1. Qualità e Efficienza del Testbench

Velocità: STG genera testbench 720× più velocemente di una pipeline iterativa basata su LLM (0,13s vs 92,4s per testbench).
Copertura: STG raggiunge una maggiore copertura di linea (95,88% vs 93,97%) e copertura di toggle (95,77% vs 85,40%).
Affidabilità: STG riduce i verdeti di falso passaggio su DUT errati. In uno studio su 3.046 DUT, STG ha identificato correttamente il 7,8% di design errati in più rispetto all'approccio basato su LLM, principalmente evitando falsi passaggi su bug sottili.
Copertura FSM: Sui design FSM a stati profondi, lo stimolo casuale non è riuscito a raggiungere gli stati profondi (S11–S14), mentre la traversata guidata da FSM di STG ha ottenuto il 100% della copertura delle transizioni.

2. Curatela dei Dati Orientata alla Verifica

Efficienza delle Risorse: Filtrare 115k problemi usando STG su un singolo core CPU ha richiesto 5,6 ore e consumato 0,56 kWh di energia. Al contrario, un approccio puramente LLM su una GPU high-end ha richiesto 59,1 ore e consumato 70,9 kWh (una riduzione dell'energia di 127× e un incremento di velocità di 10,6×).
Performance del Modello: I modelli distillati addestrati su dati curati da STG (usando solo un singolo stadio SFT) hanno raggiunto prestazioni state-of-the-art o competitive su VerilogEval, RTLLM-v2 e sul complesso benchmark CVDP. Questi modelli hanno superato o eguagliato pipeline complesse che coinvolgono SFT multi-stadio e Reinforcement Learning (RL), suggerendo che i workflow RL complessi potrebbero non produrre guadagni consistenti sui nuovi benchmark.

3. Test-Time Scaling

Efficienza della Ricerca: Quando integrato in un loop di raffinamento basato su MCTS, STG ha ridotto il numero di nodi di ricerca necessari per risolvere i problemi del 14–47% su quattro modelli backbone (con parametri da 7B a 685B).
Qualità del Segnale: La natura deterministica e informativa dei segnali di verifica di STG ha permesso al loop di ricerca di scartare i candidati deboli più precocemente e di convergere su design corretti con meno iterazioni.

Ulteriori Risultati

Correzione dei Benchmark: La generazione deterministica di STG e l'ispezione umana hanno rivelato una sistematica race condition nei testbench di VerilogEval (dove stimolo e checker si attivavano sullo stesso bordo di clock senza garanzie di ordinamento). Gli autori hanno corretto questo, notando che le valutazioni precedenti potevano essere compromesse da questi falsi fallimenti.
Riproducibilità: Gli autori hanno notato problemi significativi di riproducibilità con il metodo VeriRL, dove il loro checkpoint replicato si è comportato in modo inconsistente tra i benchmark rispetto alle affermazioni dell'articolo originale.

Significato e Rivendicazioni

L'articolo afferma che STG stabilisce un backbone di verifica pratico e a basso costo per i flussi di lavoro HDL guidati da LLM. Trattando la verifica come un problema di generazione strutturata piuttosto che come sintesi di codice non vincolata, STG affronta i problemi di scalabilità e affidabilità che attualmente ostacolano l'adozione degli LLM nel design hardware.

Gli autori sostengono che l'efficacia dei recenti e complessi workflow di addestramento e reinforcement learning rimanga discutibile, in particolare sui nuovi benchmark, dove il loro pipeline più semplice, potenziato da STG, fornisce prestazioni competitive o superiori con un overhead computazionale significativamente inferiore. Posizionano STG come un abilitatore critico per i cicli di apprendimento continuo nel design hardware, dove la curatela dei dati efficiente e affidabile è essenziale per il riaddestramento iterativo dei modelli.