OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

Sintesi Tecnica: OPENRTLSET

Problematica
L'applicazione dei Large Language Models (LLM) alla progettazione hardware, specificamente la generazione di codice Verilog da specifiche di alto livello, è attualmente ostacolata da una critica scarsità di dataset di addestramento su larga scala, di alta qualità e completamente open-source. A differenza dei domini software, dove esistono abbondanti repository open-source, il codice Verilog è spesso limitato all'interno di domini industriali proprietari o manca della trasparenza necessaria per la ricerca riproducibile. I dataset esistenti, come MG-Verilog o PyraNet, soffrono di una scala limitata, licenze restrittive che impediscono l'uso commerciale o di una mancanza di accoppiamenti tra linguaggio naturale e codice standardizzati e di alta qualità. Questo divario impedisce lo sviluppo di modelli specifici per il dominio capaci di generare design hardware sintatticamente e funzionalmente corretti sia per applicazioni accademiche che commerciali.

Metodologia
Gli autori introducono OPENRTLSET, un workflow end-to-end completo per la costruzione di un dataset completamente open-source composto da oltre 131.000 moduli Verilog diversificati. La metodologia consiste in tre fasi primarie:

1. Raccolta e Cura dei Dati:

   • Fonti: Il dataset aggrega codice da tre fonti distinte: repository GitHub contenenti Verilog/SystemVerilog nativo (circa 102k moduli), repository VHDL convertiti in Verilog (circa 5k moduli) e repository C/C++ sintetizzabili convertiti tramite strumenti HLS (High-Level Synthesis) (circa 24k moduli).
   • Licenza: Un rigoroso processo di filtraggio assicura che tutto il codice sia licenziato per l'uso gratuito sia in ambito accademico che commerciale, rimuovendo i repository con licenze restrittive o proprietarie.
   • Pre-elaborazione: I file multi-modulo vengono scomposti in singoli moduli. Vengono rimossi i commenti ridondanti e gli spazi bianchi, ed estratti i metadati (nomi dei moduli, pin di I/O) per creare un formato JSONL strutturato.

2. Etichettatura del Dataset:

   • Modello: Gli autori utilizzano DeepSeek-R1 70B, un LLM open-source focalizzato sul ragionamento, per generare descrizioni in linguaggio naturale per ogni modulo Verilog.
   • Augmentation del Contesto: Un aspetto innovativo del flusso di etichettatura prevede l'utilizzo di Verilator per generare rappresentazioni C++ dei moduli Verilog. Gli autori sperimentano la fornitura al modello sia del codice Verilog che del contesto C++ generato da Verilator per migliorare la comprensione semantica durante il processo di generazione della descrizione.
   • Quantizzazione: Il processo di etichettatura valuta i compromessi tra la quantizzazione INT4 e BF16 per il modello DeepSeek-R1, al fine di bilanciare l'efficienza computazionale con la fedeltà dell'etichettatura.

3. Fine-Tuning e Valutazione:

   • Il dataset etichettato viene utilizzato per il fine-tuning di varie famiglie di LLM open-source, inclusi i modelli della serie Granite (8B) e della serie Qwen (7B e 32B).
   • Le prestazioni vengono valutate utilizzando il benchmark VerilogEval (varianti sia Machine che Human), misurando le metriche Pass@1, Pass@5 e Pass@10.

Contributi Chiave

• Dataset OPENRTLSET: La creazione del più grande dataset Verilog completamente open-source (131k moduli), garantendo la completa riproducibilità attraverso origini GitHub tracciabili e licenze permissive.
• Flusso di Etichettatura End-to-End: Una pipeline completamente open-source che integra LLM guidati dal ragionamento (DeepSeek-R1) e un contesto C++ opzionale generato da Verilator per produrre descrizioni in linguaggio naturale di alta qualità per il codice hardware.
• Studi di Ablazione Sistematici: Il documento fornisce un'analisi estesa sull'impatto della composizione del dataset (Verilog vs Verilog+C++), della dimensione del modello (7B–32B) e delle strategie di quantizzazione sulle prestazioni di generazione del codice.
• Benchmarking: Un'analisi comparativa che dimostra come i modelli sottoposti a fine-tuning su OPENRTLSET superino quelli addestrati su dataset esistenti come MG-Verilog, anche quando quest'ultimi vengono ri-etichettati con lo stesso flusso.

Risultati
I risultati sperimentali evidenziano diverse scoperte chiave:

• Guadagni di Prestazioni: Il fine-tuning su OPENRTLSET produce miglioramenti significativi rispetto ai modelli baseline. Sul benchmark VerilogEval-Machine, il fine-tuning di Qwen2.5-32B sull'intero dataset di 131k elementi ha portato a un Pass@10 dell'89,3%, un miglioramento assoluto del 5,4% rispetto alla migliore configurazione sottocampionata di 11k.
• Qualità del Dataset vs Flusso: Sebbene la ri-etichettatura del dataset MG-Verilog esistente con il flusso degli autori abbia migliorato le prestazioni, il dataset OPENRTLSET ha costantemente superato il primo. Ciò suggerisce che la diversità e la qualità del codice sorgente in OPENRTLSET sono critiche quanto la metodologia di etichettatura.
• Augmentation del Contesto: Lo studio di ablazione sulle strategie di etichettatura ha rivelato che per i modelli più piccoli (7B–8B), l'integrazione del Verilog con il C++ generato da Verilator ("Verilog & C++") spesso produceva risultati migliori. Tuttavia, per il modello più grande Qwen2.5-32B, l'uso del solo Verilog a volte performava meglio, indicando che la capacità del modello influenza l'utilità del contesto aggiuntivo.
• Quantizzazione: La quantizzazione INT4 è stata selezionata per la fase di etichettatura per risparmiare risorse computazionali senza compromettere significativamente le prestazioni del modello finale sottoposto a fine-tuning.
• Efficienza del Modello: Lo studio ha notato che modelli più piccoli (es. Granite3.3-8B) possono superare modelli chiusi più grandi (es. Claude 3.7, GPT-3.5-turbo) nei compiti Verilog dopo il fine-tuning, sebbene i modelli a 32 miliardi di parametri abbiano raggiunto i punteggi assoluti più elevati.

Significatività
Il paper sostiene che OPENRTLSET stabilisca una nuova base per la ricerca accessibile e l'uso commerciale nella progettazione hardware guidata da LLM. Rimuovendo le barriere proprietarie e fornendo un dataset standardizzato e di alta qualità, gli autori mirano ad accelerare lo sviluppo di strumenti capaci di generare design hardware corretti. Il lavoro dimostra che gli approcci open-source, se combinati con una rigorosa cura dei dati e un'etichettatura basata sul ragionamento, possono raggiungere prestazioni superiori nei compiti di progettazione hardware, affrontando un collo di bottiglia fondamentale nel settore. Il dataset e i modelli associati sottoposti a fine-tuning sono messi a disposizione della comunità per promuovere ulteriore innovazione nell'ingegneria hardware automatizzata.