RuC: HDL-Agnostic Rule Completion Benchmark Generation

1. Enunciato del Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato potenziale nell'Automazione della Progettazione Elettronica (EDA), gli attuali benchmark per valutare le loro capacità di completamento del codice nei Linguaggi di Descrizione Hardware (HDL) soffrono di limitazioni significative:

• Mancanza di Controllo della Granularità: I benchmark attuali ricadono generalmente in due categorie: Completamento del Modulo (MC), che maschera un intero modulo (spesso troppo complesso e ricco di contesto per essere ricostruito senza specifiche), e Completamento di Singola Riga (SLC), che maschera una riga casuale.
• Unità Arbitrarie: L'SLC si basa sulle "righe" come unità di mascheramento, che è un artefatto di formattazione piuttosto che un costrutto HDL semanticamente significativo. Una riga casuale potrebbe essere banale o sintatticamente incompleta, fallendo nel testare specifiche caratteristiche del linguaggio.
• Rigorosità della Valutazione: Molti benchmark si affidano a metriche di corrispondenza esatta o a simulazioni semplici, che non riescono a catturare la correttezza parziale o l'equivalenza funzionale rigorosa nei progetti hardware.

Gli autori sostengono che vi sia la necessità di un framework che permetta una granularità arbitraria e semanticamente significativa (da una singola assegnazione a un intero blocco logico) e utilizzi un mascheramento guidato dalla grammatica per valutare sistematicamente la comprensione da parte degli LLM di specifici costrutti HDL.

2. Metodologia: Il Framework RuC

Gli autori propongono RuC (Rule-based Completion), un framework guidato dalla grammatica e agnostico rispetto al linguaggio per la generazione di benchmark di completamento basato su regole.

A. Concetto Chiave: Mascheramento Guidato dalla Grammatica

Invece di mascherare righe casuali o interi moduli, RuC analizza il codice sorgente HDL in un Albero di Parsing basato sulla grammatica formale del linguaggio (ad esempio, SystemVerilog).

• Selezione delle Regole: Gli utenti selezionano regole grammaticali specifiche (non-terminali) da mascherare, come port_declaration, continuous_assignment, case_statement o always_construct.
• Controllo della Granularità: Scegliendo regole diverse, la difficoltà del compito può essere regolata. Ad esempio, mascherare un simple_identifier è più facile che mascherare un intero always_construct.
• Agnostico rispetto all'HDL: Il framework funziona per qualsiasi linguaggio purché sia disponibile una definizione grammaticale (ad esempio, tramite ANTLR).

B. Pipeline di Costruzione del Compito

La pipeline consta di tre fasi:

1. Preprocessing: Risolve le direttive del compilatore e unisce progetti multi-file in un'unica sorgente per fornire un contesto completo.
2. Parsing e Campionamento delle Regole: Analizza la sorgente per generare un albero di parsing, identifica le occorrenze delle regole grammaticali selezionate e le maschera. Filtra il codice morto o i costrutti rimossi durante l'elaborazione.
3. Budgeting del Contesto: Affronta i limiti della finestra di contesto degli LLM. Estrae le dipendenze del modulo (istanziazioni e importazioni) e riduce il contesto per includere solo le dipendenze rilevanti, permettendo agli utenti di scambiare la dimensione del contesto con informazioni strutturali.

C. Strategie di Prompting

RuC supporta due paradigmi di prompting per allinearsi a diverse strategie di addestramento dei modelli:

• Basato su Chat: Sostituisce la regione mascherata con un token <MASK> e fornisce il contesto circostante con un'istruzione.
• Compilazione da Metà (Fill-in-the-Middle - FIM): Divide il codice in Prefisso, Centro (mascherato) e Suffisso. Il modello viene sollecitato con Prefisso + Suffisso + <TOKEN_MEDIO> per generare la parte centrale mancante. Questo si allinea agli obiettivi di pre-addestramento di molti LLM per il codice.

D. Pipeline di Verifica

Per garantire una valutazione rigorosa, RuC impiega un processo di verifica in due fasi:

1. Validazione Sintattica (STX): Re-inserisce il codice generato e lo analizza (utilizzando Verilator) per garantire che sia compilabile e aderisca alle regole del linguaggio.
2. Equivalenza Funzionale (EQV): Utilizza la verifica formale (solutori SAT tramite Yosys) per dimostrare che il design generato dall'LLM è funzionalmente equivalente alla verità fondamentale originale. Costruisce un "circuito mitrato" e verifica se esiste una qualsiasi sequenza di input in grado di produrre output diversi.

3. Contributi Chiave

• Framework RuC: Un sistema nuovo e automatizzato per generare benchmark di completamento di codice HDL con granularità controllabile basata su regole grammaticali formali.
• Design Agnostico rispetto all'HDL: L'approccio è applicabile a qualsiasi linguaggio di descrizione hardware con una grammatica definita, non solo al SystemVerilog.
• Valutazione Rigorosa: Supera le semplici metriche di similarità testuale includendo il controllo formale di equivalenza funzionale, garantendo che il codice generato funzioni effettivamente come previsto.
• Generazione di Benchmark: Ha creato due nuovi benchmark SystemVerilog derivati dallo shuttle Tiny Tapeout TT07 e dal core CVE2 RISC-V, coprendo un'ampia gamma di complessità di progettazione.

4. Risultati Sperimentali

Gli autori hanno valutato cinque LLM open-source (inclusi Qwen2.5/3 Coder, Seed Coder e DeepSeek) sui benchmark generati.

• Strategia di Prompting: Il prompting FIM ha costantemente superato il prompting basato su Chat. Ciò suggerisce che l'obiettivo di "infilling" è critico per i compiti HDL dove il contesto è bidirezionale.
• Varianti del Modello: Sorprendentemente, i modelli Base (pre-addestrati solo) hanno spesso superato i loro corrispettivi addestrati con istruzioni nel completamento delle regole. Ciò indica che l'addestramento con istruzioni, sebbene utile per la codifica generale, può degradare le capacità specifiche di previsione del prossimo token richieste per un preciso riempimento del codice.
• Difficoltà delle Regole: Le prestazioni variavano significativamente in base alla regola grammaticale:
  • Più Facili: PORT (dichiarazioni di porte) e PARAM (parametri), poiché questi possono spesso essere inferiti dall'uso dell'interfaccia.
  • Moderate: Regole di assegnazione (CONT, BLK, NBLK).
  • Più Difficili: Regole di flusso di controllo (COND, CASE, ALWAYS), che richiedono la ricostruzione di logica comportamentale complessa.
• Dimensione del Modello vs Prestazioni: Sebbene i modelli più grandi abbiano generalmente ottenuto risultati migliori, la correlazione non era assoluta. Modelli più piccoli (ad esempio, Seed Coder 8B) hanno talvolta superato quelli più grandi su regole specifiche, suggerendo che la selezione del modello specifica per la regola è più efficace di un approccio unico per tutti.
• Influenza della Codebase: Le prestazioni sono state influenzate dalle regolarità stilistiche nella codebase (ad esempio, le assegnazioni non bloccanti in CVE2 seguivano un pattern altamente regolare, aumentando i punteggi).

5. Significato

• Valutazione Granulare: RuC fornisce il primo framework capace di isolare e testare la comprensione da parte di un LLM di specifici costrutti HDL, andando oltre la valutazione "tutto o nulla" di interi moduli o righe casuali.
• Scalabilità: Automatizzando la generazione di compiti da progetti open-source reali, abilita un benchmarking scalabile che in precedenza era limitato dalla curatela manuale dei dataset.
• Integrazione nel Flusso di Lavoro EDA: I risultati evidenziano che il prompting FIM e i modelli Base sono attualmente superiori per l'assistenza di tipo copilot RTL, guidando lo sviluppo di futuri strumenti EDA.
• Ricerca Futura: Il framework apre la strada allo studio di come gli LLM gestiscono lunghezze di contesto variabili e pattern logici specifici, essenziale per costruire assistenti AI affidabili per la progettazione hardware.

In conclusione, RuC stabilisce un nuovo standard per la valutazione degli LLM nella progettazione hardware combinando l'analisi grammaticale formale con una verifica funzionale rigorosa, rivelando che i modelli attuali faticano con la logica di controllo complessa ma eccellono nella ricostruzione strutturale quando sollecitati correttamente.