Sintesi Tecnica: EstRTL – Generazione di Codice RTL Guidata dalla Stima Funzionale

Definizione del Problema

La progettazione manuale del Register Transfer Level (RTL) è un processo laborioso e soggetto a errori, particolarmente per sistemi complessi come i moderni processori. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nella generazione di codice sintatticamente corretto da prompt in linguaggio naturale, i metodi esistenti per la generazione di RTL affrontano limitazioni significative riguardanti la correttezza funzionale. Gli approcci attuali si concentrano principalmente sul fine-tuning del modello, l'aumento dei dati (es. RAG) o il controllo della sintassi. Tuttavia, spesso mancano di meccanismi per garantire che il codice generato si comporti come previsto in un hardware reale.

Un collo di bottiglia critico è la dipendenza dai testbench per la verifica. La creazione manuale di testbench è laboriosa, mentre i testbench generati automaticamente spesso mancano di completezza. Di conseguenza, molti metodi esistenti si concentrano esclusivamente sulla correttezza sintattica piuttosto che su quella funzionale. Inoltre, la generazione del codice e la correzione del codice sono spesso studiate separatamente, e i metodi di correzione esistenti si basano tipicamente su valutazioni binarie pass/fail, offrendo nessun feedback intermedio per l'ottimizzazione iterativa.

Metodologia: Il Framework EstRTL

Per affrontare queste sfide, gli autori propongono EstRTL, un framework di agenti collaborativi basato su LLM guidato dalla stima statica del punteggio funzionale. EstRTL opera su un paradigma a tre stadi: Generazione, Stima e Correzione.

1. Generazione (Agente di Generazione del Codice)

Il processo inizia con un Agente di Generazione del Codice che produce codice RTL basandosi su specifiche in linguaggio naturale.

• Verifica della Sintassi: Il codice generato viene sottoposto a un controllo della sintassi tramite Icarus Verilog. Se vengono rilevati errori, l'agente riceve i messaggi di errore e rigenera il codice. Questo ciclo è limitato a tre iterazioni per prevenire loop infiniti.
• Promemoria degli Errori: Il sistema incorpora "promemoria degli errori" che riassumono gli errori comuni corretti (ad esempio, preferire assign rispetto ai blocchi always per la logica combinatoria semplice) per guidare l'agente durante la rigenerazione.

2. Stima (Agente di Stima Funzionale)

Una volta che il codice supera i controlli di sintassi, viene instradato all'Agente di Stima Funzionale, che funge da hub centrale decisionale. Questo agente esegue la stima statica del punteggio funzionale senza eseguire testbench.

• Generazione Inversa dei Requisiti: L'agente utilizza un LLM per l'ingegneria inversa del codice RTL generato riportandolo in requisiti di linguaggio naturale.
• Meccanismo di Punteggio: L'agente calcola un punteggio VFCS (Functional Correctness) basato su tre componenti:
  1. Similitudine Semantica: Calcolata utilizzando modelli pre-addestrati (es. all-MiniLM-L6-v2, roberta-large) per misurare la similitudine tra le specifiche originali e i requisiti invertiti sia a livello di token che di frase.
  2. Punteggio di Completezza: Una metrica basata su penalità ($C$) che valuta parole chiave mancanti o extra (sostantivi/verbi) tra i requisiti originali e quelli invertiti.
  3. Punteggio di Comprensione LLM ($L_{LLM}$): Un'valutazione basata su LLM della correttezza funzionale del codice dati i punteggi sopra citati.
• Logica Decisionale:
  • Punteggio Inaccettabilmente Basso: Il codice viene restituito all'Agente di Generazione per una rigenerazione completa.
  • Fallito ma Migliorabile: Il codice viene inoltrato all'Agente di Correzione.
  • Punteggio Elevato: Il codice viene accettato come funzionalmente corretto.

3. Correzione (Agente di Correzione del Codice)

Per il codice considerato "fallito ma migliorabile", viene impiegato un Agente di Correzione del Codice basato sul ragionamento Chain of Thought (CoT).

• Fase di Ragionamento: L'LLM analizza il codice rispetto alle specifiche per identificare segnali di output specifici con errori, le condizioni di input che scatenano tali errori e le cause logiche sottostanti.
• Fase di Correzione: Sulla base del ragionamento, l'agente modifica il codice RTL, incorporando salvaguardie per prevenire il ricorso a problemi noti e garantire uno stile di codifica coerente.
• Ciclo Iterativo: Il codice corretto viene rivalutato dall'Agente di Stima Funzionale. Questo ciclo continua finché il codice non supera il controllo funzionale.

Contributi Chiave

1. Framework LLM-Agent: Sviluppato un framework collaborativo che aumenta il tasso di successo dei LLM generici sul dataset VerilogEval dal 3,2% al 9,0%.
2. Stima Funzionale Senza Testbench: Introdotto un metodo per stimare la funzionalità RTL senza testbench sfruttando la generazione inversa dei requisiti e la similitudine semantica, raggiungendo una precisione media dell'84,2% nel distinguere codice corretto da errato.
3. Ciclo di Feedback Integrato: Creato un'integrazione fluida di generazione, stima e correzione, dove l'agente di stima fornisce punteggi quantitativi e guida granulare, correggendo con successo oltre il 12% del codice RTL errato.
4. Framework Open-Source: Il framework EstRTL è open-source ed è progettato per essere agnostico rispetto al modello, applicabile a vari LLM (sia generici che specifici del dominio) per migliorare la correttezza del codice.

Risultati Sperimentali

Il framework è stato valutato sui dataset VerilogEval-v1-Human e VerilogEval-v2 utilizzando quattro LLM allo stato dell'arte (Qwen-Plus, Qwen3-32B, DeepSeek-Chat, GPT-4o) e confrontato con baseline tra cui RTLFixer, VeriAssistant e modelli specializzati come OriGen e CodeV.

• Accuratezza della Generazione: EstRTL ha migliorato l'accuratezza Pass@1 dei LLM generici dal 3,2% al 9,0%. Ad esempio, DeepSeek-Chat è passato dal 73,1% al 76,3% su VerilogEval-v1-Human.
• Performance di Stima: L'Agente di Stima Funzionale ha dimostrato un'alta precisione (fino all'88,9% per DeepSeek-Chat) e accuratezza (fino al 78,2% per Qwen3-32B) nel classificare la correttezza funzionale.
• Capacità di Correzione: L'Agente di Correzione del Codice ha ottenuto un tasso di correzione netto del 12% - 17%, correggendo con successo una parte significativa di errori pur introducendo regressioni minime.
• Estensibilità: Il framework si è integrato con successo con modelli RTL specializzati (OriGen, RTLCoder, CodeV-QC), producendo miglioramenti costanti delle prestazioni (ad esempio, CodeV-QC è migliorato dell'11,5% su VerilogEval-v2) senza richiedere retraining o sintonizzazione dei parametri.
• Robustezza: Il sistema ha mostrato robustezza rispetto alla soglia decisionale utilizzata per la classificazione, mantenendo prestazioni stabili attraverso un intervallo di valori di soglia (da 0,38 a 0,54), suggerendo che può essere utilizzata una soglia fissa per diversi modelli.

Significato e Rivendicazioni

L'articolo sostiene che EstRTL affronti il divario critico tra correttezza sintattica e correttezza funzionale nella progettazione hardware assistita dall'IA. Sostituendo la creazione laboriosa di testbench con la stima statica del punteggio funzionale, il framework colma il divario tra generazione e correzione del codice.

Gli autori sottolineano che il loro approccio fornisce punteggi quantitativi e confronti di requisiti leggibili dall'uomo, migliorando così la trasparenza della generazione RTL assistita dall'IA. Affermano che il framework non è semplicemente un modello concorrente, ma un potenziamento plug-and-play che può essere applicato a vari LLM esistenti per aumentare significativamente la loro affidabilità nei compiti di progettazione hardware. Il lavoro è presentato come un passo fondamentale verso flussi di lavoro di progettazione hardware più robusti e automatizzati, spostando l'attenzione dalla mera generazione di codice alla descrizione di hardware funzionale verificato.