Riepilogo Tecnico: Valutazione "Synthesis-in-the-Loop" degli LLM per la Generazione di RTL

Enunciato del Problema

La generazione di codice a livello di trasferimento registro (RTL) tramite Modelli Linguistici su Grande Scala (LLM) presenta una sfida unica, distinta dalla sintesi software. Mentre la generazione software richiede validità sintattica e correttezza funzionale, la generazione RTL impone che i progetti siano sintatticamente validi, sintetizzabili in netlist a livello di porte, funzionalmente corretti sotto simulazione ed efficienti in termini di hardware per quanto riguarda area e tempistiche. I benchmark esistenti (ad esempio, VerilogEval, RTLLM) valutano principalmente i modelli basandosi sui tassi di superamento della simulazione ($pass@k$), che non riescono a distinguere tra progetti che superano meramente un testbench e quelli che si compilano in hardware efficiente e sintetizzabile. Inoltre, l'ascesa dell'IA Agente, che orchestra flussi di lavoro completi di Automazione della Progettazione Elettronica (EDA), richiede un passaggio dalla valutazione della capacità "migliore tra $k$" alla valutazione della qualità di un singolo tentativo ($pass@1$), poiché gli agenti autonomi non possono permettersi l'esplosione combinatoria delle strategie multi-campione. I metodi di valutazione attuali non catturano le metriche di "qualità dei risultati" (QoR) (area, ritardo, avvisi) necessarie per l'affidabilità del deployment.

Metodologia

Gli autori propongono un framework di valutazione Synthesis-in-the-Loop per colmare queste lacune.

• Benchmark e Modelli: Lo studio valuta 32 modelli linguistici (inclusi varianti proprietarie e open-weight di OpenAI, Google, Anthropic, Meta, DeepSeek, ecc.) su 202 task Verilog tratti da VerilogEval (155 task a singolo modulo) e RTLLM (47 task reali a più moduli). Ogni modello viene sollecitato con cinque tentativi indipendenti per task.
• Pipeline di Valutazione: Un progetto generato deve superare tre gate sequenziali per essere valutato per la qualità:
  1. Validità Sintattica: Verificata tramite Icarus Verilog.
  2. Sintetizzabilità: Verificata tramite elaborazione e mappatura Yosys sotto la libreria di celle standard Nangate45 a 45nm.
  3. Correttezza Funzionale: Verificata tramite simulazione del testbench con corrispondenza al primo fallimento.
• Indice di Qualità Hardware (HQI): Per i progetti che superano tutti i gate, viene calcolato un punteggio da 0 a 100 basato sulle metriche post-sintesi rispetto a un riferimento "golden" esperto. Il punteggio è derivato da area normalizzata ($\hat{a}$), ritardo ($\hat{d}$) e conteggio eccessivo di avvisi ($\hat{w}$):
  $$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$$
  $$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$$
  I progetti che falliscono un gate ricevono un HQI di 0.
• Metriche Aggregate: Lo studio definisce la Copertura pesata per Complessità (tasso di risoluzione dei task), l'HQI Globale (tetto di capacità migliore tra 5) e l'HQI Atteso (qualità del singolo tentativo). Il divario tra HQI Globale e HQI Atteso quantifica il divario di "prontezza al deployment".
• Tassonomia dei Fallimenti: I fallimenti di sintesi (superamento di Icarus ma fallimento di Yosys) sono classificati in una tassonomia a nove classi basata sull'output diagnostico di Yosys.

Risultati Chiave

1. Paesaggio delle Capacità a Tre Livelli

Il clustering K-means dei 32 modelli rivela tre livelli distinti di capacità:

• Livello 1 (Frontiera): 14 modelli con HQI Globale $\ge$ 66. Guidati da Gemini-3-Pro (87,5% di copertura, 85,1 HQI), seguiti da GPT-5.4-Pro e Gemini-3-Flash. Questo livello include le varianti principali di OpenAI, Google e Anthropic.
• Livello 2 (Cluster Denso): 15 modelli con HQI Globale compreso tra 43 e 66. Include forti modelli open-weight come DeepSeek-V3.2 e Qwen3.5-397B-OSS, nonché modelli proprietari di fascia media.
• Livello 3 (Bassa Prestazione): 3 modelli con HQI Globale < 43, inclusi Mistral-Nemo e GPT-5-Nano.

2. Discrepanza tra Simulazione e Sintesi

I tassi di superamento basati sulla simulazione sovrastimano sistematicamente la prontezza hardware. In media, il tasso di superamento migliore tra 5 supera l'HQI Globale di 7,5 punti, con divari che raggiungono fino a 14,9 punti per alcuni modelli. Affidarsi esclusivamente ai tassi di superamento della simulazione porta a inversioni di classifica; ad esempio, GPT-4.1 si posiziona al 14º posto per tasso di superamento ma al 17º per HQI, mentre GPT-5.4-Pro passa dal 9º al 2º posto quando viene considerata la qualità.

3. Il Divario di Prontezza al Deployment

Una scoperta critica è il divario significativo tra HQI Globale (migliore tra 5) e HQI Atteso (singolo tentativo).

• Nel Livello 1, il divario varia da 3,7 a 17,8 punti (mediana 8,7).
• Nei livelli inferiori, i divari superano i 15 punti, raggiungendo un massimo di 22,1 punti.
  Ciò indica che una singola chiamata al modello può mantenere solo la metà della qualità di una strategia multi-tentativo, ponendo un ostacolo all'integrazione in pipeline agentiche autonome.

4. Tassonomia delle Modalità di Fallimento

L'analisi di 195 fallimenti di sintesi rivela differenze sistematiche tra i tipi di modello:

• Modelli Proprietari: Falliscono tardi nella pipeline. Le modalità di fallimento dominanti sono "errori sintattici tardivi" (il codice supera il parser ma fallisce l'elaborazione a causa di problemi strutturali) e "timeout di sintesi" (netlist complesse). Ciò suggerisce l'esposizione a RTL di livello sintesi nei dati di addestramento.
• Modelli Open-Weight: Falliscono presto. Le modalità dominanti sono "riferimenti a moduli non definiti" (wrapper mancanti) e "costrutti non sintetizzabili" (ad esempio, cicli while, blocchi initial). Questo pattern si allinea con corpora di addestramento distorti verso codice orientato alla simulazione piuttosto che a RTL di livello sintesi.

5. Caratteristiche di Inferenza

Costo e qualità mostrano una scarsa correlazione. Modelli ad alto costo con un elevato sovraccarico di ragionamento (ad esempio, GPT-5-Pro) non garantiscono una qualità RTL superiore. Gemini-3-Flash emerge come un modello di frontiera efficiente in termini di costi, offrendo una qualità di Livello 1 (81,2 HQI) a una frazione del costo dei modelli di ragionamento di fascia alta.

Significato e Contributi

Il paper rivendica tre contributi principali:

1. Un Framework Synthesis-in-the-Loop: Introduce una pipeline e l'Indice di Qualità Hardware (HQI) che va oltre le metriche binarie pass/fail per valutare la qualità dell'implementazione (area, ritardo, avvisi) rispetto a riferimenti esperti.
2. Caratterizzazione Empirica: Fornisce una valutazione completa di 32 modelli, rivelando un paesaggio strutturato a tre livelli e quantificando il "divario di prontezza al deployment" dove la qualità del singolo tentativo è significativamente inferiore al potenziale migliore tra $k$.
3. Tassonomia dei Fallimenti: Espone una divergenza sistematica nelle modalità di fallimento tra modelli proprietari e open-weight, collegando queste differenze alla composizione dei dati di addestramento (livello sintesi vs. livello simulazione).

Gli autori concludono che, sebbene gli LLM mostrino promesse per la generazione RTL, i modelli attuali non possono ancora essere integrati in pipeline agentiche autonome senza migliorare l'affidabilità del singolo tentativo. Il divario tra i tassi di superamento della simulazione e le metriche di qualità consapevoli della sintesi richiede un cambiamento negli standard di valutazione per l'automazione della progettazione hardware. Il lavoro futuro dovrebbe concentrarsi sul raffinamento iterativo con feedback di sintesi e sulla curatela di corpora di addestramento di livello sintesi per affrontare le specifiche modalità di fallimento dei modelli open-weight.