Technische Samenvatting: Synthese-in-de-Loop Evaluatie van LLM's voor RTL-Generatie

Probleemstelling

Het genereren van Register-Transfer Level (RTL)-code met Large Language Models (LLM's) vormt een unieke uitdaging die verschilt van software-synthese. Waar software-generatie syntactische validiteit en functionele correctheid vereist, eist RTL-generatie dat ontwerpen syntactisch geldig zijn, synthetiseerbaar naar gate-level netlists, functioneel correct onder simulatie, en hardware-efficiënt zijn in termen van oppervlakte en timing. Bestaande benchmarks (bijv. VerilogEval, RTLLM) evalueren modellen voornamelijk op basis van simulatie-slaagpercentages ($pass@k$), wat niet onderscheid maakt tussen ontwerpen die slechts een testbench doorstaan en die welke compileren naar efficiënte, synthetiseerbare hardware. Bovendien vereist de opkomst van Agentic AI, die end-to-end Electronic Design Automation (EDA)-werkstromen orchestreert, een verschuiving van het evalueren van de "best-of-$k$" capaciteit naar het beoordelen van de kwaliteit van een enkele poging ($pass@1$), aangezien autonome agenten de combinatorische explosie van multi-sample strategieën niet kunnen veroorloven. Huidige evaluatiemethoden vangen de "quality-of-results" (QoR)-metrieken (oppervlakte, vertraging, waarschuwingen) die nodig zijn voor betrouwbaarheid bij implementatie, niet.

Methodologie

De auteurs stellen een Synthese-in-de-Loop evaluatiekader voor om deze gaten op te vullen.

• Benchmarks en Modellen: De studie evalueert 32 taalmodellen (inclusief propriëtaire en open-weight varianten van OpenAI, Google, Anthropic, Meta, DeepSeek, etc.) op 202 Verilog-taken afkomstig uit VerilogEval (155 single-module taken) en RTLLM (47 real-world multi-module taken). Elk model wordt met vijf onafhankelijke pogingen per taak geprompt.
• Evaluatiepijplijn: Een gegenereerd ontwerp moet drie sequentiële poorten doorstaan om op kwaliteit te worden beoordeeld:
  1. Syntactische Validiteit: Geverifieerd via Icarus Verilog.
  2. Synthetiseerbaarheid: Geverifieerd via Yosys-uitwerking en mapping onder de Nangate45 45nm standaardcelbibliotheek.
  3. Functionele Correctheid: Geverifieerd via testbench-simulatie met fail-first matching.
• Hardware Quality Index (HQI): Voor ontwerpen die alle poorten doorstaan, wordt een score van 0–100 berekend op basis van post-synthese-metrieken ten opzichte van een expert "golden" referentie. De score is afgeleid van genormaliseerde oppervlakte ($\hat{a}$), vertraging ($\hat{d}$), en excessief aantal waarschuwingen ($\hat{w}$):
  $$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$$
  $$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$$
  Ontwerpen die een poort falen, ontvangen een HQI van 0.
• Aggregatiemetrieken: De studie definieert Complexiteit-gewogen Dekking (taakoplossingspercentage), Globale HQI (best-of-5 capaciteitsplafond), en Verwachte HQI (kwaliteit van een enkele poging). De kloof tussen Globale en Verwachte HQI kwantificeert de "deployment-readiness" kloof.
• Fouttaxonomie: Synthesefouten (Icarus doorstaan maar Yosys gefaald) worden geclassificeerd in een negenklasse-taxonomie op basis van Yosys-diagnostische output.

Belangrijkste Resultaten

1. Drie-Tier Capaciteitslandschap

K-means clustering van de 32 modellen onthult drie distincte capaciteitsniveaus:

• Tier 1 (Frontier): 14 modellen met Globale HQI $\ge$ 66. Geleid door Gemini-3-Pro (87,5% dekking, 85,1 HQI), gevolgd door GPT-5.4-Pro en Gemini-3-Flash. Dit niveau omvat topvarianten van OpenAI, Google en Anthropic.
• Tier 2 (Dichte Cluster): 15 modellen met Globale HQI tussen 43 en 66. Omvat sterke open-weight modellen zoals DeepSeek-V3.2 en Qwen3.5-397B-OSS, evenals mid-tier propriëtaire modellen.
• Tier 3 (Lage Prestatie): 3 modellen met Globale HQI < 43, waaronder Mistral-Nemo en GPT-5-Nano.

2. Discrepantie tussen Simulatie en Synthese

Op simulatie gebaseerde slagpercentages geven systematisch een te hoog beeld van hardware-bereidheid. Gemiddeld overschrijdt het best-of-5 slagpercentage de Globale HQI met 7,5 punten, met kloven die voor sommige modellen oplopen tot 14,9 punten. Uitsluitend vertrouwen op simulatie-slagpercentages leidt tot rangschikkingsinversies; bijvoorbeeld, GPT-4.1 staat 14e op slagpercentage maar 17e op HQI, terwijl GPT-5.4-Pro van 9e naar 2e schuift wanneer kwaliteit wordt overwogen.

3. De Deployment-Readiness Kloof

Een cruciale bevinding is de significante kloof tussen Globale HQI (best-of-5) en Verwachte HQI (enkele poging).

• In Tier 1 loopt de kloof van 3,7 tot 17,8 punten (mediaan 8,7).
• In lagere niveaus overschrijden de kloven 15 punten, met een maximum van 22,1 punten.
  Dit geeft aan dat een enkele modeloproep mogelijk slechts de helft van de kwaliteit van een multi-pogingsstrategie behoudt, wat een barrière vormt voor integratie in autonome agentic pijplijnen.

4. Taxonomie van Foutmodi

Analyse van 195 synthesefouten onthult systematische verschillen tussen modeltypen:

• Propriëtaire Modellen: Falen laat in de pijplijn. Dominante foutmodi zijn "late syntactische fouten" (code slaagt voor de parser maar faalt bij uitwerking door structurele problemen) en "synthesetijdslagen" (complexe netlists). Dit suggereert blootstelling aan synthesegrade RTL in trainingsdata.
• Open-Weight Modellen: Falen vroeg. Dominante modi zijn "ongedefinieerde module-referenties" (ontbrekende wrappers) en "niet-synthetiseerbare constructies" (bijv. while-lussen, initial-blokken). Dit patroon sluit aan bij trainingscorpora die vertekend zijn naar simulatie-gerichte code in plaats van synthesegrade RTL.

5. Inferentiekenmerken

Kosten en kwaliteit vertonen een zwakke correlatie. Hoge-kostenmodellen met zware redeneringskosten (bijv. GPT-5-Pro) garanderen geen superieure RTL-kwaliteit. Gemini-3-Flash komt naar voren als een kostenefficiënt frontier-model, dat Tier 1-kwaliteit (81,2 HQI) levert voor een fractie van de kosten van top-tier redeneringsmodellen.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Een Synthese-in-de-Loop Kader: Het introduceert een pijplijn en de Hardware Quality Index (HQI) die verder gaat dan binaire pass/fail-metrieken om implementatiekwaliteit (oppervlakte, vertraging, waarschuwingen) te beoordelen tegen expertreferenties.
2. Empirische Karakterisering: Het biedt een uitgebreide evaluatie van 32 modellen, onthult een gestructureerd drie-tier landschap en kwantificeert de "deployment-readiness kloof" waar de kwaliteit van een enkele poging significant achterblijft bij het best-of-$k$ potentieel.
3. Fouttaxonomie: Het blootlegt een systematische divergentie in foutmodi tussen propriëtaire en open-weight modellen, en koppelt deze verschillen aan de samenstelling van trainingsdata (synthesegrade versus simulatie-grade).

De auteurs concluderen dat hoewel LLM's veelbelovend zijn voor RTL-generatie, huidige modellen nog niet in autonome agentic pijplijnen kunnen worden geïntegreerd zonder de betrouwbaarheid van single-shot te verbeteren. De kloof tussen simulatie-slagpercentages en synthese-bewuste kwaliteitsmetrieken vereist een verschuiving in evaluatiestandaarden voor hardware-ontwerpsautomatisering. Toekomstig werk moet zich richten op iteratieve verfijning met synthesefeedback en de curatie van synthesegrade trainingscorpora om de specifieke foutmodi van open-weight modellen aan te pakken.