💻 computer science

Synthesis-in-the-Loop Evaluation of LLMs for RTL Generation: Quality, Reliability, and Failure Modes

Dieser Beitrag stellt einen Synthese-im-Loop-Evaluierungsrahmen vor, der den Hardware-Qualitätsindex (HQI) zur Bewertung von 32 Sprachmodellen bei der RTL-Generierung verwendet und dabei deutliche Leistungsniveaus sowie systematische Fehlermodi aufzeigt, die die Kluft zwischen funktionaler Korrektheit und der Qualität der Hardwareimplementierung verdeutlichen.

Ursprüngliche Autoren: Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Architekten ein, um ein Haus zu entwerfen. In der Vergangenheit hätten Sie sie vielleicht einfach gebeten, eine Zeichnung des Hauses anzufertigen und geprüft, ob die Zeichnung gut aussieht. Wenn die Zeichnung ein Dach und Türen hatte, hätten Sie gesagt: „Gute Arbeit!"

Doch in der realen Welt des Chipbaus (der Gehirne von Computern) reicht ein hübsches Bild nicht aus. Das Design muss baubar, effizient und sicher sein. Wenn der Architekt eine Wand aus Glas zeichnet, die tatsächlich nicht gebaut werden kann, oder eine Treppe, die zu viel Platz einnimmt, scheitert das gesamte Projekt.

Dieser Artikel ist wie ein strenger Prüfbericht für 32 verschiedene „KI-Architekten" (Large Language Models), die versuchen, die Baupläne für Computerchips zu erstellen. Anstatt nur zu prüfen, ob die Zeichnung der KI richtig aussieht, haben die Forscher eine spezielle Testmaschine gebaut, die versucht, das Design tatsächlich zu bauen, um zu sehen, ob es funktioniert.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Der „Bau-es"-Test (Synthesis-in-the-Loop)

Die meisten vorherigen Tests für KI-Coding waren wie ein Vorlesewettbewerb: Sie prüften, ob die KI die Wörter richtig geschrieben hatte (Syntax) und ob die Geschichte Sinn ergab (Simulation).

Dieser Artikel fügte eine „Bauphase" hinzu. Sie nahmen den Code der KI und führten ihn durch einen Fabrikprozess (genannt Synthese), der den Code in einen physischen Chip-Plan verwandelt.

Das Ergebnis: Viele KIs bestanden den „Vorlesewettbewerb", scheiterten aber am „Bau". Sie schrieben Code, der korrekt aussah, aber zusammengebrochen wäre, wenn man versucht hätte, ihn zu bauen.
Die neue Punktzahl: Sie erstellten einen „Hardware-Qualitätsindex" (HQI). Denken Sie daran als eine Punktzahl von 0 bis 100, die nicht nur misst, ob das Design funktioniert, sondern wie effizient es Platz und Zeit nutzt und wie viele Warnungen die Fabrik ihnen gab.

2. Die drei Ligen der Architekten

Als sie die 32 KI-Modelle rangierten, fanden sie keine glatte Linie von „schlecht" bis „gut". Stattdessen fielen die Modelle in drei distincte Gruppen, wie drei verschiedene Ligen von Sportmannschaften:

Die Elite-Liga (Tier 1): Diese 14 Modelle sind die „Meisterarchitekten". Sie produzieren konsistent Designs, die nicht nur baubar, sondern hoch effizient sind. Der Top-Performer, Gemini-3-Pro, erzielte eine beeindruckende Punktzahl von 85 von 100.
Die Amateur-Liga (Tier 2): Diese 15 Modelle sind „Junioren". Sie können einfache Häuser bauen, aber wenn das Design komplex wird, beginnen sie, Fehler zu machen. Sie liegen etwa 10 Punkte hinter der Elite-Liga.
Die Novizen-Liga (Tier 3): Diese 3 Modelle sind „Praktikanten". Sie haben Schwierigkeiten, sogar die Grundstruktur zu vollenden. Ihre Designs bestehen den Bauprozess oft vollständig nicht.

3. Das Problem „Best-of-Five" vs. „Erster Versuch"

Stellen Sie sich vor, Sie bitten einen Architekten, ein Haus zu entwerfen.

Die „Best-of-5"-Punktzahl: Wenn Sie den Architekten bitten, 5 verschiedene Versionen zu zeichnen und die beste auszuwählen, könnte er eine großartige Arbeit leisten.
Die „Erster-Versuch"-Punktzahl: Wenn Sie ihm nur erlauben, eine Version zu zeichnen und Sie diese sofort verwenden müssen, sinkt die Qualität oft erheblich.

Der Artikel fand hier eine enorme Lücke. Einige Modelle konnten ein Meisterwerk produzieren, wenn man ihnen fünf Versuche gab, aber ihr erster Versuch war oft mittelmäßig.

Warum das wichtig ist: In der Zukunft wollen wir KI-Agenten, die automatisch arbeiten (wie ein Roboter, der einen Chip entwirft und ohne menschliche Kontrolle zum nächsten Schritt übergeht). Wenn der Roboter warten muss, bis fünf Versuche zu einem guten Ergebnis führen, verlangsamt das alles. Der Artikel sagt, diese KIs sind für diesen „Roboter"-Job noch nicht ganz bereit, weil ihr erster Versuch nicht zuverlässig genug ist.

4. Wie sie scheitern: Der „späte" vs. „frühe" Absturz

Die Forscher untersuchten, warum die Designs scheiterten, und fanden ein lustiges Muster basierend darauf, woher die KI kam:

Proprietäre Modelle (Die Big-Tech-Unternehmen): Diese KIs sind wie Schüler, die sehr hart gelernt haben, aber bei der Abschlussprüfung verwirrt wurden. Sie schreiben normalerweise Code, der auf den ersten Blick perfekt aussieht, aber wenn die Fabrik versucht, ihn zu bauen, stoßen sie spät im Prozess auf eine Wand (wie wenn man merkt, dass eine Tür an der falschen Stelle ist, nachdem die Wände bereits hochgezogen sind).
Open-Weight-Modelle (Die Community-Projekte): Diese KIs sind wie Schüler, die die Grundlagen übersprungen haben. Sie scheitern sehr früh. Oft vergessen sie, das Design mit einem „Wrapper" zu versehen, oder versuchen, Materialien zu verwenden, die in der realen Welt nicht existieren (wie den Versuch, eine Brücke aus Wasser zu bauen).

Der Artikel schlägt vor, dass dies passiert, weil die „Open"-KIs hauptsächlich auf Code trainiert wurden, der für Tests (Simulationen) gedacht war, während die „Proprietären"-KIs anscheinend mehr Code gesehen haben, der für den Bau (Synthese) gedacht war.

5. Kosten vs. Qualität

Schließlich prüften sie das Preisschild.

Die teure Falle: Einige der teuersten KI-Modelle (wie die, die viel Zeit damit verbringen, „nachzudenken", bevor sie antworten) waren nicht die besten beim Bauen von Chips. Sie waren langsam und kostspielig, produzierten aber keine besseren Pläne.
Die wertvolle Wahl: Einige günstigere, schnellere Modelle (wie Gemini-3-Flash) produzierten erstklassige Designs für einen winzigen Bruchteil der Kosten. Es stellt sich heraus, dass für diesen spezifischen Job „schwierigeres Nachdenken" nicht „besseres Bauen" bedeutete.

Das Fazit

Dieser Artikel sagt uns, dass KI zwar sehr gut darin wird, Code zu schreiben, der richtig aussieht, aber immer noch Schwierigkeiten hat, Code zu schreiben, der fertig zum Bauen ist. Um KI für das Design echter Computerchips einzusetzen, müssen wir aufhören, nur zu prüfen, ob der Code einen Test besteht, und anfangen zu prüfen, ob er tatsächlich effizient hergestellt werden kann. Solange die Zuverlässigkeit des „Ersten Versuchs" nicht verbessert wird, können wir diesen KI-Architekten nicht voll vertrauen, allein zu arbeiten.

Technische Zusammenfassung: Synthese-im-Loop-Evaluierung von LLMs für die RTL-Generierung

Problemstellung

Die Generierung von Register-Transfer-Level (RTL)-Code mittels Large Language Models (LLMs) stellt eine einzigartige Herausforderung dar, die sich von der Software-Synthese unterscheidet. Während die Software-Generierung syntaktische Validität und funktionale Korrektheit erfordert, verlangt die RTL-Generierung, dass Entwürfe syntaktisch valide, in Gate-Level-Netlisten synthetisierbar, unter Simulation funktional korrekt sowie in Bezug auf Fläche und Timing hardware-effizient sind. Bestehende Benchmarks (z. B. VerilogEval, RTLLM) bewerten Modelle primär anhand von Bestehensquoten in Simulationen ($pass@k$), die nicht zwischen Entwürfen unterscheiden, die lediglich einen Testbench bestehen, und solchen, die in effiziente, synthetisierbare Hardware kompilieren. Darüber hinaus erfordert der Aufstieg von Agentic AI, die End-to-End-Workflows der Electronic Design Automation (EDA) orchestriert, einen Wechsel von der Bewertung der „Best-of- $k$ "-Fähigkeit hin zur Bewertung der Qualität eines einzelnen Versuchs ($pass@1$), da autonome Agenten die kombinatorische Explosion multipler Stichprobenstrategien nicht finanzieren können. Aktuelle Evaluierungsmethoden erfassen nicht die für die Zuverlässigkeit beim Einsatz erforderlichen „Quality-of-Results" (QoR)-Metriken (Fläche, Verzögerung, Warnungen).

Methodik

Die Autoren schlagen ein Synthese-im-Loop-Evaluierungsframework vor, um diese Lücken zu schließen.

Benchmark und Modelle: Die Studie bewertet 32 Sprachmodelle (einschließlich proprietärer und Open-Weight-Varianten von OpenAI, Google, Anthropic, Meta, DeepSeek usw.) an 202 Verilog-Aufgaben, die aus VerilogEval (155 Single-Module-Aufgaben) und RTLLM (47 reale Multi-Module-Aufgaben) stammen. Jedes Modell wird mit fünf unabhängigen Versuchen pro Aufgabe promptet.
Evaluierungspipeline: Ein generierter Entwurf muss drei sequenzielle Gates bestehen, um auf Qualität bewertet zu werden:
1. Syntaktische Validität: Verifiziert via Icarus Verilog.
2. Synthetisierbarkeit: Verifiziert via Yosys-Elaboration und Mapping unter der Nangate45 45nm-Standardzellenbibliothek.
3. Funktionale Korrektheit: Verifiziert via Testbench-Simulation mit Fail-First-Matching.
Hardware Quality Index (HQI): Für Entwürfe, die alle Gates bestehen, wird eine 0–100-Punkte-Skala basierend auf post-synthetischen Metriken relativ zu einem experten „golden"-Referenzentwurf berechnet. Die Punktzahl leitet sich aus normalisierter Fläche ( $\hat{a}$ ), Verzögerung ( $\hat{d}$ ) und überschüssiger Warnungsanzahl ( $\hat{w}$ ) ab:
$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$
$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$
Entwürfe, die ein Gate nicht bestehen, erhalten einen HQI von 0.
Aggregierte Metriken: Die Studie definiert Complexity-weighted Coverage (Aufgabenlösungsrate), Global HQI (Obergrenze der Best-of-5-Fähigkeit) und Expected HQI (Qualität eines einzelnen Versuchs). Die Lücke zwischen Global und Expected HQI quantifiziert die „Deployment-Readiness"-Lücke.
Fehler-Taxonomie: Synthesefehler (Bestehen von Icarus, aber Scheitern bei Yosys) werden basierend auf der Yosys-Diagnoseausgabe in eine Neun-Klassen-Taxonomie eingeteilt.

Hauptergebnisse

1. Drei-Stufen-Fähigkeitslandschaft

K-Means-Clustering der 32 Modelle offenbart drei distincte Fähigkeitsstufen:

Stufe 1 (Frontier): 14 Modelle mit Global HQI $\ge$ 66. Angeführt von Gemini-3-Pro (87,5 % Coverage, 85,1 HQI), gefolgt von GPT-5.4-Pro und Gemini-3-Flash. Diese Stufe umfasst Top-Varianten von OpenAI, Google und Anthropic.
Stufe 2 (Dichter Cluster): 15 Modelle mit Global HQI zwischen 43 und 66. Enthalten sind starke Open-Weight-Modelle wie DeepSeek-V3.2 und Qwen3.5-397B-OSS sowie mittlere proprietäre Modelle.
Stufe 3 (Geringe Leistung): 3 Modelle mit Global HQI < 43, einschließlich Mistral-Nemo und GPT-5-Nano.

2. Diskrepanz zwischen Simulation und Synthese

Simulationsbasierte Bestehensquoten übertreiben die Hardware-Bereitschaft systematisch. Im Durchschnitt übersteigt die Best-of-5-Bestehensrate den Global HQI um 7,5 Punkte, wobei die Lücken bei einigen Modellen bis zu 14,9 Punkte betragen. Das ausschließliche Verlassen auf Simulations-Bestehensquoten führt zu Rangfolge-Inversionen; beispielsweise rangiert GPT-4.1 bei der Bestehensrate auf Platz 14, aber bei HQI auf Platz 17, während GPT-5.4-Pro bei Berücksichtigung der Qualität von Platz 9 auf Platz 2 vorrückt.

3. Die Deployment-Readiness-Lücke

Ein zentrales Ergebnis ist die signifikante Lücke zwischen Global HQI (Best-of-5) und Expected HQI (einzelner Versuch).

In Stufe 1 reicht die Lücke von 3,7 bis 17,8 Punkten (Median 8,7).
In niedrigeren Stufen übersteigen die Lücken 15 Punkte und erreichen ein Maximum von 22,1 Punkten.
Dies zeigt, dass ein einzelner Modellaufruf möglicherweise nur die Hälfte der Qualität einer Multi-Versuch-Strategie beibehält, was eine Barriere für die Integration in autonome agentic Pipelines darstellt.

4. Fehlermodus-Taxonomie

Die Analyse von 195 Synthesefehlern offenbart systematische Unterschiede zwischen Modelltypen:

Proprietäre Modelle: Scheitern spät in der Pipeline. Dominante Fehlermodi sind „späte Syntaxfehler" (Code besteht den Parser, scheitert aber bei der Elaboration aufgrund struktureller Probleme) und „Synthese-Timeouts" (komplexe Netlisten). Dies deutet auf eine Exposition gegenüber Synthese-grade RTL in den Trainingsdaten hin.
Open-Weight-Modelle: Scheitern früh. Dominante Modi sind „undefinierte Modulreferenzen" (fehlende Wrapper) und „nicht-synthetisierbare Konstrukte" (z. B. while-Schleifen, initial-Blöcke). Dieses Muster stimmt mit Trainingskorpora überein, die eher auf simulationsorientierten Code als auf Synthese-grade RTL ausgerichtet sind.

5. Inferenz-Charakteristika

Kosten und Qualität zeigen eine schwache Korrelation. Hochpreisige Modelle mit hohem Reasoning-Overhead (z. B. GPT-5-Pro) garantieren keine überlegene RTL-Qualität. Gemini-3-Flash erweist sich als kosteneffizientes Frontier-Modell, das Stufe-1-Qualität (81,2 HQI) zu einem Bruchteil der Kosten von Top-Tier-Reasoning-Modellen liefert.

Bedeutung und Beiträge

Die Arbeit beansprucht drei primäre Beiträge:

Ein Synthese-im-Loop-Framework: Es stellt eine Pipeline und den Hardware Quality Index (HQI) vor, die über binäre Pass/Fail-Metriken hinausgehen, um die Implementierungsqualität (Fläche, Verzögerung, Warnungen) gegenüber Expertenreferenzen zu bewerten.
Empirische Charakterisierung: Es bietet eine umfassende Evaluierung von 32 Modellen, offenbart eine strukturierte Drei-Stufen-Landschaft und quantifiziert die „Deployment-Readiness-Lücke", bei der die Qualität eines einzelnen Versuchs signifikant hinter dem Best-of- $k$ -Potenzial zurückbleibt.
Fehler-Taxonomie: Es legt eine systematische Divergenz in Fehlermodi zwischen proprietären und Open-Weight-Modellen offen und verknüpft diese Unterschiede mit der Zusammensetzung der Trainingsdaten (Synthese-grade vs. Simulations-grade).

Die Autoren schließen, dass LLMs zwar vielversprechend für die RTL-Generierung sind, aktuelle Modelle jedoch noch nicht in autonome agentic Pipelines integriert werden können, ohne die Zuverlässigkeit bei Einzelversuchen zu verbessern. Die Lücke zwischen Simulations-Bestehensquoten und synthesebewussten Qualitätsmetriken erfordert eine Verschiebung der Evaluierungsstandards für die Hardware-Design-Automatisierung. Zukünftige Arbeiten sollten sich auf iterative Verfeinerung mit Synthese-Feedback und die Kuratierung von Synthese-grade-Trainingskorpora konzentrieren, um die spezifischen Fehlermodi von Open-Weight-Modellen zu adressieren.