Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL

Diese Arbeit schlägt ein kosteneffizientes Framework vor, das funktional fehlerhafte, aber strukturell aussagekräftige von LLMs generierte RTL-Codes nutzt, um Netlist-Repräsentationen zu lernen und so die Datenknappheit für das Training von KI-Modellen in der Schaltungsanalyse zu überwinden.

Das Wesentliche

Stell dir vor, du möchtest einem Computer beibringen, wie ein komplexer Motor funktioniert, indem du ihm tausende von Bauplänen zeigst. Das Problem: Echte, perfekte Baupläne sind streng geheim (wie geistiges Eigentum) und extrem teuer zu besorgen. Ohne genug Pläne kann der Computer nichts lernen.

Hier kommt die Idee dieses Forschungsprojekts ins Spiel: Warum nicht Baupläne von einer KI (einem "Large Language Model" oder LLM) erstellen lassen, auch wenn diese Pläne Fehler enthalten?

Die Forscher haben eine geniale Erkenntnis: Auch wenn die KI den Motor falsch beschreibt (falscher Code), sieht der daraus entstandene Schaltplan (die "Netlist") oft noch genau so aus wie der richtige Motor (die richtige Struktur).

Hier ist die Erklärung des Projekts in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Der Mangel an perfekten Lehrbüchern

Normalerweise trainiert man KI-Modelle für Elektronik mit handgefertigten, perfekten Schaltplänen. Aber das ist wie der Versuch, einen Kochkurs zu geben, aber nur drei perfekte Rezepte zu haben, während man 10.000 Schüler hat. Die meisten echten Designs sind geheim, und das manuelle Erstellen von Labels (Beschriftungen) kostet ein Vermögen.

2. Die Lösung: "Falscher Code, Richtige Struktur"

Die Forscher nutzen eine KI, um Millionen von Schaltplänen zu generieren.

• Das Problem: Die KI macht Fehler. Sie schreibt vielleicht den falschen Code, sodass der Motor im Computer nicht läuft (funktioniert nicht).
• Die Entdeckung: Wenn man diesen fehlerhaften Code in einen echten Schaltplan umwandelt, sieht die Anordnung der Bauteile (die Struktur) oft noch genau so aus wie beim Original.
• Die Analogie: Stell dir vor, du versuchst, ein Haus zu zeichnen. Du vergisst vielleicht, dass das Dach rot sein muss (Fehler in der Funktion/Farbe), aber du hast die Wände, die Fenster und die Tür genau an der richtigen Stelle gezeichnet (richtige Struktur). Ein Architekt, der nur auf die Wände schaut, erkennt trotzdem sofort: "Das ist ein Haus!"

3. Der Prozess: Wie aus "Müll" Gold wird

Die Forscher haben einen cleveren Filter-Prozess entwickelt, der wie ein strenger Hausmeister funktioniert:

1. Der KI-Generator: Die KI schreibt tausende von Entwürfen basierend auf einer kurzen Beschreibung (z. B. "Baue einen Multiplizierer"). Viele sind kaputt.
2. Der "Struktur-Filter": Ein Algorithmus vergleicht den KI-Entwurf mit einem perfekten Original. Er fragt: "Sieht die Grundstruktur ähnlich aus?"
   • Wenn ja (auch wenn die Funktion falsch ist), wird der Entwurf behalten.
   • Wenn nein (das Haus hat keine Wände), wird er verworfen.
3. Der "Architekten-Wettbewerb": Um sicherzustellen, dass die KI nicht immer nur den gleichen Typ von Haus baut, lassen sie die KI verschiedene Bauweisen ausprobieren (z. B. ein Haus mit Flachdach vs. Satteldach). Eine zweite KI-Stimme bewertet, welche Entwürfe am interessantesten und vielfältigsten sind.

4. Das Ergebnis: Ein trainierter Detektiv

Am Ende haben die Forscher ein riesiges Dataset aus diesen "halb-falschen, aber strukturell richtigen" Plänen. Sie trainieren damit ein Modell, das wie ein Detektiv ist.

• Was kann der Detektiv? Er kann in einem riesigen, undurchsichtigen Schaltplan (einem echten Chip) sofort erkennen: "Aha! Hier ist der Prozessor, und hier ist der Speicher."
• Der Test: Sie haben das Modell an echten, komplexen Chips getestet (die es nie vorher gesehen hatte).
• Das Wunder: Das Modell, das mit den "fehlerhaften KI-Plänen" trainiert wurde, war genau so gut oder sogar besser als Modelle, die mit wenigen, teuren, perfekten Plänen trainiert wurden.

Warum ist das wichtig?

Bisher war die Entwicklung von KI für Elektronik wie das Fahren mit einem Auto, bei dem man nur 10 Kilometer Strecke gesehen hat. Jetzt haben die Forscher eine Methode gefunden, um mit einer KI Millionen von "Testfahrten" zu simulieren.

Zusammenfassend:
Sie haben bewiesen, dass man nicht unbedingt perfekte Daten braucht, um etwas zu lernen. Wenn man nur die Struktur versteht, kann man auch mit "schmutzigen" oder fehlerhaften Daten hervorragende Ergebnisse erzielen. Das löst das größte Problem in der Branche: den Mangel an Trainingsdaten.

Es ist, als würdest du jemandem beibringen, einen Ferrari zu erkennen, indem du ihm tausende von Skizzen zeigst, die zwar die Farbe falsch haben oder ein Rad fehlen lassen, aber die Form des Wagens perfekt treffen. Der Schüler lernt trotzdem, einen Ferrari zu erkennen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL" auf Deutsch:

1. Problemstellung

Das Lernen effektiver Repräsentationen für Netze (Netlists) ist für zahlreiche Downstream-Aufgaben im Hardware-Design essenziell, wie z. B. IP-Piraterie-Erkennung, funktionales Verständnis, Reverse Engineering und Sicherheitsaudits. Derzeitige datengetriebene Ansätze (überwiegend auf Graph Neural Networks basierend) stoßen jedoch auf ein fundamentales Daten-Engpass-Problem:

• Mangel an gelabelten Daten: Reale Chip-Designs sind durch geistiges Eigentum (IP) geschützt, und die manuelle Annotation von Netze-Strukturen ist extrem kostspielig.
• Skalierbarkeit: Bestehende Modelle sind oft auf kleine, saubere Datensätze (z. B. ISCAS-85) beschränkt und generalisieren schlecht auf komplexe, reale IP-Level-Designs.
• Limitationen von LLMs: Zwar können Large Language Models (LLMs) Register-Transfer-Level (RTL)-Code in großem Maßstab generieren, doch die resultierenden Designs sind oft funktional fehlerhaft. Herkömmliche Filtermethoden, die nur funktionale Korrektheit zulassen, würden diese Daten verwerfen und damit den potenziellen Nutzen der LLMs zunichtemachen.

2. Methodik

Die Autoren schlagen einen End-to-End-Framework vor, der die funktionalen Fehler von LLM-generiertem RTL ignoriert, aber deren strukturelle Integrität nutzt. Das Framework besteht aus drei Hauptphasen:

A. Schaltungsdaten-Augmentation (Circuit Data Augmentation)

Dies ist der Kern des Ansatzes, um große Mengen an Trainingsdaten zu erzeugen:

1. LLM-basierte RTL-Generierung: Das System akzeptiert entweder funktionale Spezifikationen oder bestehende RTL-Designs (die in Spezifikationen umgewandelt werden). Der LLM generiert daraus neue RTL-Implementierungen.
   • Bottom-up-Ansatz: Komplexe Designs werden durch Generierung von Sub-Modulen mit eigenen Spezifikationen aufgebaut.
   • Synthese-Feedback-Schleife: Ein Debug-Agent analysiert Synthese-Logs und korrigiert Fehler, um sicherzustellen, dass der Code synthetisierbar ist (auch wenn die Funktion nicht perfekt ist).
2. Netlist-Level-Filterung (Strukturelle Ähnlichkeit): Da der Code funktional fehlerhaft sein kann, wird nicht nach funktionalem Äquivalent gefiltert, sondern nach struktureller Ähnlichkeit.
   • Es wird ein Graph-Embedding für das generierte Netz und das Referenz-Netz („Golden Netlist") berechnet.
   • Die Kosinus-Ähnlichkeit dieser Embeddings wird gemessen. Designs, die eine hohe strukturelle Ähnlichkeit aufweisen (obwohl sie funktionale Bugs haben), werden behalten. Dies nutzt die Beobachtung, dass die Topologie oft die beabsichtigte Funktion widerspiegelt.
3. RTL-Level-Architektur-Voting: Um die architektonische Vielfalt zu erhöhen (z. B. Ripple-Carry vs. Carry-Lookahead-Addierer), wird ein Voting-Mechanismus eingesetzt. Der LLM bewertet eine Batch von generierten Designs auf architektonische Vielfalt und Komplexität. Die besten $k$ Designs werden ausgewählt, um sicherzustellen, dass das Training diverse Implementierungsstile abdeckt.

B. Netlist-Repräsentationslernen

Die synthetisierten Netze werden in Graphen umgewandelt (Gatter als Knoten, Leitungen als Kanten).

• Feature-Extraktion: Knoten erhalten Feature-Vektoren basierend auf Konnektivität (PI/PO), Funktionscode (One-Hot) und strukturellen Eigenschaften (Ein-/Ausgangsgrad).
• GNN-Training: Ein Graph Neural Network (basierend auf dem GraphSAINT-Ansatz für Skalierbarkeit) wird trainiert, um robuste Embeddings zu lernen. Das Modell lernt, latente Designabsichten aus der Struktur abzuleiten.

C. Klassifikationsaufgaben

Die gelernten Embeddings werden für zwei Arten von Aufgaben genutzt:

1. Node-Level: Identifikation von Sub-Schaltungsgrenzen (welcher Gatter gehört zu welchem Modul?).
2. Graph-Level: Klassifikation ganzer Komponenten (z. B. Ist dies ein Multiplizierer oder ein Addierer?).

3. Schlüsselbeiträge

• Neue Perspektive auf fehlerhaften Code: Die Arbeit zeigt, dass Netlist-Strukturen intrinsisch robust gegenüber funktionalen Fehlern im Quell-RTL sind. Dies ermöglicht die Nutzung von „noisy" (verrauschten) Daten für das Repräsentationslernen.
• Kosteneffizientes Framework: Es ist das erste Framework, das systematisch funktional unvollkommene LLM-generierte RTL-Daten nutzt. Im Vergleich zu manueller Annotation oder regelbasierten Augmentationsmethoden (die nur lokale Topologien ändern) reduziert es die Datenvorbereitungskosten um Größenordnungen und bietet eine überlegene architektonische Vielfalt.
• Skalierbarkeit auf IP-Level: Das Framework wurde erfolgreich von Operator-Level-Daten auf komplexe IP-Level-Designs (System-on-Chip) skaliert, was bisherige Grenzen überwindet.

4. Ergebnisse

Die Evaluierung wurde auf Benchmarks unterschiedlicher Komplexität durchgeführt:

• Sub-Schaltungsgrenzen-Identifikation (Operator-Level): Modelle, die auf den LLM-augmentierten Daten trainiert wurden, erreichten eine F1-Macro von 93,79 % (im Vergleich zu 90,15 % beim Baseline-Modell auf reinen Real-Daten). Dies beweist, dass synthetische Daten die Feature-Räume effektiv bereichern.
• Generalisierungsfähigkeit: Der Ansatz mit dem „Architecture Voting"-Mechanismus übertraf reine LLM-Rohdaten und regelbasierte Methoden signifikant, was zeigt, dass die architektonische Vielfalt entscheidend für die Generalisierung auf unbekannte Designs ist.
• IP-Level Fallstudie (PicoRV32 & NEORV32): In einem strengen Szenario, bei dem das Modell nur auf PicoRV32-Daten trainiert wurde und auf dem unbekannten NEORV32 SoC getestet wurde (um die CPU-Core-Grenze zu identifizieren):
  • Regelbasierte Augmentation: F1-Score von 58,28 %.
  • LLM-Rohdaten: F1-Score von 60,44 %.
  • Vollständiges Framework (mit Filterung): F1-Score von 68,35 %.
  • Dies zeigt eine deutliche Verbesserung der Präzision durch das Filtern strukturell inkonsistenter Artefakte.

5. Bedeutung und Fazit

Die Arbeit löst das kritische Daten-Engpass-Problem im Bereich des Hardware-Representation-Learnings. Sie demonstriert, dass die Kombination aus der architektonischen Kreativität von LLMs und einer strategischen Filterung basierend auf struktureller Ähnlichkeit eine praktikable Alternative zu teuren manuellen Annotationen darstellt.

Der Ansatz ermöglicht es, Modelle zu trainieren, die nicht nur auf kleinen, sauberen Datensätzen funktionieren, sondern robust genug sind, um komplexe, reale Chip-Designs zu analysieren. Dies öffnet neue Türen für automatisierte Sicherheitsaudits, Reverse Engineering und das Verständnis von IP-Kernen in der modernen Chipentwicklung.