QiMeng-CRUX: Narrowing the Gap Between Natural Language and Verilog via Core Refined Understanding eXpression for Circuit Design

Dit paper introduceert QiMeng-CRUX, een model dat de kloof tussen ongestructureerde natuurlijke taal en Verilog-code dicht door middel van een gestructureerde tussenlaag genaamd CRUX en een tweestaps trainingsframework, wat resulteert in state-of-the-art prestaties bij het genereren van hardwarecode.

De kern

Stel je voor dat je een meesterbouwer bent (een LLM, of een "grote taalmodel") en je wilt een heel complexe machine bouwen, zoals een digitale schakeling in Verilog. Maar er is een groot probleem: de opdrachtgever (de gebruiker) geeft je de instructies in een heel rommelig, vaag dagboek.

De opdrachtgever zegt misschien: "Ik wil een teller die de enen telt in een rij van drie bits, oh en zorg dat het werkt."

Voor een mens is dit misschien duidelijk, maar voor een computer is dit een nachtmerrie. De computer denkt: "Welke bits? Welke manier? Wat als er een foutje in zit? Moet ik een schakelaar gebruiken of een lampje?" Als de computer nu direct probeert de machine te bouwen op basis van die rommelige instructies, zal hij waarschijnlijk een lelijke, defecte machine maken.

QiMeng-CRUX is de oplossing voor dit probleem. Het is als een slimme tolk die tussen de rommelige opdrachtgever en de precieze bouwer in zit.

Hier is hoe het werkt, in drie simpele stappen:

1. De "CRUX": De Schets van de Meester

In plaats dat de computer direct probeert de machine te bouwen, vertaalt hij eerst de rommelige tekst naar een CRUX.

• Wat is een CRUX? Stel je voor dat je een architect bent. Je krijgt een opdracht: "Bouw een huis." Dat is te vaag. De architect maakt eerst een schets (de CRUX).
  • De Schets (CRUX) heeft drie delen:
    1. De Deuren en Vensters (Module Interface): Precies waar de ingangen en uitgangen zitten. (Bijv. "3 draden in, 2 draden uit").
    2. Het Hart van het Huis (Core Functions): Wat doet het huis eigenlijk? (Bijv. "Telt hoeveel ramen open zijn").
    3. De Geheime Regels (Key Considerations): De kleine details die vaak vergeten worden. (Bijv. "Gebruik geen rode bakstenen" of "Zorg dat het dak waterdicht is").

De CRUX is dus een geordende, duidelijke tussenstap. Het is de vertaling van "vage wens" naar "technische blauwdruk".

2. Twee Trappen om Slimmer te Worden (Training)

De onderzoekers hebben de computer niet zomaar geleerd om deze schetsen te maken. Ze hebben een slim trainingsprogramma ontwikkeld in twee fases:

• Fase 1: Leren Tekenen en Bouwen (Samenhangend Modelleren)
  De computer krijgt duizenden voorbeelden van rommelige instructies en de juiste blauwdrukken (CRUX) en de uiteindelijke machine (Verilog-code). Hij leert: "Als iemand dit zegt, moet ik eerst deze schets maken, en daarna pas bouwen."

  • Analogie: Een leerling die eerst een tekening maakt van een auto voordat hij de motor bouwt.

• Fase 2: De Meesterbouwer Oefenen (Dubbele Ruimte Optimalisatie)
  Nu gaat de computer oefenen. Hij maakt een schets (CRUX) en bouwt de machine. Dan krijgt hij een score:

  1. Werkt de machine? (Goed zo!)
  2. Was de schets duidelijk genoeg om de machine goed te bouwen? (Ook goed zo!)

  Als de schets vaag was, maar de machine toch goed werkte (door geluk), krijgt hij minder punten. Hij leert dat een goede schets essentieel is voor een betrouwbare machine. Dit dwingt de computer om steeds betere tussenstappen te maken.

3. Waarom is dit zo geweldig?

Vroeger probeerden computers direct van "vage tekst" naar "perfecte code" te springen. Dat is als proberen een kasteel te bouwen zonder bouwtekeningen, alleen maar op basis van een mondje-mondje verhaal. Dat gaat vaak mis.

Met QiMeng-CRUX:

• Het werkt beter: De computer maakt veel minder fouten, zelfs bij heel moeilijke opdrachten.
• Het is flexibeler: Zelfs als je een andere computer (een ander model) gebruikt, kun je de "schetsen" (CRUX) van QiMeng-CRUX gebruiken als handleiding. Die andere computer wordt dan ook slimmer, zonder dat je hem opnieuw hoeft te trainen.
• Het is sneller: Omdat de computer eerst de structuur begrijpt, hoeft hij niet te gissen.

Kort samengevat:
QiMeng-CRUX is een slimme tussenstap die de rommelige, menselijke taal omzet in een strakke, technische blauwdruk voordat er ook maar één regel code wordt geschreven. Het zorgt ervoor dat de computer eerst goed begrijpt wat er moet gebeuren, voordat hij begint met hoe het moet gebeuren. Hierdoor worden de digitale schakelingen die hij bouwt veel betrouwbaarder en preciezer.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) veelbelovende resultaten hebben geboekt bij het genereren van code voor algemene programmeertalen, blijven er aanzienlijke uitdagingen bestaan bij het genereren van hardware-beschrijvingslanguages (HDL), specifiek Verilog.

• De Kloof: Er bestaat een fundamentele kloof tussen vrije, ongestructureerde natuurlijke taalbeschrijvingen van gebruikers en de strikte, formele en semantisch rigoureuze structuur van Verilog-code.
• Ambiguïteit: Gebruikersbeschrijvingen zijn vaak dubbelzinnig, redundant en ongestructureerd, vooral bij complexe taken zoals sequentiële logica, eindige toestandsmachines (FSM's) en complexe besturingslogica.
• Gevolg: Bestaande methoden, die vaak direct van tekst naar code gaan, leiden tot misinterpretaties, semantische drift en foutieve implementaties omdat cruciale informatie in de tekst verspreid of impliciet is.

Methodologie: QiMeng-CRUX

De auteurs stellen QiMeng-CRUX voor, een model dat de kloof overbrugt door een gestructureerd tussenruimte in te voeren: Core Refined Understanding eXpression (CRUX).

1. Het CRUX-Concept

CRUX fungeert als een gestructureerde tussenlaag die de essentie van de gebruikersintentie vastlegt en deze organiseert voor precieze Verilog-generatie. Het bestaat uit drie kerncomponenten:

• Module Interface: Definieert expliciet de input/output-poorten, signalen en hun eigenschappen (breedte, richting).
• Core Functions: Legt de essentiële circuitgedraglogica vast, inclusief functionele doelen en controle/data-flow.
• Key Considerations: Benadrukt subtiele maar kritieke implementatiedetails en beperkingen (bijv. synthesizeerbaarheid, timing) die vaak over het hoofd worden gezien in vrije tekst.

2. Twee-fasen Trainingsframework

Om de potentie van CRUX volledig te benutten, ontwikkelen de auteurs een tweestaps trainingsproces:

• Fase I: Gezamenlijke Expressie Modeling (Joint Expression Modeling)

  • Dataset Constructie: De auteurs bouwen een verrijkte dataset (gebaseerd op CodeV) door "RealSpec" te introduceren. Dit simuleert realistische, onvolledige of ambigue gebruikersinvoer door interface-informatie te degraderen en variaties toe te voegen.
  • CRUX Afleiding: Voor verschillende taaktypes (makkelijke vragen, speciale niet-tekst taken zoals FSM/K-kaarten, en normale data) wordt CRUX gegenereerd door gespecialiseerde LLM's (zoals DeepSeek-R1 en Qwen2.5-Coder).
  • Supervised Fine-Tuning (SFT): Het model wordt getraind om eerst CRUX te genereren vanuit de RealSpec, en vervolgens de Verilog-code op basis van die CRUX.

• Fase II: Dual-Space Optimalisatie (Dual-Space Optimization)

  • CRUX-Enhanced GRPO: Er wordt een Reinforcement Learning (RL) methode toegepast (gebaseerd op GRPO) die twee ruimtes gelijktijdig optimaliseert: de CRUX-ruimte en de Verilog-code ruimte.
  • Beloningssysteem:
    1. Code-Reward: Meet de functionele correctheid van de gegenereerde code via automatische verificatie.
    2. CRUX-Reward: Meet hoe goed de gegenereerde CRUX de kans vergroot dat het model tot een correcte implementatie komt (gemeten via conditionele log-likelihood van de referentiecode). Dit fungeert als een inductieve bias om de zoekruimte te verfijnen.

Belangrijkste Bijdragen

1. CRUX Tussenruimte: Introductie van een gestructureerd, semantisch rijk tussenformaat dat de intentie van de gebruiker expliciet maakt voordat code wordt gegenereerd.
2. Twee-fasen Training: Een innovatief framework dat SFT combineert met een RL-gebaseerde dual-space optimalisatie, waarbij CRUX niet alleen een tussenstap is, maar een actief doel van optimalisatie.
3. Realistische Dataset: De creatie van een dataset met "RealSpec" die interface-degradatie en onvolledigheid simuleert, waardoor het model robuuster wordt voor real-world input.
4. Transferabiliteit: Het bewijs dat CRUX als prompt kan dienen voor andere code-modellen zonder extra training, wat de universele bruikbaarheid van de methode aantoont.

Resultaten

Het model QiMeng-CRUX (gebaseerd op Qwen2.5-Coder-7B) bereikte state-of-the-art (SOTA) prestaties op meerdere Verilog-benchmarks:

• VerilogEval-v2:
  • Spec-to-RTL (SR): Een stijging van 49,3% naar 64,7% (pass@1 bij T=0), een verbetering van +15,4% ten opzichte van eerdere SOTA.
  • Code-Completion (CC): Een stijging van 58,3% naar 68,0% (pass@1).
• RTLLM-v2:
  • Bereikte 63,8% pass@1, wat een verbetering is van 12,8% ten opzichte van de vorige SOTA en prestaties die vergelijkbaar zijn met veel grotere reasoning-modellen zoals Deepseek-R1.
• Efficiëntie: In tegenstelling tot reasoning-modellen die lange contextvensters (16k+ tokens) vereisen, gebruikt QiMeng-CRUX maximaal 4.096 tokens, wat het computerefficiënter maakt.
• Ablatie Studies: Toonden aan dat zowel RealSpec (voor robuustheid) als CRUX (voor diepgaand begrip van ontwerpintentie) essentieel zijn. De CRUX-Reward in Fase II verbeterde de precisie aanzienlijk, hoewel het de diversiteit van kandidaat-oplossingen iets beperkte.

Betekenis en Impact

Dit werk markeert een verschuiving in de benadering van HDL-generatie: van directe vertaling van tekst naar code naar een gestructureerde, intentie-gedreven benadering.

• Betrouwbaarheid: Door de ambigue natuurlijke taal eerst om te zetten in een gestructureerd "ontwerpbewustzijn" (CRUX), worden fouten door misinterpretatie aanzienlijk verminderd.
• Generalisatie: De methode werkt niet alleen voor het specifieke model, maar fungeert als een krachtige "bril" voor andere modellen, wat suggereert dat semantische structuur cruciaal is voor complexe hardware-taken.
• Toekomst: Het biedt een nieuwe richting voor het automatiseren van hardwareontwerp, waarbij de focus ligt op het begrijpen en structureren van de ontwerpintentie in plaats van alleen het voorspellen van de volgende token in code.

Kortom, QiMeng-CRUX bewijst dat het introduceren van een gestructureerde tussenlaag (CRUX) en het optimaliseren van zowel deze tussenlaag als de uiteindelijke code, de prestaties van LLM's in hardwareontwerp drastisch kan verbeteren.