🤖 AI

From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation

Dit artikel blootlegt een kritisch "Mirage"-fenomeen waarbij multimodale modellen visuele schakelingdiagrammen omzeilen om code te genereren op basis uitsluitend van tekstidentificatoren, en introduceert VeriGround, een model met 4 miljard parameters dat is getraind met anonimisering en voorkeursuitlijning om betrouwbare, echt onderbouwde conversie van schakelingen naar Verilog te bereiken.

Oorspronkelijke auteurs: Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Mirage"-effect

Stel je voor dat je een toets moet maken waarbij je een plattegrond van een stad moet tekenen op basis van een foto van die stad. De instructies voor de toets bevatten echter ook een lijst met straatnamen (zoals "Hoofdstraat" en "Eikenlaan").

De onderzoekers ontdekten dat veel AI-modellen aan het valsspelen zijn. In plaats van echt naar de foto van de stad te kijken om uit te zoeken waar de wegen lopen, leest de AI de lijst met straatnamen en reciteert hij simpelweg een ingezette kaart die hij al kent.

Het "Mirage"-fenomeen:
De auteurs noemen dit een Mirage (wijn). Het is als water zien in de woestijn dat er niet echt is.

De Toets: Ze lieten de AI een echt circuitschema zien (de foto) en vroegen hem de code te schrijven (de kaart).
De Truc: Vervolgens vervingen ze de echte foto door een leeg wit beeld, maar hielden ze de lijst met straatnamen (de module-header) exact hetzelfde.
Het Resultaat: Verrassend presteerde de AI net zo goed, en soms zelfs beter, met het lege beeld!

Dit bewijst dat de AI het circuitschema niet echt "zag". Hij negeerde de foto volledig en raadselde de code enkel op basis van de namen van de onderdelen. Als de namen "Som" en "Carry" waren, wist de AI dat hij een "Half-Adder" moest bouwen zonder ooit naar de draden in het schema te kijken.

Waarom Dit Belangrijk Is: De Siliciumval

Waarom maakt dit uit? Het artikel vergelijkt dit met het bouwen van een huis.

Normale Code: Als een webdesigner een fout maakt, ziet de website er lelijk uit. Je kunt het makkelijk repareren.
Circuitcode: Als een AI een fout maakt in een circuitschema, wordt die code op een fysieke chip (silicium) gebrand. Zodra de chip is gemaakt, kun je de fout niet meer "Ctrl+Z"en. Het is als beton gieten voor een fundering en dan beseffen dat de deur aan de verkeerde kant zit. Je moet het hele gebouw afbreken.

Als de AI hallucineert (dingen verzint) op basis van tekstclues in plaats van de visuele realiteit, kan het chips creëren die op papier perfect lijken maar in de echte wereld falen.

De Oplossing: De "Amnesie"-test en een Nieuwe AI

Om dit op te lossen, bouwden de onderzoekers twee dingen: een nieuwe test en een nieuw AI-model genaamd VeriGround.

1. De Nieuwe Test: "C2VEVAL" (De Amnesie-test)

Ze creëerden een benchmark waarbij ze de test "anoniem" maakten.

Normale Modus: De AI ziet het schema en de namen (bijv. "Clock", "Reset").
Geanonimiseerde Modus: Ze veranderden alle namen in generieke placeholders zoals "Val_0", "Val_1" en "Val_2".
Het Doel: Als de AI de foto echt begrijpt, zou hij nog steeds moeten werken met de generieke namen. Als hij alleen maar valsspeelde met de namen, zou hij moeten falen.

Het Resultaat: Toen ze de namen verwijderden, stortte de prestatie van de meeste grote AI-modellen in. Dit bevestigde dat de "Mirage" echt was. Slechts ongeveer 8–9% van de tijd keken de modellen daadwerkelijk naar de foto.

2. De Nieuwe AI: "VeriGround" (De Eerlijke Student)

De onderzoekers trainden een nieuwe, kleinere AI (slechts 4 miljard parameters, wat miniem is in vergelijking met reuzen als GPT-5) om te stoppen met valsspelen. Ze gebruikten drie specifieke trainingstrucs:

Truc A: De "Blinddoek"-training (Anonimisering): Ze dwongen de AI om te leren van de geanonimiseerde data. Omdat hij niet op de namen kon vertrouwen, moest hij leren om de echte lijnen en vormen in het schema te lezen.
Truc B: De "Nee Zeggen"-training (Refusal Augmentation): Ze leerden de AI om te zeggen: "Ik kan dit niet doen", wanneer het beeld leeg was of niet overeenkwam met de instructies. Dit voorkomt dat de AI raadt wanneer hij het niet zeker weet.
Truc C: De "Eerste Indruk"-focus (D-ORPO): Dit is een technische aanpassing. Wanneer een AI besluit om te antwoorden of te weigeren, maakt hij die beslissing in de aller eerste woorden van zijn antwoord. De onderzoekers zorgden ervoor dat de AI extra aandacht besteedde aan die eerste paar woorden om ervoor te zorgen dat hij de juiste keuze maakt (Genereren vs. Weigeren) zonder in de war te raken door de lengte van het antwoord.

De Resultaten: Klein maar Krachtig

De nieuwe AI, VeriGround, behaalde enkele indrukwekkende prestaties:

Hij kijkt echt: Onder de "Geanonimiseerde"-test (waar valsspelen onmogelijk is), scoorde VeriGround veel hoger dan alle andere modellen, wat bewees dat hij de schema's echt las.
Hij raadt niet blind: Hij leerde om lege beelden 92% van de tijd te weigeren, maar weigerde zelden een geldig beeld (slechts 1,2% valse weigeringen).
Hij slaat boven zijn gewicht: Hoewel VeriGround een "klein" model is (4B parameters), presteerde hij net zo goed als het enorme, dure "GPT-5.4"-model wanneer de namen aanwezig waren, en hij versloeg ze wanneer de namen werden verwijderd.

Samenvatting

Het artikel onthult dat veel AI-modellen "doen alsof" wanneer ze foto's van circuits omzetten in code; ze lezen alleen de labels en negeren de foto. De auteurs bouwden een nieuwe test om deze "Mirage" bloot te leggen en trainden een nieuwe, eerlijke AI (VeriGround) die echt naar de foto kijkt, weigert te raden wanneer hij in de war is, en beter presteert dan de reuzen bij deze taak.

Technische Samenvatting: Van Mirage naar Verankering

1. Probleemdefinitie en het "Mirage"-fenomeen

Het artikel behandelt de betrouwbaarheid van Multimodale Grootte Taalmodellen (MLLM's) bij circuit-naar-Verilog-codegeneratie, een taak waarbij visuele circuitschema's moeten worden vertaald naar synthetiseerbare Register-Transfer-Level (RTL)-code. De auteurs identificeren een kritiek, sluimerend defect dat het Mirage-fenomeen wordt genoemd.

In standaard evaluatieprotocollen krijgen MLLM's een circuitschema en een module_header (bevat de modulenaam, poorten en parameters) als input. De auteurs tonen aan dat veel state-of-the-art MLLM's de visuele topologie niet echt "lezen". In plaats daarvan maken ze gebruik van identificatorsemantiek binnen de module_header om canonieke RTL-sjablonen op te halen.

Bewijs: Wanneer het circuitschema wordt vervangen door een leeg beeld (terwijl de module_header behouden blijft), blijft de prestatie van de modellen (Pass@k) onveranderd of verbetert deze zelfs.
Implicatie: Hoge benchmarkscores maskeren vaak een gebrek aan visuele verankering. De modellen omzeilen de visuele input volledig en vertrouwen op tekstuele shortcuts. Dit creëert een veiligheidsrisico in hardwareontwerp, waarbij een enkel verkeerd gelezen schema stilzwijgend door de toolchain kan propageren en defecten op siliciumniveau kan veroorzaken.

2. Methodologie

A. Benchmarkconstructie: C2VEVAL

Om het Mirage-fenomeen te kwantificeren, hebben de auteurs C2VEVAL opgezet, een benchmark die exacte beeld-code-correspondentie garandeert.

Data Bron: 169 samples afgeleid van gevestigde Verilog-benchmarks (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench), gerenderd tot circuitschema's met behulp van NETLISTSVG.
Gekoppeld Protocol: De benchmark evalueert modellen onder twee varianten:
1. Normaal: Originele identificatoren in zowel het schema als de header.
2. Anony (Geanonimiseerd): Alle semantisch geladen identificatoren (modulennamen, poortnamen, parameters) worden vervangen door positionele placeholders (bijv. val_0, val_1). Het schema wordt opnieuw gerenderd om overeen te komen met deze placeholders, waarbij semantische aanwijzingen worden verwijderd terwijl de topologie behouden blijft.
Evaluatiemodi:
- Origineel: Reel circuitschema verstrekt.
- Mirage: Schema vervangen door een leeg beeld; header behouden.

B. Voorgestelde Oplossing: VeriGround

De auteurs stellen VeriGround voor, een MLLM met 4B parameters die is getraind om echte visuele verankering af te dwingen en de afweging tussen hallucinatie en overmatige weigering in evenwicht te brengen. De trainingspijplijn bestaat uit drie fasen:

Datasetcollectie & Anonimisering:
- Een grote corpus (~54k samples) wordt gemined van GitHub, geverifieerd op synthese en gefilterd op moeilijkheidsgraad.
- Het corpus wordt opgesplitst in Normale en Anony-varianten, waardoor het model gedwongen wordt te leren van visuele topologie in plaats van identificator-memorizatie.
Gemengde Supervised Fine-Tuning (SFT):
- Het model wordt fijngetuned op het gemengde Normale + Anony-corpus. Dit dwingt het model om voorspellingen te verankeren in de visuele structuur van het circuit in plaats van te vertrouwen op semantische shortcuts in de header.
Decision-Focused ORPO (D-ORPO) Uitlijning:
- Om de neiging van modellen aan te pakken om code te hallucineren zonder visuele input of geldige input te weigeren, introduceren de auteurs D-ORPO.
- Voorkeursparen: Drie categorieën worden geconstrueerd:
  - MATCH: Geldig schema + Weigering (afgekeurd) versus Correcte Code (gekozen).
  - BLANK: Leeg beeld + Code (afgekeurd) versus Weigering (gekozen).
  - MISMATCH: Ongerelateerd schema + Code (afgekeurd) versus Weigering (gekozen).
- Mechanisme: Standaard ORPO behandelt alle tokens gelijk, wat het model bevooroordeelt ten gunste van kortere weigeringsreacties door lengte-asymmetrie. D-ORPO verhoogt het gewicht van de eerste $K$ antwoordtokens (de beslissingsgrens) met een gewicht $\alpha > 1$ . Dit concentreert het voorkeurssignaal op de genereren-of-weigeren-beslissing, wat overmatige weigering mitigeert terwijl hoge weigeringspercentages voor ongeldige input behouden blijven.

3. Belangrijkste Bijdragen

Fenomeenidentificatie: Het artikel documenteert dat het Mirage-fenomeen universeel is over acht geëvalueerde MLLM's (inclusief GPT-5.4, Opus-4.6 en open-source modellen). In de Normale modus leidt het verwijderen van het schema vaak tot betere scores; echte visuele verankering is verantwoordelijk voor slechts ongeveer 8–9% van de samples.
Benchmark & Evaluatie: C2VEVAL introduceert een gekoppeld Normaal/Anony × Origineel/Mirage-protocol dat identificatorsemantiek isoleert als de primaire drijver van prestaties, dienend als diagnose voor vision-naar-code-pijplijnen.
Methodologie: VeriGround (4B) integreert identificatoranonimisering, weigeringsaugmentatie en D-ORPO-uitlijning.
Prestaties: VeriGround bereikt een Functionele Pass@1 van 46,11% (Normaal) en 42,51% (Anony).
- Het benadert de prestaties van GPT-5.4 (45,51%) onder Normale omstandigheden.
- Het presteert aanzienlijk beter dan alle baselines onder Anony-omstandigheden (bijv. +31,13% ten opzichte van Opus-4.6), wat echte visuele verankering bevestigt.
- Het handhaaft een False Refusal Rate (FRR) van slechts 1,20% (Normaal) en 0,00% (Anony) terwijl het Weigeringspercentage op lege beelden boven 92% blijft.

4. Resultaten en Betekenis

Visuele Verankering versus Shortcuts: Het empirische onderzoek toont aan dat onder het Anony-protocol het "Mirage-voordeel" (waarbij lege beelden betere resultaten opleveren) omkeert voor 7 van de 8 modellen. Dit bevestigt dat standaard hoge scores grotendeels worden gedreven door header-gebaseerde shortcuts, niet door visueel begrip.
Efficiëntie: VeriGround, met slechts 4B parameters, concurreert in de Normale modus met proprietary modellen op de voorgrond (bijv. GPT-5.4, geschat op ~200B+) en presteert in de Anony-modus beslissend beter dan deze.
Balans: Het D-ORPO-component lost succesvol de spanning op tussen hallucinatie en overmatige weigering. Standaard ORPO bereikte een bijna perfecte weigering op lege beelden, maar leed aan hoge rates van valse weigeringen (~9%) op geldige input. D-ORPO verlaagde de FRR tot bijna nul terwijl het hoge weigeringsnauwkeurigheid op ongeldige input behield.
Generaliseerbaarheid: De auteurs beweren dat de methodologie (anonimisering + weigeringsaugmentatie + beslissingsgerichte uitlijning) overdraagbaar is naar andere vision-naar-code-taken (bijv. UI-naar-HTML, Chart-naar-Python) waarbij tekstuele prompts semantische shortcuts kunnen lekken.

5. Claims en Beperkingen

Het artikel bescheiden claimt dat VeriGround een overdraagbare oplossing biedt voor het kalibreren van hallucinatie en overmatige weigering bij AI-codegeneratie. Het claimt niet alle uitdagingen in hardwareontwerp op te lossen, maar biedt eerder een rigoureuze evaluatieframework en een trainingsrecept om ervoor te zorgen dat modellen vertrouwen op visueel bewijs.

Bedreigingen voor Validiteit: De auteurs erkennen dat C2VEVAL beperkt is tot 169 samples en specifieke circuitcategorieën. De bevindingen generaliseren mogelijk niet volledig naar VHDL, SystemVerilog of industriële circuits. Bovendien berust functionele correctheid op testbench-simulatie, wat mogelijk niet alle hoekgevallen dekt.
Toekomstig Werk: De auteurs plannen VeriGround te schalen naar grotere en kleinere architecturen en de benchmark uit te breiden met industriële circuits om de generaliseerbaarheid van hun aanpak verder te valideren.