🤖 AI

Veri-Sure: A Contract-Aware Multi-Agent Framework with Temporal Tracing and Formal Verification for Correct RTL Code Generation

Veri-Sure is een contractbewust multi-agent framework dat de silicon-grade RTL-correctheid waarborgt door agent-intentie af te stemmen op design-contracten, nauwkeurige gelokaliseerde reparaties uit te voeren via statische dependency slicing, en outputs te valideren via een hybride pipeline van trace-gedreven temporele analyse en formele verificatie, hetgeen alles wordt geëvalueerd op de nieuw geïntroduceerde industriële VerilogEval-v2-EXT benchmark.

Oorspronkelijke auteurs: Jiale Liu, Taiyu Zhou, Tianqi Jiang

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiale Liu, Taiyu Zhou, Tianqi Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe, hogesnelheidsmachine probeert te bouwen (zoals een futuristische robot) op basis van een reeks instructies die in gewone Engelse taal zijn geschreven. Je vraagt een superintelligente AI om deze instructies te vertalen naar de daadwerkelijke blauwdrukken (de code) voor de machine.

Het probleem is dat de AI heel goed is in het schrijven van zinnen, maar vaak kleine, onzichtbare fouten maakt in de blauwdrukken die pas aan het licht komen wanneer de machine op volle snelheid draait. In de echte wereld van chipontwerp zijn deze fouten kostbaar—ze kunnen miljoenen dollars kosten om te herstellen zodra de chip is geproduceerd.

Dit artikel introduceert VERI-SURE, een nieuwe "ploeg AI-experts" die is ontworpen om deze fouten te herstellen voordat de chip überhaupt gebouwd wordt. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Telefoontje" en de "Blinde Vlek"

Wanneer je één enkele AI vraagt om code te schrijven, gaan er twee dingen mis:

Het Telefoontje (Telephone Game): Als je de AI vraagt om een bug te repareren, kan de AI je oorspronkelijke doel verkeerd begrijpen. Het verandert de code om iets te repareren, maar breekt per ongeluk de oorspronkelijke intentie.
De Blinde Vlek: De AI controleert zijn werk meestal door een simulatie uit te voeren (een proefrit). Maar net zoals een proefrit een zeldzame motorstoring kan missen die alleen optreedt op een specifieep specifieke hobbelige weg, missen simulaties vaak lastige timingfouten die alleen in de echte wereld voorkomen.

2. De Oplossing: Een Gespecialiseerd Bouwteam

In plaats van één AI die alles doet, zet VERI-SURE een bouwploeg op waarbij elk lid een specifieke taak heeft. Ze spreken eerst allemaal een "Ontwerpcontract" af.

De Architect (De Contractmaker): Deze agent vertaalt jouw rommelige Engelse instructies naar een strikt, wiskundig "contract" nog voordat er ook maar één regel code wordt geschreven. Het definieert precies hoe de machine moet reageren, wat de knoppen doen en hoe snel hij moet draaien. Dit zorgt ervoor dat iedereen in het team dezelfde kaart leest.
De Coder (De Bouwer): Deze agent schrijft de daadwerkelijke blauwdrukken (de code) strikt op basis van het contract.
De Verifier (De Veiligheidsinspecteur): Deze agent voert de proefrit uit (simulatie). Als de machine faalt, zegt hij niet alleen "Hij is kapot." Hij kijkt naar de crashdata.

3. De Magische Truk: "Chirurgische Reparatie" versus "Sloop"

Wanneer de proefrit mislukt, raken oudere AI-systemen vaak in paniek en proberen ze het hele gebouw te slopen en opnieuw te beginnen. Dit is riskant, omdat ze misschien vergeten hoe ze de muren correct moeten bouwen.

VERI-SURE gebruikt Chirurgische Reparatie:

De Detective (Trace Analysis): Het kijkt naar de "black box"-data (golfvormen) om de exacte seconde te vinden waarop de machine faalde.
De Chirurg (Dependency Slicing): In plaats van te gokken, volgt het de draden terug om de exacte kleine blok code te vinden die het probleem veroorzaakt. Het isoleert dat kleine stukje.
De Patch: De AI herschrijft alleen dat kleine, kapotte blokje. De rest van de machine blijft exact hetzelfde. Dit voorkomt het "Telefoontje"-effect waarbij het repareren van één ding een ander ding breekt.

4. De Supercheck: "Wiskundig Bewijs" versus "Proefrit"

Soms is een proefrit niet genoeg om te bewijzen dat een machine veilig is.

De Asserter (De Regelhandhaver): Deze agent controleert of de machine de regels van de tijd volgt (bijv. "Lichtte het lampje aan precies op het moment dat op de knop werd gedrukt?").
De Boolean Proofer (De Wiskundige Tovenaar): Voor de logische onderdelen voert deze agent niet alleen tests uit; hij gebruikt wiskundige bewijzen om te garanderen dat de code onmogelijk fout kan zijn, ongeacht welke inputs je geeft. Het is als het bewijzen dat een brug nooit zal instorten met behulp van natuurkundige vergelijkingen, in plaats van er slechts één keer met een auto overheen te rijden.

5. De Nieuwe Testbaan: "Het Moeilijkere Hindernisparcours"

Om te bewijzen dat hun team de beste is, hebben de auteurs een nieuw, moeilijker hindernisparcours gebouwd genaamd VERILOGEVAL-V2-EXT.

De oude tests waren als rijden op een parkeerplaats (makkelijke, korte taken).
De nieuwe test bevat rijden door een storm, navigeren door een doolhof en het hanteren van zware ladingen (industriële taken zoals complexe communicatieprotocollen en geheugenbesturing).

Het Resultaat

Toen ze hun team (VERI-SURE) op dit nieuwe, moeilijke hindernisparcours zetten:

Standalone AI's (de eenzame genieën) slaagden voor ongeveer 76% van de taken.
Oude AI-teams (zonder chirurgische reparatie of wiskundige bewijzen) hadden moeite met de moeilijkste taken.
VERI-SURE behaalde een succespercentage van 93%, zelfs bij de moeilijkste, meest complexe taken.

Kortom: VERI-SURE vraagt een AI niet alleen om "code te schrijven". Het creëert een gedisciplineerd team dat een plan afspreekt, alleen de kapotte onderdelen chirurgisch repareert en wiskunde gebruikt om te bewijzen dat de reparatie perfect is, zodat de uiteindelijke chip precies werkt zoals bedoeld.

Technische Samenvatting: VERI-SURE

1. Probleemstelling

De inzet van Large Language Models (LLM's) voor Register-Transfer Level (RTL) ontwerp in Electronic Design Automation (EDA) staat voor aanzienlijke hindernissen bij het bereiken van silicon-grade correctheid. Hoewel LLM's geavanceerd zijn geworden in softwarecodegeneratie, brengt RTL-generatie unieke uitdagingen met zich mee vanwege de gelijktijdige aard van hardware, strikte cyclus-niveau timing en protocolsemantiek. Het artikel identificeert drie primaire knelpunten in huidige LLM-gebaseerde RTL-pipelines:

Beperkte betrouwbaarheid van evaluatie: Simulatie-gecentreerde evaluatieses lijden vaak aan onvoldoende testdekking, waardoor subtiele temporele randgevallen (corner cases) niet worden opgemerkt.
Inefficiëntie in debugging: Iteratieve debugging leidt vaak tot "regressies en reparatie-hallucinaties" veroorzaakt door volledige hergeneratie van bestanden, wat ongerelateerde logica destabiliseert.
Semantische drift: Naarmate de natuurlijke taalintentie opnieuw wordt geïnterpreteerd over meerdere agent-overdrachten of iteraties heen, kan de oorspronkelijke ontwerpintentie degraderen, wat leidt tot inconsistente implementaties.

Bestaande benchmarks, zoals VerilogEval-v2, worden bekritiseerd omdat ze gedomineerd worden door korte, pedagogische modules die industriële behoeften zoals geavanceerde rekenunits, communicatieprotocollen en Clock Domain Crossing (CDC) patronen ondervertegenwoordigen.

2. Methodologie: Het VERI-SURE Framework

VERI-SURE is een contractbewust multi-agent framework ontworpen om de cirkel tussen codesynthese, verificatie en gelokaliseerde reparatie te sluiten. Het gaat verder dan one-shot vertaling door een geautomatiseerde generate-verify-debug cyclus.

Kerncomponenten

Design Contract (Architect Agent): Het framework begint met het distilleren van natuurlijke taal specificaties naar een gestructureerd, JSON-formaat design contract. Dit contract definieert expliciet interface-semantiek, klok/reset conventies, cyclus-nauwkeurige gedragingen en corner cases. Het dient als een gedeelde "bron van waarheid" voor alle daaropvolgende agents om semantische drift te voorkomen.
Multi-Agent Workflow:
- Coder Agent: Genereert syntheseerbare RTL-code op basis van het contract.
- Verifier Agent: Produceert self-checking testbenches die zijn afgestemd op het contract.
- Debugger Agent: Leidt de autonome debugging loop wanneer simulatie faalt.
- Asserter Agent: Genereert gerichte SystemVerilog assertions om sequentiële of protocol schendingen te detecteren (bijv. foutieve edge-sampling, reset mismatches).
- Boolean Proofer Agent: Voert formele verificatie uit op combinatorische logica om kandidaat-fixes te valideren en regressies te voorkomen.

Belangrijke Mechanismen

Trace-Driven Temporal Analysis & Static Slicing: Wanneer simulatie faalt, vertrouwt het systeem niet alleen op tekstuele logs. Het analyseert Value Change Dump (VCD) waveforms om de vroegste divergentietijd ( $t_f$ ) te identificeren. Vervolgens past het static dependency slicing toe om de "cone of logic" te berekenen die de falende signalen beïnvloedt. Dit isoleert de fout tot een minimale set verdachte codeblokken (regelbereiken), in plaats van het gehele bestand.
Gelokaliseerde Patching: Geleid door de slicing-analyse past de Debugger agent precieze, blok-niveau bewerkingen (read/replace) toe op enkel de verdachte blokken. Dit voorkomt de instabiliteit van volledige bestandsschrijfacties. Een rollback-regel zorgt ervoor dat patches alleen worden behouden als ze de foutsignatuur verbeteren (bijv. latere eerste faaltijd of minder mismatches).
Multi-Branch Verification: Het framework integreert twee verificatie-takken:
1. Trace-driven Temporal Analysis: Voor sequentiële en timing problemen.
2. Formele Verificatie: Combineert assertion-based checking (via de Asserter) en Boolean equivalence proofs (via de Boolean Proofer met SymbiYosys) om combinatorische beperkingen te verifiëren en correctheid te bewijzen buiten de eindige simulatie.

3. Benchmark: VERILOGEVAL-V2-EXT

Om de generatie van RTL van industrieel niveau beter te evalueren, introduceren de auteurs VERILOGEVAL-V2-EXT. Deze benchmark breidt de originele VerilogEval-v2 uit door 53 nieuwe, industriële ontwerp-taken toe te voegen, waardoor het totaal op 209 problemen komt.

Inhoud: De nieuwe taken dekken complexe domeinen zoals communicatieprotocollen (UART, FIFO), geavanceerde rekenkunde, DSP kernels en multi-cycle datapaths.
Stratificatie: Problemen worden geclassificeerd in Easy, Medium en Hard moeilijkheidsgraden op basis van structurele signalen (regellijnen code, aantal assign/always blokken, datapath breedte) en handmatige review. Dit maakt een fijnere analyse van faalmodi mogelijk.

4. Experimentele Resultaten

De auteurs evalueerden VERI-SURE tegenover 15 standalone LLM's (inclus inclusief commerciële closed-source en open-weight modellen), single-agent feedback loops en eerdere multi-agent systemen (MAGE, VerilogCoder).

Prestaties: VERI-SURE behaalde een state-of-the-art 93.30% functionele Pass@1 op de VERILOGEVAL-V2-EXT benchmark, met 100% syntaxis succes.
Harde Taken: Het framework toonde zijn grootste voordeel op "Hard" taken, waarbij het een functionele pass rate van 85.07% behaalde, wat aanzienlijk beter is dan het beste standalone model (Gemini-3-Pro met 62.69%) en andere agentic baselines.
Backbone Agnosticisme: Hoewel VERI-SURE het best presteerde met GPT-5.2, boostte het ook de prestaties van het open-weight DeepSeek-3.2 model aanzienlijk, waardoor de functionele pass rate steeg van 61.24% (standalone) naar 71.29%.
Ablatie Studies:
- Het verwijderen van de Tracing, Slicing, en Patching mechanismen veroorzaakte de grootste prestatiedaling (11.0% totaal, 16.4% op Hard taken), wat bevestigt dat precieze lokalisatie cruciaal is.
- Het verwijderen van Formele Verificatie verminderde de Hard task pass rate met 11.9 procentpunten, wat de noodzaak ervan aantoont voor het debuggen van diepe logische bugs die simulatie mist.
- Het Contract mechanisme droeg bij aan een 2.9% daling in de algehele prestaties wanneer het werd verwijderd, wat de rol ervan benadrukt bij het handhaven van intent-consistentie.

5. Betekenis en Claims

Het artikel claimt dat VERI-SURE aantoont dat geautomatiseerd RTL-ontwerp dichter bij "silicon-grade correctheid" kan komen door te verschuiven van simulatie-gecentreerde evaluatie naar een hybride aanpak die trace-driven analyse en formele verificatie combineert.

Belangrijke claims zijn:

Mitigatie van Semantische Drift: Door een gestructureerd design contract af te dwingen, stemt het framework de agent-intents af en voorkomt het de geleidelijke herinterpretatie van vereisten.
Stabiliteit in Reparatie: Het door dependency-slicing geleide patching mechanisme vermindert effectief de risico's op regressie en reparatie-hallucinaties geassocieerd met volledige bestand-regeneratie.
Voorbij Simulatie: De integratie van formele bewijzen stelt het systeem in staat om functionele correctheid te verifiëren op manieren die pure simulatie niet kan, met name voor combinatorische equivalentie en complexe timing restricties.
Industriële Relevantie: De introductie van VERILOGEVAL-V2-EXT biedt een realistischer en discriminatiever testbed voor het evalueren van end-to-end RTL-generatie capaciteiten, waarmee het gat tussen academische benchmarks en industriële IP block vereisten wordt gedicht.

De auteurs concluderen dat hoewel grootschalige pretraining een sterke fundering biedt, de gestructureerde agentic workflow met formele verificatie essentieel is voor het bereiken van hoge betrouwbaarheid in complexe, multi-cycle hardware ontwerpen.