🤖 machine learning

Reward-Weighted On-Policy Distillation with an Open Property-Equivalence Verifier for NL-to-SVA Generation

Dit artikel introduceert Reward-Weighted On-Policy Distillation (RWOPD), een nieuwe trainingsmethode die gebruikmaakt van een formeel equivalentieverificatie-instrument om een 7B-studentmodel te sturen bij het genereren van SystemVerilog-asserties, waarbij nieuwe state-of-the-art prestaties worden bereikt door semantische correctheid boven token-niveau nabootsing te prioriteren.

Oorspronkelijke auteurs: Qingyun Zou, Yingze Li, Tianen Liu, Bingsheng He, Weng-Fai Wong

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qingyun Zou, Yingze Li, Tianen Liu, Bingsheng He, Weng-Fai Wong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een getalenteerde maar onervaren leerling (een AI met 7 miljard parameters) te leren complexe juridische contracten te schrijven voor computerchips. Deze contracten worden SystemVerilog Assertions (SVA) genoemd. Het zijn de regels die een chip vertellen: "Als dit gebeurt, dan moet dat binnen 3 seconden gebeuren," of "Dit signaal mag nooit hoog zijn."

Lange tijd dachten experts dat de beste AI-modellen deze taak al onder de knie hadden, met een nauwkeurigheid van ongeveer 76%. Maar de auteurs van dit artikel ontdekten een verborgen gebrek: de AI was goed in het klinken alsof ze de regels kende, maar eigenlijk memoriseerde ze slechts een paar eenvoudige zinsstructuren. Als ze geconfronteerd werd met complexe timingregels, "stortte" ze in een standaard, generiek sjabloon dat er goed uitzag maar juridisch verkeerd was.

Hier is hoe het artikel dit probleem oplost, met behulp van eenvoudige analogieën:

1. Het Probleem: Nabootsen versus Begrijpen

De oude manier om deze AI's te trainen was als een student die het huiswerk van de leraar woord voor woord overkrijft. De student krijgt een cijfer op basis van hoe nauwkeurig zijn spelling en grammatica overeenkomen met het antwoord van de leraar.

Het Gebrek: Op dit gebied kunnen twee zinnen er volledig verschillend uitzien maar precies hetzelfde betekenen (equivalent). Omgekeerd kunnen twee zinnen er bijna identiek uitzien maar tegenovergestelde betekenissen hebben. De oude methode beloonde de student voor het kopiëren van de woorden, niet voor het begrijpen van de logica.

2. De Oplossing: "Reward-Weighted On-Policy Distillation" (RWOPD)

De auteurs creëerden een nieuwe trainingsmethode genaamd RWOPD. Denk hierbij aan een coachingsproces in drie stappen waarbij een Leerling, een Meesterleraar en een strenge Rechter betrokken zijn.

Stap A: De Leerling Oefent (On-Policy)

In plaats van alleen de leraar na te bootsen, wordt de Student-AI gevraagd om zijn eigen contracten te schrijven (zogenaamde "rollouts") op basis van een prompt. Hij probeert het probleem eerst zelf op te lossen.

Stap B: De Strenge Rechter (De Open Property-Equivalence Checker)

Dit is het geheime wapen van het artikel. De auteurs bouwden een open-source "Rechter" (met behulp van tools genaamd SymbiYosys en Z3) die niet alleen controleert of de grammatica correct is. Hij controleert de logica.

De Analogie: Stel je voor dat de Rechter een advocaat is die het contract van de Leerling en het Referentiecontract neemt en ze door een simulatie haalt.
Het Vonnis: De Rechter vraagt: "Zijn deze twee contracten juridisch equivalent?"
- Als het contract van de Leerling logisch equivalent is aan de referentie, zegt de Rechter "Geslaagd".
- Als het iets strenger of minder streng is, geeft de Rechter een "Gedeeltelijk Geslaagd".
- Als het verkeerd is, zegt de Rechter "Gefaald".
Cruciaal Punt: De Rechter negeert het antwoord van de Leerling als het logisch verkeerd is. Hij fungeert als een filter en laat alleen "goede" pogingen verder gaan.

Stap C: De Meesterleraar (Distillatie)

Hier gebeurt de magie. De Leerling leert niet alleen van het "Geslaagd/Gefaald"-cijfer van de Rechter.

De Meesterleraar (een veel grotere AI met 14 miljard parameters die al zeer goed is) kijkt naar de succesvolle pogingen van de Leerling.
De Leraar zegt: "Oké, je hebt de logica goed. Nu, kijk precies hoe ik die specifieke woorden zou hebben geschreven. Ik zal je de waarschijnlijkheid laten zien van elk enkel woord dat ik zou hebben gekozen."
De Leerling past vervolgens zijn brein aan om de stijl van de Leraar te matchen, maar alleen op de pogingen die door de Rechter zijn goedgekeurd.

Waarom is dit beter?

Oude Weg: De Leerling leert van elke poging, zelfs de slechte, en probeert de juiste woorden te raden.
Nieuwe Weg (RWOPD): De Leerling leert alleen van de "winnende" pogingen, en hij leert de diepe logica van hoe een Meester die winnende antwoorden zou formuleren. Het is alsof een student alleen de essays bestudeert die de prijs hebben gewonnen, maar leert van de commentaar van een Nobelprijswinnaar over waarom die essays goed waren.

3. De Resultaten: De Reuzen Verslaan

De auteurs testten deze methode op een model met 7 miljard parameters (de Leerling).

De Wedstrijd: Ze vergeleken het met het vorige beste gespecialiseerde model (een AI met 14 miljard parameters) en zelfs enorme algemene modellen (671 miljard parameters).
De Uitkomst: De kleine 7B-Leerling, met deze nieuwe coachingsmethode, won van iedereen. Hij behaalde de hoogste nauwkeurigheid op de benchmarks, en overtrof modellen die 100 keer groter zijn.
De "Verborgen Kloof" Gedicht: Het artikel toont aan dat de Leerling specifiek veel beter werd in de moeilijkste soorten regels (die tijd en vertragingen betreffen), precies daar waar de vorige modellen faalden.

Samenvatting

Het artikel betoogt dat je, om een AI complexe logica te leren, niet alleen moet zorgen dat het antwoorden memoriseert. In plaats daarvan moet je:

Het de kans geven het probleem op te lossen.
Een strenge logicacontroleur gebruiken om de verkeerde antwoorden eruit te filteren.
Een Meesterleraar de Leerling precies laten zien hoe hij de juiste antwoorden moet formuleren.

Door een logicacontroleur te combineren met een Meesterleraar, kan een kleine AI leren denken als een reus, en een probleem oplossen waarvan eerder werd gedacht dat het bijna "verzadigd" (opgelost) was.

Technische Samenvatting: Reward-Weighted On-Policy Distillatie voor NL-naar-SVA-Generatie

Probleemstelling
De generatie van SystemVerilog Assertions (SVA) uit natuurlijke taal (NL)-specificaties met behulp van Large Language Models (LLM's) heeft een prestatieplateau bereikt, waarbij de sterkste gespecialiseerde modellen (bijv. CodeV-SVA-14B) ongeveer 76% nauwkeurigheid behalen op de NL2SVA-Human-benchmark. Deze aggregate score maskeert echter een kritieke "temporele kloof". Hoewel modellen goed presteren op combinatoire (C1) logica, falen ze frequent bij bounded-delay (C2) en liveness (C3) specificaties. De dominante faalmodus is "template collapse", waarbij modellen terugvallen op een kleine set implicatietemplates (bijv. |->), ongeacht de specifieke temporele eisen van de specificatie.

De geïdentificeerde oorzaak is het trainingsdoel. Bestaande systemen vertrouwen op Supervised Fine-Tuning (SFT) op NL/SVA-paren, wat optimaliseert voor token-niveau nabootsing van een enkele referentie-assertie. Deze aanpak faalt in het vastleggen van de semantische aard van SVA-correctheid, waarbij twee asserties syntactisch ver uiteen kunnen liggen maar semantisch equivalent zijn, of syntactisch vergelijkbaar maar semantisch tegengesteld. Bovendien is standaard Reinforcement Learning (RL) met verifiërfeedback in deze setting ondoeltreffend gebleken; spaarzame rollout-niveau beloningen bieden onvoldoende signaal voor modellen met kleine parameters (7B) met beperkte aanpassingsbudgetten (LoRA), en slagen er vaak niet in de SFT-baseline te overtreffen.

Methodologie: Reward-Weighted On-Policy Distillatie (RWOPD)
Het artikel stelt Reward-Weighted On-Policy Distillatie (RWOPD) voor, een methode die een formele verifiër integreert in het distillatieproces om een studentmodel te sturen naar eigenschapsequivalent gedrag. De pijplijn bestaat uit vier kerncomponenten:

Gestratificeerd Curriculum SFT: Voordat de distillatie begint, ondergaat een 7B studentmodel (Qwen2.5-Coder-7B-Instruct) een curriculum-gebaseerde SFT. Deze fase adresseert de bias naar eenvoudigere temporele klassen door training in drie stadia (C1, C2, C3) met een replay-buffer om catastrofaal vergeten te voorkomen. Cruciaal is het gebruik van een operator-token-gewogen cross-entropy verlies, dat temporele operator-tokens (bijv. |->, s_eventually) opwaardeert om ervoor te zorgen dat het model de structurele belangrijkheid van deze tokens leert.
Open Eigenschapsequivalentie Checker (PEC): Om de kosten en de gesloten-bron aard van industriële tools zoals Cadence JasperGold tijdens training te vermijden, introduceren de auteurs een open-source verifiër gebaseerd op SymbiYosys en Z3. Deze checker voert bounded model checking (BMC) uit op de C1- en C2-fragmenten. Het outputt oordelen zoals EQUIVALENT, IMPLIES_REF_TO_LM, IMPLIES_LM_TO_REF, NOT_EQUIVALENT of UNSUPPORTED (voor liveness-gevallen buiten BMC). De PEC is sound: elk EQUIVALENT-oordeel dat het produceert, is gegarandeerd correct, hoewel het kan afzien bij complexe liveness-eigenschappen.
RWOPD Trainingslus:
- De student steekt $K$ rollouts voor een gegeven prompt.
- De open PEC filtert deze rollouts en verwijdert die welke syntactisch gebroken of semantisch incorrect zijn (NOT_EQUIVALENT).
- De overgebleven rollouts krijgen een beloningsgewicht toegewezen op basis van het PEC-oordeel (bijv. 1,0 voor EQUIVALENT, 0,6/0,4 voor eenzijdige implicaties).
- Een bevroren 14B teachermodel (CodeV-SVA-14B) biedt een dichte forward-KL (Kullback-Leibler) divergentie target op de behouden rollouts.
- De student wordt bijgewerkt met een beloningsgewogen gemiddelde van deze KL-verliezen. Dit zorgt ervoor dat supervisie dichte is op token-niveau, maar geworteld in eigenschapsequivalent gedrag.
Evaluatieprotocol: Hoewel de training vertrouwt op de open PEC voor filtering en beloningsvorming, gebruikt de definitieve evaluatie de industriële Cadence JasperGold prop_eq_checker om volledigheid en consistentie met eerdere benchmarks te waarborgen.

Kernbijdragen

RWOPD-algoritme: Een nieuwe distillatiemethode die de dichte supervisie van de teacher beperkt en reward-gewogen maakt met behulp van een eigenschapsequivalentie checker. Dit combineert het dichte token-niveau signaal van distillatie met de semantische gronding van formele verificatie.
Open SymbiYosys+Z3 PEC: Een licentievrije, sound verifiër voor het bounded-model-checking fragment van SVA. Het biedt een reproduceerbaar, secondesnel verificatiesignaal voor filtering tijdens training, wat het onderscheidt van de gesloten-bron orakels die in eerdere werken werden gebruikt.
Empirische State-of-the-Art: De methode vestigt nieuwe records op de NL2SVA-Human- en NL2SVA-Machine-benchmarks.

Resultaten
De auteurs evalueerden een 7B studentmodel met LoRA (0,53% trainbare parameters) tegenover gespecialiseerde 14B-modellen en 671B general-purpose baselines.

Prestaties: RWOPD behaalde de hoogste pass@1-, pass@5- en pass@10-scores op beide benchmarks. Op NL2SVA-Machine overtrof het de gespecialiseerde eerdere SOTA (CodeV-SVA-14B) met 2–4 procentpunten (pp) en 671B-modellen (DeepSeek-R1, GPT-5) met 4–7 pp op pass@1.
Temporele Opdeling: De winsten waren geconcentreerd op de temporeel niet-triviale slices. RWOPD verbeterde C2 (bounded delay) met 7,5 pp en C3 (liveness) met 11,5 pp ten opzichte van de 14B teacher, terwijl C1-prestaties verzadigd bleven.
Ablatiestudies:
- Distillatie vs. RL: Spaarzame beloningsoptimalisatie (GRPO, IPO) met behulp van hetzelfde PEC-signaal faalde om de SFT-baseline te overtreffen, wat bevestigt dat de dichte teacher-KL de primaire drijver van prestaties is.
- Filter vs. Teacher: Een rejection-sampling SFT (filteren van rollouts zonder de teacher) bood slechts marginale winsten (~2,5 pp), waardoor de dichte teacher-supervisie als de dominante meerwaarde werd geïsoleerd.
- Filterprecisie: RWOPD (met gebruik van zowel EQUIVALENT als eenzijdige implicaties) presteerde beter dan strikte EQUIVALENT-alleen filtering, en balanceerde gradient-beschikbaarheid met semantische correctheid.

Betekenis en Claims
Het artikel beweert dat voor het specifieke regime van 7B-modellen met LoRA-aanpassing, de verifiër het meest effectief is niet als een standalone beloningssignaal voor RL, maar als een beloningsgevormd filter voor dichte teacher-supervisie. De auteurs betogen dat de "verborgen temporele kloof" in NL-naar-SVA-generatie niet te wijten is aan een gebrek aan data of modelgrootte, maar eerder aan de misalignering van trainingsdoelen (token-nabootsing versus eigenschapsequivalentie). Door het dichte distillatiesignaal te gronden in formele eigenschapsequivalentie, stelt RWOPD kleinere, efficiënte modellen in staat om zowel grotere gespecialiseerde modellen als massale general-purpose LLM's te overtreffen bij het genereren van semantisch correcte hardware-asserties.

Het werk wordt gepresenteerd als een "regime statement": op de schaal van 7B+LoRA is de combinatie van een sound open verifiër en een sterke teacher via on-policy distillatie een effectiever gebruik van verificatiesignalen dan spaarzame reinforcement learning. De auteurs erkennen beperkingen, waaronder het indirecte mechanisme voor C3-lering (afhankelijk van het curriculumzaad in plaats van directe verifiërfeedback) en de afhankelijkheid van JasperGold voor definitieve evaluatie vanwege de onvolledigheid van de open PEC op liveness-eigenschappen.