💻 computer science

Verified Self-Improving Learning of Large Language Models for Multi-Objective Point-Spec Circuit Design

Dit artikel introduceert \methodfull, een simulatiegestuurd zelfverbeterend framework dat iteratief circuit-netlists genereert, verifieert en herstelt met behulp van Pareto-Verified Preference Optimization en Safe Proximal Policy Optimization om hoogprecisie, multi-objective punt-specificaties voor circuitontwerp te bereiken over diverse analoge families heen.

Oorspronkelijke auteurs: Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren leerling probeert te onderwijzen in het ontwerpen van complexe elektronische circuits (zoals de stroomomvormers in je telefoonoplader of de versterkers in een luidspreker). Het doel is niet alleen om elk willekeurig circuit werkend te krijgen; het doel is om een zeer specifieke doelstelling te halen (bijv. "precies 5 volt output") terwijl ook aan strikte technische regels wordt voldaan (zoals "mag niet oververhitten" en "moet efficiënt zijn").

Deze paper introduceert een nieuwe trainingsmethode genaamd MO-SIMI (Multi-Objective Self-Improving Model Iteration) die een Large Language Model (LLM) gebruikt als die leerling. Dit is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleen: De "Gokken en Controleren"-valstrik

Traditioneel is het ontwerpen van deze circuits als het proberen te vinden van een speld in een hooiberg door willekeurige naalden tegen de muur te gooien.

Oude AI-methoden waren als een student die een tekstboek leest (trainingsdata) en dan het antwoord raadt. Ze begrijpen vaak het algemene idee, maar falen in het raken van de exacte getallen die vereist zijn.
Andere AI-methoden proberen het antwoord aan te passen nadat ze geraden hebben, maar ze breken vaak het circuit in het proces of komen vast te zitten in een lus van kleine, onbehulpzame wijzigingen.

2. De Oplossing: Een "Coach, Simulator en Veiligheidsnet"-systeem

De auteurs creëerden een trainingslus die fungeert als een rigoureuze coaching-sessie met drie duidelijke fasen:

Fase A: Het Simulatie-laboratorium (De "Proefrit")

De AI genereert een circuitontwerp (een "netlist", wat simpelweg een recept is voor het verbinden van elektronische onderdelen). In plaats van alleen maar te hopen dat het werkt, haalt het systeem het ontwerp direct door een circuit-simulator (een digitale proefrit).

Het resultaat: De simulator zegt: "Geslaagd", "Gefaald" of "Bijna".
De twist: Als het ontwerp bijna goed is (bijv. het geeft 4,9V uit in plaats van 5,0V), gooit het systeem het niet weg. Het past een "Beperkte Reparatie" toe. Denk hierbij aan een monteur die alleen aan een paar specifieke knoppen mag draaien (zoals het aanpassen van een weerstandswaarde), maar die verboden is om het type motor of de bedrading te veranderen. Als het draaien aan de knoppen het probleem oplost, wordt het "bijna" een "geslaagd".

Fase B: De Voorkeurscoach (Leren van winnaars)

Zodra het systeem een batch ontwerpen heeft, vergelijkt het deze met elkaar.

Het kijkt niet alleen naar het "beste" ontwerp. Het gebruikt een methode genaamd Pareto-rangschikking. Stel je een race voor waarbij je zowel om snelheid als om brandstofefficiëntie geeft. Een auto die iets langzamer is maar veel efficiënter is, kan beter zijn dan een snelle, benzineverslindende auto.
Het systeem maakt "voorkeursparen": "Dit ontwerp is beter dan dat ontwerp omdat het aan de doelstelling voldeed en efficiënter was."
De AI wordt vervolgens opnieuw getraind op deze vergelijkingen, waardoor het leert de "winnende" stijl van ontwerpen te verkiezen boven de "verliezende" stijl. Dit is de PVPO-stap.

Fase C: Het Veiligheidsnet (De "Terugdraai-knop")

Dit is de meest cruciale innovatie. De AI probeert uit deze voorkeuren te leren en zichzelf bij te werken. Maar wat als die update de AI slechter maakt?

In veel AI-systemen blijft een slechte update hangen en vergeet het model wat het wist.
MO-SIMI gebruikt een "Guard" (bewaker). Nadat de AI een update probeert uit te voeren, test het systeem het opnieuw. Als de nieuwe versie niet aan de standaarden voldoet (of als de "hit rate" daalt), drukt het systeem op de Rollback-knop. Het gooit de nieuwe update weg en gaat terug naar de vorige, veilige versie.
Dit zorgt ervoor dat de AI nooit slechter wordt. Het beweegt alleen vooruit, stap voor stap, waarbij elke verandering geverifieerd is als een verbetering.

3. De Resultaten: Van "Misschien" naar "Meester"

De paper heeft dit getest op drie soorten circuits:

DC-DC Converters (Stroomomvormers, zoals in opladers).
Versterkers (Voor het versterken van signalen).
Oscillatoren (Voor het genereren van golven).

De prestaties:

Hoge Precisie: Bij de DC-DC converter-taken haalde het systeem de exacte doelspecificaties 97,8% van de tijd.
Complexiteit: Het ontwierp succesvol circuits met meer dan 20 componenten (wat als zeer complex wordt beschouwd voor AI).
Veelzijdigheid: Zodra ze het systeem hadden geleerd hoe ze stroomomvormers moesten ontwerpen, vervingen ze simpelweg het "regelboek" (de verifieerder) en kon hetzelfde systeem met vergelijkbaar succes versterkers en oscillatoren ontwerpen.

De Grote Beeld-Analogie

Stel je een chef voor die een taart probeert te bakken die exact moet smaken naar een specifiek recept, met behoud van specifieke ingrediënten.

Oude AI: De chef leest het recept, raadt de hoeveelheden, bakt de taart, en als het er iets naast zit, begint hij gewoon weer helemaal opnieuw.
MO-SIMI:
1. De chef bakt een taart.
2. Een proever (Simulator) zegt: "Het is voor 90% goed, maar te zoet."
3. Een regel voor "Beperkte Reparatie" zegt: "Je mag alleen een snufje zout toevoegen, je mag de bloem niet veranderen." De chef voegt zout toe, en het is perfect.
4. De chef vergelijkt deze perfecte taart met een slechte taart en leert waarom de eerste beter was.
5. Voordat de chef een nieuwe techniek probeert, controleert een "Safety Manager": "Maakt deze nieuwe techniek je onbekwaam om de perfecte taart te maken?" Zo ja, dan gaat de chef terug naar de oude techniek. Zo nee, dan behoudt hij de nieuwe techniek.

Conclusie:
De paper beweert dat door het combineren van simulatieverificatie, slimme reparaties, voorkeur-leren en een veiligheid-rollback, zij een AI hebben gecreëerd die betrouwbaar complexe, hoog-precieze elektronische circuits kan ontwerpen zonder menselijke tussenkomst, en die er elke keer beter in wordt als het probeert.

Technische Samenvatting: Geverifieerd Zelfverbeterend Leren van Large Language Models voor Multi-Objective Point-Spec Circuit Design

Probleemstelling
Het ontwerp van analoge circuittopologieën blijft een knelpunt in Electronic Design Automation (EDA) vanwege de exponentiële expansie van de ontwerpplek en de schaarste aan oplossingen die strikte functionele vereisten voldoen naast meerdere prestatiebeperkingen. Hoewel Large Language Models (LLMs) zijn toegepast op circuitontwerp, kampen bestaande benaderingen met significante beperkingen:

Training-vrije methoden (bijv. prompt engineering met externe tools) hebben moeite om stabiel strikte point-specificaties te bereiken onder meerdere harde beperkingen.
Training-gebaseerde methoden missen vaak schaalbaarheid (beperkt tot kleine circuits met <10 componenten), falen in het generaliseren over diverse circuitfamilies en missen fijnmazige mechanismen voor multi-objective optimalisatie voor specifieke doelpunten.
Huidige hiaten omvatten onvoldoende modellering van point-specificaties en een gebrek aan mechanismen om generatiecapaciteiten iteratief te verbeteren met behulp van geverifieerde simulatiegegevens.

Methodologie: MO-SIMI
Het paper stelt Multi-Objective Self-Improving Model Iteration (MO-SIMI) voor, een simulatiegestuurd framework dat is ontworpen om het vermogen van een LLM om point-spec circuit netlists te genereren iteratief te verfijnen. Het framework werkt op een supervised fine-tuned (SFT) model en verloopt via een unieke, beschermde trainingslus:

Initialisatie: Een initieel referentiemodel ( $\pi_0$ ) wordt verkregen via supervised fine-tuning op een gecureerde corpus van INC DSL netlists afgeleid van Xyce open-source regressiedata.
Simulatie-gevalideerde Sampling: Voor een gegeven taak genereert het model kandidaat-netlists die worden geëvalueerd door een unieke NGSpice-gebaseerde verifieerder. Dit levert binaire beslissingen (OK, AR, CE) en continue metrieken op.
Beperkte Reparatie (Restricted Repair): Om het nut van "near-miss" kandidaten te maximaliseren, past het framework een "restricted repair" operator toe op simulabele fouten die de doelen net niet halen. Deze operator past alleen vooraf gedefinieerde numerieke knoppen aan (bijv. passieve R/L/C-waarden of duty ratios) binnen een vaste scope, waarbij de topologie en componenttypen ongewijzigd blijven. Succesvolle reparaties zetten fouten om in geverifieerde positieve resultaten.
Preferentie Constructie (PVPO): Binnen elke taakgroep worden succesvolle kandidaten gerangschikt met behulp van Pareto-dominantie en NSGA-II crowding distance. Het framework construeert preferentieparen $(x^+, x^-)$ waarbij $x^+$ de beste geverifieerde kandidaat is en $x^-$ een zwakkere kandidaat of een gerepareerde fout. Deze paren trainen het model met behulp van Pareto-Verified Preference Optimization (PVPO), wat multi-objective preferenties destilleert uit simulatie-uitkomsten.
Veilige Reinforcement Learning (Safe-PPO): Het model ondergaat Proximal Policy Optimization (PPO) met een "guard rollback" mechanisme. Een hard-task pool wordt bijgehouden voor taken met een lage recente attainment rate om het simulatiebudget te focussen. Cruciaal is dat elke policy-update alleen wordt geaccepteerd als deze een acceptatiecheck passeert op een vaste guard set; anders wordt het model teruggerold naar de vorige beste versie. Dit zorgt voor een monotone verbetering in doelbereiking en engineering-beperkingen.

Belangrijkste Bijdragen

Geverifieerde Zelfevolutie: Het paper introduceert een trainingsparadigma waarbij het model zichzelf verbetert via zijn eigen geverifieerde ontwerpverslagen. Door positief bewijs uit te breiden via beperkte reparatie en supervisie te extraheren uit taak-lokale multi-objective ordening, creëert het systeem een zelf evoluerende lus voor schaarse point-spec analoge ontwerpen.
Generatie op Engineering-schaal: Het framework genereert succesvol stabiele, multi-module DC–DC converters met 20+ componenten, een schaal die aanzienlijk groter is dan eerdere training-gebaseerde methoden (die doorgaans <10 componenten aanpakken).
Cross-Family Transferbaarheid: De workflow wordt gedemonstreerd als overdraagbaar naar verschillende circuitfamilies (DC–DC, Versterkers en Oscillatoren) door enkel de taakdefinities en verifieerders te wisselen, waarbij sterke prestaties worden behouden zonder architecturale wijzigingen.

Experimentele Resultaten
Geëvalueerd op een Grid77 benchmark voor DC–DC converters (1% tolerantie) en taken voor versterkers en oscillatoren (5% tolerantie), bereikte MO-SIMI het volgende:

DC–DC Prestaties: Bereikte een Attainment Rate (AR) van 0.9779 en een Engineering-Constraint Pass Rate (CE) van 0.8247. Het model behield een OK-rate (simulatiegeldigheid) van 1.0000.
Multi-Objective Capaciteit: Het systeem genereerde succesvol complexe multi-module circuits (spanningconversie + filtering + demping) terwijl het meerdere gelijktijdige beperkingen (efficiëntie, rimpel, overshoot) voldeed.
Ablatie-studies: Het verwijderen van Pareto-rangschikking verminderde de AR tot 0.5442, en het verwijderen van repair bootstrapping verminderde de AR tot 0.6000, wat bevestigt dat de combinatie van fijnmazige preferentie-rangschikking en reparatie essentieel is voor de uiteindelijke prestaties.
Stabiliteit: De Safe-PPO met het rollback-mechanisme zorgde ervoor dat de Attainment Rate op de acceptance set monotoon bleef tijdens de training, waardoor prestatieverslechtering door onstabiele updates werd voorkomen.

Betekenis
Het paper claimt dat MO-SIMI een herbruikbaar recept biedt voor het schalen van simulatie-gevalideerde zelfverbetering naar diverse circuitfamilies. Door de integratie van beperkte reparatie, Pareto-gebaseerde preferentie-leren en acceptance-beschermde reinforcement learning, adresseert het framework het kritieke gat in het genereren van hoogwaardige, multi-component analoge circuits die aan strikte point-specificaties voldoen. Het werk demonstreert dat geverifieerde zelfverbeteringslussen de beperkingen van zowel prompt-gebaseerde assistenten als traditionele zoekgebaseerde optimalisatie in de context van complex analoog ontwerp kunnen overwinnen.