💻 computer science

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

CHORUS is een post-training framework dat gedragsmatig diverse checkpoints en dense-reward reinforcement learning gebruikt om complementaire expertmodellen te creëren, die vervolgens worden geconsolideerd in een enkel 4B-model dat grotere state-of-the-art modellen aanzienlijk overtreft in de generatie van hardwareverificatie testbench-stimuli met een hoge dekking.

Oorspronkelijke auteurs: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers lijken op gigantische, ongelooflijk complexe LEGO-kastelen. Voordat ingenieurs deze kastelen echt gaan bouwen, moeten ze ervoor zorgen dat elke steen perfect past en dat de hele structuur niet instort als de wind waait. Om dit te doen, schrijven ze speciale "testscripts"—zoals een robot die rond het kasteel rent, muren schudt, deuren opent en controleert of alles werkt. Dit proces wordt hardwareverificatie genoemd, en het is een enorm onderdeel van het waarborgen dat onze telefoons, auto's en computers geen verborgen fouten bevatten.

Lama tijd dachten mensen dat de enige manier om beter te worden in dit werk was door grotere en grotere "hersenen" (computermodellen) te bouwen om de beste tests te bepalen. Maar onlangs is er een nieuw soort slimme computerhersenen, een Large Language Model (LLM), die helpt bij dit proces. Deze modellen zijn goed in het schrijven van code, maar ze hebben vaak een kleine duw nodig om te leren van hun fouten. In plaats van alleen een tekstboek te lezen, krijgen ze de kans om hun code te "draaien", te zien of het kapot gaat, en het opnieuw te proberen. Dit is als een videogame waarbij je niet alleen de handleiding leest; je speelt het level, gaat dood en leert de volgende keer hoe je het wint. De grote vraag die onderzoekers stellen is: Hoe maken we deze modellen werkelijk meesters in het testen van hardware zonder ze simpelweg oneindig groot en duur te maken?

Maak kennis met CHORUS, een nieuwe methode die het spel verandert. In plaats van te proberen één gigantisch, superintelligent model te maken dat alles doet, realiseerden de onderzoekers zich dat het pad naar expertise vol interessante zijwegen zit. Ze ontdekten dat als je een model in fasen traint, je uiteindelijk verschillende "versies" van het model krijgt. Hoewel deze versies uiteindelijk vergelijkbare algemene scores halen, zijn ze eigenlijk experts in verschillende dingen—zo is de één geweldig in het testen van de keuken, terwijl een ander een tovenaar is in het testen van de garage.

Het artikel laat zien dat door deze verschillende "expert"-versies te combineren, je een enkel, superkrachtig model kunt creten dat veel beter is dan welke van hen alleen ook. Sterker nog, dit nieuwe model met 4 miljard parameters (dat relatief klein en compact is) slaagde erin om 88,0% te scoren op een belangrijke uitdaging voor hardwaretesten. Dit is een enorme sprong, waarmee het een veel groter, beroemd model genaamd DeepSeek-R1 (dat 671 miljard parameters heeft) met 13,5 procentpunt verslaat.

Dit is hoe ze het deden, met behulp van een eenvoudige analogie:

De "Gefaseerde" Training:
Stel je voor dat je een groep atleten traint. Meestal kies je de beste en blijf je die persoon trainen tot hij perfect is. Maar het CHORUS-team deed iets anders. Ze trainden drie verschillende atleten door dezelfde strenge fasen. Aan het einde waren alle drie bijna even fit, maar hadden ze verschillende sterke punten. De één was een sprinter, de ander een marathonloper en de derde een hoogspringer.

De "Complementaire" Ontdekking:
De onderzoekers merkten op dat deze atleten niet gewoon hetzelfde deden. Wanneer ze voor een specifieke hindernis stonden, kon de sprinter misschien falen, maar de hoogspringer zou deze gemakkelijk overwinnen. Ze waren "complementair". Als je alleen naar hun gemiddelde score zou kijken, zou je denken dat ze hetzelfde zijn, maar als je naar de soort hindernissen keek die ze konden overwinnen, waren ze totaal verschillend.

De "Merging" Magie:
Het team vroeg zich vervolgens af: "Kunnen we deze drie atleten combineren tot één superatleet?"

De Simpele Mix (Training-Free Merging): Ze probeerden simpelweg hun spieren bij elkaar te voegen. Het werkte een beetje, waardoor de nieuwe atleet beter werd dan een enkele atleet, maar het was niet perfect.
De Slimme Coach (Adaptive Distillation): Dit was de echte doorbraak. Ze creëerden een nieuwe student-atleet en traden op als coach. Voor elke nieuwe hindernis keek de coach naar de drie experts en vroeg: "Wie is het best in dit specifieke ding?" Als de sprinter het best was, leerde de student van de sprinter. Als de hoogspringer het best was, leerde de student van hem. Cruciaal was dat als geen van de experts het beter kon dan de student, de coach de taak oversloeg zodat de student geen slechte gewoontes zou aanleren.

Het Resultaat:
Door deze "Slimme Coach"-methode te gebruiken, werd het nieuwe, enkele model een meester in alle hindernissen. Het combineerde niet alleen de vaardigheden, maar koos de beste vaardigheid voor elke specifieke situatie. Het resultaat is een klein, efficiënt model dat de enorme reuzen uit de sector overtreft.

Het artikel sluit expliciet de gedachte uit dat je alleen maar een groter model nodig hebt om deze problemen op te lossen. Ze lieten zien dat zelfs een gigantisch model met 671 miljard parameters niet hetzelfde prestatieniveau kon bereiken als hun kleine, slim getrainde model van 4 miljard parameters. Ze ontdekten ook dat het simpelweg langer trainen van één model niet hielp; de sleutel was om de verschillende "fasen" van de training te behouden om die unieke, complementaire sterktes te bewaren.

Kortom, CHORUS bewijst dat in de wereld van hardwaretesten, het hebben van een divers team van specialisten en het weten hoe je hun unieke talenten te combineren, veel krachtiger is dan het hebben van één gigantisch, alwetend brein. Het is een herinnering aan het feit dat de beste manier om een genie te zijn soms is om te weten wanneer je naar je verschillende innerlijke stemmen moet luisteren.

Technische Samenvatting: CHORUS

Probleemstelling
Hardwareverificatie is een kritiek onderdeel van chipontwerp, specifiek de generatie van testbench-stimuli met een hoge dekking (coverage). In tegen tegenover de standaard codegeneratie wordt de kwaliteit van een testbench bepaald door een meetbaar, niet-differentieerbaar executiesignaal: de behaalde dekking wanneer de stimulus wordt uitgevoerd in een hardware-simulator. Hoewel Large Language Models (LLM's) de codegeneratie hebben geavanceerd door middel van uitvoerbare feedback, worstelen grensmodellen (zelfs die met honderden miljarden parameters) met deze taak. Zoals beschreven in het artikel, levert het vergroten van de modelgrootte alleen verminderde meeropbrengst op, en de standaard post-training pipelines (Supervised Fine-Tuning gevolgd door Reinforcement Learning) neigen te verzadigen onder het haalbare prestatieplafond.

Methodologie
De auteurs presenteren CHORUS (Complementary Experts for High-Coverage Testbench Stimulus Generation), een post-training framework dat is ontworpen om de maximale capaciteit te extraheren uit compacte, domeinspecifieke modellen (specifiek 4B-parameter modellen). Het framework is gebouwd op twee kernobservaties en een driefasige pipeline:

Observatie van Complementaire Sterkten: De auteurs observeren dat een gefaseerde Supervised Fine-Tuning (SFT) curriculum checkpoints produceert die, hoewel ze variëren in initiële prestaties, evolueren naar onderscheidende "experts" wanneer ze worden onderworpen aan identieke, executie-gestuurde Reinforcement Learning (RL). Hoewel deze experts vergelijkbare geaggregeerde nauwkeurigheid bereiken, bezitten ze verschillende taakspecifieke sterktes en slagen ze op verschillende subsets van hardware-ontwerpen.
De CHORUS Pipeline:
- Fase 1: Onafhankelijke RL-training: Het framework neemt tussenliggende checkpoints van een gefaseerd SFT-proces (specifiek van de LLM4Cov-pipeline) en past een identieke executie-gestuurde RL-procedure toe (gebaseerd op DAPO) op elk checkpoint. Dit transformeert de checkpoints in een set RL-experts ( $\pi^0_{RL}, \pi^1_{RL}, \pi^2_{RL}$ ) die vergelijkbaar zijn in algemene nauwkeurigheid, maar complementair zijn in hun specifieke capaciteiten.
- Fase 2: Consolidatie: Om deze complementaire sterktes te integreren in één enkel inzetbaar model, onderzoekt CHORUS twee consolidatiemethoden:
  - Training-vrije Merging: Eenvoudige gewichtgemiddelden (Model Soup) of interferentie-bewuste merging (TIES, DELLA) van de expert-gewichten.
  - Adaptieve Multi-Teacher On-Policy Distillatie (OPD): Dit is de primaire methode. Een student-model wordt getraind op zijn eigen rollouts, maar wordt gestuurd door een pool van teacher-experts. Cruciaal is dat het systeem gebruikmaakt van reward-gated routing: voor elke taak identificeert het systeem de best presterende teacher op basis van de executie-reward. Distillatie vindt alleen plaats als die teacher de huidige student overtreft; anders wordt de taak overgeslagen. Dit voorkomt dat de student inferieure gedragingen leert en zorgt ervoor dat updates alleen plaatsvinden waar een aantoonbaar beter doelwit bestaat.

Kernbijdragen

Identificatie van Redundantie en Diversiteit: Het artikel demonstreert dat hoewel latere stadia van SFT weinig extra voordeel bieden zodra executie-gestuurde RL wordt toegepast, de tussenliggende checkpoints dienen als een vitale bron van diversiteit. Deze checkpoints worden, wanneer ze onafhankelijk RL-getuned worden, complementaire experts in plaats van redundante variaties.
Reward-Gated Distillatie: De introductie van een adaptief multi-teacher distillatiemechanisme dat taken dynamisch routeert naar de beste expert en taken overslaat waar geen enkele expert een verbetering biedt. Deze aanpak voorkomt het "weggemiddelde" van specialisatie dat gebruikelijk is bij statische model merging.
Efficiëntie: Het framework bereikt state-of-the-art resultaten met een enkel 4B-parameter model, wat de opvatting uitdaagt dat grotere modellen strikt noodzakelijk zijn voor complexe hardwareverificatietaken.

Resultaten
Geëvalueerd op de CVDP-ECov benchmark (83 hardware-repositories) onder een agentic refinement protocol:

Prestaties: Het uiteindelijke CHORUS-model (geconsolideerd via adaptieve OPD) bereikt 88,0% Pass@1.
Vergelijking: Dit resultaat presteert 13,5 procentpunt beter dan de 671B-parameter DeepSeek-R1 en overtreft de vorige state-of-the-art (LLM4Cov Stage-2) met een aanzienlijke marge.
Analyse van Diversiteit: De "oracle union" van de drie onafhankelijke experts bereikt 90,8% Pass@1, wat wijst op een theoretische headroom van ~5 punten boven de beste enkele expert. De CHORUS-consolidatiemethoden slagen erin een aanzienlijk deel van deze kloof te dichten, waarbij training-vrije merging 86,7% bereikt en adaptieve OPD 88,0%.
Robuustheid: De resultaten blijven standhouden over verschillende inferentie-modi (agentic refinement en directe inferentie) en coverage-metrieken.

Significantie
Het artikel beweert dat CHORUS aantoont dat gerichte post-training strategieën in staat zijn om capaciteiten in compacte modellen te ontsluiten die die van massieve frontier-modellen voor gespecialiseerde engineering-taken overtreffen. Door tussenliggende SFT-checkpoints te behandelen als een bron van complementaire experts in plaats van slechts stappen naar een definitief model, en door executie-gestuurde RL te gebruiken om deze experts te verfijnen en te consolideren, bereikt het framework hoog-dekkende stimulusgeneratie zonder de computationele kosten van het schalen van modelgrootte. Het werk suggereert dat het potentieel van de "SFT-naar-RL"-pipeline niet alleen ligt in het laatste checkpoint, maar in het diverse landschap van experts dat het doorloopt.

Meer zoals dit