💻 computer science

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

CHORUS ist ein Post-Training-Framework, das verhaltensdiversifizierte Checkpoints und dichte-belohnungsbasiertes Reinforcement Learning nutzt, um komplementäre Expertenmodelle zu erstellen, die anschließend zu einem einzigen 4B-Modell konsolidiert werden, welches bei der Generierung von Testbench-Stimuli für die Hardware-Verifikation mit hoher Abdeckung hochmoderne, größere Modelle signifikant übertrifft.

Ursprüngliche Autoren: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Veröffentlicht 2026-08-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer wie riesige, unglaublich komplexe LEGO-Burgen sind. Bevor Ingenieure diese Burgen wirklich bauen, müssen sie sicherstellen, dass jeder einzelne Stein perfekt passt und dass das gesamte Bauwerk nicht zusammenbricht, wenn der Wind weht. Um dies zu erreichen, schreiben sie spezielle „Test-Skripte“ – wie ein Roboter, der um die Burg herumläuft, an Wänden rüttelt, Türen öffnet und prüft, ob alles funktioniert. Dieser Prozess wird als Hardware-Verifizierung bezeichnet, und er ist ein wesentlicher Bestandteil davon, sicherzustellen, dass unsere Telefone, Autos und Computer keine versteckten Fehler haben.

Lange Zeit dachten die Leute, der einzige Weg zur Besserung bestünde darin, immer größere und größere „Gehirne“ (Computermodelle) zu bauen, um die besten Tests zu finden. Doch vor kurzem begann ein neues, intelligentes Computergehirn, ein sogenanntes Large Language Model (LLM), dabei zu helfen. Diese Modelle sind großartig darin, Code zu schreiben, aber sie brauchen oft einen kleinen Anstoß, um aus ihren Fehlern zu lernen. Anstatt nur ein Lehrbuch zu lesen, dürfen sie ihren Code auch „ausführen“, sehen, wenn er kaputtgeht, und es erneut versuchen. Das ist wie bei einem Videospiel, bei dem man nicht nur das Handbuch lift, sondern das Level spielt, stirbt und lernt, es beim nächsten Mal zu schaffen. Die große Frage, die sich Forscher stellen: Wie machen wir diese Modelle zu wahren Meistern des Hardware-Testens, ohne sie einfach nur unendlich riesig und teuer zu machen?

Hier kommt CHORUS ins Spiel, eine neue Methode, die alles verändert. Anstatt zu versuchen, ein einziges, riesiges, superintelligentes Modell für alles zu bauen, erkannten die Forscher, dass der Weg zum Experten voller interessanter Umwege steckt. Sie fanden heraus, dass man, wenn man ein Modell in verschiedenen Phasen trainiert, am Ende mehrere verschiedene „Versionen“ des Modells erhält. Obwohl diese Versionen am Ende ähnliche Gesamtergebnisse erzielen, sind sie tatsächlich Experten für unterschiedliche Dinge – so ist eine Version vielleicht großartig darin, die Küche zu testen, während eine andere ein Zauberer beim Testen der Garage ist.

Die Arbeit zeigt, dass man durch die Kombination dieser verschiedenen „Experten-Versionen“ ein einziges, superstarkes Modell erschaffen kann, das viel besser ist als jeder von ihnen allein. Tatsächlich schaffte es dieses neue 4-Milliarden-Parameter-Modell (das relativ klein und kompakt ist), 88,0 % bei einer großen Hardware-Testing-Challenge zu erreichen. Das ist ein gewaltiger Sprung, denn es schlägt ein viel größeres, berühmtes Modell namens DeepSeek-R1 (das 671 Milliarden Parameter hat) um 13,5 Prozentpunkte.

So haben sie es gemacht, erklärt mit einer einfachen Analogie:

Das „gestufte“ Training:
Stellen Sie sich vor, Sie trainieren eine Gruppe von Athleten. Normalerweise wählen Sie den Besten aus und trainieren ihn weiter, bis er perfekt ist. Aber das CHORUS-Team hat etwas anderes gemacht. Sie haben drei verschiedene Athleten durch dieselben strengen Phasen trainiert. Am Ende waren alle drei fast gleichermaßen fit, aber sie hatten unterschiedliche Stärken. Einer war ein Sprinter, einer ein Marathonläufer und einer ein Hochspringer.

Die Entdeckung der „Komplementarität“:
Die Forscher bemerkten, dass diese Athleten nicht einfach nur das Gleiche taten. Wenn sie vor einem bestimmten Hindernis standen, konnte der Sprinter vielleicht scheitern, aber der Hochspringer überwand es mühelos. Sie waren „komplementär“. Wenn man nur auf ihren Durchschnittswert schauen würde, würde man denken, sie seien gleich, aber wenn man sich ansieht, welche Hindernisse sie jeweils überwinden konnten, waren sie völlig verschieden.

Die Magie des „Zusammenfühgens“:
Das Team fragte sich dann: „Können wir diese drei Athleten zu einem Super-Athleten kombinieren?“

Der einfache Mix (Trainingsfreies Merging): Sie versuchten, einfach ihre Muskeln zusammenzurechnen. Das funktionierte ein wenig, wodurch der neue Athlet besser als jeder einzelne wurde, aber nicht perfekt.
Der kluge Coach (Adaptive Distillation): Dies war der eigentliche Durchbruch. Sie erschufen einen neuen Schüler-Athleten und agierten als Coach. Für jedes neue Hindernis schaute der Coach auf die drei Experten und fragte: „Wer ist am besten in dieser spezifischen Sache?“ Wenn der Sprinter am besten war, lernte der Schüler vom Sprinter. Wenn der Hochspringer am besten war, lernte er von ihm. Entscheidend war: Wenn keiner der Experten eine Aufgabe besser lösen konnte als der Schüler selbst, übersprang der Coach diese Aufgabe, damit der Schüler keine schlechten Angewohnheiten lernte.

Das Ergebnis:
Durch die Verwendung dieser „Kluge-Coach“-Methode wurde das neue, einzelne Modell zu einem Meister aller Hindernisse. Es hat nicht einfach nur die Fähigkeiten gemittelt; es hat die beste Fähigkeit für jede einzelne Situation ausgewählt. Das Ergebnis ist ein kleines, effizientes Modell, das die massiven Giganten der Branche übertrifft.

Die Arbeit schließt die Idee explizit aus, dass man lediglich ein größeres Modell benötigt, um diese Probleme zu lösen. Sie zeigten, dass selbst ein massives 671-Milliarden-Parameter-Modell nicht das gleiche Leistungsniveau wie ihr kleines, klug trainiertes 4-Milliarden-Parameter-Modell erreichen konnte. Sie fanden auch heraus, dass es nicht half, ein Modell einfach nur länger zu trainieren; der Schlüssel war, die verschiedenen „Phasen“ des Trainings beizubehalten, um diese einzigartigen, komplementären Stärken zu bewahren.

Kurz gesagt: CHORUS beweist, dass im Bereich des Hardware-Testens ein diverses Team von Spezialisten und das Wissen, wie man deren einzigartige Talente kombiniert, weita viel mächtiger ist als ein einziges, allwissendes Riesen-Gehirn. Es ist eine Erinnerung daran, dass der beste Weg zum Genie manchmal darin besteht, auf seine verschiedenen inneren Stimmen zu hören.

Technisches Resümee: CHORUS

Problemstellung
Die Hardware-Verifizierung ist eine kritische Komponente des Chipdesigns, insbesondere bei der Generierung von Testbench-Stimuli mit hoher Abdeckung (Coverage). Im Gegensatz zur Standard-Codegenerierung wird die Qualität einer Testbench durch ein messbares, nicht-differenzierbares Ausführungssignal bestimmt: die erreichte Abdeckung, wenn der Stimulus in einem Hardware-Simulator ausgeführt wird. Obwohl Large Language Models (LLMs) die Codegenerierung durch ausführbare Rückkopplung vorangebracht haben, haben Grenzmodelle (Frontier Models – selbst solche mit Hunderten von Milliarden Parametern) Schwierigkeiten mit dieser Aufgabe. Wie das Paper zeigt, führen eine bloße Erhöhung der Modellgröße und Standard-Post-Training-Pipelines (Supervised Fine-Tuning gefolgt von Reinforcement Learning) zu abnehmenden Grenzerträgen und stagnieren unterhalb der erreichbaren Leistungsobergrenze.

Methodik
Die Autoren präsentieren CHORUS (Complementary Experts for High-Coverage Testbench Stimulus Generation), ein Post-Training-Framework, das darauf ausgelegt ist, das maximale Potenzial aus kompakten, domänenspezifischen Modellen (speziell 4B-Parameter-Modellen) zu extrahieren. Das Framework basiert auf zwei Kernbeobachtungen und einer dreistufigen Pipeline:

Beobachtung komplementärer Stärken: Die Autoren beobachten, dass ein gestuftes Supervised Fine-Tuning (SFT)-Curriculum Checkpoints hervorbringt, die – obwohl sie variierende Anfangsleistungen aufweisen – sich unter identischer, ausführungsgesteuerter Reinforcement Learning (RL)-Anwendung in distinkte „Experten“ verwandeln. Obwohl diese Experten eine vergleichbare aggregierte Genauigkeit erreichen, besitzen sie unterschiedliche aufgabenspezifische Stärken und sind erfolgreich bei unterschiedlichen Teilmengen von Hardware-Designs.
Die CHORUS-Pipeline:
- Stufe 1: Unabhängiges RL-Training: Das Framework nimmt Zwischen-Checkpoints aus einem gestuften SFT-Prozess (speziell aus der LLM4Cov-Pipeline) und wendet auf jeden eine identische, ausführungsgesteuerte RL-Prozedur (basierend auf DAPO) an. Dies transformiert die Checkpoints in eine Menge von RL-Experten ( $\pi^0_{RL}, \pi^1_{RL}, \pi^2_{RL}$ ), die in ihrer Gesamtgenauigkeit vergleichbar, aber in ihren spezifischen Fähigkeiten komplementär sind.
- Stufe 2: Konsolidierung: Um diese komplementären Stärken in ein einziges einsatzfähiges Modell zu integrieren, untersucht CHORUS zwei Konsolidierungsmethoden:
  - Training-freies Merging: Einfache Gewichtsmittlung (Model Soup) oder interferenzbewusstes Merging (TIES, DELLA) der Expertengewichte.
  - Adaptive Multi-Teacher On-Policy Distillation (OPD): Dies ist die primäre Methode. Ein Student-Modell wird auf seinen eigenen Rollouts trainiert, wird jedoch durch einen Pool von Teacher-Experten geleitet. Entscheidend ist, dass das System ein belohnungsgesteuertes Routing (reward-gated routing) verwendet: Für jede Aufgabe identifiziert das System den leistungsstärksten Teacher basierend auf der Ausführungsbelohnung. Die Distillation findet nur statt, wenn dieser Teacher den aktuellen Studenten übertrifft; andernfalls wird die Aufgabe übersprungen. Dies verhindert, dass das Student-Modell minderwertige Verhaltensweisen lernt, und stellt sicher, dass Updates nur dort erfolgen, wo ein nachweislich besseres Ziel existiert.

Wesentliche Beiträge

Identifizierung von Redundanz und Diversität: Das Paper zeigt, dass spätere SFT-Stufen nach Anwendung von ausführungsgesteuertem RL kaum zusätzlichen Nutzen bringen, die Zwischen-Checkpoints jedoch eine wichtige Quelle für Diversität darstellen. Diese Checkpoints werden, wenn sie unabhängig RL-getunt werden, zu komplementären Experten statt zu redundanten Variationen.
Reward-Gated Distillation: Die Einführung eines adaptiven Multi-Teacher-Distillationsmechanismus, der Aufgaben dynamisch an den besten Experten routet und Aufgaben überspringt, bei denen kein Experte eine Verbesserung bietet. Dieser Ansatz vermeidet das beim statischen Model Merging übliche „Wegmitteln“ von Spezialisierungen.
Effizienz: Das Framework erzielt State-of-the-Art-Ergebnisse mit einem einzigen 4B-Parameter-Modell und stellt damit die Annahme in Frage, dass für komplexe Hardware-Verifizierungsaufgaben zwingend größere Modelle erforderlich sind.

Ergebnisse
Evaluierung auf dem CVDP-ECov Benchmark (83 Hardware-Repositories) unter einem agentischen Refinement-Protokoll:

Leistung: Das finale CHORUS-Modell (konsolidiert via adaptive OPD) erreicht 88,0 % Pass@1.
Vergleich: Dieses Ergebnis übertrifft den 671B-Parameter starken DeepSeek-R1 um 13,5 Prozentpunkte und übertrifft den bisherigen Stand der Technik (LLM4Cov Stage-2) deutlich.
Analyse der Diversität: Die „Oracle Union“ der drei unabhängigen Experten erreicht 90,8 % Pass@1, was auf eine theoretische Spielraum von ~5 Punkten gegenüber dem besten Einzel-Experten hindeutet. Die CHORUS-Konsolidierungsmethoden gewinnen einen wesentlichen Teil dieser Lücke zurück, wobei das training-freie Merging 86,7 % und die adaptive OPD 88,0 % erreicht.
Robustheit: Die Ergebnisse halten über verschiedene Inferenzmodi (agentic refinement und direct inference) und Coverage-Metriken hinweg stand.

Bedeutung
Das Paper behauptet, dass CHORUS demonstriert, dass gezielte Post-Training-Strategien die Fähigkeiten kompakter Modelle für spezialisierte Ingenieursaufgaben freisetzen können, die über die von massiven Frontier-Modellen hinausgehen. Indem das Framework die Zwischen-SFT-Checkpoints nicht nur als Zwischenschritte zu einem Endmodell betrachtet, sondern als Quelle komplementärer Experten nutzt und durch ausführungsgesteuertes RL verfeinert und konsolidiert, erreicht es eine hochgradige Stimulus-Generierung ohne den Rechenaufwand der Skalierung der Modellgröße. Die Arbeit legt nahe, dass das Potenzial der „SFT-zu-RL“-Pipeline nicht nur im finalen Checkpoint liegt, sondern in der vielfältigen Landschaft der Experten, die sie durchläuft.

Technisches Resümee: CHORUS

Mehr davon