⚡ electrical engineering

Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems

Dit artikel introduceert de CoDyControlBench om Large Language Models te evalueren op het gebied van complex ontwerp van feedbackcontrollers, waarbij significante prestatiekloof wordt onthuld die wordt gedreven door controlekennis en waarbij wordt aangetoond dat een via reasoning-distillatie getraind model van 1,5 miljard parameters robuust, voor edge-implementatie geschikt succes kan bereiken in fysieke robotische toepassingen.

Oorspronkelijke auteurs: Zhongchao Zhou, Yixuan Xie, Wenwei Yu, Yuxi Lu, Yaonan Zhu, Qian Niu, Yutaka Matsuo, Yusuke Iwasawa

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhongchao Zhou, Yixuan Xie, Wenwei Yu, Yuxi Lu, Yaonan Zhu, Qian Niu, Yutaka Matsuo, Yusuke Iwasawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren lopen, vliegen of een kwetsbaar kopje vast te houden zonder het te laten vallen. Hiervoor heb je een "feedbackcontroller" nodig. Denk aan deze controller als het evenwichtsorgaan en de hersenen van de robot die samenwerken: het controleert constant waar de robot is, vergelijkt dit met waar de robot wil zijn, en maakt kleine, directe aanpassingen om alles stabiel te houden. Als de robot begint te wankelen, duwt de controller terug; als hij te traag is, geeft de controller hem een zetje. Decennialang was het ontwerpen van deze controllers een taak voor hoogopgeleide menselijke ingenieurs die jarenlang studie deden naar wiskunde en natuurkunde. Maar onlangs is er een nieuw soort digitaal brein opgekomen: een Large Language Model (LLM). Dit zijn dezelfde soorten AI die gedichten kunnen schrijven, raadsels kunnen oplossen en met je kunnen chatten. Wetenschappers stellen nu een grote vraag: kunnen deze praatgrage, creatieve AI-hersenen ook het zware werk van engineering doen? Kunnen ze de wiskunde ontwerpen die een robot in balans houdt, zelfs wanneer de robot complex, wiebelig of beweegt op vreemde manieren?

Dit artikel, getiteld "Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems," duikt direct in die vraag. De onderzoekers realiseerden zich dat hoewel AI geweldig is in eenvoudige taken, niemand echt had getest of het de rommelige, ingewikkelde realiteit van echte machines aan kon. Dus bouwden ze een enorme, videogame-achtige testomgeving genaamd CoDyControlBench. Stel je een enorme hindernisbaan voor met 132 verschillende niveaus. Sommige niveaus zijn makkelijk, zoals een enkel wiel dat over een vlakke weg rolt. Andere zijn nachtmerrie-niveaus: een zeswielige robot waarbij elk wiel in de knoop zit met de anderen, de weg trilt en het eigen gewicht van de robot verandert terwijl hij beweegt. Het doel? Om te zien of een AI de code kan schrijven om deze robot perfect naar een doelplek te sturen zonder te crashen of uit de controle te raken.

Het team liet zes verschillende "superintelligente" AI's deze hindernisbaan doorlopen. Sommigen waren beroemde commerciële modellen (zoals GPT, Gemini en Claude), en andere waren open-source modellen (zoals Qwen en DeepSeek). De resultaten waren een mix van ontzag en voorzichtigheid. De ster van de show was GPT, die succesvol een werkende controller ontwierp voor 94,8% van de complexe uitdagingen. Het was als een meesteringenieur die naar een verwarde bende van veren en motoren kan kijken en direct weet hoe hij ze moet afstemmen. Aan het andere uiteinde van het spectrum slaagde het model Qwen slechts in 50% van de gevallen. Het was als een student die een simpel speelgoedautootje aan kon, maar compleet in de war raakte wanneer de wielen in verschillende richtingen begonnen te draaien.

De onderzoekers ontdekten dat het grootste probleem voor de AI niet noodzakelijkerwijs was of de robot "niet-lineair" (wiebelig) of "tijdvariërend" (veranderend in de tijd) was, maar eerder hoeveel bewegende delen hij had. Naarmate het aantal bewegende delen (de zogenaamde "Degrees of Freedom" of DoF) toenam van 1 naar 6, daalde het succespercentage van de AI aanzienlijk. Het is alsof de AI één bal gemakkelijk kan jongleren, maar wanneer je een tweede, derde of zesde bal toevoegt, begint hij ze te laten vallen. Interessant genoeg vond de AI het makkelijker om een specif으로 type complex wiskundig gebaseerde controller (een zogenaamde Sliding Mode Control) te ontwerpen dan de simpelere, meer gangbare "PID"-controller. Dit was een verrassing, omdat mensen meestal denken dat de simpele versie makkelijker is. Het lijkt erop dat de AI de strikte, stap-voor-stap regels van de complexe wiskunde leuker vond dan de "probeer-en-check"-stijl van de simpele variant.

Maar hier is het meest opwindende deel van het verhaal: de onderzoekers wilden niet alleen zien of grote, cloud-gebaseerde AI's de klus konden klaren; ze wilden weten of een kleine AI op een kleine chip binnen een robot kon draaien. Om dit te testen, gebruikten ze een techniek genaamd Reasoning Distillation. Stel je voor dat je een genie als leraar hebt (een enorme AI) die niet alleen het antwoord op een wiskundeprobleem geeft, maar ook zijn hele denkproces opschrijft: "Eerst zie ik dat de robot naar links wankelt, dus ik moet naar rechts duwen. Maar wacht, als ik te hard duw, schiet hij door, dus ik zal een beetje afremmen." Ze leerden een kleine, lichtgewicht AI (slechts 1,5 miljard parameters, wat klein is voor een AI) om dit denkproces te kopiëren, niet alleen het uiteindelijke antwoord.

Het resultaat? De kleine AI die leerde te redeneren zoals de genie-leraar (de "Think-Model" genoemd) werd een verrassend goede ingenieur. Hij presteerde beter dan de kleine AI die alleen antwoorden uit het hoofd leerde en zelfs beter dan het basismodel dat helemaal niet getraind was. In een real-world test werd deze kleine AI geïnstalleerd op een robotarm aangedreven door luchtgevulde spieren (die berucht wiebelig en moeilijk te besturen zijn). De kleine AI leidde de arm in alle drie de pogingen succesvol naar een doelhoek, waarbij hij stabiel en nauwkeurig bleef. Dit suggereert dat we geen enorme supercomputers in de cloud nodig hebben om onze toekomstige robots aan te sturen; in plaats daarvan kunnen we een slimme, redenerende ingenieur direct op de eigen chip van de robot plaatsen.

Kortom, het artikel laat zien dat hoewel de huidige AI erg goed wordt in het ontwerpen van robotcontrollers, het nog steeds moeite heeft met de meest complexe, meerdelige machines. Echter, door kleine AI's te leren om door het probleem te redeneren in plaats van alleen oplossingen te memoriseren, kunnen we lichtgewicht, slimme controllers creëren die direct aan de "edge" werken, klaar om onze toekomstige robots stabiel, veilig en op koers te houden.

Technische Samenvatting: Benchmarking en Redeneringsdistillatie van Large Language Models voor Feedbackregelaarontwerp in Complexe Dynamische Systemen

Probleemstelling
Hoewel Large Language Models (LLM's) significante capaciteiten hebben getoond in coderen, redeneren en domeinspecifieke besluitvorming, blijft hun toepassing op het ontwerp van feedbackregelaars voor complexe dynamische systemen onderbelicht. Bestaande benchmarks, zoals ControlBench, richten zich primair op lineaire, single-degree-of-freedom (DoF) systemen en problemen op bacheloruur niveau, wat een beperkt onderscheidend vermogen biedt voor het evalueren van state-of-the-art (SOTA) modellen bij complexe technische taken. Bovendien wordt de praktische inzetbaarheid van LLM's in robotica en regeltechniek gehinderd door de afhankelijkheid van grote, in de cloud gehoste foundation models, wat latentie, bandbreedteafhankelijkheid en privacyrisico's met zich meebrengt wanneer deze worden geïmplementeerd op middelenbeperkte edge-apparaten. Er is een kritieke behoefte aan een uitgebreide benchmark die LLM's evalueert op complexe, multi-DoF, nietlineaire en tijdvariërende systemen, naast de ontwikkeling van lichtgewicht, voor de edge inzetbare modellen die in staat zijn tot robuust regelaarontwerp.

Methodologie
De auteurs introduceren CoDyControlBench, een systematische benchmark bestaande uit 132 systeemconfiguraties, ontworpen om LLM's te evalueren over vijf dimensies van complexiteit:

Systeemtype: Lineair Tijd-Invariant (LTI), Nietlineair Tijd-Invariant (NLTI), Lineair Tijd-Variërend (LTV) en Nietlineair Tijd-Variërend (NLTV).
Aantal DoF's: Variërend van 1 tot 6.
Koppelingsniveau: Volledig onafhankelijke versus volledig gekoppelde dynamica.
Dempingsregime: Overgedempt, kritisch gedempt en ondergedempt.
Regelertype: Heuristisch foutgebaseerd (PID-familie) en modelgebaseerd (Sliding Mode Controller-familie).

De benchmark evalueert de bekwaamheid van LLM's om uitvoerbare code te genereren voor regelaars die constante stapdoelen ( $r_i = 5$ ) volgen binnen een simulatiehorizon van 5 seconden. Prestaties worden beoordeeld met behulp van een uniforme score die de stationaire fout, overshoot en vertaging incorporeert, met strikte pass/fail-criteria met betrekking tot convergentie en maximale overshoot.

Zes SOTA LLM's werden geëvalueerd: drie commerciële API-modellen (GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8) en drie open-source modellen (GLM-5.2, DeepSeek-V4-Pro, Qwen3.5-397B). Evaluaties werden uitgevoerd over drie onafhankelijke runs met zowel "Fixed-3" (drie iteraties) als "Success-Stop" protocollen.

Om de beperkingen van edge-implementatie aan te pakken, ontwikkelden de auteurs een lichtgewicht, 1,5B-parameter controle-gespecialiseerd model met behulp van redeneringsdistillatie (reasoning distillation). Gebruikmakend van DeepSeek-R1-Distill-Qwen-1.5B als student-backbone en GPT-5.5 als docent, werden twee varianten getraind op 599 controller-tuning episodes:

Answer-Model: Getraind op beknopte rationales en uitvoerbare code.
Think-Model: Getraind op expliciete tussenliggende diagnostische redeneringssporen gevolgd door code, met als doel het proces van het interpreteren van systeemgedrag en het selecteren van regelaarwijzigingen over te dragen.

De gedistilleerde modellen werden geëvalueerd op CoDyControlBench en gevalideerd op een real-world één-DoF robotarm aangedreven door pneumatische kunstmatige spieren (PAM), een platform dat gekenmerkt wordt door sterke nietlineariteit en hysteresis.

Belangrijkste Resultaten

Benchmarkprestaties: GPT behaalde het hoogste algemene succespercentage in ontwerp (94,8%), gevolgd door Gemini (90,4%) en GLM (82,3%). Commerciële en open-source modellen vertoonden significante prestatiekloven, waarbij Qwen het laagste percentage behaalde (50,0%).
Complexiteitsfactoren: Het aantal DoF's en het type regelaar vertoonden de grootste variaties in succes in het ontwerp. De succespercentages daalden over het algemeen naarmate het aantal DoF's toenam, met name voor modellen andere dan GPT. Hoewel modelgebaseerde (SMC) ontwerpen hogere succespercentages bereikten (80,6%) dan heuristische (PID) ontwerpen (63,0%), leverden succesvolle PID-ontwerpen betere prestatiescores op, wat wijst op een trade-off tussen haalbaarheid en regelaarskwaliteit.
Distillatie-uitkomsten: Het basis 1,5B model vertoonde een verwaarloosbaar vermogen tot regelaarontwerp. Het Answer-Model verbeterde de prestaties op systemen met een laag aantal DoF's, maar slaagde er niet in te generaliseren naar hogere dimensies. In tegenstelling hiertoe behield het Think-Model (redenerings-gedistilleerd) stabiele succespercentages (54%–69%) over 1–6 DoF's, waarmee het zowel de basis- als de Answer-Modellen overtrof.
Real-World Validatie: Op de door PAM aangedreven robotarm behaalde het Think-Model een succespercentage van 100% (3/3 trials) met stabiele tracking en een lage stationaire fout. Het Answer-Model slaagde slechts in 33,3% van de trials, vaak falend door aanhoudende undershoot en oscillatie.
Modelvergelijking: Een gedetailleerde vergelijking tussen GPT en Qwen op taken met hoge dimensionaliteit onthulde dat het prestatieverschil voortkwam uit de toepassing van kennis over het ontwerp van regelaars. GPT maakte gebruik van agressieve gain-selectie gecombineerd met transiënte-beperkende mechanismen (bijv. output saturatie, integraallimieten), terwijl Qwen vertrouwde op het verlagen van gains om oscillatie te beheersen, wat leidde tot slechte convergentie.

Betekenis en Claims
Dit artikel vestigt CoDyControlBench als een nieuwe baseline voor het evalueren van LLM's in complex regelaarontwerp, waarbij de focus verschuift van lineaire, single-DoF beperkingen naar het beoordelen van prestaties op gekoppelde, nietlineaire en tijdvariërende systemen. De auteurs beweren dat hun werk de potentie van redeneringsdistillatie benadrukt om lichtgewicht, voor de edge inzetbare modellen te creëren die in staat zijn tot dynamica-bewuste adaptatiestrategieën. Door aan te tonen dat een 1,5B-parameter model succesvol complexe systemen kan ontwerpen en effectief kan functioneren op fysieke hardware, suggereert de studie een levensvatbaar pad om de afhankelijkheid van grote, cloud-gebaseerde foundation models voor real-time controle-toepassingen te verminderen. De resultaten geven aan dat, hoewel huidige SOTA-modellen sterk variëren in capaciteit, de integratie van tussenliggende redeneringssporen tijdens distillatie cruciaal is voor het overdragen van robuuste regelaarontwerpvaardigheden aan kleinere, gespecialiseerde modellen.

Meer zoals dit