💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

Het artikel stelt "Before Parc Fermé" (BPF) voor, een nieuwe pruning-strategie die iteratieve modelcompressie tijdens Reinforcement Learning uitvoert om embodied LLM-controllers voor autonoom rijden te optimaliseren, waarbij een superieure prestatie-geheugensverhouding wordt bereikt en een tot 27% hogere decodeerdoorvoer vergeleken met post-training pruning of het selecteren van kleinere dichte modellen.

Oorspronkelijke auteurs: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente robotbestuurder hebt genaamd RobotxR1. Deze bestuurder wordt aangestuurd door een "brein" dat een Large Language Model (LLM) is. Denk aan dit brein als een wereldklasse Formule 1-ingenieur die elk boek over rijden heeft gelezen, de fysica van elk auto weet en elke instructie die je in gewone taal geeft, kan begrijpen.

Er is echter een probleem: deze ingenieur is te groot. Ze dragen een enorme rugzak vol boeken (geheugen) en doen er lang over om na te denken voordat ze instructies geven (latentie). Als je deze zware rugzak op een kleine, snelle racewagen (de eigenlijke robot) probeert te zetten, wordt de auto te traag om in real-time te racen. Het is alsof je een marathon probeert te lopen terwijl je een piano draagt.

Het Probleem: Wanneer verklein je het brein?

Om de robot sneller te maken, proberen ingenieurs het brein meestal te "prunen" (snoeien). Pruning is als het bewerken van een manuscript: je snijdt zinnen, alinea's of hele hoofdstukken weg die niet noodzakelijk zijn, waardoor het boek korter en lichter wordt.

Maar hier zit de lastige kwestie: Wanneer doe je die bewerking?

Nadat de race voorbij is? (Post-training): Je traint het volledige brein, laat het alles leren, en probeert het dan in te korten. Het probleem is dat het brein al de "verkeerde" zware onderdelen heeft onthouden, en het inkorten ervan kan de mogelijkheid om te rijden beschadigen.
Voordat de training begint? (Pre-training): Je maakt het brein eerst kleiner en traint het dan pas. Het probleem is dat je nog niet weet welke delen daadwerkelijk nutteloos zijn totdat het brein heeft geprobeerd te rijden.

De Oplossing: "Before Parc Fermé" (BPF)

De auteurs van dit paper stellen een nieuwe strategie voor genaamd Before Parc Fermé (BPF).

Om de naam te begrijpen, stel je Formula 1-racing voor. Voordat een race begint, gaan auto's naar een "Parc Fermé" (een afgesloten garage) waar ze worden verzegeld. Niemand mag de auto's meer aanraken of aanpassen. De auto die de garage binnenrijdt, is de auto die racet.

In de wereld van AI-training is de "Parc Fermé" het moment waarop de training is voltooid en het model op zijn plaats is vastgezet. De auteurs beargumenteren dat je niet moet wachten tot het model in de garage wordt vergrendeld om het te gaan bewerken. In plaats daarvan moet je beginnen met het bewerken terwijl de auto nog op de baan wordt afgesteld.

Ze noemen dit RL-Time Pruning (Reinforcement Learning Time Pruning).

Hoe het werkt: De twee varianten

Het paper test twee manieren om dit "op de baan" bewerken te doen:

BPF-RL (De iteratieve bewerking): Stel je voor dat de robotbestuurder leert om een racecircuit te rijden. Na elke paar rondjes stappen de ingenieurs in, bekijken de aantekeningen van de bestuurder en zeggen: "Je hebt deze specifieke alinea over bandenspanning niet nodig; laten we die eruit snijden." De bestuurder gaat vervolgens de volgende paar rondjes verder met de lichtere aantekeningen en leert zich direct aan te passen aan de ontbrekende informatie. Ze herhalen dit proces totdat de aantekeningen precies de juiste grootte hebben.
BPF-SFT/RL (De twee-fasen bewerking): Eerst doen ze een lichte bewerking terwijl de bestuurder de basisregels leert (Supervised Fine-Tuning). Zodra de bestuurder vervolgens begint te racen in real-time simulaties (Reinforcement Learning), doen ze de zware bewerking, waarbij ze meer overbodige informatie wegsnijden terwijl de bestuurder actief reageert op de baan.

De Resultaten: Lichter, Sneller en Slimmer

De onderzoekers testten dit op een echte autonome rij-opstelling met twee onderdelen:

DecisionxR1: Het "Brein" dat beslist wat te doen.
MPCxR1: De "Handen" die de auto daadwerkelijk sturen.

Dit is wat zij vonden:

Betere trade-offs: Als je simpelweg een natuurlijk kleiner, zwakker brein koos (een 1.5B model) in plaats van een groot model, reed de auto slechter. Maar als ze het grote brein namen en hun BPF-SFT/RL methode gebruikten om het te verkleinen, was de resulterende "mini-brain" 1,69 keer beter in het balanceren van grootte en prestaties dan wanneer ze simpelweg voor het kleine brein hadden gekozen. Het behield de "slimheid" van het grote model, maar met het "gewicht" van het kleine model.
Real-World Snelheid: Wanneer ze deze modellen op een echte robotauto plaatsten, uitgerust met een Jetson AGX Orin computer, waren de geprunede modellen 27% sneller in het genereren van instructies.
De "Verbose" Valstrik: Ze ontdekten een verrassende wending. Soms maakte het kleiner maken van een model het hele systeem niet sneller. Waarom? Omdat het kleinere model soms begon om langere zinnen te schrijven om zijn beslissingen uit te leggen. Het is als een lichte hardloper die tijdens het rennen constant tegen zichzelf begint te praten, wat hem vertraagt. Dit leerde hen dat je niet alleen naar de modelgrootte kunt kijken; je moet naar de hele pijplijn kijken.

De Kernboodschap

Het paper beweert dat voor robots die in real-time moeten denken en handelen (zoals zelfrijdende auto's), je niet moet wachten tot de training voorbij is om de AI kleiner te maken. In plaats daarvan moet je het brein verkleinen terwijl het leert, zodat de robot kan adapteren aan zijn eigen "operatie" in real-time.

Deze "Before Parc Fermé" aanpak creëert een robotbestuurder die licht genoeg is om snel te zijn, maar slim genoeg om complexe rijtaken aan te kunnen, waarbij hij zowel de zware originele modellen als de natuurlijk kleine modellen overtreft.

Technische Samenvatting: Before Parc Fermé (BPF) voor Efficiënte Embodied LLM's

Probleemstelling

Embodied Large Language Models (LLMs) worden steeds vaker ingezet in robotische controlepipelines, zoals autonoom rijden, om natuurlijke taalcommando's te interpreteren en controllerparameters aan te passen. Deze modellen kampen echter met aanzienlijke implementatieuitdagingen door geheugenoverhead en generatielatentie, wat real-time uitvoering op beperkte hardware (bijv. Jetson AGX Orin) belemmert.

Hoewel pruning (het snoeien van het model) een oplossing biedt om de modelgrootte en computationele kosten te verminderen, blijft de optimale timing voor pruning binnen de specifieke trainingspipeline van embodied LLM's onduidelijk. Deze systemen ondergaan doorgaans Supervised Fine-Tuning (SFT), gevolgd door Reinforcement Learning (RL) met closed-loop feedback.

Post-training pruning (na SFT en RL) comprimeert het uiteindelijke model, maar biedt de resterende gewichten geen enkele kans om zich aan te passen aan de verwijderde structuren.
Pre-RL pruning (na SFT, vóór RL) verwijdert structuren voordat het model de specifieke closed-loop gedragingen heeft geleerd die vereist zijn voor de taak, wat potentieel kritieke componenten kan weggooien.
Directe selectie van kleinere dense modellen (bijv. 1,5B vs. 3B parameters) resulteert vaak in een suboptimale afweging tussen modelgrootte en controleerbaarheid, aangezien grotere modellen aanzienlijk betere redeneergaven bieden die kleinere modellen niet kunnen evenaren.

De kernuitdaging is het bepalen van wanneer er gepruned moet worden om het behoud van redeneer- en controlevermogen te maximaliseren terwijl het resourcegebruik wordt geminimaliseerd.

Methodologie: Before Parc Fermé (BPF)

De auteurs stellen Before Parc Fermé (BPF) voor, een familie van pruning-strategieën die compressie direct integreert in het trainingsproces, specifiek door pruning te koppelen aan de RL-fase. De naam "Parc Fermé" verwijst naar de periode in de Formule 1 waarin auto's vergrendeld zijn tegen modificaties; hier staat het metaforisch voor de post-training fase waarin de architectuur vaststaat. BPF comprimeert het model voordat deze vergrendeling plaatsvindt, terwijl het nog wordt geoptimaliseerd voor closed-loop gedrag.

Het framework maakt gebruik van LLM-Pruner met een Taylor-gebaseerde belangrijkheidsscore om gestructureerde pruning uit te voeren. Het artikel evalueert twee primaire BPF-varianten tegenover verschillende baselines:

BPF-RL (Iteratieve Pruning tijdens RL):
- Het model ondergaat volledige SFT zonder pruning.
- Tijdens de RL-fase wordt pruning iteratief uitgevoerd op vooraf gedefinieerde intervallen ( $\Delta t_{RL}$ ).
- Bij elk interval worden de parametergroepen met de laagste score verwijderd om incrementeel de doelstelling voor de pruning-ratio te bereiken.
- Dit stelt de resterende gewichten in staat om zich aan te passen aan de verwijderde structuren, terwijl ze nog steeds closed-loop taakfeedback ontvangen.
BPF-SFT/RL (Split Pruning):
- SFT-fase: Een gedeeltelijke compressie wordt toegepast na een initiële warm-up fase, waarbij een deel van het model wordt verwijderd ( $\rho_{SFT}$ ).
- RL-fase: De resterende compressie ( $\rho - \rho_{SFT}$ ) wordt iteratief bereikt tijdens RL, vergelijkbaar met BPF-RL.
- Deze aanpak maakt gebruik van SFT om duidelijk redundante structuren te verwijderen op basis van taakprompts, terwijl het vertrouwt op RL-feedback om de compressie te verfijnen op basis van closed-loop prestaties.

Baselines voor vergelijking:

Post-Training Pruning (PTP): Pruning toegepast na volledige SFT en RL.
PTP + Recovery: PTP gevolgd door extra RL-stappen om prestaties te herstellen.
SFT-stage Pruning: Een enkele compressiestap tijdens SFT vóór RL.
Kleinere Dense Modellen: Direct het gebruik van kleinere architecturen (bijv. Qwen2.5-1,5B) uit dezelfde modelfamilie.

Belangrijkste Bijdragen

Introductie van BPF: Een nieuw pruning-recept dat RL koppelt aan gestructureerde pruning voor embodied LLM-controllers, waarmee wordt aangetoond dat de timing van compressie een cruciale ontwerpkeuze is.
Prestatie vs. Efficiëntie Afweging: De auteurs tonen aan dat BPF-strategieën, met name BPF-SFT/RL, superieure afwegingen bereiken tussen modelgrootte en taakprestaties vergeleken met post-training pruning of simpelweg het selecteren van kleinere dense modellen.
End-to-End Evaluatie: Het werk benadrukt dat het prunen van embodied LLM's holistisch geëvalueerd moet worden. Veranderingen in het aantal gegenereerde tokens door pruning kunnen de downstream latentie en het gedrag veranderen, wat een volledige pipeline-evaluatie noodzakelijk maakt in plaats van geïsoleerde metriekanalyse.

Experimentele Resultaten

De methoden werden geëvalueerd op RobotxR1, een autonome rijpipeline bestaande uit twee modules:

DecisionxR1: Evalueert of het huidige gedrag overeenkomt met de gebruikersinstructies.
MPCxR1: Past Model Predictive Control (MPC) parameters aan.

1. Taakprestaties en Aanpasbaarheid

Superioriteit van BPF-SFT/RL: Op de DecisionxR1-module (3 miljard parameters) behaalde BPF-SFT/RL de beste afweging. Bij een pruning-ratio van 45% verbeterde het de controleerbaarheid met 11,4% vergeleken met PTP+R en met 17% vergeleken met PTP.
Vergelijking met Kleinere Modellen: Bij het comprimeren van het 3B-model behaalde BPF-SFT/RL een 1,69× betere grootte–end-to-end prestatie-afweging dan het direct selecteren van het 1,5B dense model. Specifiek verminderde BPF-SFT/RL de parameters met 0,91B met een verlies in controleerbaarheid van 7,61%, terwijl het overstappen naar het 1,5B model de parameters met 1,55B verminderde maar een verlies van 21,7% veroorzaakte.
Gezamenlijke Pruning: Gezamenlijke pruning van beide modules toonde aan dat MPCxR1 gevoeliger is voor pruning dan DecisionxR1. Matige pruning van MPCxR1 (bijv. 10%) gecombineerd met hogere pruning van DecisionxR1 (bijv. 30-45%) leverde de beste Pareto-optimale resultaten op.

2. Embedded Implementatie (Jetson AGX Orin)

Doorvoersnelheid en Geheugen: Geprunede modellen vertoonden significante verbeteringen in decode-doorvoersnelheid en geheugenvoetafdruk. Zo verminderde het prunen van DecisionxR1 met 45% het geheugen van 2,07GB naar 1,51GB en verhoogde de doorvoer van 45 naar 58 tokens/sec.
Latentie Nuance: Het artikel merkt op dat het verminderen van parameters niet automatisch de end-to-end latentie vermindert. Pruning kan de verbositeit van gegenereerde tokens verhogen (bijv. MPCxR1 die meer tekst genereert), wat de computationele winst kan tenietdoen. De optimale configuratie voor latentie (20% pruning op DecisionxR1, 0% op MPCxR1) verminderde de latentie met 19,5% met slechts een 0,8% daling in taakprestaties.

Betekenis en Claims

Het artikel claimt dat BPF-SFT/RL de meest effectieve strategie vertegenwoordigt voor de implementatie van embodied LLM's in autonoom rijden. De primaire betekenis ligt in het aantonen dat:

Timing Is Cruciaal: Pruning tijdens de RL-fase, terwijl het model zich nog aanpast aan closed-loop feedback, behoudt meer redeneer- en controlevermogen dan pruning nadat de training voltooid is.
Efficiëntie vs. Capaciteit: Het is mogelijk om grotere, meer capabele modellen aanzienlijk te comprimeren (bijv. 45%) terwijl de prestatieniveaus dichter bij het originele grote model blijven dan wat haalbaar is door simpelweg over te stappen op een kleiner dense model.
Holistische Evaluatie: Effectieve compressie voor robotische systemen vereist het evalueren van de volledige controlepipeline, aangezien door pruning geïnduceerde veranderingen in de lengte van de token-generatie een kritieke impact kunnen hebben op de downstream latentie en het systeemgedrag.

De auteurs erkennen beperkingen, waaronder het gebrek aan gezamenlijke training van geprunede modules (MPCxR1 werd getraind op outputs van ongepruned DecisionxR1), het gebruik van vaste pruning-intervallen, en de afwezigheid van quantization-aware pruning, wat momenteel padding vereist om dimensies uit te lijnen voor inference runtimes.