💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

Das Paper schlägt „Before Parc Fermé“ (BPF) vor, eine neuartige Pruning-Strategie, die während des Reinforcement Learning eine iterative Modellkompression durchführt, um Embodied-LLM-Controller für das autonome Fahren zu optimieren, wobei sie im Vergleich zu Post-Training-Pruning oder der Auswahl kleinerer dichter Modelle eine überlegene Performance-Speicher-Abwägung und einen bis zu 27 % höheren Decode-Durchsatz erzielt.

Ursprüngliche Autoren: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, superintelligenten Roboterfahrer namens RobotxR1. Dieser Fahrer wird von einem „Gehirn“ angetrieben, einem Large Language Model (LLM). Stellen Sie sich dieses Gehirn wie einen Weltklasse-Formel-1-Ingenieur vor, der jedes Buch über das Fahren gelesen hat, die Physik jedes Autos kennt und jede Anweisung, die Sie ihm in einfachem Englisch geben, verstehen kann.

Es gibt jedoch ein Problem: Dieser Ingenieur ist zu groß. Er trägt einen massiven Rucksack voller Bücher (Gedächtnis) mit sich herum und braucht lange, um nachzudenken, bevor er Anweisungen gibt (Latenz). Wenn Sie versuchen, diesen schweren Rucksack auf ein kleines, schnelles Rennauto (den eigentlichen Roboter) zu packen, wird das Auto zu langsam, um in Echtzeit zu fahren. Es ist, als würde man versuchen, einen Marathon zu laufen, während man ein Klavier trägt.

Das Problem: Wann verkleinert man das Gehirn?

Um den Roboter schneller zu machen, versuchen Ingenieure normalerweise, das Gehirn zu „beschneiden“ (Pruning). Das Beschneiden ist wie das Editieren eines Manuskripts: Man streicht Sätze, Absätze oder ganze Kapitel, die nicht notwendig sind, wodurch das Buch kürzer und leichter wird.

Aber hier liegt der knifflige Teil: Wann führt man diese Bearbeitung durch?

Nachdem das Rennen beendet ist? (Post-Training): Man trainiert das vollständige Gehirn, lässt es alles lernen und versucht dann, es zu verkleinern. Das Problem ist, dass das Gehirn bereits die „falschen“, schweren Teile auswendig gelernt hat, und das Wegschneiden dieser Teile könnte seine Fähigkeit zu fahren beeinträchtigen.
Bevor das Training beginnt? (Pre-Training): Man schneidet das Gehirn zuerst zurecht und trainiert es dann. Das Problem ist, dass man noch nicht weiß, welche Teile tatsächlich nutzlos sind, bis das Gehirn versucht hat zu fahren.

Die Lösung: „Before Parc Fermé“ (BPF)

Die Autoren dieses Papers schlagen eine neue Strategie vor, die Before Parc Fermé (BPF) genannt wird.

Um den Namen zu verstehen, stellen Sie sich den Formel-1-Rennsport vor. Vor einem Rennen fahren die Autos in ein „Parc Fermé“ (eine gesperrte Garage), wo sie versiegelt werden. Niemand darf die Autos mehr berühren oder modifizieren. Das Auto, das in die Garage fährt, ist das Auto, das das Rennen fährt.

In der Welt des KI-Trainings ist das „Parc Fermé“ der Moment, in dem das Training abgeschlossen ist und das Modell festgeschrieben wird. Die Autoren argumenten, dass man nicht warten sollte, bis das Modell im Garagenbereich eingesperrt ist, um mit dem Editieren zu beginnen. Stattdessen sollte man mit dem Editieren beginnen, während das Auto noch auf der Strecke abgestimmt wird.

Sie nennen dies RL-Time Pruning (Reinforcement Learning Time Pruning).

Wie es funktioniert: Die zwei Varianten

Das Paper testet zwei Wege, dieses „On-the-Track“-Editieren durchzuführen:

BPF-RL (Das iterative Editieren): Stellen Sie sich vor, der Roboterfahrer lernt, eine Rennstrecke zu fahren. Alle paar Runden steigen die Ingenieure ein, schauen in die Notizen des Fahrers und sagen: „Du brauchst diesen spezifischen Absatz über den Reifendruck nicht; lass uns ihn herausschneiden.“ Dann fährt der Fahrer die nächsten paar Runden mit den leichteren Notizen weiter und lernt, sich an die fehlenden Informationen anzupassen. Sie wiederholen diesen Prozess, bis die Notizen genau die richtige Größe haben.
BPF-SFT/RL (Das Zwei-Stufen-Editieren): Zuerlich führen sie ein leichtes Editieren durch, während der Fahrer die grundlegenden Regeln lernt (Supervised Fine-Tuning). Sobald der Fahrer dann beginnt, in Echtzeit-Simulationen zu fahren (Reinforcement Learning), führen sie das schwere Editieren durch und schneiden mehr „Füllmaterial“ heraus, während der Fahrer aktiv auf die Strecke reagiert.

Die Ergebnisse: Leichter, schneller und klüger

Die Forscher testeten dies an einem echten autonomen Fahrsystem mit zwei Teilen:

DecisionxR1: Das „Gehirn“, das entscheidet, was zu tun ist.
MPCxR1: Die „Hände“, die das Auto tatsächlich lenken.

Hier ist, was sie herausgefunden haben:

Bessere Kompromisse: Wenn man einfach ein natürlich kleineres, schwächeres Gehirn (ein 1,5B-Modell) anstelle eines großen Modells gewählt hätte, wäre das Auto schlechter gefahren. Aber wenn sie das große Gehirn nahmen und die BPF-SFT/RL-Methode anwandten, um es zu verkleinern, war das resultierende „Mini-Gehirn“ 1,69-mal besser darin, die Balance zwischen Größe und Leistung zu halten, als wenn man einfach das kleine Gehirn von vornherein gewählt hätte. Es behielt die „Intelligenz“ des großen Modells, aber das „Gewicht“ des kleinen Modells.
Reale Geschwindigkeit: Als sie diese beschnittenen Modelle auf einem echten Roboterauto mit einem Jetson AGX Orin Computer einsetzten, waren die beschnittenen Modelle 27 % schneller beim Generieren von Anweisungen.
Die „Verbose“-Falle: Sie entdeckten eine überraschende Wendung. Manchmal machte es das System nicht schneller, wenn man das Modell kleiner machte. Warum? Weil das kleinere Modell manchmal anfing, längere Sätze zu schreiben, um seine Entscheidungen zu erklären. Es ist wie ein leichter Läufer, der anfängt, die ganze Zeit mit sich selbst zu reden, was ihn verlangsamt. Dies lehrte sie, dass man nicht nur die Modellgröße betrachten darf; man muss die gesamte Pipeline beobachten.

Das Fazit

Das Paper behauptet, dass für Roboter, die in Echtzeit denken und handeln müssen (wie selbstfahrende Autos), man nicht warten sollte, bis das Training beendet ist, um die KI kleiner zu machen. Stattdessen sollte man sie während des Lernens verkleinern, damit der Roboter sich an seine eigene „Operation“ in Echtzeit anpassen kann.

Dieser „Before Parc Fermé“-Ansatz erschafft einen Roboterfahrer, der leicht genug ist, um schnell zu sein, aber klug genug, um komplexe Fahraufgaben zu bewältigen, und übertrifft dabei sowohl die schweren Originalmodelle als auch die natürlich kleinen Modelle.

Technisches Resümee: Before Parc Fermé (BPF) für effiziente Embodied LLMs

Problemstellung

Embodied Large Language Models (LLMs) werden zunehmend in robotischen Steuerungs-Pipelines eingesetzt, wie etwa beim autonomen Fahren, um natürliche Sprachbefehle zu interpretieren und Controller-Parameter anzupassen. Diese Modelle stehen jedoch vor erheblichen Deployment-Herausforderungen aufgrund von Speicheroverhead und Generierungslatenz, was die Echtzeitausführung auf Hardware mit begrenzten Ressourcen (z. B. Jetson AGX Orin) erschwert.

Obwohl Pruning eine Lösung zur Reduzierung der Modellgröße und der Rechenkosten bietet, bleibt der optimale Zeitpunkt für das Pruning innerhalb der spezifischen Trainingspipeline von Embodied LLMs unklar. Diese Systeme durchlaufen typischerweise ein Supervised Fine-Tuning (SFT), gefolgt von Reinforcement Learning (RL) mit Closed-Loop-Feedback.

Post-training pruning (nach SFT und RL) komprimiert das fertige Modell, bietet den verbleibenden Gewichten jedoch keine Möglichkeit, sich an die entfernten Strukturen anzupassen.
Pre-RL pruning (nach SFT, vor RL) entfernt Strukturen, bevor das Modell die spezifischen Closed-Loop-Verhaltensweisen für die Aufgabe erlernt hat, was potenziell kritische Komponenten verwerfen kann.
Die direkte Auswahl kleinerer dichter Modelle (z. B. 1,5B vs. 3B Parameter) führt oft zu einem suboptimalen Kompromiss zwischen Modellgröße und Steuerungsadaptivität, da größere Modelle signifikant bessere Reasoning-Fähigkeiten bieten, die kleinere Modelle nicht erreichen können.

Die zentrale Herausforderung besteht darin, zu bestimmen, wann geprunt werden muss, um die Beibehaltung von Reasoning- und Steuerungsfähigkeiten zu maximieren und gleichzeitig den Ressourcenverbrauch zu minimieren.

Methodik: Before Parc Fermé (BPF)

Die Autoren schlagen Before Parc Fermé (BPF) vor, eine Familie von Pruning-Strategien, die Kompression direkt in den Trainingsprozess integriert, indem sie Pruning speziell mit der RL-Phase koppelt. Der Name „Parc Fermé“ bezieht sich auf die Formel-1-Periode, in der Autos vor Modifikationen gesperrt sind; hier bezeichnet er metaphorisch die Post-Training-Phase, in der die Architektur fixiert ist. BPF komprimiert das Modell vor dieser Sperrung, während es noch für das Closed-Loop-Verhalten optimiert wird.

Das Framework nutzt LLM-Pruner mit einem Taylor-basierten Wichtigkeits-Score, um strukturiertes Pruning durchzuführen. Das Paper evaluiert zwei primäre BPF-Varianten gegen mehrere Baselines:

BPF-RL (Iteratives Pruning während RL):
- Das Modell durchläuft ein vollständiges SFT ohne Pruning.
- Während der RL-Phase wird das Pruning iterativ in vordefinierten Intervallen ( $\Delta t_{RL}$ ) durchgeführt.
- In jedem Intervall werden die Parametergruppen mit den niedrigsten Scores entfernt, um inkrementell die Ziel-Pruning-Rate zu erreichen.
- Dies ermöglicht es den verbleibenden Gewichten, sich an die entfernten Strukturen anzupassen, während sie weiterhin Closed-Loop-Feedback zur Aufgabe erhalten.
BPF-SFT/RL (Split Pruning):
- SFT-Phase: Eine partielle Kompression wird nach einer initialen Warm-up-Phase angewendet, wobei ein Teil des Modells entfernt wird ( $\rho_{SFT}$ ).
- RL-Phase: Die verbleibende Kompression ( $\rho - \rho_{SFT}$ ) wird iterativ während RL erreicht, ähnlich wie bei BPF-RL.
- Dieser Ansatz nutzt SFT, um eindeutig redundante Strukturen basierend auf Task-Prompts zu entfernen, während er sich auf RL-Feedback verlässt, um die Kompression basierend auf der Closed-Loop-Performance zu verfeinern.

Baselines für den Vergleich:

Post-Training Pruning (PTP): Pruning, das nach vollständigem SFT und RL angewendet wird.
PTP + Recovery: PTP gefolgt von zusätzlichen RL-Schritten, um die Performance wiederherzustellen.
SFT-stage Pruning: Ein einziger Kompressionsschritt während SFT vor dem RL.
Kleinere dichte Modelle: Direkte Verwendung kleinerer Architekturen (z. B. Qwen2.5-1.5B) aus derselben Modellfamilie.

Zentrale Beiträge

Einführung von BPF: Ein neuartiges Pruning-Rezept, das RL mit strukturiertem Pruning für Embodied-LLM-Controller koppelt, und das zeigt, dass die Timing-Wahl der Kompression eine kritische Designentscheidung ist.
Performance- vs. Effizienz-Trade-off: Die Autoren zeigen, dass BPF-Strategien, insbesondere BPF-SFT/RL, im Vergleich zu Post-Training-Pruning oder der einfachen Auswahl kleinerer dichter Modelle überlegene Kompromisse zwischen Modellgröße und Task-Performance erzielen.
End-to-End-Evaluierung: Die Arbeit betont, dass das Pruning von Embodied LLMs ganzheitlich evaluiert werden muss. Änderungen in der Anzahl der generierten Token aufgrund von Pruning können die nachgelagerte Latenz und das Verhalten verändern, was eine Full-Pipeline-Evaluierung statt einer isolierten Metrik-Analyse erforderlich macht.

Experimentelle Ergebnisse

Die Methoden wurden auf RobotxR1 evaluiert, einer autonomen Fahr-Pipeline, die aus zwei Modulen besteht:

DecisionxR1: Evaluiert, ob das aktuelle Verhalten mit den Benutzeranweisungen übereinstimmt.
MPCxR1: Passt die Parameter der modellprädiktiven Regelung (MPC) an.

1. Task-Performance und Adaptivität

Überlegenheit von BPF-SFT/RL: Beim DecisionxR1-Modul (3B Parameter) erreichte BPF-SFT/RL den besten Kompromiss. Bei einer Pruning-Rate von 45 % verbesserte es die Steuerungsadaptivität um 11,4 % gegenüber PTP+R und um 17 % gegenüber PTP.
Vergleich mit kleineren Modellen: Bei der Kompression des 3B-Modells erreichte BPF-SFT/RL einen 1,69-mal besseren Größen–End-to-End-Performance-Trade-off als die direkte Auswahl des 1,5B dichten Modells. Konkret reduzierte BPF-SFT/RL die Parameter um 0,91B mit einem Verlust an Adaptivität von 7,61 %, während der Wechsel zum 1,5B-Modell die Parameter um 1,55B reduzierte, aber einen Verlust von 21,7 % zur Folge hatte.
Gemeinsames Pruning: Das gemeinsame Pruning beider Module zeigte, dass MPCxR1 empfindlicher auf Pruning reagiert als DecisionxR1. Ein moderates Pruning von MPCxR1 (z. B. 10 %) kombiniert mit einem höheren Pruning von DecisionxR1 (z. B. 30-45 %) lieferte die besten Pareto-optimalen Ergebnisse.

2. Eingebettete Bereitstellung (Jetson AGX Orin)

Durchsatz und Speicher: Geprunte Modelle zeigten signifikante Verbesserungen beim Decode-Durchsatz und dem Speicher-Footprint. Beispielsweise reduzierte das Pruning von DecisionxR1 um 45 % den Speicher von 2,07 GB auf 1,51 GB und steigerte den Durchsatz von 45 auf 58 Tokens/Sek.
Latenz-Nuance: Das Paper stellt fest, dass die Reduzierung von Parametern nicht automatisch die End-to-End-Latenz reduziert. Pruning kann die Verbosität der generierten Tokens erhöhen (z. B. generiert MPCxR1 mehr Text), was die Rechengewinne zunichtemachen kann. Die optimale Konfiguration für die Latenz (20 % Pruning auf DecisionxR1, 0 % auf MPCxR1) reduzierte die Latenz um 19,5 % bei nur 0,8 % Verlust in der Task-Performance.

Bedeutung und Behauptungen

Das Paper behauptet, dass BPF-SFT/RL die effektivste Strategie für die Bereitstellung von Embodied LLMs im autonomen Fahren darstellt. Die primäre Bedeutung liegt in dem Nachweis, dass:

Das Timing entscheidend ist: Pruning während der RL-Phase, während das Modell sich noch an das Closed-Loop-Feedback anpasst, bewahrt mehr Reasoning- und Steuerungsfähigkeit als Pruning nach Abschluss des Trainings.
Effizienz vs. Kapazität: Es ist möglich, größere, leistungsfähigere Modelle signifikant zu komprimieren (z. B. um 45 %), während man ein Leistungsniveau beibehält, das näher am Original-Großmodell liegt, als dies durch den einfachen Wechsel zu einem kleineren dichten Modell erreichbar wäre.
Ganzheitliche Evaluierung: Effektive Kompression für Robotersysteme erfordert die Evaluierung der gesamten Steuerungs-Pipeline, da durch Pruning induzierte Änderungen in der Länge der Token-Generierung die nachgelagerte Latenz und das Systemverhalten kritisch beeinflussen können.

Die Autoren räumen Einschränkungen ein, darunter das Fehlen eines gemeinsamen Trainings der geprunteten Module (MPCxR1 wurde auf den Outputs von ungepruntem DecisionxR1 trainiert), die Verwendung fester Pruning-Intervalle sowie das Fehlen von Quantisierung-bewusstem Pruning, was derzeit Padding erfordert, um die Dimensionen für Inference-Runtimes abzugleichen.