LP-MPPI: Low-Pass Filtering for Efficient Model Predictive Path Integral Control

Technische Samenvatting: LP-MPPI: Low-Pass Filtering voor Efficiënte Model Predictive Path Integral Control

Probleemstelling
Model Predictive Path Integral (MPPI) controle is een robuuste, op sampling gebaseerde benadering voor real-time bewegingsplanning, gewaardeerd om zijn vermogen om willekeurige dynamica en kostenfuncties te verwerken zonder dat differentiabiliteit vereist is. De standaard MPPI vertrouwt echter op het samplen van controle-trajectperturbaties uit een witte ruisverdeling (Gaussiaans met onafhankelijke elementen). Dit resulteert in een gebrek aan temporele correlatie binnen trajecten, wat effectief hoogfrequente ruis introduceert. In robotische systemen, waarbij dynamica van nature hoge frequenties dempt, dragen deze componenten niet bij aan het vinden van optimale controles. In plaats daarvan veroorzaken ze "chattering" in de toegepaste controlesignalen, wat leidt tot slijtage van actuatoren en inefficiënte zoekprocessen. Bestaande oplossingen, zoals spline-interpolatie of input lifting, bieden slechts grove of indirecte controle over het frequentiespectrum. Andere benaderingen die gebruikmaken van gekleurde ruis (bijv. in iCEM of specifieke MPPI-varianten) dempen signaalcomponenten proportioneel aan de inverse van hun frequentie, wat de zoektocht mogelijk te sterk richting de laagste frequenties stuurt, waardoor optimale gedragingen die matige frequentievariaties vereisen (bijv. in legged locomotion) kunnen worden gemist.

Methodologie
De auteurs stellen Low-Pass Model Predictive Path Integral Control (LP-MPPI) voor, die een low-pass filter direct integreert in het MPPI-samplingproces.

• Kernmechanisme: In tegenstelling tot standaard MPPI, dat witte ruis $\epsilon$ samplet en toevoegt aan de nominale controle $U$, genereert LP-MPPI gefilterde perturbaties $\epsilon_{LP}$ door witte ruis te samplen en deze vervolgens door een low-pass filter (specifiek een Butterworth-filter) te sturen. De controlesequentie wordt vervolgens bijgewerkt als $U + \epsilon_{LP}$.
• Frequentievormgeving: Deze aanpak introduceert temporele correlatie aan de perturbaties, waardoor het frequentiespectrum van de zoekverdeling effectief wordt gevormd. Het stuurt de zoektocht naar laagfrequente signalen, terwijl de gebruiker expliciet de banddoorlaatfrequentie kan definiëren.
• Parameters: De methode introduceert twee interpreteerbare fysieke parameters:
  1. Afkapp frequentie ($f_c$): Controleert de breedte van de banddoorlaat, wat bepaalt welk bereik van frequenties de hoogste vermogensdichtheid heeft in de perturbaties.
  2. Filterorde ($o_{LPF}$): Controleert de helling van de afvalzone (roll-off) in de stopband, wat bepaagt hoe agressief hoogfrequente componenten worden gedempt.
• Implementatie: De filtering wordt toegepast op de ruissequenties vóór de simulatie, niet op het uiteindelijke controlesignaal. Dit zorgt ervoor dat het toegepaste controlesignaal reactief blijft (de eerste controle-input kan nog steeds snel veranderen), terwijl de trajectzoektocht wordt gestuurd naar vloeiende, plausibele paden. De computationele kosten zijn verwaarloosbaar, aangezien filtering slechts een klein aantal vermenigvuldigingen vereist die proportioneel is aan de horizonlengte.

Belangrijkste Bijdragen

1. Algoritmische Innovatie: Het voorstel van LP-MPPI, dat het frequentiespectrum van controle-trajectperturbaties vormgeeft om schadelijke hoogfrequente ruis te elimineren zonder de efficiëntie van de zoektocht op te offeren.
2. Interpreteerbaarheid en Afstemming: De methode biedt directe, intuïtieve controle over het frequentiespectrum via fysiek betekenisvolle parameters ($f_c$ en $o_{LPF}$), in tegenstelling tot gekleurde ruis-benaderingen die minder flexibele sturing bieden.
3. Uitgebreide Evaluatie: Een grondige experimentele analyse over drie verschillende domeinen:
   • Gymnasium Environments: Hopper-v5, Ant-v5 en HalfCheetah-v5.
   • Gesimuleerde Quadruped Locomotion: Unitree Go2 en MAB Silver Badger robots met een op diffusie gebaseerd MPC-framework (Dial-MPC).
   • Real-World Toepassing: F1TENTH autonome racing op een fysiek ovaal circuit.

Experimentele Resultaten
Het artikel rapporteert consistente prestatieverbeteringen van LP-MPPI ten opzichte van state-of-the-art MPPI-varianten (inclusief originele MPPI, SMPPI, SCP-MPPI en ColoredMPPI):

• Gymnasium Environments: LP-MPPI presteerde beter dan de baselines over een breed scala aan horizonlengtes ($H$) en rollout-aantallen ($N$). Gemiddeld verbeterde het de resultaten met 24% vergeleken met de baselines. Het toonde bijzonder hoge sample-efficiëntie, waarbij grotere winsten werden geboekt met minder rollouts.
• Controle-vloeiendheid: Kwantitatieve metrieken (Mean Squared Second Derivative en Mean Savitzky-Golay Filter Deviation) bevestigden dat LP-MPPI aanzienlijk vloeiendere controlesignalen genereert, wat chattering vermindert terwijl hoge beloningen behouden blijven.
• Quadruped Locomotion: Wanneer geïntegreerd met Dial-MPC (waardoor LP-Dial-MPC ontstaat), bereikte de methode een gemiddelde prestatiewinst van 32% ten opzichte van de standaard Dial-MPC en presteerde het aanzienlijk beter dan een ColoredMPPI-variant (die ongeveer de helft van de beloningen opleverde).
• Real-World Racing: In F1TENTH autonome racing behaalde LP-MPPI de hoogste mediane afgelegde afstanden in 30-seconden proeven, waarbij het alle baselines versloeg. Het behield real-time prestaties op een standaard CPU (Intel Core i5-12500H) met verwaarloosbare computationele overhead (ongeveer 2,4% toename in F1TENTH, en zelfs een lichte afname in simulatietijd voor Ant-v5, waarschijnlijk door vereenvoudigde fysica-interacties).

Betekenis en Claims
De auteurs beweren dat LP-MPPI een eenvoudige maar krachtige modificatie van het MPPI-algoritme is. De betekenis ligt in:

• Efficiëntie: Het verbetert de zoektocht naar optimale controles door de exploratie te richten op het toelaatbare frequentiebereik waar optimale gedragingen zich doorgaans bevinden, in plaats van samples te verspillen aan hoogfrequente ruis die door robotdynamica wordt weggefilterd.
• Praktijkgerichtheid: Het vermindert slijtage van actuatoren door controlesignalen te verzachten en is gemakkelijk te implementeren met minimale computationele overhead, wat het geschikt maakt voor real-time edge-apparaten.
• Aanpasbaarheid: De methode is zeer aanpasbaar aan diverse robotische systemen via intuïtieve parameterafstemming (afkapfrequentie en filterorde) en kan naadloos worden geïntegreerd met andere op sampling gebaseerde MPC-benaderingen, zoals aangetoond met Dial-MPC.

Het artikel concludeert dat LP-MPPI een superieur evenwicht biedt tussen zoekefficiëntie, controle-vloeiendheid en computationele kosten, waardoor het een sterke kandidaat is voor real-time robotische besturingstaken die hoge prestaties bij trajectoptimalisatie vereisen.