Technische Samenvatting: Sampling-gebaseerde Model Predictive Control met Behulp van Trust Regions

Probleemstelling

Sampling-gebaseerde Model Predictive Control (MPC) algoritmen, zoals de Cross-Entropy Methode (CEM) en Model Predictive Path Integral (MPPI), lossen optimale controleproblemen op door iteratief een voorstel-kansdichtheidsfunctie (PDF) over controlevolgorde te verfijnen. Deze methoden trekken steekproeven, evalueren trajectkosten en updaten parameters van het voorstel. Echter, huidige benaderingen vertrouwen sterk op heuristische strategieën voor hyperparameteraanpassing, zoals:

• Temperatuurparameters: Gebruikt in MPPI om de scherpte van belangswaardering te controleren, vaak constant gehouden of heuristisch aangepast.
• Momentum/Gladdening: Gebruikt in CEM en iteratief MPPI om voortijdige instorting van de voorstelverdeling te voorkomen.

Deze heuristieken zijn moeilijk af te stemmen en kunnen convergentie of prestaties in verschillende probleembestellingen compromitteren. Bovendien kan standaard willekeurige sampling inefficiënt zijn, waarbij grote steekproefgroottes nodig zijn om gladde controletrajecten en betrouwbare convergentie te bereiken, vooral in regimes met weinig steekproeven en weinig iteraties.

Methodologie

De auteurs stellen een principiële raamwerk voor dat heuristische hyperparameterafstemming vervangt door een Trust Region-formulering afgeleid van duale optimalisatie.

1. Trust Region-formulering

De kern van de methode beperkt de update van de voorstelverdeling $f_{j+1}$ ten opzichte van de vorige verdeling $f_j$ met behulp van een Kullback–Leibler (KL)-divergentiegrens. Het optimalisatieprobleem wordt gedefinieerd als:
$$\min_{f_{j+1}} \mathbb{E}_{f_{j+1}}[J(\bar{\xi})]$$
Onder voorwaarde van:

• $D_{KL}(f_{j+1} \| f_j) \leq \epsilon$ (Trust region-beperking)
• $H(f_{j+1}) \geq H_{min}$ (Optionele ondergrens voor entropie om instorting te voorkomen)
• Normalisatiebeperkingen

Hierbij is $J(\bar{\xi})$ de cumulatieve kost, $\epsilon$ de maximaal toegestane divergentie, en $H_{min}$ de vereiste minimale entropie.

2. Duale Optimalisatie en Afleiding van Gewichten

Het beperkte probleem wordt opgelost met Lagrange-multiplicatoren ($\eta$ voor KL, $\alpha$ voor entropie, $\nu$ voor normalisatie). Door de functionele afgeleide van de Lagrangiaan te nemen, leiden de auteurs de optimale voorstelverdeling af:
$$f^*_{j+1}(\bar{\xi}) = \frac{1}{Z_{\eta,\alpha}} f_j(\bar{\xi})^{\frac{\eta}{\eta+\alpha}} \exp\left(-\frac{J(\bar{\xi})}{\eta + \alpha}\right)$$
De optimale Lagrange-multiplicatoren $\eta^*$ en $\alpha^*$ worden gevonden door numeriek het duale maximalisatieprobleem op te lossen. Dit proces levert optimale gewichten op voor de getrokken trajecten zonder handmatige afstemming. Wanneer de entropiebeperking inactief is ($\alpha^*=0$), komt de formulering overeen met standaard MPPI-gewichtsbepaling, maar dan optimaal afgeleid in plaats van heuristisch.

3. Projectie en Sampling

Omdat de optimale $f^*_{j+1}$ doorgaans niet-Gaussisch is (tenzij $\alpha^*=0$), wordt deze terug geprojecteerd op de oorspronkelijke parametrische familie (bijvoorbeeld Gaussisch) via momentenmatching. Het gewogen empirische gemiddelde en de covariantie worden gebruikt om de voorstelparameters voor de volgende iteratie bij te werken.

4. Algoritmische Verbeteringen

Om de efficiëntie verder te verbeteren, integreren de auteurs Deterministische Gelokaliseerde Cumulatieve Distributie (LCD) sampling:

• LCD Sampling: Vooraf berekende deterministische steekproeven worden gebruikt om de standaardnormale verdeling optimaal te representeren.
• Transformatie: Deze steekproeven worden via schaling en een willekeurig rotatiematrix (getrokken uit $SO(d_\xi)$) afgebeeld op de huidige voorstelparameters om optimaliteit te behouden terwijl nodige stochasticiteit wordt geïntroduceerd.
• Buffering: Een buffer behoudt de beste trajecten uit vorige iteraties om de optimalisatie warm te starten.
• Tijd-gecorreleerde Covariantie: Een vaste correlatiestructuur (gekleurde ruis) wordt toegepast om gladde controletrajecten te bevorderen, waarbij alleen marginale varianties tijdens de optimalisatie worden bijgewerkt.

Belangrijkste Bijdragen

1. Principiële Trust Region-update: Het artikel introduceert een KL-beperkte updateregel voor sampling-gebaseerde MPC die de noodzaak van heuristische temperatuur- of momentumafstemming elimineert. De hyperparameters worden afgeleid als optimale oplossingen voor een duaal optimalisatieprobleem.
2. Integratie met Deterministische Sampling: De trust region-update wordt gecombineerd met deterministische op LCD gebaseerde sampling. Deze combinatie blijkt de sampling-efficiëntie en convergentie te verbeteren, vooral in regimes met beperkte computatiebudgetten (weinig steekproeven en weinig iteraties).
3. Uitgebreide Evaluatie: De methode wordt geëvalueerd tegenover heuristische baselines (MPPI en CEM) met behulp van willekeurige, laag-discrepantie (Sobol, Halton) en deterministische LCD-samplingstrategieën in twee benchmarkomgevingen.

Experimentele Resultaten

De voorgestelde methode werd getest op twee omgevingen: Cart-Pole Swing-Up en Truck Backer-Upper.

• Sampling-efficiëntie: In regimes met weinig steekproeven (bijvoorbeeld $N < 100$) bereikten de trust region-varianten consistent lagere cumulatieve kosten dan heuristische varianten. De combinatie van Trust Region en LCD-sampling (dsTR) presteerde beter dan alle andere methoden, inclusief dsCEM en heuristisch MPPI.
• Convergentie: Trust region-varianten vertoonden snellere convergentie, waarbij lagere mediane cumulatieve kosten werden bereikt met minder iteraties. In de Truck Backer-Upper-taak faalden heuristische varianten om de door trust region-varianten bereikte kosten te bereiken, zelfs na tien iteraties, terwijl trust region-varianten dit met slechts drie iteraties bereikten.
• Controlegladheid: De dsTR-methode bereikte over het algemeen de beste balans tussen lage kosten en hoge gladheid. Hoewel sommige heuristische varianten met willekeurige sampling in specifieke cart-pole-scenario's iets gladere controles vertoonden, behield dsTR een superieure algehele prestatie.
• Uitvoeringstijd: Trust region-updates brengen hogere computatiekosten per stap met zich mee dan heuristische methoden vanwege de extra stap voor duale optimalisatie. Echter, de verbeterde sampling-efficiëntie betekent dat minder steekproeven nodig zijn om een doelprestatie te bereiken, wat de uitvoeringstijd kan compenseren, vooral op parallelle hardware.

Betekenis en Claims

De auteurs claimen dat de voorgestelde trust region-formulering een principiëel alternatief biedt voor heuristische parameteraanpassing in sampling-gebaseerde MPC. Door updategewichten af te leiden uit een beperkt optimalisatieprobleem, zorgt de methode voor stabiel leren en voorkomt het agressieve updates die de prestaties kunnen verslechteren.

Het artikel benadrukt dat de combinatie van trust region-updates met deterministische LCD-sampling bijzonder effectief is voor toepassingen met beperkte middelen. Het bereikt snellere convergentie en betere sampling-efficiëntie in regimes met weinig steekproeven en weinig iteraties zonder afbreuk te doen aan de gladheid van de controle. De auteurs suggereren dat deze aanpak goed geschikt is voor toepassingen in de echte wereld waar betrouwbare convergentie en sampling-efficiëntie cruciaal zijn, en merken op dat het verminderen van de vereiste steekproefgrootte direct vertaalt naar kortere rekentijd op parallelle hardware.