Technische Samenvatting: Amortized Nonlinear Model Predictive Control

Probleemstelling

Nonlinear Model Predictive Control (NMPC) biedt een krachtig kader voor geconstreerde optimale regeling, maar kampt met een aanzienlijke computationele bottleneck. Bij elke bemonsteringsinstantie vereist NMPC het oplossen van een geconstreerd nietlineair programmeerprobleem (NLP) in real-time. Voor nietlineaire plantmodellen kan de rekentijd per stap orders van grootte groter zijn dan voor lineaire systemen, wat de real-time implementatie op hardware met beperkte middelen of bij hoge bemonsteringsfrequenties vaak onhaalbaar maakt. Hoewel Real-Time Iteration (RTI) schema's de efficiëntie verbeteren door een enkele Newton-type iteratie uit te voeren, kan de computationele kosten nog steeds prohibitief zijn. Bovendien is expliciete nietlineaire MPC over het algereen onhandelbaar.

Recente ontwikkelingen in machine learning, specifiek "amortized optimization", stellen voor om de online solver te vervangen door een functie-approximator die offline wordt getraind. Een grote uitdaging bij deze aanpak is echter het behoud van closed-loop garanties, zoals het voldoen aan constraints en stabiliteit, wanneer de geleerde benadering afwijkt van de exacte oplossing.

Methodologie

De auteurs stellen een framework voor input-affine nietlineaire systemen (systemen waarbij de dynamica affien is in de control input, $x_{k+1} = f(x_k) + G(x_k)u_k$) voor die de optimale control move benadert door online een state-afhankelijke Quadratic Program (QP) op te lossen. De belangrijkste innovatie is een single-network residual-corrector architectuur die het leren van de probleemparameters scheidt van het afdwingen van constraints.

1. Parametrische QP Formulering

Voor input-affine systemen is de één-stap state map affien in de control input $u_0$. De auteurs formuleren een kleine QP om de eerste control move $u_0$ te optimaliseren:

• Doelfunctie: Een kwadratische kostenfunctie $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$, waarbij $H$ en $c$ afhangen van de huidige staat en referentie.
• Constraints:
  • Hard Constraints: Input bounds en affine-in-input constraints (bijv. koppelgrenzen) worden direct afgedwongen.
  • Soft Constraints: State bounds voor de volgende stap worden gemodelleerd als soft constraints met slack variabelen om te garanderen dat de QP numeriek haalbaar blijft.
• Grootte: De resulterende QP heeft aanzienlijk minder beslissingsvariabelen ($n_u + n_s$) vergeleken met de volledige NLP horizon ($(N+1)n_x + N n_u$).

2. Residual-Corrector Netwerk Architectuur

In plaats van de volledige optimale control sequentie of de volledige QP parameters vanaf nul te leren, leert het netwerk alleen de residual corrections ten opzichte van een analytische baseline:

• Analytische Baseline: Afgeleid van het lineariseren van de systeemdynamica en de kostenfunctie rond de huidige staat. Dit levert initiële schattingen voor de Cholesky-factor van de Hessian ($L_{an}$) en de lineaire kostenvector ($c_{an}$).
• Neuraal Netwerk ($\phi_\psi$): Neemt de geconcateneerde state en referentie als input en voorspelt correcties ($\Delta L, \Delta c$).
• Correctiemechanisme:
  • De volledige Cholesky-factor is $L_{full} = L_{an} + \Delta L$.
  • De diagonale elementen worden verwerkt via een softplus functie om strikte positiviteit te garanderen, wat verzekert dat de resulterende Hessian $H_{full} = L_{full}L_{full}^\top$ positief definit is.
  • De volledige kostenvector is $c_{full} = c_{an} + \Delta c$.

3. Differentiable Solver en Training

• Online Inferentie: De gecorrigeerde parameters definiëren een kleine QP, die online wordt opgelost door een differentiable interior-point layer. Dit garandeert dat de output $u_0^*$ de QP constraints voldoet door constructie.
• Offline Training: Het netwerk wordt getraind op een dataset van optimale NLP oplossingen (gegenereerd door een solver zoals IPOPT) met behulp van een hybride loss functie:
  1. Supervised Imitation ($L_{sup}$): Bestraft de afwijking van de voorspelde eerste control actie van de optimale NLP oplossing.
  2. KKT Stationarity ($L_{KKT}$): Bestraft de schending van de stationariteitsconditie van de volledige NLP bij de voorspelde oplossing.
  3. Fischer-Burmeister Complementarity ($L_{FB}$): Bestraft schendingen van complementariteitscondities voor inequality constraints.
  4. Regularisatie ($L_{reg}$): Houdt de geleerde correcties dicht bij de analytische baseline.

Belangrijkste Bijdragen

1. Residual-Corrector Architectuur: Een nieuwe aanpak waarbij een neuraal netwerk alleen de correcties leert op een analytisch afgeleide QP baseline, in plaats van de volledige oplossing. Dit maakt gebruik van de bekende structuur van input-affine systemen.
2. Constraint Satisfaction via Differentiable Layers: Door een differentiable QP solver binnen het netwerk in te bedden, garandeert de methode dat de eerste control actie de harde constraints voldoet, wat een veelvoorkomende foutmodus in learning-based MPC aanpakt.
3. Hybride Loss Functie: Het trainingsdoel combineert supervised imitation met physics-informed KKT en complementariteits-penalties, wat prestaties en haalbaarheid verbetert vergeleken met pure imitatie learning.
4. Schaalbaarheid: De aanpak reduceert het online optimalisatieprobleem van een complexe NLP naar een kleine QP met een state-afhankelijke kostenmatrix, wat de computationele complexiteit drastisch vermindert.

Experimentele Resultaten

De methode werd gevalideerd op een driedelige planaire robotarm met Cartesian end-effector tracking, onderhevig aan joint position, velocity, acceleration en torque constraints.

• Prestaties: Het geamortiseerde beleid bereikte een gemiddelde closed-loop kosten binnen 4,7% van het volledige horizon IPOPT optimum. Ter vergelijking: het standaard RTI-schema (acados) divergeerde in 12% van de scenario's en was gemiddeld 17,5% slechter, terwijl een directe MLP (zonder de QP layer) in 27% van de scenario's divergeerde en harde constraints significant overtrad.
• Constraint Satisfaction: De geamortiseerde QP voldeed aan harde torque en acceleration bounds tot numerieke precisie. Soft state constraints werden alleen licht overschreden tijdens transiënten (0,7% van de stappen).
• Computationele Snelheid:
  • IPOPT: ~120 ms median solve time.
  • RTI (acados): ~2,4 ms median solve time.
  • Amortized QP: 0,116 ms median solve time.
  • Dit vertegenwoordigt een ~21x versnelling ten opzichte van RTI en een ~1800x versnelling ten opzichte van de volledige NLP solver.

Betekenis

Het artikel beweert dat deze aanpak een praktische route biedt voor de implementatie van NMPC op hardware met beperkte middelen of bij hoge bemonsteringsfrequenties zonder in te boeten op constraint satisfaction. Door het leren van het kostenlandschap (via het netwerk) te ontkoppelen van het afdwingen van constraints (via de QP solver), bereikt de methode orders van grootte snellere snelheden dan traditionele NLP solvers, terwijl de tracking prestaties vergelijkbaar blijven met de optimale oplossing. Het gebruik van een hybride loss functie die supervised learning combineert met KKT residuals wordt benadrukt als een cruciale factor voor het bereiken van superieure haalbaarheid en betrouwbaarheid vergeleken met methoden die simpelweg data fitten of warm-starts leren.