Technische Samenvatting: Veilige en Generaliseerbare Hiërarchische Multi-Agent Reinforcement Learning via Constraint Manifold Control

Probleemstelling

Multi-agent systemen (MAS) zijn cruciaal voor veiligheidskritische toepassingen zoals robotica in magazijnen, autonome voertuigen en dronezwermen. Deze scenario's vereisen dat agenten efficiënt samenwerken terwijl ze zich houden aan strikte veiligheidsrestricties, zoals het vermijden van botsingen. Bestaande benaderingen kampen met een fundamentele afruil:

• Leergebaseerde methoden (bijv. Constrained Markov Decision Processes, CMDP's) bereiken sterke empirische prestaties maar missen formele veiligheidsgaranties en lijden vaak onder instabiliteit tijdens de training.
• Controletheoretische methoden (bijv. Control Barrier Functions, CBF's) bieden veiligheidsgaranties maar resulteren vaak in overdreven conservatief gedrag, suboptimale padselectie en deadlocks. Bovendien vereisen veel CBF-gebaseerde benaderingen het oplossen van een Kwadratisch Programmeringsprobleem (QP) bij elke tijdstap, wat een aanzienlijke computationele overhead introduceert die de trainingsefficiëntie belemmert.
• Hiërarchische benaderingen proberen coördinatie en veiligheid te ontkoppelen, maar erven vaak de non-stationariteitsproblemen van hiërarchische RL of de computationele kosten van QP-solvers.

De kernuitdaging is het ontwikkelen van een framework dat tegelijkertijd theoretische veiligheidsgaranties, trainingsefficiëntie (het vermijden van per-stap QP-oplossingen) en schaalbare coördinatie in complexe multi-agent settings waarborgt.

Methodologie: Hierarchical Manifold Multi-Agent PPO (HMM)

De auteurs stellen HMM voor, een hiërarchisch reinforcement learning framework dat coöperatie en veiligheid over twee niveaus ontkoppelt:

1. Hochniveau: Coöperatieve Subgoal Planning

• Architectuur: Maakt gebruik van een Centralized Training with Decentralized Execution (CTDE) paradigma gebaseerd op Multi-Agent PPO (MAPPO).
• Functie: Bij elke beslissingsepoch (elke $\tau$ tijdstappen) genereert het hoge-niveau beleid een subdoel (een doelpositie) voor elke agent.
• Coördinatie: Het beleid gebruikt een Graph Neural Network (GNN) met attention-gebaseerde berichtoverdracht om informatie van naburige agenten en obstakels te aggregeren. Dit zorgt voor permutatie-invariantie en generalisatie over variërende aantallen agenten en obstakels.
• Doelstelling: Maximaliseer de verwachte gedisconteerde return over de semi-Markov beslissingsproces (CSMDP) terwijl veiligheid wordt behandeld als een harde restrictie die door het lage niveau wordt afgehandeld.

2. Lowniveau: Constraint Manifold Safe Controller

• Mechanisme: In plaats van een QP op te lossen, dwingt de lage-niveau controller veiligheid af door nominale acties te projecteren op een constraint manifold.
• Restrictieformulering: Veiligheidsrestricties (bijv. botsingsvermijding) worden gedefinieerd als ongelijkheidsrestricties $h(s) \leq 0$. Deze worden omgezet naar gelijkheidsrestricties $c(s, \mu) = h(s) + \mu = 0$ met behulp van slack-variabelen $\mu$, wat een manifold $\mathcal{M}$ definieert in een uitgebreide toestandsruimte.
• Control Law: De controller zorgt ervoor dat de systeemtoestand op $\mathcal{M}$ blijft door acties te beperken tot de raakruimte (tangent space) van de manifold. De controle-input $u_s$ wordt berekend via een gesloten vorm oplossing:
  $$u_s = \underbrace{-J_u^\dagger \psi}_{\text{Drift Compensatie}} - \underbrace{\lambda J_u^\dagger c}_{\text{Manifold Contractie}} + \underbrace{B_u u_{\text{ref}}}_{\text{Tangentiële Actie}}$$
  • Drift Compensatie: Elimineert natuurlijke systeemdrift.
  • Manifold Contractie: Trekt de toestand terug naar de manifold als er numerieke fouten optreden.
  • Tangentiële Actie: Laat de agent het hoge-niveau subdoel ($u_{\text{ref}}$) vrij volgen binnen de veilige tangentiële ruimte.
• Efficiëntie: Deze benadering vervangt iteratieve QP-solvers door efficiënte projecties in de raakruimte met behulp van pseudoinversies.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van HMM, een hiërarchisch MARL-framework dat een leerbaar hoog-niveau coördinatiebeleid integreert met een model-gebaseerde, constraint-manifold lage-niveau controller.
2. Theoretische Veiligheidsgaranties: Het artikel biedt formele bewijzen dat, onder milde aannames, de gezamenlijke trajecten van alle agenten tijdens zowel de training als de uitvoering op elk tijdstip binnen de globale veilige set blijven.
3. Stationaire Leerdynamiek: Door veiligheid te delegeren aan een vaste lage-niveau controller, elimineert het framework de non-stationariteit die typisch is voor evoluerende lage-niveau beleid in hiërarchische RL. Dit reduceert het probleem tot een stationair hoog-niveau MDP, wat zorgt voor stabiele convergentie.
4. Computationele Efficiëntie: De methode vermijdt per-tijdstap QP-oplossingen door gebruik te maken van efficiënte projecties in de raakruimte.

Experimentele Resultaten

De auteurs evalueerden HMM op zes LiDAR-gebaseerde omgevingen (2D en 3D), inclus\nuit navigatietaken met variërende dynamica (puntmassa, fiets, quadrotor).

• Prestaties & Veiligheid: HMM behaalde bijna perfecte veiligheidspercentages (vaak >99%) in alle omgevingen, waarmee het baselines zoals DGPPO, InforMARL en MAPPO-Lagrangian aanzienlijk versloeg. In tegen tegenstelling tot leergebaseerde baselines die vaak de veiligheid schenden tijdens de vroege training, behield HMM de veiligheid gedurende het gehele trainingsproces.
• Succespercentage: HMM vertoonde superieure taaksuccespercentages, wat aangeeft dat de hoog-niveau planner effectief agenten coördineert om deadlocks en suboptimale paden te vermijden, in tegen tegenstelling tot de "Nominal + Manifold" variant die een gebrek aan hoog-niveau coördinatie vertoonde.
• Computationele Efficiëntie: Op een NVIDIA H200 GPU behaalde HMM een 14,4× versnelling in trainingsdoorvoer vergeleken met QP-gebaseerde CBF-baselines. Een trainingsrun die voor de CBF-baseline ongeveer 5 dagen zou duren, werd door HMM voltooid in 8–10 uur.
• Generalisatie: Beleid getraind met 3 agenten en 3 obstakels generaliseerde effectief naar scenario's met tot wel 21 agenten of obstakels. Terwijl baselines aanzienlijk achteruitgingen in veiligheid en succespercentages naarmate het aantal agenten/obstakels toenam, behield HMM een hoge prestatie.

Betekenis en Claims

Het artikel claimt dat HMM de kloof overbrugt tussen het empirische succes van leergebaseerde methoden en de rigoureuze veiligheid van controletheoretische benaderingen. Door leergebaseerde coördinatie te integreren met controletheoretische veiligheidsmechanismen, biedt het framework een schaalbare en betrouwbare oplossing voor multi-agent systemen.

De auteurs benadrukken dat hun aanpak:

• Formele veiligheidsgaranties biedt zonder de computationele last van QP-solvers.
• Stabiele training mogelijk maakt door stationaire leerdynamiek te induceren.
• Sterke generalisatie vertoont, wat het geschikt maakt voor real-world deployment waar het aantal agenten en de complexiteit van de omgeving kunnen fluctueren.

Het artikel erkent een beperking: het lage-niveau beleid vertrouwt op controletheoretische mechanismen die mogelijk minder geschikt zijn voor taken met complexe fysieke interacties, zoals contact-rijke manipulatie of objecttransport, waarbij veiligheidsrestricties moeilijker analytisch te definiëren zijn.