Technische Samenvatting: OGR-MARL voor Heterogene USV Coöperatieve Achtervolging

1. Probleemformulering

Het artikel behandelt de uitdaging van heterogene Multi-USV (Unmanned Surface Vehicle) coöperatieve achtervolging binnen beperkte havenwaterwegen. In tegenstelling tot scenario's op de open zee, leggen havenomgevingen strikte navigatiebeperkingen op, waaronder smalle vaargeulen, ankerzones, bufferregio's en bidirectionele verkeersstromen.

Het specifieke probleem betreft een team van vier heterogene achtervolgers die een doelwit (evader) moeten onderscheppen dat probeert te ontsnappen naar een oostelijke grens. Het team bestaat uit:

• Interceptors ($P_1, P_2$): Snelle USV's met de capaciteit om het doelwit te vangen, maar met een beperkte detectieradius.
• Scouts ($P_3, P_4$): Langzamere USV's met een grote detectieradius, belast met het behouden van de zichtbaarheid van het doelwit en het bijwerken van een gedeelde belief state (overtuigingsstatus).

De achtervolger wordt gemodelleerd als een massapunt dat gebruikmaakt van een A*-globale planner en een Artificial Potential Field (APF) lokale botsingsvermijdingsmodule om om oevers, bewegende vrachtschepen en achtervolgers heen te navigeren. De omgeving is gedeeltelijk observeerbaar; alleen de scouts kunnen het doelwit op lange afstand detecteren, wat vereist dat het team een gedeelde belief state onderhoudt die in de loop van de tijd vervalt als deze niet wordt bijgewerkt.

De kernmoeilijkheid ligt in het balanceren van regelnaleving (het vermijden van oevers, verkeersovertredingen en indringingen in ankerzones) met missie-effectiviteit (het vangen van een tactisch, herplannend doelwit) onder voorwaarden van gedeeltelijke observeerbaarheid en heterogene dynamiek.

2. Methodologie: OGR-MARL

De auteurs stellen OGR-MARL (Option-Guided Residual Multi-Agent Reinforcement Learning) voor, een algoritme-agnostisch framework dat ontworpen is om regelgestuurde gedragingen te ontkoppelen van het leerproces. Het framework werkt volgens een Centralized Training and Decentralized Execution (CTDT) paradigma.

Belangrijke Architecturale Componenten:

1. Option Guidance Layer:

   • Een lichtgewicht, regelgebaseerde module die op basis van de rol, de betrouwbaarheid van de belief en de staat van regelnaleving "opties" (modi) aan agenten toewijst.
   • Opties: {search, track, intercept, block, recover}.
   • Functie: Scouts kiezen search of track om dekking te behouden; Interceptors kiezen intercept of block om pincetmanoeuvres te vormen; recover stuurt agenten weg van overtredingen.
   • Deze laag genereert een geometrisch doel en een hoogwaardige actie ($a^{opt}$) die onafhankelijk is van het specifieke gebruikte MARL-algoritme.

2. Residual Policy Learning:

   • Een generieke MARL-backbone (bijv. MADDPG, MATD3, MAPPO, MASAC) leert een residuele actie ($a^{rl}$) geconditioneerd op lokale observaties.
   • De uiteindelijke uitgevoerde actie ($a_i$) is een begrensde blending van de regelgestuurde optie-actie en de geleerde residuele actie:
     $$a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$$
   • Dit stelt de MARL-agent in staat om corrigerende acties te leren (timing, lokale bewegingsaanpassingen, coördinatie) bovenop veilige, regelconforme priors, in plaats van de beperkte omgeving vanaf nul te verkennen.

3. Gestructureerde Beloning en Curriculum Learning:

   • Reward Shaping: De beloningsfunctie ($r_{ind}$) is gedecomposeerd in:
     • Taakvoortgang: Stimuleert het verlaten van de haven, het volgen (tracking) en de pincetformatie.
     • Regelnaleving: Bestraft indringing in oevers/ankerzones en verkeersovertredingen.
     • Heterogene rollen: Bevordert complementair gedrag (scouts die tracken, interceptors die afstand verkleinen).
     • Terminaal: Beloont vangst of bestraft ontsnapping/tijdslimiet.
   • Curriculum Learning: De training verloopt via vijf stadia ($S_0$ tot $S_4$), waarbij de snelheid van de achtervolger geleidelijk wordt verhoogd, de vangstradius wordt verkleind en de regeltstraffen worden versterkt om de agenten van basisgedrag naar precieze, conforme coördinatie te leiden.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Benchmark Scenario: De instelling van een realistisch, beperkt havenwaterwegscenario (geabstraheerde Xiazhimen haven) met heterogene USV's, bewegend verkeer, ankerzones en gedeeltelijke observeerbaarheid.
2. OGR-MARL Framework: Het voorstel van een algoritme-agnostisch framework dat gedeelde evader-belief, rol-geconditioneerde optie-doelen, adaptieve regelstraffen en residual policy learning integreert. Het stelt verschillende MARL-backbones in staat om corrigerende acties te leren bovenop regelgestuurde gedragingen.
3. Uitgebreide Evaluatie: Een rigoureuze evaluatie bestaande uit backbone-vergelijkingen, belonings-ablatie studies en zero-shot transfer naar een real-world kaart geïnformeerd door QGIS en AIS (Automatic Identification System) data.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in een abstract domein van 1000x400 en werden overgedragen naar een real-world kaart zonder hertraining.

• Prestatievergelijking:

  • Pure regelgebaseerde controllers bereikten een vangstpercentage van 35,0%.
  • Pure MARL-baselines (zonder optie-sturing) presteerden slecht (1,0% – 16,0% vangstpercentage), waarbij ze worstelden met ijle beloningen (sparse rewards) en regelovertredingen.
  • OGR-MARL varianten presteerden aanzienlijk beter dan hun pure tegenhangers.
  • OGR-MASAC (OGR geïnstantieerd met Soft Actor-Critic) behaalde de beste prestaties met een vangstpercentage van 75,0%, de laagste gemiddelde taaltijdskosten (121,94s) en de hoogste Heterogene Coördinatie Score (HCS: 0,6802).
  • OGR-MATD3 liet ook een significante verbetering zien, stijgend van 1,0% naar 59,0%.

• Ablatie Studies:

  • Het verwijderen van regel- of rolbeloningen degradeerde de prestaties aanzienlijk (bijv. OGR-MASAC zonder regels daalde naar 31,0% SR), wat de noodzaak van gestructureerde beloningen voor beperkte omgevingen bevestigt.

• Zero-Shot Transfer:

  • Bij transfer naar een real-world kaart van Xiazhimen (geïnformeerd door QGIS/AIS) zonder hertraining, behaalde OGR-MASAC een vangstpercentage van 66,67%.
  • Hoewel dit lager is dan de abstracte simulatie, demonstreert dit het generalisatiepotentieel ondanks uitdagingen zoals gebogen kustlijnen en onregelmatige verkeerspatronen.

• Foutanalyse:

  • Fouten werden primair toegeschreven aan inefficiënte finale interceptie (het dichtbij komen), in plaats van een totaal verlies van zichtbaarheid van het doelwit. Succesvolle episodes vertoonden interceptors die aanzienlijk dichter bij de achtervolger kwamen (gemiddelde afstand 4,17) vergeleken met mislukte episodes (8,19).

5. Betekenis en Claims

Het artikel claimt dat OGR-MARL effectief de kloof overbrugt tussen de interpreteerbaarheid van regelgebaseerde methoden en de aanpasbaarheid van reinforcement learning. Door de MARL-algoritme te ontkoppelen van de specifieke controlelogica, stelt het framework de agenten in staat om:

• Corrigerende acties te leren bovenop veilige, regelgestuurde gedragingen, waardoor de inefficiëntie van het verkennen van beperkte omgevingen vanaf nul wordt vermeden.
• Heterogene coördinatie te bereiken waarbij scouts en interceptors effectief complementaire rollen vervullen.
• Te generaliseren naar complexe, real-world havenscenario's via zero-shot transfer, wat suggereert dat het framework robuust is tegen omgevingsvariaties zonder hertraining.

De auteurs concluderen dat hoewel de methode veelbelovend is, toekomstig werk zich moet richten op het verbeteren van de sample-efficiëntie met behulp van world models en het valideren van de prestaties in nog realistischere of fysieke maritieme omgevingen.