Technische Samenvatting: Adaptieve Gladde Tchebycheff-Attention voor Multi-Doelbeleidsoptimalisatie

Probleemstelling

Diepe Versterkende Leer (RL) in robotische domeinen vereist vaak het balanceren van meerdere, conflicterende doelen (bijvoorbeeld snelheid versus veiligheid, zoekdekking versus sluipen). Waar standaard RL vertrouwt op scalair beloningssysteem, behandelt Multi-Doel Versterkende Leer (MORL) scenario's waarin de omgeving een vector van beloningen teruggeeft. Het doel is om beleidslijnen op de Pareto-rand te vinden, waarbij geen enkel doel kan worden verbeterd zonder een ander te verslechteren.

Bestaande benaderingen staan voor een fundamentele afweging tussen optimalisatiestabiliteit en geometrische precisie:

1. Lineaire Scalarisatie (LS): Combineert doelen via een gewogen som. Hoewel stabiel, is het theoretisch niet in staat oplossingen te herstellen in de niet-convexe gebieden van de Pareto-rand, wat leidt tot suboptimale beleidslijnen in complexe dynamische omgevingen.
2. Tchebycheff (TCH) Scalarisatie: Kan theoretisch alle Pareto-optimale oplossingen herstellen, ongeacht convexiteit, door de maximale gewogen afwijking van een ideaal "utopie"-punt te minimaliseren. De niet-differentieerbare max-operator veroorzaakt echter gradiëntinstabiliteit en spaarzame updates in diepe RL.
3. Gladde Tchebycheff (STCH): Vervangt de max-operator door een Log-Sum-Exp-benadering die wordt gestuurd door een gladheidsparameter $\mu$. Hoewel dit gradiëntstroom mogelijk maakt, introduceert het een kritieke bottleneck:
   • Kleine $\mu$: Benadert de ware TCH-functie, maar veroorzaakt gradiëntsterfte, waarbij alleen het dominante doel updates ontvangt, wat leidt tot catastrofale vergetelheid van andere doelen.
   • Grote $\mu$: Zorgt voor gladde gradiënten, maar herleidt de methode tot lineaire scalarisatie, waardoor het vermogen om niet-convexe gebieden te navigeren verloren gaat.
   • Statische Afstelling: Een vaste $\mu$ is moeilijk af te stellen omdat de RL-"dataset" (agentervaring) niet-stationair is; de schaal van voordelen en de nabijheid tot het utopie-punt verschuiven naarmate het beleid evolueert.

Methodologie: PASTA

De auteurs stellen PASTA (Policy-optimization via Adaptive Smooth Tchebycheff Attention) voor, een raamwerk dat de kromming van het optimalisatielandschap dynamisch moduleert om de spanning tussen stabiliteit en precisie op te lossen.

1. Adaptieve Gladde Tchebycheff (ASTCH)

In de kern van PASTA staat de ASTCH-scalarisatie, die de gladheidsparameter $\mu$ dynamisch aanpast op basis van real-time gradiëntinterferentie.

• Conflictdrijvende Controller: Het systeem bewaakt de Conflictratio ($\kappa$), gedefinieerd als het fractie van bemonsterde doelgradiëntparen die negatieve inwendige producten vertonen (wat destructieve interferentie aangeeft).
• Elastische Adaptatie:
  • Aanbranden (Annealing): Naarmate de training vordert en conflicten worden opgelost, neemt $\mu$ af naar een precieze, lage waarde om de scalarisatie scherper te maken, waardoor de agent kan convergeren naar niet-convexe Pareto-oplossingen.
  • Dynamisch Remmen: Als de conflictratio een drempel overschrijdt (wat wijst op instabiele optimalisatie), verhoogt de controller tijdelijk $\mu$. Dit "remt" het proces af, waardoor het terugkeert naar een gladdere, meer lineair-achtige benadering om de beleidsupdate te stabiliseren en gradiëntsterfte te voorkomen.
  • Inertiaal Gladderen: Een Exponentiële Bewegende Gemiddelde (EMA) wordt toegepast op $\mu$ om snelle oscillaties te voorkomen die de aannames van stationaire verdeling van on-policy algoritmen zouden kunnen schenden.

2. Attention-uitgelijnde Vertakte Critic

Om ervoor te zorgen dat de waardenfunctie de juiste prioriteiten leert, introduceert PASTA een Vertakte Critic-architectuur met een gedeelde kenmerkextractor en onafhankelijke waardekoppen voor elk doel.

• STCH-Attentionmechanisme: De gradiënt van de STCH-functie induceert van nature een genormaliseerde, positieve weging ($\delta$) over doelen. Doelen met grotere afwijkingen van het utopie-punt ontvangen exponentieel meer aandacht.
• Onderhoudsrate ($\rho$): Om gradiëntsterfte in regimes met lage $\mu$ te bestrijden, wordt een onderhoudsrate geïntroduceerd. De effectieve attention-gewichten zijn een mengsel van de uit STCH afgeleide attention en een uniforme verdeling, wat garandeert dat elk doel een minimaal gradiëntbudget ontvangt.
• Verliesuitlijning: Het verlies van de critic wordt gewogen door deze attention-coëfficiënten, zodat de capaciteit voor waarde-schatting wordt toegewezen aan de doelen die momenteel als knelpunten fungeren.

3. Conflictbewuste Gradiëntprojectie

Om destructieve interferentie verder te mitigeren, integreert PASTA een variant van Projecting Conflicting Gradients (PCGrad).

• In plaats van voordelen direct te scalariseren, behoudt het algoritme een vector van voordelen.
• Beleidsgradiënten voor individuele doelen worden apart berekend.
• Als er een conflict wordt gedetecteerd tussen twee doelgradiënten, wordt de ene geprojecteerd op het normaalvlak van de andere. Dit stelt de agent in staat om individuele vertrouwensgebiedbeperkingen te respecteren terwijl het de geometrische conflicten navigeert die inherent zijn aan niet-convexe Pareto-randen.

Belangrijkste Bijdragen

1. ASTCH-raamwerk: Een nieuwe scalarisatiemethode die de gladheidsparameter $\mu$ dynamisch aanpast op basis van een online schatting van inter-doelgradiëntconflict, waardoor handmatige afstelling overbodig wordt en gradiëntsterfte wordt voorkomen.
2. PASTA-algoritme: Een on-policy beleidsgradiëntmethode die ASTCH, een conflictdrijvende controller en attention-uitgelijnde critics integreert. Het houdt expliciet rekening met de niet-stationariteit van utopie-punten en waardebeweringen in MORL.
3. Empirische Validatie: Uitgebreide evaluatie op uitdagende real-world en gesimuleerde taken, waarbij robuuste ontdekking van Pareto-optimale beleidslijnen in niet-convexe gebieden wordt aangetoond die ontoegankelijk zijn voor lineaire baselines en instabiel voor statische niet-lineaire methoden.

Experimentele Resultaten

De auteurs evalueerden PASTA over drie verschillende domeinen:

1. Sluipende Visuele Zoektocht (Real-World & Simulatie):

   • Taak: Een grondrobot moet objecten zoeken terwijl het blootstelling (sluipen) wordt geminimaliseerd en de exploratiesnelheid wordt gemaximaliseerd.
   • Resultaten: PASTA behaalde een Hypervolume (HV) van 0,291, een 45,5% verbetering ten opzichte van de sterkste statische baseline (STCH met $\mu=10,0$). Het behaalde een 100% Winstpercentage over diverse voorkeursvectoren, wat aanzienlijk beter presteerde dan Lineaire, Tchebycheff- en vaste-parameter STCH-baselines.
   • Real-World Implementatie: Geverifieerd op een Clearpath Jackal UGV in buitenomgevingen met oneffen terrein en obstakels, waarbij het met succes zoektocht, sluipen en veiligheid in evenwicht bracht.

2. Multi-Doel MuJoCo-benchmarks:

   • Taken: Continue controletaken (HalfCheetah, Humanoid, Ant, Walker2D) met conflicterende doelen.
   • Resultaten: PASTA behaalde consistent een hoger Hypervolume en een betere Pareto-randdekking in vergelijking met baselines over alle omgevingen, wat superieure sample-efficiëntie en robuustheid aantoont.

3. Quadrotor Navigatie (Crazyflie):

   • Taken: "Frogger" (navigeren door dynamische obstakels) en "Formation" (een driehoeksvorming behouden terwijl obstakels worden vermeden).
   • Resultaten: PASTA presteerde beter dan baselines in zowel HV als taaksuccespercentages. In echte vluchten behaalde de agent een taaksuccespercentage van 91,2% (52/57 doelen) zonder te crashen, wat de toepasbaarheid van de methode op luchtvaartplatforms met stochastische dynamische obstakels aantoont.

Betekenis en Claims

Het artikel beweert dat PASTA een robuuste oplossing biedt voor de langdurige spanning tussen optimalisatiestabiliteit en geometrische precisie in modelvrije MORL. Door gradiëntinterferentie te behandelen als een feedbacksignaal, creëert de methode een "elastisch" optimalisatielandschap:

• Het brandt af naar precieze, niet-convexe scalarisatie wanneer doelen aligneren, waardoor de ontdekking van oplossingen in concaaf gebieden van de Pareto-rand mogelijk wordt.
• Het remt elastisch af naar stabiele, gladde benaderingen wanneer destructieve gradiëntconflicten ontstaan, wat catastrofale vergetelheid en instorting van de training voorkomt.

De auteurs benadrukken dat deze aanpak robots in staat stelt om complexe, conflicterende eisen autonoom op te lossen in ongestructureerde real-world scenario's zonder de uitgebreide hyperparameterafstelling die nodig is bij statische scalarisatiemethoden. Het werk wordt gepresenteerd als een stap naar betrouwbare, voorkeurspecifieke multi-doelleer voor robotica, hoewel de auteurs beperkingen opmerken met betrekking tot de onderlinge afhankelijkheid van hyperparameters (conflictratio versus onderhoudsrate) en de focus op voorkeurspecifieke in plaats van voorkeursgeconditioneerde beleidslijnen.