Technische Samenvatting: Heroverweging van Actiefactorisatie voor Complexe Actieruimtes

1. Probleemstelling

Veel reële controleproblemen omvatten hybride discrete-continue actieruimtes (bijv. sturen en signaleren bij autonoom rijden, of mikken en vuren in robotica). Hoewel reinforcement learning (RL) frameworks zoals Gymnasium en PettingZoo dergelijke actieruimtes ondersteunen, maken hun standaardomgevingen vaak gebruik van uniforme configuraties die de nuances van actiefactorisatie niet adequaat testen. Bestaande benchmarks voor hybride acties zijn vaak zwaar, archiefmateriaal of beperkt tot het testen van één specifieke factorisatiemethode op een specifiek type controle.

Een cruciale openstaande vraag blijft: Hoe presteren verschillende strategieën voor actiefactorisatie over verschillende algoritmefamilies (DQN, PPO, SAC) en actietypes (discreet, continu, hybride)? Specifiek is het onduidelijk hoe strategieën zoals waarde-decompositie, gedeelde encoders en auto-regressieve modellering vertalen tussen value-based, policy gradient en actor-critic algoritmen, en hoe deze interageren met de keuze van het actietype.

2. Methodologie

2.1 Benchmark-omgevingen

De auteurs introduceren een cross-sectionele studie over vier lichtgewicht omgevingen die ontworpen zijn om specifieke uitdagingen te isoleren, zoals staat-afhankelijke inter-actie afhankelijkheid en actie-granulariteit:

1. Contextual-Decoupler: Een minimale bandit-achtige omgeving ontworpen om gefacteerde credit assignment te isoleren. Het bevat een actieve kop die beloningen stuurt en een inactieve kop die alleen ruis bijdraagt, wat zorgt voor verificatie van belangstellinggewogenheid (importance weighting) op basis van de grondwaarheid.
2. Platform: Een klassieke geparametriseerde actieruimte waarbij een agent een discrete actietype selecteert (Run, Hop, Leap) geparametriseerd door een continue grootte.
3. Lunar Lander (Hybrid-Lander): Een gediscretiseerde versie van de standaardomgeving om te dienen als baseline voor discretisatie-granulariteit.
4. Hybrid-Shoot: Een configureerbare omgeving waar een agent een doelwit selecteert en een schietlocatie. Het ondersteunt zowel afhankelijke (doelwit moet geselecteerd zijn om te schieten) als onafhankelijke modi om inter-actie afhankelijkheid te isoleren.
5. CoopPush: Een coöperatieve omgeving waar deeltjes rotsblokken naar landmerken duwen. Het bevat Default (inter-afhankelijke optimale acties) en Independent (geen inter-afhankelijkheid) modi.

2.2 Factorisatiestrategieën

De studie evalueert zes algemene factorisatiestrategieën over drie algoritmefamilies (PPO, SAC, DQN):

1. Independent: Elke sub-actie wordt gesampled uit een volledig onafhankelijk policy netwerk dat wordt bijgewerkt door een globaal signaal.
2. Shared Encoder: Een gedeelde staat-representatie vertakt zich in meerdere koppen. Varianten omvatten:
   • No Mixing: Koppen worden onafhankelijk blootgesteld aan de globale beloning.
   • Value Decomposition (VDN): Additieve factorisatie van de gezamenlijke actie-waarde ($Q = V + \sum A_h$).
   • Monotonic Mixing (QPLEX-stijl): Een monotone netwerk combineert advantages ($Q = V + f_{mix}(A_1, \dots, A_H)$).
   • Concatenated SAC (SAC-Concat): De actor samplet continue en discrete dimensies gezamenlijk; de critic behandelt ze als één enkele vector.
   • Branching Dueling SAC (SAC-BDQ): De critic codeert de staat en continue acties om een basiswaarde te berekenen, en vertakt vervolgens om discrete advantages te produceren.
3. Auto-Regressief (AR): De gezamenlijke policy wordt sequentieel gefactoreerd met behulp van de kettingregel, waarbij elke actie conditioneert op de staat en eerder gesamplede acties.
4. Joint: De actieruimte wordt behandeld als het Cartesiaans product van alle sub-acties (vaak vereist discretisatie voor DQN).

2.3 Nieuwe Algoritmische Bijdragen

Het papier introduceert twee nieuwe varianten voor PPO om credit assignment in gefacteerde ruimtes te verbeteren:

• VDN-PPO: Gebruikt een branching critic met belangstelling-gewogen Generalized Advantage Estimation (GAE). Het wijst credit toe aan elke kop op basis van het bereik van zijn advantage functie, waardoor de variantie van heads met een lage agency effectief wordt onderdrukt.
• PPO-MIX: Gebruikt een monotone mixing netwerk (QPLEX-stijl) voor PPO. Het behoudt de tractabiliteit van per-kop greedy selectie terwijl het niet-lineaire interacties tussen sub-acties modelleert, hoewel het de onbevooroordeelde garanties van VDN-PPO opoffert vanwege actie-afhankelijke gewichten.

2.4 Experimentele Opzet

De studie analyseert 220 configuraties die het volgende dekken:

• Algoritmen: PPO, SAC, DQN.
• Actieruimtes: Gediscretiseerd, Hybride, Continu.
• Factorisaties: Onafhankelijk, Shared Encoder (VDN, QPLEX, etc.), Auto-Regressief, Joint.
• Normalisatie: Resultaten worden per omgeving min-max genormaliseerd om vergelijking tussen omgevingen mogelijk te maken.

3. Belangrijkste Resultaten

3.1 Bevindingen van de Contextual-Decoupler

• Critic Factorisatie is Cruciaal: Het vervangen van een scalaire baseline (shared-nomix) door een gefactoreerde critic (VDN, QPLEX) verbetert de prestaties drastisch (van ~15 naar ~80 beloning). De gefactoreerde critic absorbeert actie-afhankelijke rendementen in per-kop advantage stromen, waardoor de waardefunctie de ware staatswaarde kan volgen.
• Variantiereductie: Belangstelling-gewogen GAE (VDN-PPO) vermindert de variantie van inactieve-kop advantage schattingen aanzienlijk (met ~15%) zonder de asymptotische optima te veranderen. Dit leidt tot ~4% hogere beloningen en ~8–10% betere sample-efficiëntie.
• Gewicht Interpreteerbaarheid: Bereik-gebaseerde belangstelling-gewichten (gebaseerd op de advantage range) volgen de grondwaarheid van de actieve kop nauwkeurig, terwijl eerste-orde gradiënt surrogaten dat niet doen, ondanks vergelijkbare leerprestaties.

3.2 Algemene Prestatietrends

• Algoritme Prestaties:
  • SAC: Native continue SAC presteert beter dan alle andere factorisaties in continue ruimtes. In hybride ruimtes presteert SAC-BDQ (branching) beter dan SAC-Concat (monolithisch). Echter, SAC heeft moeite in discrete-zware omgevingen (zoals Shoot) door entropie-tuning conflicten, waarbij het soft exploration doel de vereiste lage-entropie optimale policies belemmert naarmiddels de taak vordert.
  • PPO: VDN-PPO en PPO-MIX presteren aanzienlijk beter dan standaard shared-encoder PPO in discrete ruimtes door credit te herverdelen naar heads met een hoge agency.
  • DQN: Onafhankelijke netwerken en VDN/BDQ-stijl factorisaties presteren consistent. QPLEX schaalt niet goed naar continue acties in vergelijking met discrete acties.
• Factorisatiestrategie:
  • Auto-Regressief (AR): Bereikt de hoogste algehele prestaties in alle settings door actie-afhankelijkheden direct te modelleren. Het brengt echter hoge computationele kosten (O(N) latentie) en inferentie-latentie met zich mee door sequentiële evaluatie.
  • Shared Encoder (Branching): Biedt de beste compute-naar-prestatie verhouding voor de meeste settings, vooral in volledig observeerbare single-agent domeinen.
  • Joint Action: Loopt over het algemeen achter bij andere methoden, waarschijnlijk door de functionele capaciteit van de encoder wanneer de omvang van de actieruimte groeit (300–6.000 keuzes).
• Impact van Actietype: De keuze van het actietype (discreet vs. continu vs. hybride) heeft minder impact op de prestaties dan de keuze van de factorisatiestrategie, met de uitzondering van de gevoeligheid van SAC voor discrete entropie-targets.

4. Betekenis en Bijdragen

Het papier claimt de volgende bijdragen en betekenis:

1. Cross-Sectional Benchmarking: Het biedt de eerste systematische vergelijking van factorisatiemethoden over DQN, PPO en SAC op discrete, continue en hybride ruimtes, waarbij het verder gaat dan geïsoleerde evaluaties binnen enkele algoritmefamilies.
2. Nieuwe Benchmarks: Het introduceert CoopPush en Hybrid-Shoot, twee lichtgewicht, C++-compatibele omgevingen die onderzoekers in staat stellen om inter-actie afhankelijkheid en actie-granulariteit te tunen, waarmee een gat in principiële benchmarking voor factorisatie wordt opgevuld.
3. Algoritmische Vooruitgang:
   • Het introduceert VDN-PPO en Pimo-MIX, waarbij wordt aangetoond dat branching dueling architecturen met belangstelling-gewogen GAE de PPO-prestaties in discrete ruimtes aanzienlijk kunnen verbeteren door de variantie te verminderen.
   • Het valideert dat Branching Dueling architecturen een goede balans bieden tussen compute en prestaties, wat een praktisch alternatief biedt voor complexere joint of auto-regressieve benaderingen.
4. Praktische Richtlijnen: De studie biedt concrete aanbevelingen voor practitioners:
   • Kies standaard voor Branching Dueling/VDN voor policy gradient methoden vanwege de lage implementatie-overhead en competitieve prestaties.
   • Gebruik Auto-Regressieve acties als de computationele overhead en latentie acceptabel zijn, aangezien deze de beste afhankelijkheidsmodellering bieden.
   • Vermijd QPLEX/PPO-MIX voor grote actieruimtes, omdat deze in DQN-experimenten degradatie vertoonden, waarschijnlijk door limieten in de representatieve capaciteit of overschattingsbias.
   • Behandel Hybride SAC voorzichtig, aangezien aparte entropie coëfficiënten vereist zijn om distributie-instorting te voorkomen.

De auteurs concluderen dat hoewel auto-regressieve methoden superieur zijn in het modelleren van afhankelijkheden, shared encoder architecturen (specifiek VDN) de meest effectieve balans bieden tussen computationele efficiëntie en prestaties voor volledig observeerbare settings.