Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space

Probleemstelling

Versterkingsleer (Reinforcement Learning - RL) voor robotmanipulatie in hybride actie-ruimtes (combinaties van discrete en continue acties) vormt een fundamentele uitdaging. In deze setting moet een agent zowel hoog-niveau taakbeslissingen (bijv. "grijpen" of "loslaten", discrete) als laag-niveau uitvoering (bijv. gewrichtssnelheden, continue) simultaan optimaliseren.

Bestaande benaderingen kampen met ernstige beperkingen:

1. Discretisatie: Het discretiseren van continue componenten leidt tot een exponentiële explosie van de actie-ruimte (schaalbaarheidsprobleem).
2. Relaxatie: Het benaderen van discrete keuzes als continue variabelen introduceert fouten die de beleidskwaliteit verminderen.
3. Instabiliteit: Bestaande hybride algoritmen (zoals PADDPG, P-DQN, SAC-varianten) negeren vaak de afhankelijkheid tussen discrete en continue componenten. Dit leidt tot convergentieproblemen, vooral onder agressieve domeinrandomisatie (waarbij objectposities, massa's en omgevingen per episode veranderen).

Een kritieke, maar onderbelichte oorzaak van deze instabiliteit is de overschattingbias (overestimation bias). In hybride settings wordt deze bias versterkt omdat de agent moet maximaliseren over een discrete set én continue parameters tegelijkertijd, wat twee bronnen van benaderingsfout koppelt in een zelfversterkende feedbacklus.

Methodologie: Hybrid TD3

De auteurs stellen Hybrid TD3 voor, een principieel uitgebreide versie van het Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritme, specifiek ontworpen voor hybride actie-ruimtes.

1. Empirische Basiskeuze:
Via een systematische vergelijking van TD3, SAC, DDPG en PPO onder volledige domeinrandomisatie bleek TD3 de meest stabiele architectuur. Dit wordt toegeschreven aan:

• De twin-critic architectuur (twee Q-netwerken) die overschatting bias mitigeert via "clipped double Q-learning".
• Vertraagde beleidswerving (delayed policy updates) die destructieve gradiëntinterferentie reduceert.
• Een deterministisch beleid dat de instabiliteit van entropie-regularisatie (zoals bij SAC) onder distributieveranderingen vermijdt.

2. Kerninnovatie: Gewogen Geknipte Q-Learning Doel (Weighted Clipped Q-Learning Target)
In plaats van een enkele "greedy" discrete actie te kiezen voor de Bellman-update, introduceert Hybrid TD3 een marginalisatie over de volledige discrete actie-distributie.

• De standaard TD3-doelwaarde kiest de discrete actie $a'_d = \arg\max p(k|s')$.
• De nieuwe Hybrid TD3-doelwaarde berekent een gewogen som over alle discrete modi $k$, waarbij de Q-waarden worden afgeknepen (clipped) en gemiddeld volgens de waarschijnlijkheid van het discrete beleid $\pi_d$:
  $$y = r + \gamma \frac{1}{K} \sum_{k=1}^{K} \pi_d(a^{(k)}_d | s') \min_{i=1,2} Q'_{\phi_i}(s', a'_c, a^{(k)}_d)$$
• Dit zorgt voor zachtere gradiëntsignalen, vermindert de gevoeligheid voor vroege classificatiefouten in het discrete beleid, en behoudt tegelijkertijd de bias-eigenschappen van TD3.

3. Theoretische Analyse van Bias
De auteurs leiden formele bovengrenzen af voor de verwachte schattingsbias in hybride settings. Ze bewijzen een strikte rangschikking van de bias voor vijf algoritme-varianten (van sterkste onderschatting naar minst negatief):
$$\delta Q_{\text{Hybrid TD3}} < \delta Q_{\text{HyACC}} \approx \delta Q_{\text{HyTQC}} < \delta Q_{\text{HyDARC}} < \delta Q_{\text{HyDATD3}}$$
De analyse toont aan dat de "clipped double Q-learning" strategie van Hybrid TD3 een strak gebonden, gecontroleerde onderschatting produceert. Deze lichte pessimisme is juist gunstig onder zware randomisatie, omdat het de agent beschermt tegen het leren van onrealistisch hoge waarden (overfitting op ruis).

Belangrijkste Bijdragen

1. Systematische Empirische Analyse: Identificatie van TD3 als het meest stabiele fundament voor hybride RL onder volledige domeinrandomisatie, met een formele onderbouwing waarom concurrenten (SAC, PPO, DDPG) falen in deze context.
2. Hybrid TD3 Algoritme: Introductie van een gewogen geknipte Q-learning doelwaarde die marginaliseert over de discrete distributie. Dit verbetert de gladheid van het beleid zonder de bias-reductie van TD3 te verliezen.
3. Theoretische Bias Rangschikking: Een rigoureuze theoretische afleiding die de verwachte bias van vijf hybride varianten rangschikt, wat principieel richtlijnen biedt voor algoritme-selectie.
4. Validatie: Uitgebreide experimenten op een UF850 robotarm in simulatie met vier manipulatie-taken.

Resultaten

De prestaties van Hybrid TD3 werden geëvalueerd op vier taken: Reach (bereiken), Pick (grijpen), Move (verplaatsen) en Put (plaatsen).

• Stabiliteit en Prestatie: Hybrid TD3 bereikte de hoogste gemiddelde terugkeer (average return) en de meest stabiele trainingscurves vergeleken met state-of-the-art hybride baselines (zoals Hybrid-SAC, TD3AQ, TSMPDQN) en bias-mitigatie varianten (HyDARC, HyDATD3, HyACC, HyTQC).
• Bias vs. Prestatie: De experimenten bevestigden de theoretische voorspelling: methoden met minder negatieve bias (meer neigend naar overschatting, zoals HyDATD3) vertoonden hogere variantie en instabielere training. Hybrid TD3 behield een lage, gecontroleerde bias die leidde tot robuustere convergentie.
• Zero-Shot Generalisatie: Het getrainde beleid toonde uitstekende generalisatie naar ongezien objecten (verschillende vormen, maten, texturen) die niet in de trainingsset voorkwamen. De succespercentages bleven consistent hoog (bijv. ~94% voor Reach, ~83% voor Put) zonder aanpassing, wat de effectiviteit van de volledige domeinrandomisatie bevestigt.
• Vergelijking: Hybrid TD3 overtrof specifieke hybride algoritmen zoals Hybrid-SAC en TD3AQ, die vaak instabiel waren of convergeerden naar lagere finale beloningen, vooral in complexe, contact-rijke taken.

Significantie

Dit paper biedt een cruciale doorbraak voor het toepassen van diepe versterkingsleer op complexe robotmanipulatie taken die hybride beslissingen vereisen.

• Theoretisch: Het koppelt de theorie van overschatting bias in hybride ruimtes aan de praktijk, bewijzend dat een zekere mate van pessimisme (onderschatting) essentieel is voor stabiliteit in niet-stationaire omgevingen.
• Praktisch: Het biedt een robuust algoritme dat direct inzetbaar is voor robots die moeten opereren in ongestructureerde omgevingen met variabele objecten en omstandigheden.
• Toekomstperspectief: De methode vormt een solide basis voor de overbrugging van de "sim-to-real" kloof, aangezien het beleid al getraind is op extreme variatie en generaliseert naar nieuwe objecten zonder extra training.

Kortom, Hybrid TD3 lost het stabiliteitsprobleem van hybride RL op door een principieel gebruik van TD3-architectuur gecombineerd met een nieuwe, wiskundig onderbouwde target-functie die de complexiteit van discrete-continue interacties effectief beheerst.