Technische Samenvatting: Ensemble Elastic DQN (EEDQN)

Probleemstelling

Deep Q-Networks (DQN) en andere waarde-gebaseerde reinforcement learning-algoritmen lijden vaak aan overestimatie-bias. Dit komt doordat gebootstrapped targets gebruikmaken van een maximalisatie-operatie over ruizige waardeschattingen, waardoor positieve fouten kunnen worden geselecteerd en door opeenvolgende updates worden voortgeplant. Deze inflatie van Q-waarden kan de actie-selectie misleiden, agenten aanmoedigen om overschatte staat-actie regio's opnieuw te bezoeken, en bijdragen aan convergentie naar suboptimale policies.

Hoewel ensemble-gebaseerde methoden (bijv. Averaged DQN, MaxMin DQN) en multi-step methoden (bijv. Rainbow, Elastic Step DQN) onafhankelijk van elkaar veelbelovend zijn gebleken voor het verbeteren van stabiliteit en sample-efficiëntie, blijft hun interactie onderbelicht. Het combineren van deze benaderingen is niet triviaal; terwijl ensemble-aggregatie overestimatie kan verminderen, brengt het uniform toepassen van conservatieve aggregatie over alle targets het risico met zich mee dat er underestimatie-bias ontstaat. Bovendien vertrouwen bestaande adaptieve multi-step methoden zoals Elastic Step DQN op computationeel dure clustering-gebaseerde gelijkenis-tests, wat de schaalbaarheid beperkt.

Methodologie

Het artikel stelt Ensemble Elastic DQN (EEDQN) voor, een waarde-gebaseerd algoritme dat adaptieve elastische multi-step returns integreert met horizon-afhankelijke ensemble-aggregatie.

1. Schaalbare Elastic Step Mechanisme

EEDQN wijzigt de oorspronkelijke Elastic Step DQN om de computationele overhead van clustering te elimineren. In plaats van representatie-clustering te gebruiken om de gelijkenis van staten te bepalen, gebruikt EEDQN een lichtgewicht Q-waarde verschil regel:

• Het onderhoudt een ensemble van $N$ target netwerken $\{\hat{Q}_i\}$.
• Het berekent de ensemble gemiddelde target vector $\bar{Q}^-(s, \cdot)$.
• Het berekent het $L_1$ verschil ($z$) tussen de gemiddelde target vectoren van de startstaat ($s_0$) en de huidige volgende staat ($s'$).
• Een adaptieve drempelwaarde ($h$) wordt afgeleid van een historische buffer van recente $z$ waarden ($h = \text{mean}(B) + \text{std}(B)/\sqrt{|B|}$).
• Als $z > h$, wordt de traject beschouwd als een nieuwe waarderegio binnengekomen, wat het opslaan van de geaccumuleerde return triggert en de accumulatie reset. Anders blijven beloningen accumuleren.

2. Horizon-Afhankelijke Ensemble Aggregatie

Een kerninnovatie van EEDQN is het gebruik van verschillende aggregatieregels op basis van de lengte van de geaccumuleerde return (horizon $k$):

• Eén-stap targets ($k=1$): De bootstrap waarde wordt berekend met behulp van de ensemble gemiddelde. Dit voorkomt dat de targets te conservatief worden, wat het leren in regio's waar bootstrapping noodzakelijk is, zou kunnen hinderen.
• Multi-step elastische returns ($k > 1$): De bootstrap waarde wordt berekend met behulp van de ensemble minimum. Omdat langere returns al aanzienlijke beloningsinformatie accumuleren voordat de bootstrap term wordt toegevoegd, vermindert het gebruik van de minimum extreme optimistische extrapolatie zonder de volledige target waarde te domineren.

De target waarde $y$ wordt gedefinieerd als:
$$y = \begin{cases} R(k) & \text{indien terminaal} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{indien } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{indien } k>1 \end{cases}$$
waarbij $a^*$ de greedily actie is geselecteerd op basis van de ensemble gemiddelde.

Belangrijkste Bijdragen

1. Algoritme Voorstel: Introductie van EEDQN, die adaptieve elastische multi-step returns combineert met ensemble-gebaseerde target aggregatie.
2. Verbetering van Schaalbaarheid: Vervanging van de clustering-gebaseerde gelijkenis-test in Elastic Step DQN door een lichtgewicht Q-waarde verschil regel, waardoor adaptieve return constructie meer toepasbaar is in discrete controle-settings.
3. Horizon-Afhankelijke Aggregatie: Voorstel van een regel waarbij één-stap targets de ensemble gemiddelde gebruiken terwijl langere elastische returns de ensemble minimum gebruiken, met als doel de balans te vinden tussen de reductie van optimistische bias en het behoud van sample-efficiëntie.
4. Empirische Evaluatie: Uitgebreide evaluatie tegen DQN, Double DQN, Averaged DQN, MaxMin DQN, en Elastic Step DQN over vijf MinAtar omgevingen.
5. Ablatie Analyse: Onderzoek naar diverse aggregatie regels (gemiddelde, minimum, geswapt, en convexe combinaties) om de interactie tussen ensemble conservatisme en adaptieve return lengte te analyseren.

Experimentele Resultaten

EEDQN werd geëvalueerd op vijf MinAtar omgevingen (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) met 10 gematchte random seeds.

• Prestaties: EEDQN behaalde de hoogste finale return in vier van de vijf omgevingen (SpaceInvaders, Asterix, Breakout, Freeway). In Seaquest presteerde MaxMin DQN het best, waarbij EEDQN op de tweede plaats eindigde.
• Controle van Waarde-inflatie: Een diagnostische metriek die de maximale geobserveerde Q-waarden vergelijkt met de theoretische gedisconteerde return upper bound liet zien dat EEDQN en MaxMin DQN in alle omgevingen onder de inflatie drempel bleven. In contrast hiermee overschreden DQN, DDQN, Averaged DQN, en Elastic Step DQN deze grens in ten minste één omgeving.
• Ablatie Bevindingen: Geen enkele aggregatie regel domineerde in alle omgevingen.
  • EEDQN (Gemiddelde voor $k=1$, Minimum voor $k>1$) presteerde het best in Asterix, Breakout, en Freeway.
  • MinEEDQN (Minimum voor alle) presteerde het best in Seaquest, een omgeving met ernstige overestimatie problemen.
  • ConvexEEDQN2 (50/50 mix) presteerde het best in SpaceInvaders.
  • Dit suggereert dat de optimale mate van conservatisme omgeving-afhankelijk is.

Betekenis en Claims

Het artikel claimt dat EEDQN succesvol demonstreert dat adaptieve multi-step returns en ensemble-aggregatie complementaire mechanismen zijn voor het verminderen van overestimatie-bias. De resultaten geven echter ook aan dat een "one-size-fits-all" aggregatiestrategie suboptimaal is; de beste mate van conservatisme hangt af van de specifieke kenmerken van de omgeving.

De auteurs positioneren EEDQN als een lichtgewicht waarde-gebaseerde benadering die bestudeert hoe aggregatie regels moeten adapteren aan de backup horizon. Ze stellen expliciet dat de bijdrage niet enkel ligt in het isolerend gebruiken van ensembles of multi-step returns, maar in de studie van een horizon-afhankelijke regel die de aggregatie operator verandert op basis van de adaptieve return lengte. Het artikel concludeert dat hoewel EEDQN beter presteert dan standaard baselines, toekomstig werk nodig is om adaptieve aggregatie regels te onderzoeken die de mean-minimum trade-off online aanpassen en om de methode te evalueren op grotere benchmarks zoals de volledige Atari Learning Environment.