Technische Samenvatting: Hadamard Representatie: Steigerprestaties in Model-vrije RL

Probleemstelling

Diepe reinforcement learning (RL) agenten lijden aan een progressief verlies van representatieve capaciteit tijdens het trainen. Dit manifesteert zich op twee hoofdmanieren: neuronen worden inactief (verlies van plasticiteit) en het instorten van de effectieve rang (redundantie onder overlevende neuronen). Hoewel bestaande oplossingen zoals periodieke resets of gespecialiseerde architecturen bestaan, zijn deze vaak specifiek voor een bepaald algoritme of domein.

Een kritieke, onder-geanalyseerde faalmodus betreft gladde activatiefuncties, specifiek tanh. In tegenstelling tot het "dying ReLU"-fenomeen, waarbij inactieve neuronen nul outputten en effectief worden weggesneden, collapse gesatureerde tanh-neuronen naar niet-nul constanten ($\pm 1$). De auteurs tonen aan dat deze gesatureerde neuronen niet alleen stoppen met leren; ze corrumperen actief de daaropvolgende lagen door hun uitgaande gewichten om te zetten in vaste, input-onafhankelijke biasen. Deze "stille" vervorming degradeert de prestaties, zelfs wanneer het aantal inactieve neuronen lager is dan in ReLU-netwerken.

Methodologie: Hadamard Representatie (HR)

De auteurs stellen een eenvoudige, plug-in architecturale modificatie voor, genaamd de Hadamard Representatie (HR). In plaats van een standaard verborgen laag $z(x) = f(Ax + b)$, vervangt HR deze door het elementsgewijze product van twee onafhankelijk geparametriseerde takken:

$$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$$

waarbij $f$ de activatiefunctie is (bijv. tanh of ReLU), en $(A_1, b_1)$ en $(A_2, b_2)$ onafhankelijke sets van gewichten en biasen zijn.

HR werkt via twee complementaire mechanismen:

1. Weerstand tegen Saturatie (Mechanisme 1):

   • Voor tanh wordt een neuron pas inactief (gesatureerd) als beide onafhankelijke takken gelijktijdig satureren. Aannemende onafhankelijkheid, als de kans dat een enkele tak satureren $p$ is, daalt de kans op collapse naar $p^2$. Dit vermindert het aantal inactieve tanh-neuronen aanzienlijk.
   • Omgekeerd, voor ReLU, treedt saturatie (output van nul) op als een van beide takken satureren. De kans op collapse stijgt naar $2p - p^2$. HR is dus gunstig voor tanh, maar nadelig voor ReLU in regimes met hoge inactiviteit.
   • Dit mechanisme voorkomt de "stille corruptie" van daaropvolgende lagen door te zorgen dat gradiënten niet zo gemakkelijk verdwijnen en neuronen niet vastlopen in vaste biasen.

2. Multiplicatieve Expressiviteit (Mechanisme 2):

   • Onafhankelijk van inactiviteit, vangt de multiplicatieve structuur interacties van de tweede orde tussen twee weergaven van de input. Dit breidt de functieklass uit bij een vaste laagbreedte, waardoor de effectieve rang van de verborgen representaties toeneemt.
   • Dit mechanisme biedt voordelen zelfs in regimes waar inactieve neuronen al zeldzaam zijn (bijv. in state-of-the-art methoden voor continue controle met LayerNorm), en fungeert als een onafhankelijke bron van representatieve winst.

Belangrijkste Bijdragen

• Identificatie van een Unieke Faalmodus: Het paper identificeert dat gesatureerde tanh-neuronen strikt schadelijker zijn dan inactieve ReLU-neuronen, omdat ze vaste biasen introduceren in plaats van te worden weggesneden.
• Architecturale Oplossing (HR): Introductie van een lichtgewicht, symmetrische multiplicatieve laag die de kans op tanh-collapse kwadratisch vermindert terwijl de effectieve rang toeneemt.
• Mechanisme Analyse: Theoretische en empirische scheiding van de voordelen van HR in "weerstand tegen saturatie" (dominant in settings met hoge inactiviteit) en "multiplicatieve expressiviteit" (dominant in settings met lage inactiviteit).
• Hyperparameter-vrije Verbetering: HR verbetert de prestaties over diverse algoritmen en domeinen zonder enige hyperparameter-tuning te vereisen.

Experimentele Resultaten

De auteurs evalueerden HR over vijf algoritmen en drie distincte domeinen:

1. Pixel-gebaseerde Discrete Actie (Atari):

   • DQN & PPO: Op 8 Atari-games verminderde HR toegepast op tanh-activaties het fractie inactieve neuronen met ~23% en verhoogde de effectieve rang, wat leidde tot prestatiewinsten van >10% ten opzichte van sterke baselines.
   • PQN: Bij een grootschalige evaluatie van 51 Atari-games verbeterde HR met tanh de mediaan mens-genormaliseerde scores met meer dan 100% ten opzichte van standaard tanh, en dichte het prestatieverschil met ReLU terwijl een hogere effectieve rang werd behouden.
   • Vergelijking: HR presteerde beter dan andere plasticiteitbehoudende methoden zoals CReLU en ReDo.

2. State-gebaseerde Continue Controle (HumanoidBench):

   • Met SimbaV2 (een state-of-the-art methode met verwaarloosbare rates van inactieve neuronen) verbeterde HR de prestaties nog steeds met 18%. Dit bevestigt dat Mechanisme 2 (multiplicatieve expressiviteit) winst drijft, zelfs wanneer inactiviteit niet de primaire bottleneck is.

3. Visuele Continue Controle (DMC-Visual):

   • Met MR.Q op visuele taken verbeterde HR de prestaties met 17%.
   • Bij uitgebreide training op moeilijke Humanoid-taken, matchte MR.Q + HR de prestaties van de state-of-the-art XQC-methode, en presteerde beter dan zowel de MR.Q-baseline als DrQ-v2.

Ablatie Studies:

• Aantal Parameters: De auteurs vergeleken HR met "verbrede" baselines met een gelijk aantal parameters. Het verbreden van het netwerk degradeerde vaak de prestaties (bijv. -46% in DQN) of bood minimale winst, terwijl HR consequent de resultaten verbeterde. Dit sluit het aantal parameters uit als de enige verklaring voor de verbeteringen.
• Stapelen: Het stapelen van meerdere HR-blokken (2HR) bood geen extra voordeel boven een enkel HR-blok, wat suggereert dat de eerste laag voldoende is om de representatieve winsten te vangen.

Betekenis en Claims

Het paper claimt dat de Hadamard Representatie een universele, op architectuurniveau gebaseerde oplossing biedt voor verlies van representatieve capaciteit in model-vrije RL. De betekenis hiervan ligt in:

• Universaliteit: Het verbetert de prestaties over waarde-gebaseerde (DQN), policy-gradient (PPO) en vector-gebaseerde (PQN) algoritmen, evenals state-gebaseerde en visuele continue controle.
• Eenvoud: Het vereist geen hyperparameter-tuning en kan worden geïntegreerd in bestaande codebases als een plug-in laagvervanging.
• Theoretisch Inzicht: Het herformuleert het begrip van "inactieve" neuronen, met de nadruk dat voor gladde activaties, inactiviteit een actieve bron van fouten is (bias-injectie) in plaats van passief wegsnijden.
• Toekomstpotentieel: De auteurs suggereren dat het potentieel van niet-piecewise-lineaire activaties in RL onderschat is en dat HR nieuwe wegen opent voor architecturaal ontwerp in zowel RL als bredere machine learning contexten.

Het werk concludeert dat HR, hoewel een minimale wijziging, een fundamentele beperking in de trainingsdynamiek van diepe RL aanpakt, en consistente winsten biedt waar andere methoden falen of specifieke domeinaanpassingen vereisen.