Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning

Technische Samenvatting: Gegeneraliseerde Gaussische Temporele Verschilfout voor Onzekerheidsbewuste Reinforcement Learning

1. Probleemstelling

Conventionele onzekerheidsbewuste Temporal Difference (TD) learning in Deep Reinforcement Learning (RL) modelleert TD-fouten doorgaans als zero-mean Gaussische verdelingen, waarbij vertrouwt op $L_2$-verlies (Mean Squared Error) voor Maximum Likelihood Estimation (MLE). De auteurs stellen echter dat deze aanname structureel gebrekkig is voor TD-learning. In tegenstelling tot supervised learning residuen die gedefinieerd zijn tegenover vaste targets, zijn TD-fouten recursief gekoppeld aan de evoluerende waardefunctie via bootstrapping. Dit proces, versterkt door exploratie en off-policy updates, induceert niet-stationariteit en toestandsafhankelijke heteroscedasticiteit.

Cruciaal is dat TD-fouten vaak heavy-tailed gedrag en leptokurtische verdelingen (hoge kurtosis) vertonen, wat betekent dat ze zeldzame maar impactvolle afwijkingen bevatten die een Gaussisch model niet kan vatten. Conventionele methoden richten zich uitsluitend op de schaal (variantie) van de fout, waardoor informatieve zeldzame fouten worden verward met irreducibele ruis, en negeren de vorm van de verdeling (specifiek de kurtosis), die de dikte van de staarten onafhankelijk van de schaal bepaalt.

2. Methodologie

Het artikel stelt een raamwerk voor om TD-fouten te modelleren met behulp van de Generalized Gaussian Distribution (GGD), een flexibele symmetrische familie die Gaussische, Laplacische en uniforme verdelingen omvat via een enkele vormparameter $\beta$.

A. Modellering van de Gegeneraliseerde Gaussische Fout

• Verdeling: De TD-fout $\delta$ wordt gemodelleerd als $\delta \sim \text{GGD}(0, \alpha, \beta)$, waarbij $\alpha$ de schaal is en $\beta$ de vormparameter.
• Vormparameter ($\beta$): De excess kurtosis $\kappa$ is een functie van enkel $\beta$. Wanneer $\beta < 2$, is de verdeling leptokurtisch (zwaardere staarten dan Gaussisch).
• Implementatieontwerp: De auteurs hanteren een één-parameter ontwerp door de schaal $\alpha = 1$ vast te leggen en alleen de vorm $\beta$ te leren via een toestandsgeconditioneerde "vorm-head" ($Q_\beta$) die aan elke critic is bevestigd.
  • Rationale: Het vastleggen van $\alpha$ koppelt vorm en dispersie, wat de overhead vermindert en problemen met co-adaptatie van schaal en vorm voorkt die optreden bij gezamenlijk leren.
  • Surrogaatverlies: Omdat gebootstrapped targets evolueren, wordt de GGD-loss gebruikt als een numeriek aangepaste online surrogaat in plaats van een strikte offline MLE-consistentieresultaat.
• Theoretisch onderscheid: De auteurs verduidelijken twee wiskundige feiten die vaak worden verward:
  1. De exacte GGD-likelihood is genormaliseerd voor alle $\beta > 0$.
  2. De exponentiële dichtheidskern $e^{-|x|^\beta}$ is alleen positief definiet voor $\beta \in (0, 2]$.
     De methode opereert binnen het bereik $\beta \in (0, 2]$ in experimenten, waar de verdeling leptokurtisch is.

B. Mitigatie van Aleatorische Onzekerheid (Monotoon Weging)

• Voor een vaste schaal $\alpha=1$ in het leptokurtische interval ($\beta \in (0, 2]$), neemt de variantie $\sigma^2(\beta)$ af naarmate $\beta$ toeneemt.
• Door gebruik te maken van resultaten uit de Second-Order Stochastic Dominance (SSD), stellen de auteurs een monotoon wegeingsheuristiek voor: schattingen met een grotere $\beta$ (wat in deze specifieke parametrisering een lagere variantie impliceert) krijgen een hogere weging.
• De weging voor critic $k$ bij transitie $t$ wordt genormaliseerd over het ensemble: $\omega_{t,k} = \hat{\beta}_{t,k} / \sum_j \hat{\beta}_{t,j}$.

C. Mitigatie van Epistemische Onzekerheid (BIEV Regularisatie)

• Het artikel introduceert Batch Inverse Error Variance (BIEV) regularisatie, een adaptatie van Batch Inverse Variance (BIV).
• In tegen tegenstelling tot BIV, dat de variantie van gemiddelde voorspellingen over de critics gebruikt, maakt BIEV gebruik van de variantie en de steekproef-excess kurtosis van de ensemble van de TD-fouten zelf.
• Estimator: De methode past een Mean-Squared-Error (MSE)-beste estimatorfactor toe, geïnspireerd door Kleffe (1985) en Searls & Intarapanich (1990), op de populatie-genormaliseerde variantie, waarbij de steekproef-excess kurtosis $\hat{\kappa}_t$ wordt opgenomen.
• Functie: BIEV fungeert als een regularisatieheuristiek om samples met een hoge ensemble-foutvariantie en kurtosis te down-weighten, in plaats van te dienen als een gekalibreerde onzekerheidsestimator.

3. Belangrijkste Bijdragen

1. Empirische Analyse: Aangetoond dat TD-foutverdelingen in standaard RL (SAC, PPO) significant afwijken van Gaussische verdelingen en zware staarten vertonen, vooral tijdens exploratie.
2. Theoretische Verduidelijking: De geldigheid van de GGD-likelihood gescheiden van de positief-definiete kerneigenschap, waarmee de theoretische grenzen voor de voorgestelde surrogaat zijn vastgesteld.
3. Aleatorische Mitigatie: Een vormbewuste modelleringsaanpak voorgesteld die een gesloten vorm expressie voor variantie biedt en een monotoon wegingsheuristiek op basis van de geleerde vormparameter $\beta$.
4. Epistemische Mitigatie: BIEV-regularisatie geïntroduceerd, die de variantie en kurtosis van ensemble TD-fouten gebruikt om het leren te regulariseren, waarbij het als een heuristiek wordt behandeld en niet als een exacte correctie.
5. Experimentele Validatie: Geëvalueerd op continue (MuJoCo) en discrete controle-benchmarks (CartPole, LunarLander) met behulp van Soft Actor-Critic (SAC) en Proximal Policy Optimization (PPO).

4. Experimentele Resultaten

• Benchmarks: Geëvalueerd op MuJoCo-omgevingen (Ant, Hopper, Walker2D, HalfCheetah) en discrete controle-taken (CartPole, LunarLander) met Soft Actor-Critic (SAC) en Proximal Policy Optimization (PPO).
• Prestaties:
  • De vormbewuste varianten (GGD) verbeterden de sample-efficiëntie en asymptotische prestaties ten opzichte van Gaussische baselines in verschillende omgevingen (bijv. HalfCheetah, Hopper), hoewel de winst taak- en regimeafhankelijk was.
  • BIEV-regularisatie presteerde vaak vergelijkbaar met BIV, maar verbeterde de asymptotische curves in specifieke gevallen.
  • De geleerde $\beta$-trajecten bleven in het leptokurtische bereik (onder $\beta=2$), maar waren omgevingafhankelijk.
• Stabiliteit: De geaggregeerde $\beta$-trajecten vertoonden lagere coefficienten van variatie (CV) vergeleken met de Gaussische schaal-head trajecten, wat wijst op gladdere schattingen.
• Vergelijkingen: De methode toonde prestaties die breed vergelijkbaar zijn met distributional RL-methoden (DoubleGum, QR-DDPG) in sommige omgevingen, hoewel de auteurs opmerken dat dit geen gecontroleerde state-of-the-art rangschikking is vanwege architecturale verschillen.
• Ablaties:
  • Het omdraaien van de monotone weging (inverse regel) leidde tot instabiele prestaties, wat de gekozen richting ondersteunt.
  • Het toevoegen van een leerbare $\alpha$ head verminderde de sample-efficiëntie, wat het vaste-schaal ontwerp ondersteunt.
  • De GGD-loss is overdraagbaar naar value-based RL, maar de vorm-gebaseerde risicoweging is specifiek afgebakend voor stochastische policy-gradient algoritmen.

5. Betekenis en Claims

Het artikel beweert dat het behandelen van de TD-fout vorm als een aanvullend modelleringssignaal een waardevol alternatief is voor het aannemen van een Gaussisch schaalmodel gedurende de training.

• Bescheiden Claims: De auteurs stellen expliciet dat de methode geen universeel voordeel vestigt; verbeteringen zijn benchmark-afhankelijk. De BIEV-term wordt gepresenteerd als een regularisatieheuristiek, niet als een exacte onzekerheidscorrectie of een garantie voor het verwijderen van heavy-tail bias.
• Scope: De aanpak is ontworpen voor stochastische policy-gradient algoritmen met aparte actor-netwerken. Hoewel de GGD-geïnspireerde loss kan worden overgedragen naar Q-learning, kunnen de risicowegingsregels conflicteren met greedy exploratie in die settings.
• Beperkingen: De methode gaat uit van symmetrische fouten (niet van toepassing op asymmetrische/multimodale fouten zonder uitbreiding), combineert schaal en vorm door $\alpha=1$ vast te leggen, en vertrouwt op ensemble-variantieschattingen van een klein aantal critics ($K=5$), wat de kurtosis-schattingen ruisgevoelig maakt. Het artikel claimt geen kalibratie, veiligheid of betrouwbaarheid in real-world systemen, en merkt op dat transfer naar de echte wereld nog niet getest is.

Samenvattend operationaliseert het werk gevestigde statistische resultaten (GGD-eigenschappen, stochastic dominance, MSE-best variance estimators) in RL-specifieke componenten om beter om te gaan met de niet-Gaussische, heavy-tailed aard van TD-fouten, en biedt een computationeel efficiënt alternatief voor complexe distributional RL-architecturen.