Infant Spontaneous Movement Noise Improves Exploration in Deep RL

Technische Samenvatting: Ruis door spontane bewegingen bij zuigelingen verbetert exploratie in Deep RL

Probleemstelling
Exploratie in deep reinforcement learning (RL) wordt veelal geïmplementeerd met behulp van tijdelijk ongecorreleerde witte ruis (Gaussiaans). Hoewel effectief, suggereert recente literatuur dat tijdelijk gecorreleerde "gekleurde" ruis de exploratie-efficiëntie kan verbeteren door soepelere trajecten te genereren die de toestandsruimte effectiever bestrijken. De meeste bestaande benaderingen maken echter gebruik van statische ruisparameters (bijv. constante roze ruis). Dit artikel onderzoekt of actieruis geïnspireerd door het ontwikkelingspad van spontane bewegingen bij zuigelingen de exploratie verder kan verbeteren. Specifiek adresseert het de vraag of het nabootsen van de veranderende statistische eigenschappen van biologische motorische variabiliteit tijdens de vroege ontwikkeling kan leiden tot efficiëntere leerstrategieën voor kunstmatige agenten.

Methodologie
Het onderzoek volgt een driefasige methodologie: het karakteriseren van biologische data, het genereren van synthetische ruis en het integreren ervan in RL-algoritmen.

1. Karakterisering van zuigelingenbeweging:
   De auteurs analyseerden een longitudinale dataset van video-opnames van vier zuigelingen (leeftijd 8 tot 30 weken) opgenomen in een rugligging. Met behulp van OpenPose werden 2D-sleutelpunten voor eindeffectoren (polsen en enkels) geëxtraheerd om snelheidstijdreeksen te berekenen. De temporele structuur van deze bewegingen werd gekwantificeerd via PSD-analyse (Power Spectral Density) met de Welch-methode. De kleur van de ruis, gedefinieerd door de spectrale exponent $\beta$ in de machtswetrelatie $S(f) \propto f^{-\beta}$, werd geschat voor elke sessie.

2. Ontwikkelingsgerelateerd ruisschema:
   Analyse toonde een sterke lineaire correlatie ($R=0,70$) aan tussen de spectrale exponent $\beta$ en de leeftijd van de zuigeling, waarbij $\beta$ toenam van ongeveer 0,69 bij 8 weken naar 0,88 bij 30 weken. Op basis hiervan stelden de auteurs een "baby noise"-schema voor waarbij de ruiskleur $\beta(t)$ lineair toeneemt tijdens de training van een RL-agent, variërend van 0,7 tot 0,9 als fractie van de totale trainingstijd $t/T$.

3. Ruisgeneratie en Integratie:
   Om gekleurde ruis efficiënt te genereren, gebruikten de auteurs spectrale vormgeving: het genereren van witte ruisblokken, het transformeren naar het frequentiedomein via FFT, het schalen van het spectrum om de doel-PSD ($f^{-\beta}$) te evenaren, en het terugtransformeren naar het tijddomein. Deze ruis werd geïntegreerd in twee continue controle-algoritmen:

   • TD3 (Deterministisch): Verving de standaard additieve Gaussische ruis door de gescheduled gekleurde ruis.
   • SAC (Stochastisch): Verving de witte ruiscomponent in de herparameterisatie-truc met de gescheduled gekleurde ruis.

Belangrijkste Bijdragen

• Kwantificering van motorische ontwikkeling: Het artikel biedt de eerste kwantitatieve karakterisering van de overgang van stochastische naar gestructureerde gedragingen in de vroege zuigelingenfase met behulp van PSD-hellingen, waarbij een toename van de temporele autocorrelatie ($\beta$) tussen 8 en 30 weken wordt geïdentificeerd.
• Ontwikkelingsgericht exploratieschema: Het introduceert een nieuw exploratiemechanisme waarbij de ruiskleur wordt geanneald over de trainingstijd, wat het geobserveerde menselijke ontwikkelingspatroon weerspiegelt.
• Empirische Validatie: De studie toont aan dat deze door zuigelingen geïnspireerde strategie een gestructureerd exploratiegedrag produceert en de leer-efficiëntie verbetert vergeleken met conventionele statische ruisstrategieën in meerdere omgevingen.

Resultaten
Experimenten werden uitgevoerd op 12 continue controle-omgevingen (klassieke controle, lokomotie en labyrinten) met behulp van TD3- en SAC-algoritmen. De prestaties werden geëvalueerd met behulp van de Area Under the Learning Curve (AUC) van genormaliseerde returns.

• Prestaties: De "baby noise"-strategie behaalde gemiddeld de hoogste genormaliseerde AUC-score over alle algoritmen en omgevingen. Deze werd nauw gevolgd door statische gekleurde ruis (blush $\beta=0,5$, rose $\beta=0,75$ en roze $\beta=1,0$), die allemaal beter presteerden dan witte ruis ($\beta=0$). Hoog-gecorreleerde ruis (rode ruis $\beta=2$ en Ornstein-Uhlenbeck) leverde de slechtste prestaties op.
• Consistentie: Hoewel geen enkele ruistype in elke specifieke omgeving domineerde, was de "baby noise"-strategie het meest consistent, waarbij slechts drie scores onder het gemiddelde van nul vielen over 24 condities.
• Statistische Significantie: In gepaard vergelijkingen met witte ruis was "baby noise" de enige strategie met een winrate die significant boven de kans ligt (56%, $p < 0,05$). Statische gekleurde ruis (blush, rose, roze) vertoonde hogere gemiddelde AUC's maar behaalde geen statistisch significante winrates ten opzichte van witte ruis in de gepaarde analyse.

Betekenis en Claims
De auteurs stellen dat hun werk bijdraagt aan de groeiende hoeveelheid bewijs dat de menselijke motorische en cognitieve ontwikkeling nuttige richtlijnen kan bieden voor het ontwerpen van leermechanismen in kunstmatige agenten. De studie postuleert dat de verschuiving in ruiskleur tijdens de ontwikkeling de overgang reflecteert van exploratieve spontane bewegingen naar doelgerichte gedragingen. Door deze biologische inzichten te vertalen naar een curriculum voor exploratiedynamiek, demonstreert het artikel dat deep RL-agenten kunnen profiteren van het continu aanpassen aan steeds meer gestructureerde en tijdelijk gecorreleerde exploratie. De auteurs houden een bescheiden standpunt en merken op dat hoewel de resultaten veelbelovend zijn, de volgende stap is om te bevestigen of deze voordelen zich uitstrekken naar omgevingen met complexere zuigelingen-belichamingen (bijv. groeiende lichamen) en om de verbinding tussen ontwikkelingswetenschap en kunstmatige intelligentie verder te verkennen.