Technische Samenvatting: Grow-Prune-Freeze-netwerken voor olfactorische navigatie

Probleemstelling

Het artikel behandelt de uitdaging van het trainen van robotische agenten voor olfactorische navigatie, een taak gekenmerkt door schaarse, intermitterende signalen, niet-stationaire omgevingen en een gebrek aan gestandaardiseerde, grootschalige datasets (in tegenstelling tot visie of taal). Traditionele deep learning-architecturen zijn statisch en vertrouwen op enorme, vooraf verzamelde datasets, waardoor ze ongeschikt zijn voor "grote wereld"-robotica, waarbij agenten in real-time moeten aanpassen aan evoluerende moleculaire patronen en turbulente pluimen. Bovendien lijden standaard methoden voor continu leren vaak aan catastrofaal vergeten (verlies van eerdere kennis) of verlies van plasticiteit (onvermogen om nieuwe taken te leren), vooral in gedeeltelijk waarneembare omgevingen waar de agent context moet afleiden uit een beperkte sensorische geschiedenis.

Methodologie: Grow-Prune-Freeze (GPF) Framework

De auteurs stellen Grow-Prune-Freeze (GPF)-netwerken voor, een adaptief framework dat dynamisch de architectuur van een neurale netwerk aanpast tijdens runtime, gebaseerd op de complexiteit van de omgeving en de leerprestaties. Het framework integreert drie kernmechanismen:

1. Groei: Het netwerk begint met één verborgen laag. Nieuwe lagen worden alleen toegevoegd wanneer de validatieverlies stagnatie vertoont (een geduldsdrempel $\rho_k$ overschrijdt zonder verbetering), waardoor het model zijn capaciteit kan verhogen naarmate de taakcomplexiteit (bijv. pluimturbulentie) dit vereist.
2. Verdunning: Om efficiëntie te behouden en overparametrisatie te voorkomen, snoeit het netwerk "zachte" neuronen. Er wordt een overtuigingswaarde ($h \in [0, 1)$) toegewezen aan elke neuron, die toeneemt wanneer de grootte van de gewichten of de activatie consequent hoog blijft. Neuronen met lage overtuigingswaarden en kleine gewichten worden verwijderd. Dit is gebaseerd op snoeien op basis van grootte (LeCun et al., 1989), maar aangevuld met overtuigingswaarden om schaarse maar relevante patronen te beschermen.
3. Invriezen: Om catastrofaal vergeten te voorkomen, worden lagen die stabiliseren (waarbij de gewichten gedurende een geduldperiode $\rho_f$ minimaal veranderen) ingevroren. Dit behoudt de temporele dynamiek die is geleerd uit vroege ontmoetingen, terwijl nieuwere lagen plastisch blijven.

Theoretische Grondslag

De methodologie is gebaseerd op Niet-lineaire Random Matrix Theory (RMT). De auteurs breiden het werk van Pennington & Worah (2017) uit, dat spectrale invariantie vestigde voor netwerken met één verborgen laag, naar $n$-laags modellen voor continu leren.

• Zij tonen aan dat naarmate lagen worden toegevoegd, de eigenwaarde-samenstelling van de netwerkgewichten behouden blijft.
• Door stabiele lagen in te vriezen, zorgt het framework ervoor dat de spectrale verdeling van de Gram-matrix zijn ideale vorm behoudt (Marchenko-Pastur-verdeling), waardoor dynamische isometrie en stabiele gradiëntpropagatie worden gewaarborgd, zelfs naarmate de netwerkdiepte toeneemt.
• Theoretische analyse (Stelling 1) bewijst dat onder homogene laagaannames de Stieltjes-transformatie van de empirische spectrale verdeling convergeert naar een uniek vast punt, wat stabiliteit garandeert tijdens onbepaalde adaptatie.

Beleid en Training

Het GPF-framework wordt geëvalueerd met Expected SARSA, een temporal difference learning-algoritme dat is gekozen omwille van zijn robuustheid in gedeeltelijk waarneembare omgevingen met schaarse beloningen (in vergelijking met greedy Q-learning). De agent opereert in een gesimuleerde turbulente geurpluim met behulp van een Farrell–Murlis filamentmodel. De toestandsruimte is gediskretiseerd in 392 unieke toestanden op basis van binning van concentraties aan bilaterale antennes en windrichting in octanten.

Belangrijkste Bijdragen

1. Adaptief Framework: Een nieuw, op RMT gebaseerd framework voor adaptieve reinforcement learning-agenten in gedeeltelijk waarneembare, niet-stationaire omgevingen. Het combineert groei, verdunning en invriezen om plasticiteit en stabiliteit in evenwicht te brengen.
2. Theoretische Uitbreiding: Een uitbreiding van Pennington & Worah (2017) en Martin & Mahoney (2021) om aan te tonen dat spectrale eigenwaarde-invariantie geldt voor meervoudige lagen die onbeperkt groeien, waardoor een theoretische basis wordt geboden voor resource-efficiënt continu leren.
3. Afstelcriteria: Specifieke criteria voor het stabiliseren van continu leren, waaronder geduldvariabelen voor laaggroei ($\rho_k$), verdunning ($\rho_p$) en invriezen ($\rho_f$), samen met een overtuigingswaarde-mechanisme voor het verharden van neuronen.
4. Empirische Validatie: Aantonen dat GPF's hoge succespercentages behalen in olfactorische navigatie en bewijs van generalisatie naar andere domeinen (Atari, CIFAR-10, GPT-2).

Experimentele Resultaten

Olfactorische Navigatie (Primaire Taak)

• Prestaties: De GPF-agent behaalde een succespercentage van 98% op de trainingsverdeling en 94% op vastgehouden proeven over diverse willekeurige initialisaties.
• Evolutie van de Architectuur: Het netwerk begon met één laag en groeide via drie groeibeurten uit tot vier lagen.
  • Na de eerste groeiverdunningsbeurt behield het netwerk 47,9% van de gewichten.
  • Vervolgende beurten waren agressiever, waarbij respectievelijk 19,6% en 9,9% van de gewichten behouden bleef, wat resulteerde in een zeer schaarse vier-lagen architectuur.
• Vergelijking: De GPF-agent presteerde aanzienlijk beter dan een statische baseline (één verborgen laag) en toonde superieure stabiliteit in vergelijking met Q-learning-agenten, die moeite hadden met schaarse beloningen en niet-stationaire pluimen.

Generalisatie-experimenten

De auteurs testten GPF's op drie extra taken om generaliseerbaarheid aan te tonen, hoewel zij expliciet stellen dat zij geen state-of-the-art prestaties claimen over alle benchmarks:

• Beeldclassificatie (CIFAR-10): GPF-modellen toonden een stabielere convergentie van het validatieverlies in vergelijking met statische baselines, waarbij de eigenwaarde-spectra adhereerden aan de Marchenko-Pastur-verdeling.
• Reinforcement Learning (Atari - Ms. Pacman): GPF-agenten vertoonden een lagere volatiliteit in validatiebeloningen in vergelijking met statische beleidsregels.
• Taalmodellering (GPT-2 op TinyShakespeare): De GPF-variant bereikte een stabiele convergentie en stopte met groeien na het bereiken van een maximum aantal lagen, terwijl de statische baseline een volatiel verlies vertoonde.

Betekenis en Claims

Het artikel stelt dat GPF-netwerken een praktische oplossing bieden voor op de rand inzetbaar robotisch leren waar data schaars is en omgevingen dynamisch zijn. Door de architectuur te gronden in RMT, bieden de auteurs een mechanisme waarmee agenten representatieve capaciteit alleen toewijzen waar omgevingsignalen complex zijn, terwijl geleerde kennis wordt behouden door middel van invriezen.

De auteurs zijn bescheiden in hun claims, met de opmerking dat:

• De primaire motivatie en validatie zijn voor olfactorische robotica, een modus die ontbreekt aan gestandaardiseerde benchmarks.
• De generalisatieresultaten (Atari, CIFAR, GPT-2) worden gepresenteerd als ondersteunend bewijs voor het potentieel van het framework, niet als definitieve state-of-the-art benchmarks.
• Toekomstig werk vereist is om GPF's te valideren over een bredere reeks taken en om ze te integreren met federatief leren en complexere computational fluid dynamics (CFD)-simulatoren.

Het werk concludeert dat GPF's met succes het "verlies van plasticiteit" aanpakken dat in recente literatuur is geïdentificeerd (Dohare et al., 2024) door agenten in staat te stellen te groeien, te snoeien en in te vriezen als reactie op real-time data, waardoor een weg wordt gebaand naar echt adaptieve systemen voor continu leren in de robotica.