Technische Samenvatting: Agile Reinforcement Learning door middel van een Separeerbare Neurale Architectuur (SPAN)

1. Probleemstelling

Deep Reinforcement Learning (RL) wordt steeds vaker ingezet in omgevingen met beperkte middelen, zoals robotica, edge-apparaten en industriële controlesystemen. De standaard functiebenaderingen die in deze settings worden gebruikt—Multilayer Perceptrons (MLPs)—vertonen echter vaak een slechte efficiëntie. MLPs bezitten een globaal verbonden structuur die de representatiecapaciteit uniform verdeelt over de inputruimte, ongeacht waar de waardefunctie of het beleid (policy) daadwerkelijk varieert. Deze architecturale mismatch met de inherente lokale gladheid van RL-waardefuncties (die vaak voldoen aan Lipschitz-continuïteit onder gladde MDP-dynamiek) leidt tot een hoge steekproefcomplexiteit (sample complexity) en onbetrouwbare convergentie, vooral wanneer de trainingsbudgetten beperkt zijn.

Hoewel technieken voor modelcompressie bestaan, opereren deze meestal post-hoc op overgeparameteriseerde modellen en verbeteren ze de intrinsieke leerefficiëntie niet. Omgekeerd bieden recente spline-gebaseerde architecturen zoals Kolmogorov-Arnold Networks (KANs) weliswaar parameterefficiëntie, maar lijden ze onder een prohibitieve computationele overhead door dichte randwijze evaluaties, wat hun adoptie in online RL beperkt. Er is behoefte aan een functiebenadering die zowel parameterefficiënt als computationeel levensvatbaar is voor online leren, en die expliciet is afgestemd op de lokale gladheid van controlelandschappen.

2. Methodologie: SPAN-architectuur

De auteurs introduceren SPAN (SPline-based Adaptive Networks), een nieuwe functiebenaderingsarchitectuur die is ontworpen om deze beperkingen aan te pakken. SPAN past het KHRONOS-framework (voorheen gevalideerd voor wetenschappelijke berekeningen) aan voor de specifieke eisen van online RL.

Kerncomponenten van de architectuur

1. Leerbaar Preprocessing-laag: In tegenstelling tot KHRONOS, dat stationaire, genormaliseerde inputs in $[0, 1]^d$ veronderstelt, bieden RL-omgevingen niet-stationaire, onbegrensde observaties. SPAN introduceert een leerbaar preprocessing-laag bestaande uit een volledig verbonden laag gevolgd door een sigmoid-activatie ($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$). Deze laag projecteert willekeurige observaties naar het begrensde domein dat vereist is voor de spline-basis zonder te vertrouwen op batch-statistieken of vooraf gespecificeerde grenzen. Conceptueel fungeert dit als een geleerde Koopman-stijl lifting-map, die ruwe inputs ontkoppelt in een latente ruimte waar de dynamiek een separeerbare representatie toelaat.
2. Separeerbare Tensorproduct-spline-structuur: De kern van SPAN maakt gebruik van een rank-$M$ tensor-decompositie met B-spline basisfuncties. Voor een input $\mathbf{x} \in [0, 1]^d$ construeert de architectuur $M$ separeerbare modi:
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   waarbij $B_i^{(k)}$ B-spline basisfuncties van graad $k$ zijn, en $N_p$ het aantal basisfuncties per dimensie is. De uiteindelijke output is een lineaire combinatie van deze modi.
3. Complexiteitsreductie: Deze separeerbare structuur vermindert de parametercomplexiteit van exponentieel $\mathcal{O}(N^d)$ (in volledige tensorgrids) naar lineair $\mathcal{O}(M \cdot d \cdot N)$, waardoor de vloek van de dimensionaliteit die grid-gebaseerde spline-benaderingen beperkt, effectief wordt overwonnen.

Integratie met RL-algoritmen

SPAN is ontworpen als een drop-in vervanging voor MLPs in standaard actor-critic frameworks. De auteurs demonstreren de integratie met:

• Soft Actor-Critic (SAC): Voor continue controle geeft SPAN de parameters van een Gaussische policy en tweeling Q-functies uit.
• Proximal Policy Optimization (PPO): Voor discrete controle geeft SPAN actie-logits en waardeschattingen uit.
• Implicit Q-Learning (IQL): Voor offline RL vervangt SPAN MLPs in de waarde-, Q-functie- en policy-netwerken.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Architecturale Adaptatie: De adaptatie van het KHRONOS-framework naar RL via een leerbaar preprocessing-laag, waarmee de kloof wordt overbrugd tussen de stationaire inputs die door wetenschappelijke berekeningsframeworks worden verondersteld en de niet-stationaire observaties van RL.
2. Theoretische Onderbouwing: Een formele verbinding tussen de lokale ondersteuningseigenschap (local support property) van SPAN en de Lipschitz-structuur van RL-waardefuncties en policies. De auteurs betogen dat de basisfuncties van SPAN, die alleen in begrensde regio's activeren, natuurlijk aansluiten bij de "invloedsradius"-eigenschap van MDP's, waardoor de representatiecapaciteit wordt geconcentreerd waar dat nodig is.
3. Uitgebreide Empirische Validatie: Uitgebreide evaluatie over online (PPO, SAC), offline (IQL) en real-world engineering toepassingen, waarbij verbeteringen in steekproefefficiëntie, convergentiebetrouwbaarheid en totale trainingskosten worden aangetoond.

4. Experimentele Resultaten

Online Controle Benchmarks

SPAN werd geëvalueerd tegen MLP-baselines op Classic Control (CartPole, Acrobot, LunarLander) en MuJoCo continue controle taken (Hopper, InvertedPendulum, Walker2d, HalfCheetah).

• Steekproefefficiëntie: SPAN behaalde een verbetering van 30–50% in steekproefefficiëntie over de benchmarks heen. Op Hopper bereikte SPAN bijvoorbeeld 50% expert-prestaties met een succespercentage van 90% in 475k stappen, terwijl MLP slechts 10% succes behaalde bij 715k stappen en er niet in slaagde de taak op hogere drempels op te lossen.
• Succespercentages: SPAN vertoonde 1,3–9 keer hogere succespercentages over de benchmarks. Op Walker2d slaagde MLP er niet in oplossingen te vinden boven de 25% drempel, terwijl SPAN een succespercentage van 55% behield bij de 50% drempel.
• Anytime Performance: SPAN toonde superieure robuustheid tegen hyperparameter-variaties en betere prestaties bij intermediaire trainingscheckpoints.

Computationele Kostenanalyse

Hoewel SPAN een per-stap evaluatie-overhead met zich meebrengt (1,2–1,8 keer langzamer dan MLP door spline-evaluatie), resulteert de superieure steekproefefficiëntie en convergentiebetrouwbaarheid in een lagere verwachte totale trainingskosten.

• Wanneer rekening wordt gehouden met convergentiefouten (succespercentages), zijn de verwachte kosten van het trainen van een MLP 1,3–6,3 keer hoger dan die van SPAN. Op HalfCheetah waren de verwachte kosten van MLP bijvoorbeeld 4,87 keer hoger vanwege een laag succespercentage van 10% bij de 100% drempel.

Offline Reinforcement Learning

Geëvalueerd op de Minari Adroit Hand manipulatie benchmark met behulp van IQL:

• Op Expert datasets presteerde SPAN aanzienlijk beter dan MLPs, met een 20x verbetering op de Door taak (8,0 vs 0,4), 2,3x op Hammer, en 3,3x op Relocate.
• Op datasets van lagere kwaliteit (Cloned, Human) waren de resultaten gemengd, wat suggereert dat de gladheid-bias van SPAN het meest effectief is wanneer de onderliggende data consistente, gladde policies vertoont.

Real-World Toepassing: Datacenter HVAC

SPAN werd toegepast op een datacenter HVAC-controle taak met behulp van de Sinergym omgeving (EnergyPlus simulatie).

• Energie-efficiëntie: SPAN verminderde het energieverbruik in 9 van de 12 maanden vergeleken met MLP, met besparingen tot 8,1% in de overgangsseizoenen.
• Thermisch Comfort: SPAN verminderde schendingen van het thermisch comfort (temperaturen buiten de 18–27°C) met een factor 1,1–3,4 over het hele jaar. Opvallend genoeg verminderde SPAN in augustus de schendingen met een factor 12 vergeleken met MLP, wat aantoont dat het iets hogere energieverbruik van SPAN in de piek evenaren van de zomer een afweging was voor het handhaven van strikt thermisch comfort.

5. Betekenis en Claims

Het artikel beweert dat SPAN een principieel en praktisch levensvatbaar alternatief biedt voor MLPs voor hulpbronnenbeperkte RL. De betekenis ligt in:

• Inductieve Bias Alignment: Door de architecturale inductieve bias expliciet af te stemmen op de Lipschitz-continuïteit en lokale gladheid van fysieke controlesystemen, bereikt SPAN een hogere leerefficiëntie zonder dat post-hoc compressie nodig is.
• Betrouwbaarheid in Beperkte Regimes: SPAN biedt meer betrouwbare convergentie in settings waar trainingsonderbrekingen, beperkte samples of strikte geheugenbudgetten voorkomen.
• Generalisatie naar Engineering: De succesvolle toepassing op datacenter HVAC-controle demonstreert dat de architecturale voordelen die in synthetische benchmarks zijn waargenomen, overdraagbaar zijn naar real-world engineering problemen met thermodynamische dynamiek en door het weer gedreven niet-stationariteit.

De auteurs erkennen beperkingen en merken op dat de lokale gladheid-bias van SPAN mogelijk minder effectief is in settings met ijle beloningen (sparse rewards) met scherpe waardefunctie-transities, en dat het huidige feedforward-ontwerp geen native ondersteuning biedt voor attention of recurrentie. Toekomstig werk suggereert hybride architecturen die SPAN combineren met Transformers voor temporele redenering en toepassingen in voertuigophangingscontrole en industriële procesoptimalisatie.