Sintesi Tecnica: Apprendimento per Rinforzo Agile attraverso l'Architettura Neurale Separabile (SPAN)

1. Definizione del Problema

L'Apprendimento per Rinforzo Profondo (Deep RL) è sempre più impiegato in ambienti con risorse limitate, come la robotica, i dispositivi edge e i sistemi di controllo industriale. Tuttavia, gli approssimatori di funzione standard utilizzati in questi contesti — i Perceptroni Multistrato (MLP) — spesso mostrano una scarsa efficienza. Gli MLP possiedono una struttura globalmente connessa che distribuisce la capacità rappresentativa uniformemente su tutto lo spazio di input, indipendentemente da dove la funzione di valore o la policy effettivamente variano. Questo disallineamento architettonico con la naturale fluidità locale delle funzioni di valore nel RL (che spesso soddisfano la continuità Lipschitz sotto dinamiche MDP fluide) porta a un'elevata complessità di campionamento e a una convergenza inaffidabile, particolarmente quando i budget di addestramento sono limitati.

Sebbene esistano tecniche di compressione dei modelli, queste operano tipicamente post-hoc su modelli sovra-parametrizzati e non migliorano l'efficienza intrinseca dell'apprendimento. Al contrario, recenti architetture basate su spline come le reti Kolmogorov-Arnold (KAN) offrono un'efficienza dei parametri ma soffrono di un carico computazionale proibitivo dovuto alle valutazioni dense sugli edge, limitandone l'adozione nel RL online. Rimane la necessità di un approssimatore di funzione che sia sia efficiente nei parametri che computazionalmente sostenibile per l'apprendimento online, esplicitamente allineato con la fluidità locale dei paesaggi di controllo.

2. Metodologia: Architettura SPAN

Gli autori introducono SPAN (SPline-based Adaptive Networks), una nuova architettura di approssimazione di funzione progettata per affrontare tali limitazioni. SPAN adatta il framework KHRONOS (precedentemente validato per il calcolo scientifico) alle specifiche esigenze del RL online.

Componenti Architetturali Core

1. Livello di Pre-elaborazione Apprendibile: A differenza di KHRONOS, che assume input stazionari e normalizzati in $[0, 1]^d$, gli ambienti di RL forniscono osservazioni non stazionarie e non limitate. SPAN introduce un livello di pre-elaborazione apprendibile costituito da uno strato completamente connesso seguito da un'attivazione sigmoide ($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$). Questo livello proietta osservazioni arbitrarie in un dominio limitato richiesto dalla base spline senza fare affidamento su statistiche di batch o limiti pre-specificati. Concettualmente, agisce come una mappa di lifting di tipo Koopman appresa, disaccoppiando gli input grezzi in uno spazio latente dove le dinamiche ammettono una rappresentazione separabile.
2. Struttura Spline Prodotto Tensoriale Separabile: Il nucleo di SPAN utilizza la decomposizione tensoriale di rango-$M$ con funzioni di base B-spline. Per un input $\mathbf{x} \in [0, 1]^d$, l'architettura costruisce $M$ modi separabili:
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   dove $B_i^{(k)}$ sono funzioni di base B-spline di grado $k$, e $N_p$ è il numero di funzioni di base per dimensione. L'output finale è una combinazione lineare di questi modi.
3. Riduzione della Complessità: Questa struttura separabile riduce la complessità dei parametri da esponenziale $\mathcal{O}(N^d)$ (nei grid tensoriali completi) a lineare $\mathcal{O}(M \cdot d \cdot N)$, superando efficacementamente la maledizione della dimensionalità che limita gli approcci spline basati su griglia.

Integrazione con Algoritmi di RL

SPAN è progettato come un sostituto "drop-in" per gli MLP in standard framework actor-critic. Gli autori dimostrano la sua integrazione con:

• Soft Actor-Critic (SAC): Per il controllo continuo, SPAN genera i parametri della politica Gaussiana e le twin Q-functions.
• Proximal Policy Optimization (PPO): Per il controllo discreto, SPAN genera i logit delle azioni e le stime del valore.
• Implicit Q-Learning (IQL): Per il RL offline, SPAN sostituisce gli MLP nelle reti di valore, Q-function e policy.

3. Contributi Principali

Il documento presenta tre contributi primari:

1. Adattamento Architetturale: L'adattamento del framework KHRONOS al RL tramite un livello di pre-elaborazione apprendibile, colmando il divario tra gli input stazionari assunti dai framework di calcolo scientifico e le osservazioni non stazionarie del RL.
2. Fondamento Teorico: Una connessione formale tra la proprietà di supporto locale di SPAN e la struttura Lipschitz delle funzioni di valore e delle policy nel RL. Gli autori sostengono che le funzioni di base di SPAN, che si attivano solo in regioni limitate, si allineano naturalmente con la proprietà del "raggio di influenza" degli MDP, concentrando la capacità rappresentativa dove è necessaria.
3. Validazione Empirica Esaustiva: Valutazione estesa attraverso benchmark online (PPO, SAC), offline (IQL) e applicazioni ingegneristiche reali, dimostrando miglioramenti nell'efficienza del campionamento, l'affidabilità della convergenza e il costo totale di addestramento.

4. Risultati Sperimentali

Benchmark di Controllo Online

SPAN è stato valutato rispetto ai baseline MLP su compiti di controllo classico (CartPole, Acrobot, LunarLander) e controllo continuo MuJoCo (Hopper, InvertedPendulum, Walker2d, HalfCheetah).

• Efficienza di Campionamento: SPAN ha ottenuto un miglioramento del 30–50% nell'efficienza di campionamento attraverso i benchmark. Ad esempio, su Hopper, SPAN ha raggiunto il 50% delle prestazioni dell'esperto con un tasso di successo del 90% in 475k step, mentre l'MLP ha raggiunto solo il 10% di successo a 715k step ed è fallito nel risolvere il compito a soglie superiori.
• Tassi di Successo: SPAN ha dimostrato tassi di successo da 1.3 a 9 volte superiori nei benchmark. Su Walker2d, l'MLP non è riuscito a trovare soluzioni oltre la soglia del 25%, mentre SPAN ha mantenuto un tasso di successo del 55% alla soglia del 50%.
• Prestazioni Anytime: SPAN ha mostrato una maggiore robustezza alle variazioni degli iperparametri e migliori prestazioni ai checkpoint intermedi di addestramento.

Analisi del Costo Computazionale

Sebbene SPAN comporti un overhead di valutazione per step (1.2–1.8 volte più lento rispetto a MLP a causa della valutazione delle spline), la sua superiore efficienza di campionamento e l'affidabilità della convergenza risultano in un costo totale di addestramento atteso inferiore.

• Considerando i fallimenti di convergenza (tassi di successo), il costo atteso per l'addestramento di un MLP è 1.3–6.3 volte superiore rispetto a SPAN. Ad esempio, su HalfCheetah, il costo atteso dell'MLP era 4.87 volte superiore a causa di un basso tasso di successo del 10% alla soglia del 100%.

Reinforcement Learning Offline

Valutato sul benchmark di manipolazione della mano Adroit Minari utilizzando IQL:

• Su dataset Expert, SPAN ha superato significativamente gli MLP, ottenendo un miglioramento di 20x sul compito Door (8.0 vs 0.4), 2.3x su Hammer e 3.3x su Relocate.
• Su dataset di qualità inferiore (Cloned, Human), i risultati sono stati misti, suggerendo che il bias di fluidità di SPAN è più efficace quando i dati sottostanti presentano policy coerenti e fluide.

Applicazione Reale: HVAC di Datacenter

SPAN è stato applicato a un compito di controllo HVAC per datacenter utilizzando l'ambiente Sinergym (simulazione EnergyPlus).

• Efficienza Energetica: SPAN ha ridotto il consumo energetico in 9 mesi su 12 rispetto a MLP, con risparmi fino all'8.1% nelle stagioni intermedie.
• Comfort Termico: SPAN ha ridotto le violazioni del comfort termico (temperature fuori dall'intervallo 18–27°C) di 1.1–3.4 volte durante l'anno. Notevolmente, in agosto, SPAN ha ridotto le violazioni di un fattore 12 rispetto a MLP, dimostrando che il leggero aumento del consumo energetico di SPAN nei mesi estivi di picco è stato un compromesso per mantenere un rigoroso comfort termico.

5. Significato e Rivendicazioni

Il documento afferma che SPAN offre un'alternativa fondata e praticamente percorribile agli MLP per il RL in contesti con risorse limitate. La sua importanza risiede in:

• Allineamento del Bias Induttivo: Allineando esplicitamente il bias induttivo dell'architettura con la continuità Lipschitz e la fluidità locale dei problemi di controllo fisico, SPAN ottiene un'efficienza di apprendimento superiore senza richiedere una compressione post-hoc.
• Affidabilità in Regimi Vincolati: SPAN fornisce una convergenza più affidabile in scenari in cui le interruzioni dell'addestramento, i campioni limitati o i severi budget di memoria sono comuni.
• Generalizzazione all'Ingegneria: Il successo dell'applicazione al controllo HVAC dei datacenter dimostra che i vantaggi architettonici osservati nei benchmark sintetici si trasferiscono a problemi ingegneristici reali con dinamiche termodinamiche e non stazionarietà guidata dal meteo.

Gli autori riconoscono le limitazioni, notando che il bias di fluidità locale di SPAN potrebbe essere meno efficace in contesti con ricompense sparse e transizioni nette della funzione di valore, e che l'attuale design feedforward non supporta nativamente l'attenzione o la ricorrenza. Il lavoro futuro suggerisce architetture ibride che combinano SPAN con i Transformer per il ragionamento temporale e applicazioni nel controllo delle sospensioni dei veicoli e nell'ottimizzazione dei processi industriali.