Résumé Technique : Apprentissage par Renforcement Agile via une Architecture Neuronale Séparable (SPAN)

1. Énoncé du Problème

L'apprentissage par renforcement profond (RL) est de plus en plus déployé dans des environnements à ressources contraintes, tels que la robotique, les dispositifs de bord (edge devices) et les systèmes de contrôle industriel. Cependant, les approximateurs de fonctions standards utilisés dans ces contextes — les Perceptrons Multicouches (MLP) — présentent souvent une efficacité médiocre. Les MLP possèdent une structure globalement connectée qui distribue la capacité de représentation de manière uniforme sur tout l'espace d'entrée, indépendamment de l'endroit où la fonction de valeur ou la politique varie réellement. Ce décalage architectural avec la lissité locale inhérente aux fonctions de valeur de RL (qui satisfont souvent la continuité de Lipschitz sous des dynamiques MDP lisses) entraîne une complexité d'échantillonnage élevée et une convergence peu fiable, particulièrement lorsque les budgets d'entraînement sont limités.

Bien que des techniques de compression de modèles existent, elles opèrent généralement de manière post-hoc sur des modèles sur-paramétrés et n'améliorent pas l'efficacité intrinsèque de l'apprentissage. À l'inverse, les architectures récentes basées sur les splines comme les réseaux de Kolmogorov-Arnold (KAN) offrent une efficacité de paramètres, mais souffrent d'une surcharge de calcul prohibitive due aux évaluations denses par arêtes, ce qui limite leur adoption dans le RL en ligne. Il existe donc un besoin pour un approximateur de fonction qui soit à la fois efficace en termes de paramètres et viable sur le plan computationnel pour l'apprentissage en ligne, explicitement aligné sur la lissité locale des paysages de contrôle.

2. Méthodologie : Architecture SPAN

Les auteurs introduisent SPAN (SPline-based Adaptive Networks), une nouvelle architecture d'approximation de fonction conçue pour répondre à ces limitations. SPAN adapte le cadre KHRONOS (précédemment validé pour le calcul scientifique) aux exigences spécifiques du RL en ligne.

Composants Architecturaux Clés

1. Couche de Prétraitement Apprenable : Contrairement à KHRONOS, qui suppose des entrées stationnaires et normalisées dans $[0, 1]^d$, les environnements de RL fournissent des observations non stationnaires et non bornées. SPAN introduit une couche de prétraitement apprenable composée d'une couche entièrement connectée suivie d'une activation sigmoïde ($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$). Cette couche projette des observations arbitraires dans le domaine borné requis par la base de splines sans dépendre de statistiques de batch ou de bornes pré-spécifiées. Conceptuellement, cela agit comme une carte de levage (lifting map) de type Koopman, désentlaçant les entrées brutes en un espace latent où les dynamiques admettent une représentation séparable.
2. Structure de Spline Produit-Tensor Séparable : Le cœur de SPAN utilise une décomposition tensorielle de rang-$M$ avec des fonctions de base B-spline. Pour une entrée $\mathbf{x} \in [0, 1]^d$, l'architecture construit $M$ modes séparables :
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   où $B_i^{(k)}$ sont des fonctions de base B-spline de degré $k$, et $N_p$ est le nombre de fonctions de base par dimension. La sortie finale est une combinaison linéaire de ces modes.
3. Réduction de la Complexité : Cette structure séparable réduit la complexité des paramètres de l'exponentielle $\mathcal{O}(N^d)$ (dans les grilles de tenseurs complets) à une complexité linéaire $\mathcal{O}(M \cdot d \cdot N)$, surmontant ainsi la malédiction de la dimensionnalité qui limite les approches de splines par grille.

Intégration avec les Algorithmes de RL

SPAN est conçu comme un remplacement direct ("drop-in replacement") pour les MLP dans les cadres acteur-critique standards. Les auteurs démontrent son intégration avec :

• Soft Actor-Critic (SAC) : Pour le contrôle continu, SPAN produit les paramètres de la politique Gaussienne et les fonctions Q jumelles.
• Proximal Policy Optimization (PPO) : Pour le contrôle discret, SPAN produit les logits d'action et les estimations de valeur.
• Implicit Q-Learning (IQL) : Pour le RL hors ligne (offline RL), SPAN remplace les MLP dans les réseaux de valeur, de fonction Q et de politique.

3. Contributions Principales

L'article présente trois contributions majeures :

1. Adaptation Architecturale : L'adaptation du cadre KHRONOS au RL via une couche de prétraitement apprenable, comblant le fossé entre les entrées stationnaires supposées par les cadres de calcul scientifique et les observations non stationnaires du RL.
2. Fondement Théorique : Une connexion formelle entre la propriété de support local de SPAN et la structure de Lipschitz des fonctions de valeur et des politiques de RL. Les auteurs soutiennent que les fonctions de base de SPAN, qui ne s'activent que dans des régions bornées, s'alignent naturellement avec la propriété de "rayon d'influence" des MDP, concentrant la capacité de représentation là où elle est nécessaire.
3. Validation Empirique Complète : Une évaluation étendue sur des tâches de contrôle en ligne (PPO, SAC), hors ligne (IQL) et des applications d'ingénierie réelles, démontrant des améliorations de l'efficacité d'échantillonnage, de la fiabilité de la convergence et du coût total d'entraînement.

4. Résultats Expérimentaux

Benchmarks de Contrôle en Ligne

SPAN a été évalué par rapport aux baselines MLP sur des tâches de contrôle classique (CartPole, Acrobot, LunarLander) et de contrôle continu MuJoCo (Hopper, InvertedPendulum, Walker2d, HalfCheetah).

• Efficacité d'Échantillonnage : SPAN a obtenu une amélioration de 30 à 50 % de l'efficacité d'échantillonnage sur les benchmarks. Par exemple, sur Hopper, SPAN a atteint 50 % de la performance de l'expert avec un taux de succès de 90 % en 475k étapes, alors que le MLP n'a atteint que 10 % de succès à 715k étapes et n'a pas réussi à résoudre la tâche à des seuils plus élevés.
• Taux de Succès : SPAN a démontré des taux de succès 1,3 à 9 fois plus élevés à travers les benchmarks. Sur Walker2d, le MLP n'a pas trouvé de solutions au-delà du seuil de 25 %, tandis que SPAN a maintenu un taux de succès de 55 % au seuil de 50 %.
• Performance "Anytime" : SPAN a montré une robustesse supérieure aux variations d'hyperparamètres et une meilleure performance aux points de contrôle d'entraînement intermédiaires.

Analyse du Coût Computationnel

Bien que SPAN incurre un surcoût d'évaluation par étape (1,2 à 1,8 fois plus lent que le MLP dû à l'évaluation des splines), sa supériorité en matière d'efficacité d'échantillonnage et de fiabilité de convergence se traduit par un coût total d'entraînement attendu plus faible.

• En tenant compte des échecs de convergence (taux de succès), le coût attendu de l'entraînement d'un MLP est 1,3 à 6,3 fois plus élevé que celui de SPAN. Par exemple, sur HalfCheetah, le coût attendu du MLP était 4,87 fois plus élevé en raison d'un faible taux de succès de 10 % au seuil de 100 %.

Apprentissage par Renforcement Hors Ligne (Offline RL)

Évalué sur le benchmark de manipulation de main Adroit Minari en utilisant IQL :

• Sur les jeux de données experts, SPAN a nettement surpassé les MLP, atteignant une amélioration de 20x sur la tâche Door (8,0 contre 0,4), 2,3x sur Hammer, et 3,3x sur Relocate.
• Sur des jeux de données de moindre qualité (Cloned, Human), les résultats ont été mitigés, suggérant que le biais de lissage de SPAN est plus efficace lorsque les données sous-jacentes présentent des politiques cohérentes et lisses.

Application Réelle : CVC de Datacenter

SPAN a été appliqué à une tâche de contrôle CVC (HVAC) de datacenter en utilisant l'environnement Sinergym (simulation EnergyPlus).

• Efficacité Énergétique : SPAN a réduit la consommation d'énergie dans 9 mois sur 12 par rapport au MLP, avec des économies allant jusqu'à 8,1 % lors des saisons intermédiaires.
• Confort Thermique : SPAN a réduit les violations de confort thermique (températures hors de la plage 18–27°C) de 1,1 à 3,4 fois sur l'année. Notamment, en août, SPAN a réduit les violations d'un facteur 12 par rapport au MLP, démontrant que la consommation d'énergie légèrement plus élevée de SPAN durant les pics de chaleur estivale est un compromis pour maintenir un confort thermique strict.

5. Signification et Revendications

L'article affirme que SPAN offre une alternative fondée sur des principes et pratiquement viable aux MLP pour le RL à ressources contraintes. Sa signification réside dans :

• Alignement du Biais Inductif : En alignant explicitement le biais inductif de l'architecture avec la continuité de Lipschitz et la lissité locale des problèmes de contrôle physique, SPAN atteint une efficacité d'apprentissage supérieure sans nécessiter de compression post-hoc.
• Fiabilité dans les Régimes Contraints : SPAN fournit une convergence plus fiable dans les contextes où les interruptions d'entraînement, les échantillons limités ou les budgets de mémoire stricts sont courants.
• Généralisation à l'Ingénierie : L'application réussie au contrôle CVC de datacenters démontre que les avantages architecturaux observés dans les benchmarks synthétiques se transfèrent aux problèmes d'ingénierie du monde réel dotés de dynamiques thermodynamiques et d'une non-stationnarité pilotée par la météo.

Les auteurs reconnaissent des limites, notant que le biais de lissage local de SPAN pourrait être moins efficace dans les environnements à récompenses éparses avec des transitions brusques de la fonction de valeur, et que la conception actuelle de type "feedforward" ne supporte pas nativement l'attention ou la récurrence. Les travaux futurs suggèrent des architectures hybrides combinant SPAN avec des Transformers pour le raisonnement temporel et des applications dans le contrôle de suspension de véhicules et l'optimisation des processus industriels.