Resumen Técnico: Aprendizaje por Refuerzo Ágil mediante Arquitectura Neuronal Separable (SPAN)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Profundo (RL) se despliega cada vez más en entornos con recursos limitados, como la robótica, los dispositivos de borde (edge devices) y los sistemas de control industrial. Sin embargo, los aproximadores de funciones estándar utilizados en estos entornos —los Perceptrones Multicapa (MLP)— suelen exhibir una eficiencia deficiente. Los MLP poseen una estructura globalmente conectada que distribuye la capacidad de representación de manera uniforme en todo el espacio de entrada, independientemente de dónde varían realmente la función de valor o la política. Este desajuste arquitectónico con la suavidad local inherente de las funciones de valor de RL (que a menudo satisfacen la continuidad Lipschitz bajo dinámicas de MDP suaves) conduce a una alta complejidad de muestreo y una convergencia poco fiable, particularmente cuando los presupuestos de entrenamiento son limitados.

Si bien existen técnicas de compresión de modelos, estas suelen operar post-hoc sobre modelos sobreparametrizados y no mejoran la eficiencia de aprendizaje intrínseca. Por el contrario, las arquitecturas recientes basadas en splines, como las Redes Kolmogorov-Arnold (KAN), ofrecen eficiencia de parámetros pero sufren una sobrecarga computacional prohibitiva debido a las evaluaciones densas en los bordes, lo que limita su adopción en RL en línea. Existe la necesidad de un aproximador de funciones que sea tanto eficiente en parámetros como computacionalmente viable para el aprendizaje en línea, alineado explícitamente con la suavidad local de los paisajes de control.

2. Metodología: Arquitectura SPAN

Los autores presentan SPAN (Redes Adaptativas basadas en Splines), una novedosa arquitectura de aproximación de funciones diseñada para abordar estas limitaciones. SPAN adapta el marco de trabajo KHRONOS (previamente validado para la computación científica) a las demandas específicas del RL en línea.

Componentes Arquitectónicos Principales

1. Capa de Preprocesamiento Aprendible: A diferencia de KHRONOS, que asume entradas estacionarias y normalizadas en $[0, 1]^d$, los entornos de RL proporcionan observaciones no estacionarias y no acotadas. SPAN introduce una capa de preprocesamiento aprendible que consiste en una capa totalmente conectada seguida de una activación sigmoide ($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$). Esta capa proyecta observaciones arbitrarias al dominio acotado requerido por la base de splines sin depender de estadísticas de lote (batch) o límites preespecificados. Conceptualmente, esto actúa como un mapa de elevación tipo Koopman aprendido, que desentrelaza las entradas puras en un espacio latente donde las dinámicas admiten una representación separable.
2. Estructura de Spline de Producto Tensorial Separable: El núcleo de SPAN utiliza la descomposición tensorial de rango-$M$ con funciones de base B-spline. Para una entrada $\mathbf{x} \in [0, 1]^d$, la arquitectura construye $M$ modos separables:
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   donde $B_i^{(k)}$ son funciones de base B-spline de grado $k$, y $N_p$ es el número de funciones de base por dimensión. La salida final es una combinación lineal de estos modos.
3. Reducción de Complejidad: Esta estructura separable reduce la complejidad de parámetros de exponencial $\mathcal{O}(N^d)$ (en rejillas tensoriales completas) a lineal $\mathcal{O}(M \cdot d \cdot N)$, superando eficazmente la maldición de la dimensionalidad que limita los enfoques de spline basados en rejilla.

Integración con Algoritmos de RL

SPAN está diseñado como un reemplazo directo (drop-in replacement) para los MLP en marcos de actor-crítico estándar. Los autores demuestran su integración con:

• Soft Actor-Critic (SAC): Para control continuo, SPAN genera los parámetros de la política Gaussiana y las funciones Q dobles.
• Proximal Policy Optimization (PPO): Para control discreto, SPAN genera los logitos de acción y las estimaciones de valor.
• Implicit Q-Learning (IQL): Para RL fuera de línea (offline), SPAN reemplaza a los MLP en las redes de valor, de función Q y de política.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Adaptación Arquitectónica: La adaptación del marco KHRONOS al RL mediante una capa de preprocesamiento aprendible, cerrando la breancia entre las entradas estacionarias asumidas por los marcos de computación científica y las observaciones no estacionarias del RL.
2. Fundamentación Teórica: Una conexión formal entre la propiedad de soporte local de SPAN y la estructura Lipschitz de las políticas y funciones de valor de RL. Los autores argumentan que las funciones de base de SPAN, que se activan solo en regiones acotadas, se alinean naturalmente con la propiedad de "radio de influencia" de los MDP, concentrando la capacidad de representación donde es necesaria.
3. Validación Empírica Exhaustiva: Evaluación extensa en entornos en línea (PPO, SAC), fuera de línea (IQL) y aplicaciones de ingeniería del mundo real, demostrando mejoras en la eficiencia de muestreo, la fiabilidad de la convergencia y el costo total de entrenamiento.

4. Resultados Experimentales

Benchmarks de Control en Línea

SPAN fue evaluado frente a bases de comparación MLP en tareas de control clásico (CartPole, Acrobot, LunarLander) y control continuo de MuJoCo (Hopper, InvertedPendulum, Walker2d, HalfCheetah).

• Eficiencia de Muestreo: SPAN logró una mejora del 30–50% en la eficiencia de muestreo en los benchmarks. Por ejemplo, en Hopper, SPAN alcanzó el 50% del rendimiento experto con una tasa de éxito del 90% en 475k pasos, mientras que el MLP solo alcanzó un 10% de éxito en 715k pasos y falló en resolver la tarea en umbrales superiores.
• Tasas de Éxito: SPAN demostró tasas de éxito de 1.3 a 9 veces mayores en los benchmarks. En Walker2d, el MLP no logró encontrar soluciones más allá del umbral del 25%, mientras que SPAN mantuvo una tasa de éxito del 55% en el umbral del 50%.
• Rendimiento en Cualquier Momento (Anytime Performance): SPAN mostró una mayor robustez ante variaciones de hiperparámetros y un mejor rendimiento en puntos de control intermedios de entrenamiento.

Análisis de Costo Computacional

Aunque SPAN incurre en una sobrecarga de evaluación por paso (1.2–1.8 veces más lento que el MLP debido a la evaluación de splines), su eficiencia de muestreo y fiabilidad de convergencia superiores resultan en un costo total de entrenamiento esperado más bajo.

• Al contabilizar los fallos de convergencia (tasas de éxito), el costo esperado de entrenar un MLP es de 1.3 a 6.3 veces mayor que el de SPAN. Por ejemplo, en HalfCheetah, el costo esperado del MLP fue 4.87 veces mayor debido a una baja tasa de éxito del 10% en el umbral del 100%.

Aprendizaje por Refuerzo Fuera de Línea (Offline)

Evaluado en el benchmark de manipulación de mano Adroit de Minari utilizando IQL:

• En conjuntos de datos expertos, SPAN superó significativamente a los MLP, logrando una mejora de 20x en la tarea Door (8.0 vs 0.4), 2.3x en Hammer y 3.3x en Relocate.
• En conjuntos de datos de menor calidad (Cloned, Human), los resultados fueron mixtos, lo que sugiere que el sesgo de suavidad de SPAN es más efectivo cuando los datos subyacentes exhiben políticas consistentes y suaves.

Aplicación en el Mundo Real: HVAC de Centros de Datos

SPAN se aplicó a una tarea de control de HVAC de un centro de datos utilizando el entorno Sinergym (simulación de EnergyPlus).

• Eficiencia Energética: SPAN redujo el consumo de energía en 9 de 12 meses en comparación con el MLP, con ahorros de hasta un 8.1% en estaciones intermedias.
• Confort Térmico: SPAN redujo las violaciones de confort térmico (temperaturas fuera del rango 18–27°C) en un factor de 1.1–3.4 veces durante el año. Notablemente, en agosto, SPAN redujo las violaciones por un factor de 12 en comparación con el MLP, demostrando que el mayor uso de energía de SPAN en los meses pico de verano fue un intercambio para mantener un estricto confort térmico.

5. Significación y Reivindicaciones

El artículo afirma que SPAN ofrece una alternativa con principios y prácticamente viable para los MLP en el RL con recursos limitados. Su importancia radica en:

• Alineación del Sesgo Inductivo: Al alinear explícitamente el sesgo inductivo de la arquitectura con la continuidad Lipschitz y la suavidad local de los problemas de control físico, SPAN logra una mayor eficiencia de aprendizaje sin requerir compresión post-hoc.
• Fiabilidad en Regímenes Restringidos: SPAN proporciona una convergencia más fiable en entornos donde las interrupciones del entrenamiento, las muestras limitadas o los presupuestos estrictos de memoria son comunes.
• Generalización a la Ingeniería: La aplicación exitosa al control de HVAC de centros de datos demuestra que las ventajas arquitectónicas observadas en los benchmarks sintéticos se transfieren a problemas de ingeniería del mundo real con dinámicas termodinámicas y no estacionariedad impulsada por el clima.

Los autores reconocen las limitaciones, señalando que el sesgo de suavidad local de SPAN puede ser menos efectivo en entornos de recompensa dispersa con transiciones bruscas de la función de valor, y que el diseño actual de alimentación hacia adelante (feedforward) no soporta nativamente la atención o la recurrencia. El trabajo futuro sugiere arquitecturas híbridas que combinen SPAN con Transformers para el razonamiento temporal y aplicaciones en el control de suspensión de vehículos y optimización de procesos industriales.