Resumo Técnico: Aprendizado por Reforço Ágil através de Arquitetura Neural Separável (SPAN)

1. Definição do Problema

O Aprendizado por Reforço Profundo (Deep RL) é cada vez mais implementado em ambientes com recursos limitados, como robótica, dispositivos de borda (edge devices) e sistemas de controle industrial. No entanto, os aproximadores de função padrão utilizados nesses cenários — Perceptrons Multicamadas (MLPs) — frequentemente exibem baixa eficiência. Os MLPs possuem uma estrutura globalmente conectada que distribui a capacidade representacional uniformemente pelo espaço de entrada, independentemente de onde a função de valor ou a política realmente variam. Esse descompasso arquitetônico com a suavidade local inerente das funções de valor de RL (que frequentemente satisfazem a continuidade de Lipschitz sob dinâmicas de MDP suaves) leva a uma alta complexidade de amostragem e convergência não confiável, particularmente quando os orçamentos de treinamento são limitados.

Embora existam técnicas de compressão de modelos, elas tipicamente operam post-hoc em modelos superparametrizados e não melhoram a eficiência intrínseca do aprendizado. Por outro via inversa, arquiteturas recentes baseadas em splines, como as Redes Kolmogorov-Arnold (KANs), oferecem eficiência de parâmetros, mas sofrem com um overhead computacional proibitivo devido às avaliações densas nas arestas, o que limita sua adoção em RL online. Existe uma necessidade de um aproximador de função que seja tanto eficiente em parâmetros quanto computacionalmente viável para aprendizado online, explicitamente alinhado com a suavidade local dos landscapes de controle.

2. Metodologia: Arquitetura SPAN

Os autores introduzem o SPAN (SPline-based Adaptive Networks), uma nova arquitetura de aproximação de função projetada para abordar essas limitações. O SPAN adapta o framework KHRONOS (previamente validado para computação científica) para as demandas específicas de RL online.

Componentes Arquiteturais Principais

1. Camada de Pré-processamento Aprendível: Diferente do KHRONOS, que assume entradas estacionárias e normalizadas em $[0, 1]^d$, os ambientes de RL fornecem observações não estacionárias e ilimitadas. O SPAN introduz uma camada de pré-processamento aprendível composta por uma camada totalmente conectada seguida por uma ativação sigmoide ($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$). Esta camada projeta observações arbitrárias para o domínio limitado exigido pela base de splines sem depender de estatísticas de lote ou limites pré-especificados. Conceitualmente, isso atua como um mapa de levantamento (lifting map) do tipo Koopman, desconectando as entradas brutas em um espaço latente onde as dinâmicas admitem uma representação separável.
2. Estrutura de Spline de Produto Tensorial Separável: O núcleo do SPAN utiliza decomposição tensorial de rank-$M$ com funções de base B-spline. Para uma entrada $\mathbf{x} \in [0, 1]^d$, a arquitetura constrói $M$ modos separáveis:
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   onde $B_i^{(k)}$ são funções de base B-spline de grau $k$, e $N_p$ é o número de funções de base por dimensão. A saída final é uma combinação linear desses modos.
3. Redução de Complexidade: Esta estrutura separável reduz a complexidade de parâmetros de exponencial $\mathcal{O}(N^d)$ (em grades de tensores completos) para linear $\mathcal{O}(M \cdot d \cdot N)$, superando efetivamente a maldição da dimensionalidade que limita abordagens de spline baseadas em grade.

Integração com Algoritmos de RL

O SPAN foi projetado para ser um substituto direto (drop-in replacement) para MLPs em frameworks padrão de ator-crítico. Os autores demonstram sua integração com:

• Soft Actor-Critic (SAC): Para controle contínuo, o SPAN gera parâmetros de política Gaussiana e funções Q gêmeas.
• Proximal Policy Optimization (PPO): Para controle discreto, o SPAN gera logits de ação e estimativas de valor.
• Implicit Q-Learning (IQL): Para RL offline, o SPAN substitui as redes de valor, função Q e política de MLPs.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Adaptação Arquitetural: A adaptação do framework KHRONOS para RL através de uma camada de pré-processamento aprendível, preenchendo a lacuna entre as entradas estacionárias assumidas por frameworks de computação científica e as observações não estacionárias de RL.
2. Fundamentação Teórica: Uma conexão formal entre a propriedade de suporte local do SPAN e a estrutura de Lipschitz das funções de valor e políticas de RL. Os autores argumentam que as funções de base do SPAN, que se ativam apenas em regiões delimitadas, alinham-se naturalmente com a propriedade de "raio de influência" dos MDPs, concentrando a capacidade representacional onde ela é necessária.
3. Validação Empírica Abrangente: Avaliação extensa em contextos online (PPO, SAC), offline (IQL) e aplicações de engenharia do mundo real, demonstrando melhorias na eficiência de amostragem, confiabilidade de convergência e custo total de treinamento.

4. Resultados Experimentais

Benchmarks de Controle Online

O SPAN foi avaliado contra baselines de MLP em tarefas de Controle Clássico (CartPole, Acrobot, LunarLander) e controle contínuo MuJoCo (Hopper, InvertedPendulum, Walker2d, HalfCheetah).

• Eficiência de Amostragem: O SPAN alcançou uma melhoria de 30–50% na eficiência de amostragem nos benchmarks. Por exemplo, no Hopper, o SPAN atingiu 50% do desempenho do especialista com uma taxa de sucesso de 90% em 475k passos, enquanto o MLP atingiu apenas 10% de sucesso em 715k passos e falhou em resolver a tarefa em limiares mais altos.
• Taxas de Sucesso: O SPAN demonstrou taxas de sucesso de 1.3–9 vezes maiores nos benchmarks. No Walker2d, o MLP falhou em encontrar soluções além do limiar de 25%, enquanto o SPAN manteve uma taxa de sucesso de 55% no limiar de 50%.
• Desempenho a Qualquer Momento (Anytime Performance): O SPAN mostrou maior robustez a variações de hiperparâmetros e melhor desempenho em checkpoints intermediários de treinamento.

Análise de Custo Computacional

Embora o SPAN incorra em um overhead de avaliação por passo (1.2–1.8 vezes mais lento que o MLP devido à avaliação da spline), sua superior eficiência de amostragem e confiabilidade de convergência resultam em um menor custo total de treinamento esperado.

• Ao considerar falhas de convergência (taxas de sucesso), o custo esperado de treinamento de um MLP é 1.3–6.3 vezes maior que o do SPAN. Por exemplo, no HalfCheetah, o custo esperado do MLP foi 4.87 vezes maior devido a uma baixa taxa de sucesso de 10% no limiar de 100%.

Aprendizado por Reforço Offline

Avaliado no benchmark de manipulação de mão Adroit Minari usando IQL:

• Em datasets de Especialista (Expert), o SPAN superou significativamente os MLPs, alcançando uma melhoria de 20x na tarefa Door (8.0 vs 0.4), 2.3x em Hammer e 3.3x em Relocate.
• Em datasets de menor qualidade (Cloned, Human), os resultados foram mistos, sugerindo que o viés de suavidade do SPAN é mais eficaz quando os dados subjacentes exibem políticas consistentes e suaves.

Aplicação no Mundo Real: HVAC de Datacenter

O SPAN foi aplicado a uma tarefa de controle de HVAC de datacenter usando o ambiente Sinergym (simulação EnergyPlus).

• Eficiência Energética: O SPAN reduziu o consumo de energia em 9 de 12 meses comparado ao MLP, com economias de até 8.1% em estações de transição (shoulder seasons).
• Conforto Térmico: O SPAN reduziu as violações de conforto térmico (temperaturas fora de 18–27°C) em 1.1–3.4 vezes ao longo do ano. Notavelmente, em agosto, o SPAN reduziu as violações por um fator de 12 em comparação ao MLP, demonstrando que o uso de energia ligeiramente maior do SPAN nos meses de pico de verão foi um compromisso para manter o rigor do conforto térmico.

5. Significância e Alegações

O artigo afirma que o SPAN oferece uma alternativa fundamentada e praticamente viável aos MLPs para RL com recursos limitados. Sua significância reside em:

• Alinhamento do Viés Indutivo: Ao alinhar explicitamente o viés indutivo da arquitetura com a continuidade de Lipschitz e a suavidade local dos problemas de controle físico, o SPAN alcança maior eficiência de aprendizado sem exigir compressão post-hoc.
• Confiabilidade em Regimes Restritos: O SPAN fornece convergência mais confiável em configurações onde interrupções de treinamento, amostras limitadas ou orçamentos de memória estritos são comuns.
• Generalização para Engenharia: A aplicação bem-sucedida ao controle de HVAC de datacenter demonstra que as vantagens arquiteturais observadas em benchmarks sintéticos transferem-se para problemas de engenharia do mundo real com dinâmicas termodinâmicas e não-estacionariedade impulsionada pelo clima.

Os autores reconhecem limitações, observando que o viés de suavidade local do SPAN pode ser menos eficaz em configurações de recompensa esparsa com transições abruptas de função de valor, e que o design atual de feedforward não suporta nativamente atenção ou recorrência. Trabalhos futuros sugerem arquiteturas híbridas combinando SPAN com Transformers para raciocínio temporal e aplicações em controle de suspensão veicular e otimização de processos industriais.