Resumo Técnico: RSA2C (Actor-Crítico de Núcleo Guiado por SHAP) para Aprendizado por Reforço Explicável

1. Definição do Problema

Os métodos Actor-Critic (AC) são fundamentais para o Aprendizado por Reforço (RL), mas sofrem de interpretabilidade limitada. As arquiteturas AC padrão tratam as características do estado de forma igualitária, falhando em revelar os impactos heterogêneos das dimensões individuais do estado sobre a recompensa. Embora existam métodos de XRL (Aprendizado por Reforço Explicável) existentes, eles são predominantemente post-hoc (analisando uma política treinada sem alterar o treinamento) ou intrínsecos, porém de granularidade grosseira (ex: árvores de decisão ou políticas simbólicas). Crucialmente, poucos métodos fornecem atribuições ao nível da dimensão que possam ser integradas diretamente no loop de aprendizado para guiar as atualizações da política.

Além disso, integrar mecanismos de atribuição em AC apresenta dois desafios fundamentais:

1. Confiabilidade da Atribuição: Usar atribuições para modificar a forma funcional do Crítico pode violar a aproximação de função compatível e interromper as propriedades de contração do operador de Bellman, especialmente quando o dicionário de núcleos subjacente evolui.
2. Estabilidade de Otimização: Os estados de RL são frequentemente perturbados por ruído, dinâmicas estocásticas e mudanças distributivas. Métodos sensíveis à atribuição são vulneráveis a correlações espúrias, a menos que sejam cuidadosamente regularizados, pois a instabilidade nos valores de atribuição pode amplificar erros de aproximação e levar a dinâmicas de aprendizado frágeis.

A questão central de pesquisa é como projetar um algoritmo AC eficiente e provável que compute atribuições de estado online enquanto mantém a estabilidade sob perturbações de estado.

2. Metodologia: RSA2C

Os autores propõem o RSA2C (RKHS-SHAP-based Advanced Actor-Critic), um algoritmo AC de duas escalas de tempo (two-timescale) orientado por atribuição. O RSA2C integra atribuições de estado diretamente no processo de aprendizado via um núcleo de valor de operador (operator-valued kernel) ponderado por Mahalanobis.

2.1. Arquitetura

O RSA2C consiste em três componentes instanciados em Espaços de Hilbert de Núcleo Reproduzível (RKHS), controlados por dicionários esparsos mantidos via o método de Dependência Linear Aproximada (ALD):

• Advanced Actor: Instanciado em um RKHS de valor vetorial usando um Núcleo de Valor de Operador (OVK). O núcleo é um kernel Gaussiano ponderado por Mahalanobis, $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$, onde a matriz de peso $W = \text{diag}(\tilde{\phi})$ é ajustada dinamicamente com base nas atribuições de características de estado ($\phi_i$). Isso permite que a política reajuste adaptativamente os pesos das dimensões do estado com base em sua importância.
• Value Critic: Reside em um RKHS escalar com seu próprio dicionário. Ele estima a função de valor $V(s)$ usando aprendizado de Diferença Temporal (TD). Crucialmente, o Value Critic não é reponderado pelos escores SHAP para evitar dependências circulares e garantir uma base estável para o cálculo de atribuição.
• Advantage Critic: Reside em um RKHS escalar compartilhando o dicionário do Actor. Ele utiliza "características compatíveis" (alinhadas com $\nabla \log \pi$) para estimar a função de vantagem $A(s, a)$, garantindo gradientes de política de baixa variância.

2.2. Integração RKHS-SHAP

Em vez de usar amostragem de Monte Carlo (que é computacionalmente cara), o RSA2C calcula os valores SHAP analiticamente usando Embeddings de Média de Núcleo (KME) e Embeddings de Média Condicional (CME) dentro do framework RKHS:

• On-manifold (Observacional): Usa KME para tirar a média sobre a distribuição empírica do estado, garantindo que as atribuições reflitam configurações consistentes com o ambiente.
• Off-manifold (Intervencional): Usa CME para condicionar em subconjuntos de dimensões enquanto respeita a geometria dos dados, sondando coalizões de características sem gerar estados inválidos.

Essas atribuições SHAP calculadas são convertidas em pesos de portão Mahalanobis (Mahalanobis-gated weights). Esses pesos modulam as atualizações de gradiente do Actor e os alvos do Advantage Critic, injetando efetivamente sinais de importância de nível de dimensão diretamente nas dinâmicas de otimização.

2.3. Mecanismo de Duas Escalas de Tempo (Two-Timescale)

O RSA2C opera em duas escalas de tempo:

• Escala de tempo rápida: O Value Critic atualiza rapidamente para fornecer estimativas de valor estáveis e atribuições SHAP.
• Escala de tempo lenta: O Actor e o Advantage Critic atualizam mais lentamente, utilizando as atribuições estáveis do Crítico para guiar melhorias de política.

3. Principais Contribuições

1. Actor-Crítico de Núcleo de Duas Escalas de Tempo: A introdução do RSA2C, que incorpora um Actor e dois Críticos em RKHS. Ele injeta de forma única a importância adaptativa das características de estado via RKHS-SHAP em um OVK ponderado por Mahalanobis, modelando políticas de valor vetorial enquanto codifica correlações entre dimensões de estado. O uso de dicionários esparsos garante complexidade computacional linear em relação ao tamanho do dicionário, tornando-o adequado para RL online.
2. Atribuição de Estado para Sinal de Aprendizado: O método calcula o SHAP a partir do Value Critic através de duas rotas (KME para expectativas on-manifold e CME para expectativas off-manifold). Esses sinais são controlados por portões (gated) e injetados no Actor e no Advantage Critic, alcançando tanto eficiência quanto interpretabilidade intrínseca sem depender apenas de explicações post-hoc.
3. Convergência Global Não-Assintótica: Os autores derivam um limite de convergência global para o RSA2C sob perturbações de estado. O gap de aprendizado é decomposto em um erro de perturbação (quantificando a estabilidade contra ruído) e um erro de convergência (quantificando a eficiência). O erro de perturbação é ainda dividido em termos de indução de atribuição e de aprendizado de política, demonstrando a robustez do algoritmo.
4. Validação Empírica: Simulações extensas em três ambientes de controle contínuo (Pendulum-v1, BipedalWalker-v3, Ant-v5) demonstram que o RSA2C alcança retornos competitivos com significativamente menor sobrecarga computacional (FLOPs) em comparação com baselines de deep RL (SAC, PPO), mantendo simultaneamente estabilidade superior sob perturbações de estado e fornecendo atribuições de características interpretáveis.

4. Resultados

• Eficiência: Em tarefas de controle contínuo, variantes do RSA2C (KME e CME) convergem para retornos mais altos do que as ablações (Advanced AC sem SHAP, SHAP Uniform) e o RKHS-AC tradicional. Embora métodos de deep RL como o SAC possam alcançar retornos assintóticos mais altos em tarefas de alta dimensão (ex: Ant-v5), o RSA2C alcança desempenho comparável ou superior em tarefas de menor dimensão com significativamente menos FLOPs e tempo de execução, particularmente em CPU.
• Estabilidade: Sob perturbações de estado (ruído de média zero com variância crescente), as variantes do RSA2C exibem o desempenho mais estável entre os métodos baseados em RKHS. Seus retornos médios degradam apenas levemente conforme o ruído aumenta, enquanto métodos sem atribuições aprendidas (Advanced AC, RKHS-AC) sofrem quedas significativas de desempenho. O RSA2C também supera os baselines de deep RL em estabilidade; por exemplo, o desempenho do PPO degrada severamente sob alto ruído, enquanto o RSA2C permanece robusto.
• Interpretabilidade: A visualização via gráficos beeswarm e mapas de calor confirma que o RSA2C captura contribuições de características significativas alinhadas com a dinâmica física (ex: distinguindo entre ângulo, velocidade angular e torque na tarefa Pendulum). O RSA2C-CME, que modela dependências condicionais, produz atribuições mais equilibradas e temporalmente adaptativas em comparação ao RSA2C-KME.

5. Significância e Alegações

O artigo afirma que o RSA2C fornece um mecanismo principiado para transformar a importância da característica de estado em uma distância de Mahalanobis em um OVK-baseado, aumentando assim o aprendizado eficiente em amostras com interpretabilidade intrínseca.

• Garantia Teórica: O trabalho estabelece uma garantia de convergência global não-assintótica sob perturbações de estado, uma contribuição significativa, já que garantias não-assintóticas para AC com reforço de RKHS de duas escalas de tempo eram anteriormente uma lacuna aberta.
• Robustez: O método demonstra que as atribuições de características aprendidas são críticas para estabilizar as atualizações de rede contra distúrbios estocásticos, superando baselines de pesos fixos ou de não-atribuição.
• Limitações: Os autores reconhecem modestamente que a escalabilidade das representações baseadas em RKHS é limitada em tarefas de controle contínuo de alta dimensão (ex: Ant-v5 com estados de 105D), onde a capacidade de representação de RKHS lineares com kernels RBF pode se tornar um gargalo em comparação com redes neurais profundas. Adicionalmente, a pegada de memória cresce com a complexidade da tarefa e os horizontes de treinamento.

Em resumo, o RSA2C preenche a lacuna entre o alto desempenho de RL e a explicabilidade ao integrar atribuições SHAP de nível de dimensão diretamente no loop de aprendizado de núcleo, oferecendo uma abordagem estável, eficiente e teoricamente fundamentada para controle contínuo.