Confounding Robust Continuous Control via Automatic Reward Shaping

Resumo Técnico: Controle Contínuo Robusto a Confundidores via Modelagem Automática de Recompensa

1. O Problema: Confundimento em Aprendizado por Reforço Offline

O aprendizado por reforço (RL) em ambientes de controle contínuo (como robótica) enfrenta um desafio crítico quando utiliza dados offline. Frequentemente, os dados de treinamento são coletados por políticas comportamentais que possuem acesso a informações sensoriais mais completas do que o agente que será treinado online (ex: um robô operando com sensores limitados tentando aprender com dados de um sistema com sensores de alta precisão).

Essa discrepância cria confundidores não observados ($U$). Na prática, as ações e recompensas nos dados offline são influenciadas por variáveis que o agente online não consegue ver. Isso viola a premissa de "Não-Confundimento" (NUC), tornando a estimativa dos valores de estado enviesada e impedindo que o agente aprenda uma política ótima, mesmo com grandes volumes de dados.

2. Metodologia Proposta

Os autores propõem uma abordagem de Modelagem de Recompensa Baseada em Potencial (PBRS) que utiliza a inferência causal para mitigar o viés. A metodologia divide-se em duas etapas principais:

A. Aprendizado de Potenciais de Estado Otimistas (Pré-treino Offline):
Em vez de tentar estimar o valor exato (que é impossível sem observar os confundidores), os autores derivam uma nova Equação de Bellman Causal para Processos de Decisão de Markov Confundidos (CMDP).

• A Equação de Bellman Causal: Esta equação introduz um termo de compensação que representa o "melhor retorno possível das ações não selecionadas" (o caminho não tomado). Isso permite calcular um limite superior (upper bound) robusto para os valores de estado intervencionais.
• Implementação Neural: Como o espaço é contínuo, eles utilizam redes neurais para aproximar essa equação, utilizando o reparameterization trick para lidar com a densidade de probabilidade das ações e das transições de estado.

B. Ajuste Fino Online com Reward Shaping (Fine-tuning):
Os limites superiores de valor aprendidos na etapa offline são utilizados como funções de potencial ($\phi$) dentro do framework PBRS.

• A recompensa original ($y$) é modificada para $y' = y + \gamma\phi(s') - \phi(s)$.
• Propriedade de Invariância: O uso de PBRS garante que a política ótima no ambiente com recompensa moldada seja a mesma do ambiente original, evitando que o agente aprenda comportamentos indesejados devido ao shaping.
• O agente utiliza o algoritmo Soft Actor-Critic (SAC) para o aprendizado online, beneficiando-se dos sinais de recompensa moldados para uma exploração mais informada.

3. Principais Contribuições

1. Teoria Causal para RL Contínuo: Derivação da Equação de Bellman Causal para CMDPs de horizonte infinito estacionários.
2. Algoritmo de Aprendizado Neural: Desenvolvimento de um método para aproximar limites superiores de valor em espaços de estados e ações de alta dimensão e contínuos.
3. Framework de Robustez: Uma solução prática que permite transferir conhecimento de dados "contaminados" (enviesados por confundidores) para agentes online com sensores limitados.

4. Resultados Experimentais

O método foi testado em ambientes complexos de controle contínuo (MuJoCo e Adroit) sob condições de observação parcial (máscara de dimensões do estado).

• Desempenho Superior: O método proposto (Causal PBRS) superou consistentemente as linhas de base, incluindo o SAC padrão (sem shaping), o CQL (aprendizado conservador) e o T-REX (aprendizado por imitação inversa).
• Recuperação de Performance: Em cenários onde a remoção de uma dimensão do estado (como a velocidade de um robô) causava uma queda drástica de performance, o Causal PBRS conseguiu recuperar grande parte do desempenho original.
• Robustez à Qualidade dos Dados: O método mostrou-se eficaz mesmo quando os dados offline vinham de especialistas, agentes médios ou agentes simples, demonstrando que o limite superior causal é uma métrica de guia robusta.

5. Significância

Este trabalho representa um passo fundamental para tornar o aprendizado por reforço mais confiável e seguro para o mundo real. Ele resolve o problema de "desconexão sensorial" entre o treinamento e a operação, permitindo que robôs aprendam de forma eficiente a partir de bases de dados históricas, mesmo que essas bases tenham sido geradas por sistemas com capacidades sensoriais superiores ou diferentes das do robô final.