Resumo Técnico: RS-Diffuser

Definição do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas de tomada de decisão a partir de conjuntos de dados fixos sem novas interações com o ambiente, uma capacidade crítica para domínios sensíveis à segurança, como saúde e robótica, onde a exploração online é dispendiosa ou insegura. No entanto, os métodos existentes de RL offline enfrentam dois desafios principais:

1. Desvio de Distribuição (Distributional Shift): As políticas frequentemente atuam fora do suporte dos dados de comportamento, levando a estimativas de valor não confiáveis.
2. Neutralidade ao Risco: A maioria dos atuais planejadores baseados em difusão e métodos de RL offline otimiza o retorno esperado. Eles falham em modelar explicitamente o comportamento de cauda dos retornos, tornando-os suscetíveis a resultados raros, porém catastróficos. Em configurações críticas de segurança, dois comportamentos com retornos esperados semelhantes podem possuir riscos de queda drasticamente diferentes, uma distinção que os métodos padrão negligenciam.

Embora o RL Distribucional ofereça uma maneira fundamentada de modelar distribuições completas de retorno (permitindo métricas como Value-at-Risk e Conditional Value-at-Risk), os métodos offline predominantemente sensíveis ao risco baseados em arquiteturas de ator-crítico. Há uma falta de trabalhos explorando como dotar planejadores baseados em difusão com sensibilidade ao risco explícita e controlável.

Metodologia: RS-Diffuser

Os autores propõem o RS-Diffuser, um framework de planejamento de difusão offline sensível ao risco que integra a geração de trajetórias baseada em difusão com a aprendizagem de valor distribucional. O framework consiste em três componentes principais treinados em um conjunto de dados offline:

1. Planejador de Difusão de Trajetória de Estado:
   Em vez de gerar pares estado-ação diretamente, o planejador modela uma distribuição condicional sobre trajetórias de estados futuros $p_\theta(x_0 | s_t)$, onde $x_0$ representa uma sequência de estados futuros $(s_{t+1}, \dots, s_{t+H})$. Isso desacopla o planejamento de longo horizonte da geração de ações de baixo nível. O modelo é treinado usando um objetivo de denoising padrão (DDPM) para reverter a corrupção de ruído em sequências de estados.

2. Decodificador de Ação de Dinâmica Inversa:
   Um decodificador determinístico separado $f_\psi$ é treinado via regressão supervisionada para mapear transições de estado planejadas de volta para ações executáveis ($a_t = f_\psi(s_t, \hat{s}_{t+1})$). Isso permite que o modelo de difusão foque em evoluções de estado viáveis enquanto o decodificador lida com a recuperação de ações.

3. Crítico de Valor Distribucional de Monte Carlo:
   Esta é a inovação central para a sensibilidade ao risco. Ao contrário dos críticos padrão que preveem um único retorno esperado, este crítico modela a distribuição completa de retorno dos planos candidatos.

   • Treinamento: Utiliza Regressão de Quantis com supervisão de Monte Carlo (em vez de bootstrapping de Bellman) para prever $N$ quantis da distribuição de retorno $Z(x)$ para um plano ruidoso dado $x_k$, estado atual $s_t$ e passo de difusão $k$.
   • Perda (Loss): O crítico é otimizado usando a perda de Huber de Quantis para aproximar com precisão a distribuição de retorno.

Inferência Guiada pelo Risco:
A característica operacional fundamental do RS-Diffuser é sua capacidade de controlar preferências de risco durante a inferência sem retreinamento.

• Um objetivo sensível ao risco $\rho_\alpha$ (por exemplo, CVaR para aversão ao risco ou médias de cauda superior para busca de risco) é computado a partir dos quantis previstos do crítico distribucional.
• Durante o processo de denoising da difusão, um sinal de orientação é injetado. O gradiente do objetivo de risco em relação à trajetória ruidosa ($g_k = \nabla_{x_k} \rho_\alpha$) é usado para direcionar a geração para trajetórias que satisfaçam o perfil de risco desejado.
• Ao ajustar o parâmetro de risco $\alpha$ ou a escolha do funcional (CVaR vs. VaR), um único modelo treinado pode alternar perfeitamente entre comportamentos de aversão ao risco, neutralidade ao risco e busca de risco.

Principais Contribuições

O artigo descreve três contribuições principais:

1. Integração de Framework: A introdução de um framework de planejamento de difusão para RL offline que incorpora explicitamente a modelagem de valor distribucional para permitir a tomada de decisão consciente da cauda.
2. Orientação Flexível: Uma demonstração de como um crítico distribucional pode ser integrado à amostragem de difusão guiada, fornecendo controle flexível sobre as preferências de risco durante a inferência sem a necessidade de retreinar o modelo.
3. Superioridade Empírica: Evidência experimental mostrando que o RS-Diffuser supera os modelos de estado da arte existentes em benchmarks sensíveis ao risco, alcançando melhores retornos gerais e robustez em cenários de pior caso.

Resultados Experimentais

Os autores avaliaram o RS-Diffuser em dois benchmarks: Risk-Sensitive D4RL (tarefas MuJoCo com penalidades estocásticas) e Risky Robot Navigation (ambientes PointMass e Ant com zonas perigosas).

• Risk-Sensitive D4RL: O RS-Diffuser alcançou o melhor desempenho geral em conjuntos de dados Medium, Expert e Mixed para Half-Cheetah, Walker2D e Hopper. Superou tanto os baselines neutros ao risco (CQL, Diffusion-QL) quanto os baselines sensíveis ao risco (OWCPG, ORAAC, CODAC, UDAC). Notavelmente, melhorou tanto o retorno médio quanto o Conditional Value-at-Risk (CVaR$_{0.1}$), indicando desempenho superior tanto em cenários médios quanto nos de pior caso.
• Risky Robot Navigation: Nas tarefas Risky Ant e Risky PointMass, o RS-Diffuser alcançou os retornos mais altos mantendo zero ou quase zero violações de segurança. Ele equilibrou com sucesso segurança e desempenho, superando outros métodos que ou tomavam atalhos perigosos (neutros ao risco) ou falhavam em otimizar retornos efetivamente.
• Estudos de Ablação: Experimentos variando o parâmetro de risco $\alpha$ e a medida de risco (VaR vs. CVaR) confirmaram que o método permite um trade-off suave entre retorno médio e robustez. A orientação baseada em CVaR foi considerada a que oferece o melhor equilíbrio para a configuração padrão.

Significância e Alegações

O artigo afirma que o RS-Diffuser aborda uma lacuna crítica no RL offline ao permitir a sensibilidade ao risco controlável dentro do paradigma generativo de difusão. Diferente de métodos anteriores que exigem o treinamento de modelos separados para diferentes perfis de risco ou dependem de objetivos de risco fixos, o RS-Diffuser permite que um único modelo se adapte a requisitos de segurança variáveis durante a inferência.

Os autores posicionam este trabalho como um passo em direção à tomada de decisão flexível e confiável em aplicações críticas de segurança. Eles argumentam que combinar o poder expressivo dos modelos de difusão (para modelar trajetórias complexas e multimodais) com a orientação de valor distribucional (para avaliação consciente da cauda) cria um framework robusto para implantação no mundo real, onde evitar resultados catastróficos é tão importante quanto maximizar a recompensa média. Sugere-se como trabalho futuro estender esta abordagem para tarefas robóticas de maior dimensão e restrições de segurança multiobjetivo.