🤖 machine learning

Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning

Este artigo apresenta o Noisy-Space Policy Gradient (NSPG), um novo framework que possibilita o aprendizado por reforço offline eficaz com políticas de difusão ao derivar um objetivo regularizado por KL sobre latentes de difusão que otimiza utilizando estimativas de valor no espaço de ação limpo sem exigir retropropagação através do processo de denoising.

Autores originais: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Publicado 2026-09-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe um desafio persistente conhecido como aprendizado por reforço offline. Imagine um estudante tentando aprender a jogar um videogame complexo, mas a quem é proibido de tocar no controle. Ele pode apenas assistir a horas de filmagens gravadas de outros jogadores, alguns dos quais eram especialistas e outros que cometiam erros frequentes. O objetivo é aprender uma estratégia que vença com mais frequência do que as pessoas nos vídeos, sem nunca arriscar um novo movimento que possa levar a um acidente. Isso é difícil porque a IA deve aprender a partir de um conjunto fixo de dados sem a rede de segurança de tentativa e erro. Se a IA adivinhar um movimento que nunca foi visto nas gravações, ela pode falhar catastroficamente, pois não tem como saber se esse movimento é realmente bom ou apenas uma alucinação perigosa.

Para resolver isso, pesquisadores recorreram a um tipo de modelo de IA chamado política de difusão (diffusion policy). Esses modelos são excepcionalmente bons em entender padrões complexos, como as muitas maneiras diferentes de uma mão humana segurar uma ferramenta ou de um robô navegar em um labirinto. Eles funcionam começando com um palpite caótico e ruidoso e refinando-o lentamente, passo a passo, até que se torne uma ação clara e utilizável. No entanto, um problema fundamental surge ao tentar ensinar esses modelos a vencer: o modelo toma suas decisões em um espaço oculto e ruidoso, mas as recompensas que recebe são baseadas nas ações finais e limpas que ele realmente executa. É como tentar avaliar a redação de um aluno olhando para seus rascunhos bagunçados e riscados, em vez de olhar para a página final polida. O ciclo de feedback está quebrado, e a IA tem dificuldade em aprender qual de seus passos ocultos levou ao sucesso.

Uma equipe de pesquisadores agora preencheu essa lacuna com um novo método chamado Gradiente de Política de Espaço Ruidoso (Noisy-Space Policy Gradient). Em vez de tentar forçar os passos ocultos e ruidosos a corresponderem diretamente às recompensas finais, eles criaram uma nova maneira de atribuir valor a esses passos ocultos. Eles perceberam que um único palpite ruidoso não corresponde a apenas uma ação final, mas sim a uma nuvem inteira de ações possíveis que poderiam emergir dele. Ao calcular a recompensa média de todas as possíveis ações limpas que poderiam vir de um palpite ruidoso específico, eles criaram uma pontuação justa e precisa para esse palpite. Essa pontuação diz à IA exatamente quão bom é um determinado passo oculto, baseando-se nos resultados potenciais que ele pode produzir, em vez de forçá-la a se comprometer com uma única resposta final, possivelmente errada.

Os pesquisadores testaram essa abordagem em uma ampla variedade de tarefas, que variam de movimentos robóticos simples a quebra-cabeças visuais complexos. Nesses experimentos, o novo método superou consistentemente as técnicas anteriores, especialmente em cenários difíceis onde os dados eram escassos ou as tarefas exigiam longas cadeias de ações precisas. Por exemplo, em tarefas envolvendo a navegação em grandes labirintos ou a manipulação de objetos delicados, o novo método alcançou taxas de sucesso significativamente maiores do que os modelos anteriores. Provou-se particularmente eficaz em situações em que a IA tinha que escolher entre uma ação comum e segura e uma ação rara e de alta recompensa, uma escolha que frequentemente confundia os modelos antigos. Ao olhar para toda a gama de possibilidades em vez de um único caminho, a IA aprendeu a visar os resultados de alta recompensa de forma mais confiável.

Um dos aspectos mais significativos deste trabalho é como ele lida com a relação entre o processo de pensamento interno da IA e o mundo real. Métodos anteriores frequentemente tentavam avaliar os passos ocultos da IA diretamente, o que levava à confusão e instabilidade. Outros tentavam simplificar o processo de pensamento da IA para torná-lo mais fácil de avaliar, mas isso muitas vezes removia a própria complexidade que tornava a IA poderosa em primeiro lugar. A nova abordagem evita essas armadilhas ao manter a avaliação estritamente no mundo das ações reais, permitendo que a IA pense de sua maneira complexa e ruidosa. Ela atua como um tradutor, garantindo que o feedback que a IA recebe esteja sempre fundamentado na realidade, mesmo que a IA esteja aprendendo em um espaço oculto.

Os resultados sugerem que este método fornece uma base sólida para treinar sistemas avançados de IA em dados históricos. Os pesquisadores descobriram que o método permaneceu estável e eficiente, exigindo apenas um pequeno número de cálculos para estimar o valor de cada passo. Essa eficiência é crucial, pois significa que o método pode ser aplicado a problemas grandes e complexos sem se tornar lento demais para ser prático. A equipe também explorou o quão sensível o sistema era a diferentes configurações, descobrindo que ele funcionava bem em uma ampla gama de condições sem precisar de um ajuste constante e delicado. Essa robustez torna-o uma ferramenta promissora para futuras aplicações em robótica e automação, onde aprender a partir de dados passados é frequentemente a única opção.

Em última análise, este trabalho resolve uma desconexão de longa data em como a IA aprende com a experiência. Demonstra que, ao compreender adequadamente a relação entre pensamentos ocultos e ações visíveis, podemos ensinar sistemas complexos a melhorar sem nunca sair dos limites de seus dados de treinamento. O método não depende de magia ou palpites; ele se baseia em uma compreensão matemática clara de como o ruído se transforma em ação. À medida que o campo da inteligência artificial continua a evoluir, abordagens que possam aprender de forma segura e eficaz com o passado serão essenciais para construir sistemas que sejam tanto capazes quanto confiáveis. Esta nova técnica oferece um caminho principiado, transformando o processo desordenado de aprender com dados estáticos em um caminho claro para uma melhor tomada de decisão.

Resumo Técnico: Gradiente de Política em Espaço Ruidoso para Políticas de Difusão em Aprendizado por Reforço Offline

1. Definição do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas eficazes a partir de conjuntos de dados fixos sem nova interação com o ambiente. Um desafio primário neste cenário é o problema do "desvio de distribuição" (distributional shift): políticas que extrapolam além do suporte do conjunto de dados frequentemente sofrem com estimativas de valor enviesadas. Para abordar as distribuições de ações complexas e multimodais encontradas em dados offline, modelos generativos expressivos como as políticas de difusão (diffusion policies) emergiram. Estas políticas geram ações através de um processo iterativo de denoising, mapeando uma sequência de variáveis latentes ruidosas para uma ação limpa final.

No entanto, integrar políticas de difusão com RL baseado em valor introduz um descompasso estrutural fundamental:

Espaço de Otimização: A otimização da política ocorre em um espaço latente ruidoso (a sequência de variáveis $x^{(k)}$ durante o processo de denoising).
Definição de Valor: Os objetivos de aprendizado por reforço (funções de valor, vantagens, gradientes) são definidos sobre ações executadas e limpas ( $a \in \mathcal{A}$ ) que interagem com o ambiente.

As abordagens existentes para preencher essa lacuna sofrem de desvantagens significativas:

Amostragem no Espaço de Ação: Tratar modelos de difusão meramente como amostradores e reponderar ações com base em um crítico no espaço de ação ignora a orientação no espaço latente.
Backpropagation de Ponta a Ponta: Otimizar políticas retropropagando gradientes de valor através de toda a trajetória de denoising cria grafos de computação estocásticos longos, levando a sobrecarga computacional e instabilidade.
Avaliação Direta no Latente: Injetar orientação de valor diretamente em latentes ruidosos ao avaliar funções Q em variáveis intermediárias ignora o fato de que estas variáveis não são as ações que determinam as recompensas.

O artigo identifica uma lacuna na definição de uma formulação de valor que conecte a otimização no espaço latente ruidoso e os retornos no espaço de ação de maneira principada e semanticamente coerente.

2. Metodologia

Os autores propõem um framework centrado em uma Função de Valor de Ação em Espaço Ruidoso e um derivado Gradiente de Política em Espaço Ruidoso (NSPG).

2.1 Função de Valor de Ação em Espaço Ruidoso ( $Q_{noisy}$ )

A principal contribuição teórica é a definição de uma função de valor para variáveis latentes ruidosas que não atribui valor intrínseco ao ruído em si, mas sim à distribuição de ações limpas que ele induz.

Definição: Para um estado $s$ , passo de difusão $k$ , e latente ruidoso $x^{(k)}$ , a função de valor de ação no espaço ruidoso é definida como o retorno esperado no espaço de ação induzido pela política de difusão condicionada em $(s, x^{(k)}, k)$ :
$Q_{noisy}^\pi(s, x^{(k)}, k) \triangleq \mathbb{E}_{a \sim \pi(\cdot|s, x^{(k)}, k)} [Q^\pi(s, a)]$
Correção Semântica: Os autores provam que $Q_{noisy}$ é exatamente igual ao retorno descontado esperado obtido quando a política é inicializada em $(s, x^{(k)}, k)$ e executada no ambiente. Isso garante que a função de valor seja consistente com a interface do ambiente, que apenas observa ações limpas.
Semântica de Substituição (Surrogate Semantics): Para tornar o condicionamento em $x^{(k)}$ bem definido sem alterar a dinâmica de tempo reversa da política, os autores introduzem uma distribuição conjunta de substituição. Esta modela a relação entre uma ação limpa $a$ e um latente ruidoso $x^{(k)}$ via o processo de difusão direto (corrompendo uma ação limpa). Isso permite a derivação de gradientes sem alterar o mecanismo generativo da política.

2.2 Gradiente de Política em Espaço Ruidoso (NSPG)

Usando a semântica de substituição, os autores derivam uma expressão de forma fechada para o gradiente de $Q_{noisy}$ em relação ao latente ruidoso $x^{(k)}$ .

Formulação do Gradiente:
$\nabla_{x^{(k)}} Q_{noisy}^\pi(s, x^{(k)}, k) = \mathbb{E}_{a \sim \pi} \left[ A_{noisy}^\pi(s, a, x^{(k)}, k) \nabla_{x^{(k)}} \log q_k(x^{(k)} | a) \right]$
Onde:
- $A_{noisy}^\pi = Q^\pi(s, a) - Q_{noisy}^\pi(s, x^{(k)}, k)$ é a vantagem no espaço ruidoso.
- $\nabla_{x^{(k)}} \log q_k(x^{(k)} | a)$ é o score function do kernel de difusão direto.
Distinção Chave: Diferente de abordagens que mapeiam um latente ruidoso para uma única ação decodificada $\hat{a}$ e diferenciam $Q(s, \hat{a})$ , o NSPG diferencia o valor esperado sobre a distribuição de ações limpas compatíveis. Isso permite que o gradiente reforce direções no espaço ruidoso associadas a ações compatíveis de alto valor, enquanto suprime as de baixo valor, mesmo que a ação mais provável não seja a de maior valor.
Sem Backpropagation: Crucialmente, este gradiente é computado usando apenas estimativas de valor no espaço de ação de ações limpas ( $Q^\pi$ ) e o kernel de difusão direto. Ele evita a retropropagação através de toda a trajetória de denoising, melhorando significativamente a estabilidade e a eficiência.

2.3 Actor-Critic no Espaço Ruidoso (NSAC)

Os autores instanciam este framework no NSAC, um algoritmo prático de RL offline:

Crítico: Aprende uma função Q conservadora no espaço de ação ( $Q_\phi$ ) usando dados offline e um alvo de Limite Inferior de Confiança (LCB) para mitigar a superestimação e o desvio de distribuição. O crítico nunca é avaliado em latentes róticos.
Ator: Atualiza a política de difusão usando um objetivo de regressão que combina a perda de denoising padrão (behavior cloning) com um termo de orientação de valor derivado do NSPG.
- A perda do ator inclui um termo: $\lambda \cdot \epsilon_\theta^\top \nabla_{x^{(k)}} Q_{noisy}$ .
- Isso permite que a política melhore no espaço latente enquanto permanece ancorada à distribuição dos dados.

3. Principais Contribuições

Identificação do Descompasso: O artigo identifica formalmente o gap semântico entre a otimização no espaço latente ruidoso e as funções de valor no espaço de ação em RL baseado em difusão.
Formulação Teórica: Introdução de $Q_{noisy}$ , uma função de valor que atribui valor aos latentes ruidosos estritamente através da distribuição das ações limpas que eles geram, garantindo consistência semântica com o MDP.
Derivação do NSPG: Derivação de um gradiente de política que otimiza latentes ruidosos usando apenas estimativas de valor no espaço de ação de ações limpas, eliminando a necessidade de backpropagation através do processo de denoising.
Algoritmo NSAC: Desenvolvimento de um algoritmo actor-critic estável que implementa o NSPG, demonstrando que políticas de difusão expressivas podem ser treinadas efetivamente em cenários offline.

4. Resultados Experimentais

Os autores avaliam o NSAC em benchmarks D4RL baseados em estados (locomoção, AntMaze, Adroit) e tarefas baseadas em visão OGBench.

Desempenho: O NSAC alcança desempenho de estado da arte ou competitivo em diversos ambientes.
- Locomoção: Supera ou iguala métodos anteriores (ex: CQL, IQL, Diffuser) em HalfCheetah, Hopper e Walker2d. Notavelmente, alcança ganhos de ~10% no HalfCheetah medium-replay.
- AntMaze: Demonstra melhorias substanciais sobre métodos existentes, particularmente em ambientes de labirinto grandes, onde supera o baseline mais próximo (DAC) em mais de 50% de performance relativa.
- Adroit: Alcança o melhor desempenho em Pen-Cloned-v1 entre os métodos avaliados.
- Visão (OGBench): Obtém a maior pontuação agregada (271.5) em tarefas visuais, superando políticas baseadas em fluxo e o DAC.
Estudos de Ablação:
- Força de Orientação ( $\lambda$ ): O método é robusto em uma gama de forças de orientação, com valores intermediários produzindo o desempenho ideal. Orientações excessivamente agressivas degradam o desempenho ao empurrar a política para fora do suporte dos dados.
- Aproximação de Monte Carlo: A expectativa no espaço ruidoso pode ser estimada eficientemente com um pequeno número de amostras (ex: 2-4), incorrendo em overhead computacional mínimo comparado ao DAC.
- Pessimismo: O algoritmo permanece robusto através de uma ampla gama de coeficientes de pessimismo.

5. Significância e Alegações

O artigo afirma que o NSPG fornece uma base principada e eficaz para treinar políticas de difusão em RL offline. Ao resolver o descompasso entre a otimização no espaço latente e o valor no espaço de ação, o método evita a instabilidade do backpropagation de ponta a ponta e a incoerência semântica de avaliar críticos em variáveis ruidosas.

Os autores enfatem que sua abordagem:

Preserva a expressividade de políticas de difusão de múltiplos passos sem sacrificar a tratabilidade.
Oferece uma melhoria modesta, mas significativa, em estabilidade e desempenho, particularmente em cenários desafiadores, de longo horizonte e multimodais, onde a estimativa de valor e a otimização da política estão fortemente acopladas.
Sugere que o framework poderia naturalmente se estender para aprendizado online e de offline-para-online, embora isso seja deixado para trabalhos futuros.

O trabalho não pretende resolver todos os problemas de RL offline, mas aborda especificamente a integração de políticas de difusão com objetivos baseados em valor, oferecendo uma alternativa teoricamente fundamentada à amostragem heurística ou ao treinamento de ponta a ponta instável.