🤖 machine learning

Decoupled Guidance Diffusion for Adaptive Offline Safe Reinforcement Learning

Este artigo apresenta o Guia de Difusão Seguro e Desacoplado (SDGD), um novo quadro de aprendizado por reforço seguro offline que combina orientação livre de condicionada por custo com o Reetiquetamento de Trajetórias Viáveis para desacoplar efetivamente as restrições de segurança da otimização de recompensa, alcançando assim conformidade de segurança superior e altos retornos em cenários de orçamento adaptativo.

Autores originais: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Publicado 2026-05-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a dirigir um carro, mas você só tem uma gravação em vídeo de como outros carros dirigiram no passado. Você não pode deixar o robô dirigir e bater para aprender; ele precisa aprender estritamente a partir daquela gravação antiga. Isso é Aprendizado por Reforço Offline.

Agora, adicione uma reviravolta: às vezes você quer que o robô seja muito cauteloso (como dirigir em uma zona escolar), e outras vezes você quer que ele seja um pouco mais agressivo (como dirigir em uma rodovia aberta). O "orçamento de segurança" muda dependendo da situação. Isso é Aprendizado por Reforço Seguro Adaptativo.

O problema é que a maioria dos métodos existentes é como um estudante tentando memorizar uma rota específica para um limite de velocidade específico. Se o limite de velocidade mudar, eles ficam confusos ou batem.

Veja como o novo método do artigo, SDGD, resolve isso, explicado através de analogias simples:

1. O Jeito Antigo: O "Passo a Passo" vs. A "Foto Borrada"

O Jeito Antigo (Modelos Autoregressivos): Imagine tentar desenhar uma estrada longa e sinuosa desenhando um pequeno segmento, depois o próximo, depois o próximo. Se você cometer um pequeno erro no primeiro segmento, o próximo segmento terá que compensar, e no final, sua estrada estará completamente fora do mapa. É assim que os planejadores de IA mais antigos funcionavam; eles cometiam pequenos erros que se acumulavam, fazendo com que o robô violasse as regras de segurança.
O Jeito Novo (Modelos de Difusão): Imagine tirar uma foto borrada e ruidosa de toda a estrada de uma só vez e, lentamente, afiá-la até que todo o caminho fique claro. É isso que a Difusão faz. Ela gera toda a jornada junto, de modo que pequenos erros não se acumulam.

2. O Problema Central: Misturar "Segurança" e "Velocidade"

No passado, a IA tentava equilibrar segurança e velocidade tratando-as como duas forças opostas puxando o robô em direções diferentes.

A Analogia: Imagine um motorista a quem é dito: "Dirija o mais rápido possível, mas não bata na parede". A IA tentaria calcular o ângulo perfeito para ir rápido e permanecer segura. Mas se a "parede" (limite de segurança) se mover, a IA fica confusa. Muitas vezes, ela tenta ir rápido e acidentalmente bate na parede porque achou que a parede estava em outro lugar.

3. A Solução SDGD: O Sistema de "Dois Treinadores"

Os autores perceberam que Segurança e Velocidade não deveriam lutar entre si; elas deveriam ter funções diferentes. Eles criaram um sistema com dois "treinadores" distintos:

Treinador 1: O Executor de Segurança (Guia Livre de Classificador)
- Função: Este treinador olha para o "Orçamento de Segurança" (por exemplo: "Você só pode gastar 10 pontos em risco hoje").
- Ação: Ele não tenta calcular o ângulo perfeito. Em vez disso, ele simplesmente diz: "Se o caminho que você está desenhando entrar na 'zona de perigo' (acima do orçamento), apague-o e redesenhe-o". Ele age como um filtro que permite que apenas caminhos seguros existam. Ele não se importa com a velocidade, apenas que você permaneça dentro das linhas.
Treinador 2: O Treinador de Velocidade (Guia por Gradiente de Recompensa)
- Função: Este treinador olha para os caminhos seguros e diz: "De todos os caminhos seguros que temos, qual leva você à linha de chegada mais rápido?"
- Ação: Ele empurra o robô em direção à rota segura mais rápida.

A Magia: Ao separar essas duas funções, o robô pode mudar instantaneamente do "Modo Zona Escolar" (orçamento de segurança apertado) para o "Modo Rodovia" (orçamento solto) apenas dizendo ao Treinador 1 para mudar as regras. Ele não precisa reaprender a dirigir.

4. A Armadilha Sorrateira: O "Rótulo de Trajetória Viável" (FTR)

Havia uma pegadinha. Mesmo com dois treinadores, o "Treinador de Velocidade" poderia ficar ganancioso.

O Problema: Às vezes, a maneira mais rápida de obter uma pontuação alta envolve assumir um risco enorme no início da viagem. Se o robô assumir esse risco, ele pode bater imediatamente, mas o "Treinador de Velocidade" vê a pontuação potencial alta e diz: "Vá em frente!"
A Correção (FTR): Os autores introduziram uma regra chamada Rótulo de Trajetória Viável.
- A Analogia: Imagine um aluno que tira um 'A' em uma prova, mas trapaceou na primeira questão. O professor (FTR) diz: "Embora você tenha tirado um 'A', como trapaceou na primeira parte, vamos marcar toda a sua prova como 'F'".
- Como funciona: O sistema olha para os primeiros passos do plano do robô. Se esses primeiros passos forem perigosos (mesmo que o restante do plano pareça ótimo), o sistema diz ao "Treinador de Velocidade": "Não dê crédito a este caminho". Isso impede que o robô tome atalhos perigosos apenas para obter uma pontuação alta.

5. Os Resultados: O Equilíbrio Perfeito

Os pesquisadores testaram isso em 38 tarefas diferentes de direção e robótica (como um carro tentando pressionar um botão ou um drone voando por um percurso).

A Pontuação: Seu método (SDGD) foi seguro o suficiente para passar nas regras em 36 de 38 tarefas.
O Desempenho: Entre todos os métodos que foram seguros, o SDGD foi o mais rápido (maior recompensa) em 21 dessas tarefas.
A Flexibilidade: Eles puderam mudar as regras de segurança enquanto o robô estava em execução, e o robô se adaptou instantaneamente sem precisar ser re-treinado.

Resumo

Pense no SDGD como um sistema de navegação inteligente que não calcula apenas a rota mais rápida.

Ele primeiro desenha um mapa que inclui apenas estradas que são legais para seu limite de velocidade atual (Treinador de Segurança).
Em seguida, ele escolhe a rota mais rápida desse mapa legal (Treinador de Velocidade).
Ele tem uma regra especial que diz: "Se a primeira curva for ilegal, toda a rota é ilegal", impedindo que o sistema tente trapacear para obter um tempo mais rápido.

Isso permite que os robôs sejam seguros e eficientes, mesmo quando as regras da estrada mudam sobre a marcha.

Resumo Técnico: Guia de Difusão Segura e Desacoplada (SDGD)

Definição do Problema
O Aprendizado por Reforço (RL) Seguro Offline visa aprender políticas a partir de conjuntos de dados pré-coletados que otimizam o desempenho da tarefa ao mesmo tempo que satisfazem restrições de segurança. Um desafio crítico surge durante a implantação, onde orçamentos de segurança (limites de custo) não são fixos; eles podem variar entre tarefas, usuários ou condições operacionais, e até mesmo mudar dinamicamente dentro de um único episódio. Os métodos existentes lutam com essa adaptabilidade. Modelos de trajetória autoregressivos sofrem com erros de rolagem acumulados, levando a desvios significativos no custo cumulativo ao longo de horizontes longos. Por outro lado, planejadores baseados em difusão, embora capazes de geração conjunta de trajetórias, frequentemente dependem de orientação por classificador ou comutação de gradientes para impor segurança. Essas abordagens exigem que classificadores de custo forneçam sinais confiáveis em trajetórias intermediárias ruidosas, uma condição que evidências empíricas sugerem ser frágil; classificadores de custo frequentemente exibem correlação baixa e instável com os custos cumulativos reais, levando a uma satisfação de restrição pouco confiável.

Metodologia
O artigo propõe o Guia de Difusão Segura e Desacoplada (SDGD), um planejador baseado em difusão que reinterpreta a geração adaptativa de trajetórias seguras como amostragem a partir de uma distribuição de trajetórias restrita. A ideia central é uma assimetria entre segurança e recompensa: a segurança atua como uma restrição rígida no suporte da trajetória (definindo onde amostrar), enquanto a recompensa atua como uma preferência que molda a distribuição dentro desse suporte (definindo quais amostras preferir). O SDGD desacopla esses papéis em dois mecanismos de orientação distintos:

Condicionamento por Limite de Custo via Guia Livre de Classificador (CFG):
Em vez de usar um classificador de custo separado para orientar o processo de difusão reversa, o SDGD treina um modelo de difusão condicionado diretamente ao limite de custo $l$ . Durante a amostragem, o Guia Livre de Classificador é aplicado para enviesar a geração em direção a trajetórias que satisfazem o limite especificado. Essa abordagem evita a instabilidade de diferenciar previsões de custo ruidosas e permite que o modelo se adapte a limites de custo variáveis ou dinâmicos sem retreinamento.
Refinamento por Gradiente de Recompensa:
Uma vez que a amostragem é enviesada para a região segura, um preditor de recompensa aprendido fornece orientação por gradiente para refinar as trajetórias visando maior retorno. No entanto, os autores observam que a orientação direta por recompensa pode inadvertidamente aumentar o custo cumulativo, pois trajetórias de alto retorno em dados offline frequentemente correlacionam-se com altos custos.
Rótulos Reatribuídos de Trajetórias Viáveis (FTR):
Para mitigar a "deriva de custo induzida por recompensa", o SDGD introduz o FTR. Essa técnica remodela os alvos de recompensa usados para treinar o preditor de recompensa. Especificamente, trajetórias que incorrem em custos no prefixo executável (os passos iniciais de uma trajetória que são executados imediatamente antes do replanejamento) são penalizados. Ao treinar o preditor de recompensa nesses alvos reatribuídos, o método desencoraja o gradiente de recompensa de direcionar amostras para regiões onde altos retornos são alcançados à custa de violações imediatas de segurança.

Análise Teórica
O artigo fornece uma análise de tempo de amostragem de primeira ordem demonstrando que o FTR suprime a deriva de custo induzida por recompensa. Sob uma "condição de alinhamento restaurador de prefixo", onde o gradiente de inviabilidade do prefixo está positivamente alinhado com o gradiente de custo cumulativo, a correção FTR introduz um termo negativo na equação de deriva de custo. Isso garante que o desvio de custo induzido pela amostragem guiada por FTR seja menor do que o da amostragem guiada por recompensa bruta em relação à linha de base condicionada ao custo.

Principais Contribuições

Arquitetura de Orientação Desacoplada: Um novo framework que separa a imposição de segurança (via CFG em limites de custo) da otimização de recompensa (via gradientes de recompensa), tratando-as como objetivos não intercambiáveis.
Rótulos Reatribuídos de Trajetórias Viáveis (FTR): Um mecanismo para remodelar alvos de recompensa para impedir que gradientes de recompensa levem a política para regiões inseguras, abordando especificamente a correlação entre alta recompensa e alto custo em dados offline.
Amostragem Adaptativa: Um método que se adapta a limites de custo no momento da implantação (incluindo mudanças dinâmicas dentro de um episódio) sem exigir retreinamento da política ou coleta de novos dados.

Resultados Experimentais
Avaliações extensas foram conduzidas no benchmark DSRL, compreendendo 38 tarefas do Safety-Gymnasium, Bullet-Safety-Gym e MetaDrive.

Conformidade de Segurança: O SDGD satisfez a restrição de custo normalizada ( $\le 1$ ) em 36 de 38 tarefas (94,7%), superando todas as linhas de base (a próxima melhor satisfez 21 tarefas).
Desempenho de Recompensa: Entre os métodos que satisfizeram as restrições de segurança, o SDGD alcançou a maior recompensa em 21 tarefas.
Adaptabilidade: Em experimentos com limites de custo variáveis (10, 20, 30) e limites variantes no tempo dentro de um episódio, o SDGD manteve a segurança enquanto ajustava o desempenho de recompensa, enquanto as linhas de base ou violaram restrições em orçamentos apertados ou permaneceram excessivamente conservadoras em orçamentos frouxos.
Eficiência: O método alcançou uma eficiência de decisão de 2,1 Hz em uma GPU NVIDIA A6000, mais rápido que métodos anteriores baseados em difusão.

Significado e Alegações
O artigo alega que o SDGD representa um passo significativo para frente no RL seguro offline adaptativo, abordando as limitações da acumulação sequencial de erros e da orientação por classificador pouco confiável. Ao reinterpretar a segurança como uma restrição distribucional em vez de um objetivo de gradiente competitivo, o SDGD alcança conformidade de segurança robusta em diversos orçamentos de custo dinâmicos. Os autores enfatizam que sua abordagem permite adaptação confiável a restrições de segurança em mudança sem retreinamento, uma capacidade essencial para domínios críticos de segurança como robótica e direção autônoma. O trabalho conclui que o desacoplamento da orientação de segurança e recompensa, combinado com o FTR, resolve efetivamente o trade-off entre satisfação de restrições e otimização de desempenho em configurações offline.