🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

Este artigo propõe um framework leve chamado Conservative Query and Adaptive Regularization under Uncertainty Estimation, que utiliza uma rede Morse para estimar a incerteza da ação para guiar consultas de preferência informativas e ajustar dinamicamente as restrições de nível de dados, aumentando assim o desempenho de aprendizado por reforço offline no benchmark D4RL.

Autores originais: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a andar, mas não pode deixá-lo praticar no mundo real. Talvez seja muito caro, perigoso demais ou o robô possa quebrar algo. Em vez disso, você dá ao robô uma biblioteca gigante de vídeos de outra pessoa andando. Este é o mundo do Aprendizado por Reforço Offline (Offline Reinforcement Learning). O robô tem que aprender uma estratégia apenas assistindo a esses vídeos antigos, sem nunca dar um passo por conta própria. A parte difícil é que o robô pode tentar copiar um movimento que viu no vídeo, mas se ele tentar fazer algo ligeiramente diferente do que estava na biblioteca, pode ficar confuso ou cair. Isso é chamado de problema de "desvio de distribuição" (distribution shift): o robô está adivinhando sobre coisas que não viu antes.

Para tornar o robô mais inteligente, os cientistas às vezes permitem que ele peça ajuda a um especialista humano. Imagine que o robô diz: "Devo dar um passo para a esquerda ou para a direita?" e o especialista diz: "Esquerda é melhor". Isso é chamado de consulta de preferência de ação (action preference query). É como receber uma dica sem ter que ir lá fora tentar o movimento você mesmo. No entanto, há um porém: se o robô perguntar sobre um movimento que é estranho demais ou muito distante do que ele viu no vídeo, o conselho do especialista pode, na verdade, confundir a matemática interna do robô, fazendo com que ele aprenda a coisa errada. A grande questão é: como pedir o tipo certo de ajuda sem colocar o robô em apuros?

Este artigo apresenta um novo sistema inteligente chamado CQ2L (Conservative Query Q-Learning) para resolver exatamente esse problema. Os autores, Li-Rong Zhou, Qin-Wen Luo e Sheng-Jun Huang, da Universidade de Aeronáutica e Astronáutica de Nanjing, perceberam que os métodos anteriores eram um pouco imprudentes. Eles pediam conselhos sobre qualquer movimento que o robô pensasse, mesmo que esse movimento fosse totalmente estranho aos vídeos de treinamento. Isso frequentemente levava o robô a ficar "bêbado" de bons conselhos e tropeçar.

Os autores propõem uma rede de segurança de duas partes para corrigir isso. Primeiro, eles usam uma ferramenta especial chamada rede neural Morse. Pense nisso como um "detector de estranheza". Antes de o robô pedir ajuda, esse detector verifica: "Este novo movimento é algo que já vimos antes ou é totalmente alienígena?" Se o movimento for muito alienígena (fora da distribuição), o sistema diz: "Não, não pergunte sobre esse; é arriscado demais". Ele só permite que o robô pergunte sobre movimentos que sejam próximos aos que estão na biblioteca de vídeos. Esta é a Consulta Conservadora (Conservative Query).

Segundo, mesmo quando o robô recebe um bom conselho, o sistema precisa saber o quanto deve ouvi-lo. Os autores criaram um sistema de Regularização Adaptativa. Imagine que o robô tem um botão de volume para o conselho do especialista. Se o robô estiver fazendo algo muito familiar (seguro), o volume é abaixado porque o robô pode aprender muito bem apenas com os dados do vídeo. Mas se o robô estiver tentando algo ligeiramente novo, mas ainda assim seguro, o volume é aumentado para deixar o conselho do especialista guiá-lo. Se o robô tentar algo perigoso, o sistema aumenta o volume ao máximo para forçá-lo de volta à segurança. Esse ajuste dinâmico evita que o robô seja muito teimoso ou facilmente influenciável.

Os pesquisadores testaram essa ideia em um benchmark famoso chamado D4RL, que inclui tarefas como fazer um guepardo virtual correr ou uma formiga navegar em um labirinto. Eles compararam o método deles com outros algoritmos de ponta. Os resultados mostraram que sua abordagem de "perguntas inteligentes" funcionou melhor do que o aprendizado offline padrão. Na verdade, teve um desempenho tão bom quanto, ou às vezes até melhor do que, métodos que foram permitidos praticar no mundo real por um longo tempo, mas eles o fizeram com muito menos "perguntas" (apenas 90.000 consultas de preferência em comparação com 250.000 passos de prática no mundo real para outros métodos).

O artigo argumenta explicitamente contra a antiga maneira de apenas pedir conselhos sobre qualquer movimento aleatório, mostrando que isso leva a um aprendizado instável e resultados ruins. Eles sugerem que, ao ser cuidadoso sobre o que você pergunta e como você ouve, você pode obter o melhor dos dois mundos: a segurança de aprender de uma biblioteca estática e o impulso da orientação de um especialista, sem o risco de o robô bater. Seus experimentos no benchmark D4RL sugerem que esta abordagem é uma maneira sólida e confiável de tornar o aprendizado offline mais inteligente e seguro.

Resumo Técnico: Consulta Conservadora e Regularização Adaptativa para RL Offline sob Estimativa de Incerteza

1. Definição do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas eficazes a partir de conjuntos de dados estáticos sem novas interações com o ambiente. No entanto, o desempenho é fundamentalmente limitado pela cobertura do conjunto de dados. Um desafio primário é o desvio de distribuição (distribution shift), onde a política aprendida seleciona ações fora da distribuição (OOD - out-of-distribution), levando a estimativas de valor imprecisas e propagação de erro.

Embora mecanismos de consulta de preferência de ação (action preference query) ofereçam uma forma de melhorar as políticas usando o feedback de um especialista (comparando pares de ações) sem interação online, os métodos existentes (ex: OAP [41]) enfrentam duas limitações críticas:

Desvio de Consulta (Query Shift): Estratégias existentes selecionam ações consultadas baseando-se apenas na distância euclidiana em relação ao conjunto de dados. Isso pode resultar na seleção de ações muito fora da distribuição dos dados (OOD). Em métodos de regularização de valor, isso induz uma estimativa de valor imprecisa e atualizações de política instáveis, pois o termo de regularização pode elevar erroneamente os valores Q de ações OOD.
Exploração Ineficiente: Abordagens atuais tratam as preferências consultadas como restrições estáticas durante todo o treinamento. Elas falham em ajustar dinamicamente a dependência dessas preferências conforme a política melhora, muitas vezes aplicando restrições desnecessárias a ações confiáveis ou falhando em aproveitar o potencial otimista das atualizações de Bellman para ações dentro da distribuição.

2. Metodologia

Os autores propõem um framework leve que integra Consulta Conservadora e Regularização Adaptativa sob Estimativa de Incerteza. Os componentes principais são:

A. Estimativa de Incerteza via Redes Neurais Morse
O método emprega uma Rede Neural Morse [10, 4, 45, 33] como um estimador de incerteza pré-treinado.

Treinamento: A rede é treinada no conjunto de dados offline $D$ para produzir um "escore Morse" $M_\phi(s, a) \in [0, 1]$ . Um escore de 1 indica que a ação reside na subvariedade de modo da distribuição de dados, enquanto escores menores indicam desvio (maior incerteza/grau de OOD).
Mecanismo: A rede minimiza a divergência KL entre a distribuição de dados e a saída da rede, quantificando efetivamente a certeza de que um par estado-ação se origina do conjunto de dados offline.

B. Consulta Conservadora Impulsionada por Incerteza
Para evitar o desvio de consulta, o framework filtra ações candidatas antes de consultar um oráculo (ex: a função Q de uma política mais forte).

Estratégia de Seleção: Em vez de uma seleção simples baseada em distância, o método classifica as ações candidatas pelo seu desvio em relação ao conjunto de dados, mas as filtra usando um limiar consciente do conjunto de dados $\delta = \mu - n\sigma$ (onde $\mu$ e $\sigma$ são a média e o desvio padrão dos escores Morse no conjunto de dados).
Restrição: Apenas ações com $M_\phi(s, \hat{a}) > \delta$ são retidas para a consulta de preferência. Isso garante que as ações consultadas permaneçam próximas à distribuição do conjunto de dados, preservando a estabilidade das atualizações de Bellman e evitando a superestimação de valores OOD.

C. Regularização Adaptativa Consciente da Incerteza
Para utilizar efetivamente a informação de preferência, o método substitui coeficientes de regularização fixos por coeficientes dependentes de dados.

Modulação Dinâmica: A força da regularização $\alpha(s, a)$ $α (s, a)$ é ajustada dinamicamente com base no escore Morse da ação da política atual.
- Alta Confiança In-Distribution: Se uma ação está próxima do conjunto de dados (alto escore Morse), a força da regularização é reduzida (aproximando-se de 0), permitindo que a política se beneficie totalmente das atualizações otimistas de Bellman.
- Baixa Confiança In-Distribution: Se uma ação é OOD (baixo escore Morse), uma regularização mais forte é aplicada para guiar a política de volta à distribuição do conjunto de dados.
Escalonamento Não Linear: Para garantir poder discriminativo (já que o escalonamento linear frequentemente resulta em restrições fracas), uma função de escalonamento não linear é introduzida para modular a força da regularização com base na distribuição dos escores Morse.

D. Integração com CQL
O framework é integrado ao Conservative Q-Learning (CQL), um algoritmo representativo de regularização de valor. O algoritmo resultante, Conservative Query Q-Learning (CQ2L), modifica o objetivo do CQL para incluir o termo de regularização adaptativa e atualiza as ações preferidas $\tilde{a}$ com base no mecanismo de consulta conservadora.

3. Principais Contribuições

Estimativa de Incerteza Baseada em Morse: A introdução de Redes Neurais Morse para quantificar o grau de OOD de ações candidatas em relação ao conjunto de dados offline, servindo como base tanto para a consulta quanto para a regularização.
Consulta Conservadora Impulsionada por Incerteza: Um mecanismo que filtra candidatos de consulta para garantir que permaneçam dentro da distribuição do conjunto de dados, mitigando o desvio de consulta e estabilizando a estimativa de valor em frameworks de regularização de valor.
Regularização Adaptativa Consciente da Incerteza: Um mecanismo de restrição dinâmica que equilibra a regularização pessimista com as atualizações otimistas de Bellman com base na confiabilidade das ações da política atual, evitando restrições ineficazes em ações in-distribution.
Extensão para Regularização de Valor: Extensão bem-sucedida do paradigma de consulta de preferência de ação de métodos de restrição de política para métodos de regularização de valor (especificamente CQL), um domínio onde métodos de consulta anteriores enfrentavam dificuldades.

4. Resultados Experimentais

O método foi avaliado no benchmark D4RL, cobrindo tarefas de locomoção MuJoCo e navegação AntMaze.

Desempenho Offline: O CQ2L alcançou desempenho superior ou competitivo em comparação com baselines de estado da arte de RL offline (incluindo AWAC, IQL, CQL, TD3+BC) e o método anterior de consulta de preferência de ação (OAP). Notavelmente, alcançou uma pontuação normalizada média de 91,4 em tarefas MuJoCo e 75,8 em tarefas AntMaze, superando o OAP (89,9 e 69,3 respectivamente no esquema offline).
Eficiência Offline-para-Online (O2O): No cenário O2O, o CQ2L utilizou apenas 90.000 consultas de preferência (significativamente menos que os 250.000 passos de interação online usados pelos baselines de fine-tuning e menos que as 100.000 consultas do OAP). Apesar disso, superou a maioria dos baselines que passaram por um extenso fine-tuning online e alcançou resultados comparáveis ou superiores ao CQL com fine-tuning.
Estudos de Ablação: Experimentos confirmaram que ambos os componentes, Conservative Query (CQ) e Adaptive Regularization (AR), são essenciais.
- Em tarefas de recompensa densa e baixa dimensão (MuJoCo), a Regularização Adaptativa foi crucial para aproveitar as atualizações de Bellman.
- Em tarefas de recompensa esparsa e alta dimensão (AntMaze), a Consulta Conservadora foi vital para evitar a superestimação de ações OOD e facilitar o "costura de trajetórias" (trajectory stitching) dentro da variedade de dados.

5. Significância e Alegações

O artigo afirma que o framework proposto aborda a instabilidade fundamental da integração de consultas de preferência de ação em métodos de regularização de valor. Ao utilizar a estimativa de incerteza, o método:

Mitiga o Desvio de Consulta (Query Shift): Garante que as consultas de preferência não desestabilizem a função de valor ao restringir as consultas à região in-distribution.
Otimiza a Utilização de Informação: Equilibra dinamicamente o compromisso entre a restrição conservadora e a natureza otimista das atualizações de Bellman, garantindo que a informação de preferência seja usada de forma eficaz sem impedir o aprendizado em ações confiáveis.
Amplia a Aplicabilidade: Demonstra que a consulta de preferência de ação pode ser adaptada com sucesso para algoritmos de regularização de valor, oferecendo uma nova direção para melhorar o desempenho do RL offline sem os custos e riscos da interação online.

Os autores concluem que seu método fornece uma solução robusta e leve que alcança desempenho superior em diversas tarefas, validando a eficácia da combinação de consulta impulsionada por incerteza com regularização adaptativa.