Resumo Técnico: ReBRAC-v2

Definição do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas a partir de conjuntos de dados fixos sem nova interação com o ambiente. Embora este cenário seja crucial para aplicações onde a exploração online é dispendiosa ou insegura, ele introduz uma fragilidade fundamental: as políticas frequentemente falham quando selecionam ações fora do suporte do conjunto de dados, levando a estimativas de valor não confiáveis que o aprendiz não consegue corrigir. Avanços recentes em RL offline têm dependido cada vez mais de políticas generativas expressivas (ex: modelos de difusão, flow-matching) acopladas a mecanismos especializados de orientação de valor. No entanto, essas abordagens frequentemente introduzem geração de ação iterativa, políticas auxiliares, etapas de destilação ou maquinários de orientação complexos.

A questão central abordada por este trabalho é se um progresso comparável ou superior pode ser alcançado não aumentando a complexidade algorítmica, mas modernizando sistematicamente um framework de ator-crítico convencional com regularização de comportamento, preservando sua simplicidade algorítmica.

Metodologia

O ReBRAC-v2 é uma evolução do framework ReBRAC, que por sua vez foi uma modernização do TD3+BC. Em vez de propor uma nova função objetivo ou uma estrutura algorítmica fundamentalmente diferente, o ReBRAC-v2 integra avanços complementares em um loop padrão de ator-crítico com regularização de comportamento. Os componentes principais incluem:

1. Ator de Fluxo Normalizante End-to-End

Ao contrário de métodos que usam modelos generativos como referências de comportamento destiladas em uma política separada, o ReBRAC-v2 emprega um fluxo de acoplamento afim condicional como o próprio ator de RL.

• Arquitetura: O ator é um fluxo de acoplamento afim condicional de 14 camadas (estilo RealNVP) com mistura de dimensões PLU, uma distribuição base uniforme e um transform de tanh final.
• Treinamento: O fluxo é treinado diretamente via gradientes do crítico e um objetivo de clonagem de comportamento misto. Ele fornece avaliação de verossimilhança exata, amostragem de passagem única reparametrizada e gradientes diretos do crítico.
• Objetivo de Clonagem Mista: O termo de regularização de comportamento combina três componentes:
  1. Log-Verossimilhança Negativa Exata (NLL): Treina a densidade condicional completa.
  2. Erro Quadrático Médio (MSE): Atrai as amostras da política em direção às ações do conjunto de dados, enfatizando grandes desvios.
  3. Erro Absoluto Médio (MAE): Fornece uma correção de magnitude constante para resíduos não nulos.
     Esta combinação supera empiricamente o uso de qualquer termo isolado.

2. Ensemble de Crítico Residual Categórico

A estimativa da função de valor é modernizada para melhorar a estabilidade e a precisão:

• Predição Categórica: Em vez de regredir valores escalares, quatro críticos predizem logits sobre 201 bins de valor. O valor escalar é computado como a expectativa sobre esses bins.
• Projeção de Alvo: Os alvos de Bellman são projetados usando um alvo categórico suave (projeção HL-Gauss) para minimizar a entropia cruzada.
• Arquitetura: Os críticos utilizam um tronco residual de 5 camadas com ativação GSP, cabeças separadas de valor e de próximo estado, e um ensemble compacto de quatro críticos.
• Perda Auxiliar: Uma cabeça de predição de próximo estado auxiliar minimiza o MSE entre os estados próximos previstos e reais ao longo do treinamento, incentivando características conscientes da dinâmica sem alterar os rollouts.

3. Otimização em Estágios e Regularização

O cronograma de treinamento é dividido em três estágios distintos para estabilizar o aprendizado:

1. Aquecimento de Clonagem de Comportamento (100k atualizações): O ator é treinado apenas no objetivo de clonagem de comportamento para estabelecer uma política inicial razoável antes que quaisquer gradientes do crítico sejam aplicados.
2. Aquecimento do Crítico (200k atualizações): O ator é congelado enquanto os críticos aprendem estimativas de valor sob a política de comportamento fixa.
3. RL Conjunto (700k atualizações): O ator e os críticos são treinados conjuntamente, com o ator sendo atualizado a cada duas etapas do crítico.
   A regularização inclui weight decay, ruído de gradiente e dropout, com hiperparâmetros específicos selecionados via busca Bayesiana.

4. Seleção de Ação de Teste com Múltiplas Amostras

Na avaliação, o método emprega uma estratégia de otimização em tempo de teste sem atualizar os parâmetros da rede:

• Amostragem: $K=32$ ações candidatas são amostradas do ator de Média Móvel Exponencial (EMA).
• Refinamento: Cada candidata é refinada por $J=2$ etapas usando gradientes normalizados do valor mínimo ($Q_{min}$) através do ensemble de críticos.
• Seleção: A ação com o maior $Q_{min}$ após o refinamento é executada.

5. Interface de Adaptação

Um objetivo de design chave é a transferibilidade. Os autores desenvolveram uma única "receita" compartilhada (arquitetura, otimizador, cronograma de treinamento, regularização) via busca Bayesiana em seis tarefas OGBench. Esta receita é congelada para todas as tarefas subsequentes. A adaptação para novos ambientes requer apenas o ajuste de dois coeficientes de regularização de comportamento ($\alpha_{NF}$ e $\alpha_{aux}$) sobre uma pequena grade de 16 pontos.

Principais Contribuições

1. Modernização Sistemática: O artigo demonstra que uma abordagem de engenharia disciplinada de um framework ator-crítico minimalista pode alcançar o estado da arte sem abandonar os princípios fundamentais da regularização de comportamento.
2. Ator de Fluxo Integrado: Combina o treinamento direto de verossimilhança exata de fluxo com clonagem de comportamento mista (NLL + MSE + MAE) e melhoria guiada pelo crítico, eliminando a necessidade de flow-matching iterativo ou destilação.
3. Receita Unificada: Os autores fornecem uma configuração única e compartilhada que se transfere efetivamente entre diversos benchmarks (OGBench e D4RL) com ajuste mínimo de hiperparâmetros (apenas dois coeficientes).
4. Análise Empírica: Através de ablações controladas, o artigo identifica que o objetivo de clonagem mista, o treinamento em estágios, a capacidade de fluxo suficiente e a inferência de múltiplas amostras são os principais impulsionadores de desempenho, mostrando também que outras escolhas (ex: regularizadores específicos) dependem da interação com outros hiperparâmetros.

Resultados

O ReBRAC-v2 foi avaliado no OGBench baseado em estados (50 tarefas em 10 categorias) e nas suítes D4RL AntMaze e Adroit.

• Desempenho no OGBench: O ReBRAC-v2 alcançou uma pontuação normalizada média de 74,8 em dez categorias comuns. Isso supera significativamente o próximo melhor resultado agregado (DriftQL com 52,3) e ocupa o primeiro lugar em oito das dez categorias.
• Desempenho no D4RL: Usando a mesma receita congelada, o ReBRAC-v2 alcançou as médias de suíte mais fortes no AntMaze (90,2) e Adroit (33,6), superando métodos recentes como GFP, FAC e DriftQL.
• Casos de Falha: O método teve desempenho inferior na tarefa "Cube Double" (pontuando 8,3 contra 40,1 do GFP), sugerindo que, embora a receita seja robusta, designs de críticos específicos podem precisar de adaptação para certas dinâmicas de tarefa.
• Insights de Ablação:
  • Remover o termo de clonagem auxiliar MSE+MAE reduziu o desempenho em ~88%.
  • Remover o termo de verossimilhança do fluxo reduziu o desempenho em ~15%.
  • O treinamento em estágios (aquecimentos) contribuiu significativamente; removê-los reduziu o desempenho em ~14%.
  • A inferência de múltiplas amostras (amostragem + refinamento) proporcionou os ganhos mais claros no tempo de teste.

Significância e Alegações

O artigo alega que o ReBRAC-v2 demonstra que a engenharia transferível e disciplinada pode levar um fundamento de RL offline minimalista ao desempenho agregado de estado da arte. Os autores argumentam que algoritmos cada vez mais elaborados não são estritamente necessários; em vez disso, um ator-crítico convencional com regularização de comportamento, quando equipado com componentes modernos (fluxos de verossimilhança exata, críticos categóricos, otimização em estágios e busca em tempo de teste), pode competir com e exceder abordagens generativas mais complexas.

O trabalho enfatiza que a contribuição reside na integração sistemática desses componentes dentro de uma estrutura familiar, em vez de em qualquer invenção algorítmica única. Ao congelar as escolhas estruturais e de otimização e expor apenas uma interface de adaptação estreita, os autores mostram que o alto desempenho pode ser alcançado com uma abordagem de "receita fixa" que reduz o fardo do ajuste específico de cada tarefa. Os resultados sugerem que a própria "receita" — compreendendo a combinação específica de ator de fluxo, clonagem mista e cronograma de treinamento — é uma solução robusta e transferível para o RL offline.