Generalization in offline RL: The structure is more important than the amount of pessimism

Título: Generalização em RL Offline: A Estrutura é Mais Importante que a Quantidade de Pessimismo

Definição do Problema
O Aprendizado por Reforço (RL) Offline visa aprender políticas ótimas a partir de conjuntos de dados fixos e estáticos sem nova interação com o ambiente. Para mitigar o viés de superestimação em ações fora da distribuição (OOD), a maioria dos métodos de estado da arte emprega aprendizado de valor pessimista ou conservador. No entanto, a literatura recente sugere que ser excessivamente conservador pode dificultar a generalização para novos cenários ou impedir o empilhamento de trajetórias (trajectory stitching). Embora algumas abordagens defendam um conservadorismo "suave" para melhorar a generalização, permanece incerto se o grau de pessimismo ou as propriedades estruturais da função de valor pessimista é o determinante primário do desempenho de transferência de política zero-shot (ZSPT). Especificamente, em ambientes com simetrias subjacentes (ex: invariância rotacional), não se sabe se uma função de valor altamente pessimista, porém simétrica, generaliza melhor do que uma levemente pessimista, mas assimétrica.

Metodologia
Os autores investigam essa questão através de uma combinação de análise teórica e validação empírica no contexto de MDPs Contextuais (CMDPs) sob o framework de Generalização-através-da-Invariância ZSPT (GTI-ZSPT).

1. Framework Teórico:

   • Os autores formalizam a generalização como a capacidade de um agente aprender o grupo de simetria $G$ correto da solução ótima, apesar de observar apenas um subgrupo $B \leq G$ nos dados de treinamento.
   • Eles utilizam a destilação de Q-value como um substituto (proxy) para mecanismos de RL offline. Isso isola o efeito de aprender uma função de valor pessimista específica das complexidades do algoritmo de RL em si.
   • A análise assume o limite de uma rede neural infinitamente larga, utilizando o Kernel de Tangente Neural (NTK) e resultados de Gerken & Kessel (2024) sobre a equivariância de ensembles profundos.
   • Dois teoremas principais são provados:
     • Teorema 1: Se uma função de valor pessimista respeita o grupo de simetria $B$ dos dados de treinamento, o agente pode alcançar o desempenho de generalização ótimo no ambiente de teste, independentemente de quão grande seja o nível de pessimismo ($\eta_{max}$).
     • Teorema 2: Por outro via, existem instâncias onde uma função de valor levemente pessimista que viola a estrutura de simetria ($\hat{Q}_{asym}$) é garantida de generalizar arbitrariamente pior do que uma função de valor excessivamente pessimista, porém simétrica ($\hat{Q}_{sym}$).

2. Validação Empírica:

   • Ambiente: Um ambiente de controle contínuo "Rotational Reacher" com simetria rotacional. Os contextos de treinamento cobrem um subgrupo $C_4$ (rotações de 90°), enquanto o teste cobre o grupo completo $SO(2)$.
   • Algoritmos: O estudo avalia Implicit Q-Learning (IQL) e Conservative Q-Learning (CQL).
   • Estratégias de Aumento de Dados (DA): O artigo compara o DA padrão (treinar em conjuntos de dados aumentados) contra a regularização de Consistência de Aumento de Dados (DAC). A DAC impõe a simetria ao adicionar um termo de perda que minimiza a diferença entre as saídas da rede (ou representações latentes) para entradas originais e aumentadas.
   • Hipótese: Os autores argumentam que a DAC é superior para RL offline porque ela impõe explicitamente a estrutura (simetria) da função de valor/política, priorizando a simetria sobre a precisão das estimativas de valor, o que se alinha aos seus achados teóricos.

Principais Contribuições

• Insight Teórico: O artigo estabelece que a estrutura do pessimismo é mais crítica do que a sua magnitude para a generalização. Eles provam que a generalização ótima é alcançável com um pessimismo arbitrariamente alto, desde que a função de valor respeite as simetrias do ambiente.
• Achado Contraintuitivo: Demonstra que o pessimismo suave não é uma garantia de melhor generalização; se o pessimismo suave quebra as simetrias necessárias, o desempenho pode ser arbitrariamente pior do que uma alternativa simétrica altamente pessimista.
• Proposta Metodológica: Os autores propõem aplicar o aumento de dados via perda de consistência durante a extração da política (especificamente para o ator no IQL) em vez da prática padrão de treinar em conjuntos de dados aumentados. Esta abordagem impõe diretamente a estrutura simétrica da política/função de valor.
• Evidência Empírica: Experimentos em IQL e CQL mostram que o DAC-Output (impondo consistência na saída da rede) produz o melhor desempenho de generalização, superando tanto os baselines sem aumento quanto o treinamento aumentado padrão (Aug-D).

Resultados

• Destilação de Q-Value: Na validação teórica usando o Rotational Reacher, um alvo simétrico e pessimista ($\hat{Q}^*_{sym}$) manteve o desempenho de teste próximo do ótimo mesmo quando o pessimismo aumentou em uma ordem de magnitude. Em contraste, um alvo assimétrico e pessimista ($\hat{Q}^*_{asym}$) viu o desempenho de teste degradar significativamente conforme o pessimismo aumentava.
• Experimentos de RL Offline:
  • Para ambos IQL e CQL, aplicar DAC-Output alcançou consistentemente os maiores retornos de teste em conjuntos de dados de especialistas, mistos e subótimos.
  • O aumento de dados padrão (Aug-D) melhorou em relação ao cenário sem aumento, mas geralmente teve desempenho inferior ou igual aos métodos de perda de consistência.
  • Aplicar DA apenas ao crítico (sem o ator) no IQL não mostrou melhoria sobre o baseline, confirmando que impor a simetria no componente de extração da política é crucial.

Significância e Alegações
O artigo afirma que a intuição predominante — de que reduzir o conservadorismo é necessário para a generalização — está incompleta. Em vez disso, os autores argumentam que impor as simetrias estruturais corretas é o principal motor de uma transferência zero-shot bem-sucedida em RL offline.

A significância deste trabalho reside na mudança do foco de "o quanto devemos ser conservadores?" para "nosso conservadorismo respeita as simetrias do ambiente?". Os autores postulam que, em RL offline, onde a cobertura do conjunto de dados pode induzir vieses não simétricos, técnicas como o Aumento de Dados por Consistência (DAC) são essenciais. Ao priorizar a simetria sobre a precisão do valor durante a extração da política, a DAC permite que agentes generalizem de forma ótima, mesmo quando a função de valor subjacente é altamente pessimista. Isso desafia a prática padrão de usar o aumento de dados meramente para aumentar o tamanho do conjunto de dados para treinamento regular, sugerindo que ele deve ser usado como um regularizador para impor invariância estrutural.

Limitações
Os autores reconhecem algumas limitações:

• As provas teóricas dependem do limite de largura infinita das redes neurais, embora os resultados empíricos em redes de largura finita apoiem a teoria.
• A análise foca em simetrias de grupo intrínsecas consistentes com a distribuição dos dados. Não foi provado se estas conclusões se mantêm para transformações extrínsecas ou inconsistentes (ex: ruído aleatório) usadas apenas para regularização.
• Os achados são atualmente validados na tarefa Rotational Reacher e em dois algoritmos específicos (IQL, CQL); uma validação mais ampla em ambientes e algoritmos complexos é necessária.