Resumo Técnico: SPAR (Retificação de Ação Preservadora de Suporte)

Declaração do Problema

A Aprendizagem por Reforço Offline (Offline RL) visa aprender políticas ótimas a partir de conjuntos de dados fixos, sem interação adicional com o ambiente. Um desafio fundamental neste domínio é a cobertura finita dos conjuntos de dados, que deixa grandes regiões do espaço de estado-ação sem restrições. Os métodos existentes de melhoria de políticas enfrentam um conflito inerente entre maximizar o valor e ajustar-se à distribuição dos dados, levando a dois modos de falha primários sob cobertura limitada:

1. Aprendizagem Intra-Amostra (In-Support): Métodos como AWAC e IQL tratam a melhoria como regressão ponderada sobre as ações do conjunto de dados. Embora robustos a consultas Fora de Distribuição (OOD), seu viés de máxima verossimilhança enfatiza regiões de alta densidade, suprimindo sistematicamente ações raras, mas de alto valor, na cauda da distribuição. Geometricamente, isso pode fragmentar o manifold contínuo de ações, prendendo a política em regiões subótimas.
2. Otimização Guiada por Valor: Métodos que ascendem o gradiente de um crítico aprendido (por exemplo, CQL, Diff-QL) frequentemente sofrem de um conflito de gradiente entre ajuste e otimização. No regime offline, os críticos devem extrapolar além da vizinhança dos dados, criando picos de valor espúrios. Os gradientes de valor frequentemente contêm grandes componentes normais que empurram as ações para fora do manifold dos dados, para regiões adversárias inviáveis, causando esquecimento catastrófico ou colapso OOD.

Metodologia: Framework SPAR

Os autores propõem a Retificação de Ação Preservadora de Suporte (SPAR), um framework que reformula a melhoria global de políticas como uma retificação residual local ancorada a uma política de clonagem de comportamento (BC) pura e congelada. Esta abordagem desacopla os objetivos de ajuste e melhoria em estágios distintos.

1. Pipeline de Três Estágios

• Estágio I: Âncora Conservadora. Uma política base ($\pi_{base}$) é treinada via Clonagem de Comportamento pura no conjunto de dados $D$, evitando objetivos ponderados por vantagem para garantir que ela capture a topologia global do manifold. Concurrentemente, um ensemble de críticos conservadores ($Q_{rob}$) é treinado usando regressão de expectile estritamente intra-amostra e um Limite Inferior de Confiança (LCB) para penalizar a incerteza, prevenindo viés de superestimação. Tanto $\pi_{base}$ quanto $Q_{rob}$ são congelados após este estágio.
• Estágio II: Aprendizado Residual Preservador de Suporte. A política final é parametrizada como $\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$, onde $\Delta_\theta$ é uma política residual. Isso decompõe a otimização do espaço de ações completo para uma vizinhança local ao redor da âncora, contraindo o volume do espaço de hipóteses.
  • Modelagem Residual: Para resíduos unimodais, é usado um regressor determinístico (SPAR-MLP). Para resíduos multimodais, um Autoencoder Variacional Condicional (SPAR-CVAE) modela a distribuição.
  • Auto-Imitação Latente (LSI): Para resolver o conflito de gradiente entre ajuste e melhoria, o SPAR introduz um mecanismo livre de derivadas. Em vez de ascensão de gradiente no crítico, o método amostra candidatos latentes da política residual, decodifica-os em ações, pondera-os por estimativas de valor conservadoras e realiza regressão da política em direção a essa distribuição empírica ponderada. Isso garante que as atualizações permaneçam dentro do manifold residual, evitando deriva fora do manifold.
• Estágio III: Retificação no Momento da Implantação. Na inferência, a ação residual é aplicada apenas se a melhoria prevista sobre a linha base exceder limites absolutos e relativos específicos, atuando como um filtro de segurança conservador.

2. Insights Teóricos

O artigo fornece provas teóricas demonstrando que:

• Contração do Espaço de Busca: Ao restringir o refinamento a uma vizinhança local definida pelo quantil $(1-\rho)$ das magnitudes dos resíduos, o número de cobertura do espaço de busca é reduzido polinomialmente-logaritmicamente, melhorando a eficiência amostral.
• Eliminação do Conflito de Gradiente: A análise teórica (Proposição 3.3) mostra que a Auto-Imitação Latente restringe as atualizações a cordas dentro do manifold residual. Isso alcança supressão de deriva de segunda ordem em comparação com a deriva linear causada pela ascensão de gradiente padrão, eliminando efetivamente a deriva normal ao manifold dos gradientes de valor padrão.

Contribuições Principais

1. Quantificação Teórica: Os autores quantificam a redução no espaço de busca de políticas alcançada pelo aprendizado residual e caracterizam formalmente os conflitos de gradiente entre a orientação do crítico e os objetivos de ajuste.
2. Framework SPAR: Um framework inovador que desacopla ajuste e melhoria. Utiliza uma âncora BC congelada para estabilidade estrutural e emprega Auto-Imitação Latente para realizar melhoria local de políticas via regressão ponderada no espaço latente, equilibrando exploração com restrições de manifold.
3. Validação Empírica: Avaliação extensa no benchmark D4RL demonstra que o SPAR extrai ganhos significativos de linhas base subótimas, alcançando desempenho state-of-the-art em diversos domínios (locomoção, manipulação e navegação com recompensa esparsa).

Resultados Experimentais

O artigo avalia o SPAR no benchmark D4RL em três domínios: Locomoção MuJoCo, Navegação AntMaze e Manipulação Adroit.

• Desempenho: Variantes do SPAR (SPAR-MLP para unimodal, SPAR-PROJ para multimodal) superam consistentemente bases fortes, incluindo métodos baseados em gradiente (TD3+BC, CQL, Diff-QL) e métodos intra-amostra (IQL, AWAC).
  • Em MuJoCo Medium-Replay, o SPAR-MLP supera significativamente métodos intra-amostra e iguala ou excede modelos generativos complexos com menor sobrecarga computacional.
  • Em tarefas MuJoCo Medium-Expert e Adroit, o SPAR-PROJ recupera com sucesso o desempenho ótimo onde métodos determinísticos falham devido a complexidades multimodais.
  • Em AntMaze (recompensas esparsas), o SPAR-PROJ demonstra capacidades robustas de recuperação, superando a orientação por gradiente de política e métodos intra-amostra.
• Análise de Mecanismos:
  • Conflito de Gradiente: Métricas mostram que o SPAR-PROJ reduz a projeção direcional dos vetores de atualização sobre os gradientes de ajuste ($D_D$) e a degradação real no desempenho de ajuste ($V_{SD}$) em múltiplas ordens de grandeza em comparação com bases baseadas em gradiente.
  • Preservação de Suporte: Visualizações confirmam que as ações do SPAR-PROJ permanecem próximas ao suporte empírico dos dados (razão de distância kNN q95 de 0,98), enquanto métodos baseados em gradiente desviam-se significativamente (razão de 6,32).
  • Estudos de Ablação: A remoção da auto-imitação latente ou da retificação do Estágio III leva a quedas de desempenho, confirmando a necessidade do pipeline completo. O método mostra robustez a variações nos pesos de orientação, particularmente em ambientes com recompensa esparsa.

Significado e Alegações

O artigo alega que o SPAR aborda os modos de falha geométrica centrais dos paradigmas existentes de Offline RL ao desacoplar os objetivos conflitantes de ajuste e melhoria. Ao ancorar a otimização a uma política de clonagem de comportamento congelada e realizar a melhoria via Auto-Imitação Latente em um espaço residual contraído, o SPAR:

1. Previne o esquecimento catastrófico e o colapso OOD.
2. Elimina a patologia de "deriva normal" onde gradientes de valor empurram políticas para fora do manifold dos dados.
3. Fornece uma abordagem unificada que se adapta a geometrias residuais unimodais e multimodais sem exigir backbones generativos complexos para todas as tarefas.

Os autores concluem que, embora a eficácia do SPAR dependa da qualidade da âncora congelada e das estimativas de valor conservadoras, ele oferece um mecanismo robusto e teoricamente fundamentado para melhoria de políticas offline que alcança resultados state-of-the-art através de diversas complexidades de tarefas.