A Forensic Analysis of Synthetic Data in RL: Diagnosing and Solving Algorithmic Failures in Model-Based Policy Optimization

Resumo Técnico: Uma Análise Forense de Dados Sintéticos em RL

Declaração do Problema
Dados sintéticos são uma pedra angular do Aprendizado por Reforço baseado em modelo (MBRL) no estilo Dyna, destinados a melhorar a eficiência de amostragem ao treinar políticas em transições geradas pelo modelo. No entanto, trabalhos recentes (especificamente Stealing That Free Lunch [Barkley e Fridovich-Keil, 2025]) revelaram um modo de falha crítico: enquanto a Otimização de Política Baseada em Modelo (MBPO) [Janner et al., 2019] se destaca em benchmarks do OpenAI Gym, ela frequentemente colapsa no DeepMind Control Suite (DMC). Nessas tarefas do DMC, o MBPO frequentemente não performa melhor do que uma política inicializada aleatoriamente, apesar de ambos os conjuntos utilizarem o motor de física MuJoCo e estruturas de controle contínuo semelhantes. Essa falha persiste mesmo quando comparada à sua linha de base sem modelo, Soft Actor-Critic (SAC) [Haarnoja et al., 2019], que supera o MBPO nesses ambientes. O problema central é identificar por que dados sintéticos, que auxiliam a aprendizagem no Gym, degradam ativamente o desempenho no DMC.

Metodologia e Diagnóstico
Os autores conduziram uma análise forense das dinâmicas de treinamento do MBPO para isolar os mecanismos que causam esse colapso. Eles utilizaram uma configuração de treinamento pseudo-online para desacoplar a aprendizagem do modelo da instabilidade ator-crítico, permitindo uma análise controlada das dinâmicas aprendidas e dos modelos de recompensa. Por meio dessa análise, identificaram dois mecanismos de falha acoplados específicos ao ambiente DMC:

1. Desajuste de Escala entre Dinâmicas e Recompensas: O MBPO treina um único modelo para prever tanto os próximos estados quanto as recompensas. No DMC, a magnitude das mudanças de estado (dinâmicas) difere vastamente da magnitude das recompensas (frequentemente limitadas entre 0 e 1). Sem normalização independente, a perda de regressão é dominada pelos alvos de estado de maior escala. Isso suprime a aprendizagem do modelo de recompensa, fazendo com que ele colapse em direção a zero. Consequentemente, o crítico recebe transições sintéticas com recompensas próximas de zero ou negativas, levando a uma subestimação severa de valores e a uma ruptura no equilíbrio entre exploração e exploração.
2. Inflação de Variância a partir da Previsão de Resíduos: Implementações padrão do MBPO preveem resíduos de estado ($s' - s$) em vez de próximos estados absolutos ($s'$). Embora resíduos ofereçam um viés indutivo para sistemas suaves, os autores descobriram que em tarefas específicas do DMC (por exemplo, humanoid-stand), essa abordagem infla a variância das dinâmicas aprendidas. O modelo produz transições sintéticas altamente incertas que, apesar de baixo erro de previsão de um passo, são pouco confiáveis para melhoria da política. Essa incerteza desestabiliza o loop de treinamento.

Solução Proposta: Fixing That Free Lunch (FTFL)
Para abordar essas questões, os autores propõem o Fixing That Free Lunch (FTFL), um conjunto mínimo de modificações ao núcleo do MBPO:

1. Normalização Independente de Alvos: Aplicar normalização de média-variância em execução separadamente aos alvos de próximo estado e de recompensa. Isso equilibra as escalas relativas na perda de regressão, impedindo que o sinal de recompensa seja suprimido pelas dinâmicas.
2. Previsão Direta do Próximo Estado: Substituir a previsão de resíduos pela previsão direta do próximo estado ($s'$). Isso reduz a inflação de variância observada em regimes instáveis, resultando em uma representação mais estável e confiante das dinâmicas.

Resultados
Os autores avaliaram o FTFL em sete tarefas do DMC onde o MBPO padrão falhava anteriormente:

• Recuperação de Desempenho: O FTFL permite melhoria de política estável em cinco das sete tarefas do DMC que falhavam (humanoid-stand, humanoid-walk, humanoid-run, quadruped-walk, quadruped-run). Nessas tarefas, o FTFL consistentemente supera o SAC, frequentemente com margens significativas.
• Generalização: As modificações não sacrificam o desempenho no OpenAI Gym. O FTFL iguala o forte desempenho do MBPO padrão em tarefas do Gym, demonstrando que as correções são robustas entre conjuntos de benchmarks, em vez de superajustadas ao DMC.
• Generalização de Linhagem: Os autores testaram dois algoritmos da linhagem MBPO conscientes de incerteza, M2AC [Pan et al., 2020] e MACURA [Frauenknecht et al., 2024]. Apesar de seus mecanismos para filtrar ou penalizar dados sintéticos incertos, ambos os algoritmos falharam no DMC sem o FTFL. Aplicar o FTFL ao seu núcleo compartilhado de modelo aprendido restaurou o desempenho, indicando que a falha decorre da arquitetura central do modelo e não da estratégia de admissão de dados.
• Limitações Remanescentes: O FTFL não resolveu completamente as falhas em hopper-hop e hopper-stand. Os autores atribuem isso a um desafio específico de modalidade: os sinais descontínuos de força de contato no Hopper são mal capturados pela cabeça de próximo estado Gaussiana unimodal, um desajuste que requer modelagem mais rica além do escopo do FTFL.

Significado e Alegações
O artigo alega que o sucesso algorítmico em RL não é universal, mas profundamente contingente na interação entre características do ambiente (por exemplo, escala de recompensa, suavidade de estado) e escolhas de design algorítmico.

• Diagnóstico de Modos de Falha: O trabalho fornece um mapeamento específico de como desajustes de escala e escolhas de previsão de resíduos podem levar a falhas catastróficas no MBRL, mesmo em ambientes aparentemente semelhantes.
• Crítica à Avaliação por Benchmarks: Os autores argumentam que confiar no desempenho médio entre benchmarks pode esconder falhas críticas. A divergência entre os resultados do Gym e do DMC para o MBPO ilustra como suposições específicas de benchmark podem ser inadvertidamente codificadas no design do algoritmo.
• Chamado por Taxonomia: O artigo defende uma taxonomia principial dos modos de falha em RL organizados por dimensões como suavidade de estado, escala de recompensa e modalidade de dados. Tal estrutura permitiria que praticantes antecipassem quando um algoritmo provavelmente falhará e orientariam o design de métodos mais robustos e implantáveis.
• Utilidade Prática: O FTFL serve como um reparo prático para o MBPO, restaurando a promessa de aprendizagem eficiente em amostras em tarefas desafiadoras de controle contínuo, sem exigir reformas arquitetônicas complexas ou ajuste de hiperparâmetros.