Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

Resumo Técnico: Alavancando a Supervisão Offline para um Aprendizado por Reforço Eficiente e Generalizável em Modelos de Visão–Linguagem–Ação de Grande Escala

1. Declaração do Problema

No domínio dos modelos de Visão–Linguagem–Ação (VLA), existe um compromisso fundamental entre eficiência de treinamento e robustez da política. O Aprendizado por Reforço (RL) online geralmente produz uma generalização fora da distribuição (OOD) e robustez superiores em comparação com métodos offline como o Ajuste Fino Supervisionado (SFT) ou aprendizado por imitação. No entanto, o RL online é computacionalmente caro, exigindo extensas interações com o ambiente. Por outro lado, o treinamento offline é econômico, mas frequentemente tem dificuldade com mudanças de distribuição.

Trabalhos recentes (ex., Liu et al., 2025) demonstraram que o ajuste fino por RL de modelos VLA de grande escala (especificamente o OpenVLA com Adaptação de Baixo Posto, ou LoRA) melhora significativamente o desempenho OOD em relação ao SFT, mas com um alto custo de treinamento online. Isso levanta uma questão crítica: pode a supervisão offline ser integrada ao processo de otimização de RL não meramente como uma inicialização, mas como um sinal de treinamento estruturado que melhora a eficiência sem sacrificar os ganhos de robustez da adaptação online?

2. Metodologia

Os autores investigam estratégias híbridas de treinamento offline–online para o ajuste fino de parâmetros eficientes de modelos VLA de grande escala. Os experimentos utilizam a arquitetia OpenVLA, onde o modelo base permanece congelado e apenas um adaptador LoRA é otimizado. O estudo compara o Proximal Policy Optimization (PPO) padrão contra duas variantes guiadas que incorporam supervisão offline:

• Regularização de Política de Referência (RefKL): Esta variante aumenta o objetivo padrão do PPO com uma penalidade de divergência de Kullback–Leibler (KL). A política é regularizada para permanecer próxima a um modelo de referência SFT congelado ($\pi_{ref}$) durante as atualizações online. A função de perda é:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{RefKL}(\theta)$$
  onde $L_{RefKL}$ penaliza a divergência entre a política atual e o modelo SFT congelado.

• Clonagem de Comportamento Offline (DataBC): Esta variante aumenta o PPO com uma perda de clonagem de comportamento calculada diretamente no conjunto de dados de demonstração offline ($D_{off}$). A função de perda é:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{DataBC}(\theta)$$
  onde $L_{DataBC}$ maximiza a verossimilhança das ações do especialista no conjunto de dados offline.

• Escalonamento de Currículo: Para evitar que a supervisão offline prejudique a adaptação de RL em estágios tardios, os autores empregam um escalonamento de currículo para o peso de regularização $\beta$. O peso é mantido constante para uma fase inicial (100k passos), sofre um decaimento linear ao longo dos próximos 200k passos e é definido como zero posteriormente, permitindo que a política transite para uma otimização de RL pura.

• Baselines: O estudo inclui um baseline de PPO padrão e uma variante onde o PPO é inicializado diretamente a partir do adaptador LoRA do SFT (SFT-init) sem termos de guia adicionais durante o treinamento.

3. Principais Contribuições

• Estrutura de Treinamento Híbrido: O artigo formula e avalia duas variantes de PPO guiadas por offline (RefKL e DataBC) especificamente para o ajuste fino baseado em LoRA de modelos VLA de grande escala.
• Resolução do Compromisso Eficiência–Robustez: Os autores demonstram que a orientação offline pode melhorar significativamente a eficiência do treinamento enquanto preserva os benefícios de generalização OOD tipicamente associados ao RL puro.
• Análise Empírica: O estudo fornece uma comparação controlada de mecanismos de orientação, analisando a sensibilidade à força de regularização ($\beta$) e o impacto do escalonamento de currículo. Ele destaca que a orientação por política de referência (RefKL) oferece um sinal de otimização mais estável do que a clonagem direta de comportamento em dados offline.

4. Resultados

Os experimentos foram conduzidos no benchmark RL4VLA usando o modelo OpenVLA, avaliando o desempenho em tarefas In-Distribution (IND) e OOD (cobrindo desvios de visão, linguagem e ação).

• Eficiência de Treinamento: Em 1 milhão de passos de ambiente, ambas as variantes guiadas (RefKL e DataBC) superaram o PPO padrão treinado pela mesma duração em todas as métricas. Notavelmente, a variante RefKL alcançou um desempenho OOD comparável a um modelo PPO padrão treinado por 2 milhões de passos, efetivamente reduzindo pela metade o orçamento de treinamento online necessário.
• Métricas de Desempenho:
  • RefKL (1M passos): Alcançou uma taxa de sucesso média OOD de 0,77, igualando o desempenho final do baseline PPO de 2M de passos (0,77).
  • DataBC (1M passos): Alcançou uma taxa de sucesso média OOD de 0,74, também superando o PPO padrão de 1M de passos (0,64).
  • SFT-Init: Embora partindo de um baseline superior ao PPO padrão, o PPO inicializado por SFT mostrou uma adaptação mais lenta e permaneceu abaixo dos métodos guiados na marca de 1M de passos.
• Sensibilidade à Regularização: Uma regularização inicial mais forte ($\beta$) correlacionou-se com taxas de sucesso mais altas. No entanto, um cronograma de $\beta$ constante não superou o cronograma de currículo e introduziu um overhead computacional desnecessário.
• Generalização: Os métodos guiados mantiveram fortes capacidades OOD, particularmente em desvios de ação, que são frequentemente difíceis de lidar por métodos puramente offline.

5. Significância e Alegações

O artigo afirma que a supervisão offline e o RL são sinais complementares em vez de concorrentes no contexto de adaptação VLA. A principal significância do trabalho reside em demonstrar que a orientação offline serve como um prior de otimização eficaz. Ela estabiliza a fase inicial do treinamento de RL quando os sinais on-policy são fracos, permitindo que a política aproveite as representações pré-treinadas de forma mais eficaz.

Os autores concluem que esta abordagem híbrida oferece uma solução prática para o alto custo do RL online: ela reduz a quantidade de interação cara com o ambiente necessária para atingir um comportamento de política forte, mantendo as vantagens de robustez do RL sobre o treinamento apenas offline. A orientação por política de referência (RefKL) é identificada como a formulação mais eficaz e consistente para este cenário. O trabalho sugere que, para a adaptação eficiente de parâmetros de grandes modelos, os priors offline estruturados podem acelerar a descoberta de estratégias online eficazes sem induzir esquecimento catastrófico ou limitar a generalização OOD.