Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

Título: LIFT: Uma Abordagem para Unir Pré-treinamento em Grande Escala e Ajuste Fino Eficiente para Controle de Humanoides

1. Problema e Motivação

O controle de robôs humanoides via Aprendizado por Reforço (RL) enfrenta um dilema fundamental entre eficiência de amostra e eficiência de tempo de parede (wall-clock time):

• Métodos On-Policy (ex: PPO): São robustos e permitem pré-treinamento em grande escala usando simulação paralela massiva (GPU), alcançando até implantação zero-shot em robôs reais. No entanto, sofrem de baixa eficiência de amostra, tornando a adaptação a novos ambientes ou tarefas fora da distribuição (OOD) lenta e perigosa, pois descartam experiências fora de política.
• Métodos Off-Policy (ex: SAC, TD3) e Baseados em Modelo: Oferecem maior eficiência de amostra ao reutilizar dados, mas tendem a superajustar (overfit) aos dados de replay ou falhar em simulações massivas devido a instabilidades. Além disso, a exploração estocástica direta no ambiente real pode ser perigosa para humanoides, que possuem polígonos de suporte pequenos e são sensíveis a perturbações.
• Lacuna: Existe uma desconexão entre a capacidade de pré-treinar rapidamente em simulação e a capacidade de ajustar finamente (finetune) de forma segura e eficiente com poucos dados reais.

2. Metodologia: Framework LIFT

Os autores propõem o LIFT (Large-scale pretraIning and efficient FineTuning), um framework de três estágios que combina as vantagens do RL off-policy em grande escala com a segurança e eficiência de modelos baseados em física.

Estágio (i): Pré-treinamento de Política em Grande Escala

• Algoritmo: Utilização do Soft Actor-Critic (SAC) implementado em JAX para suportar atualizações em grandes lotes (large-batch) e uma alta razão de Atualização para Dados (UTD).
• Configuração: Treinamento em milhares de ambientes paralelos no simulador MuJoCo Playground.
• Inovação: O uso de SAC com UTD elevado (ex: 10) e lotes grandes permite convergência robusta e rápida (em menos de 1 hora em uma GPU RTX 4090), alcançando implantação zero-shot em robôs físicos sem necessidade de ajuste fino inicial. A política estocástica do SAC é crucial para explorar o espaço de estados de forma diversificada durante o pré-treinamento.

Estágio (ii): Pré-treinamento de Modelo de Mundo Informado por Física

• Abordagem: Em vez de treinar o modelo de mundo online (o que atrasaria o pré-treinamento), o modelo é treinado offline a partir dos dados coletados durante o pré-treinamento da política SAC.
• Arquitetura Híbrida: O modelo de mundo combina:
  1. Dinâmica Rígida Conhecida: Baseada nas equações de Lagrange (massa, Coriolis, gravidade), que são conhecidas e diferenciáveis.
  2. Rede de Resíduos (Residual Network): Uma rede neural que aprende as incertezas não modeladas, especificamente forças de contato e torques dissipativos.
• Vantagem: Isso reduz o viés do modelo e melhora a fidelidade das simulações sintéticas, permitindo que o modelo generalize melhor do que modelos puramente neurais (como no MBPO).

Estágio (iii): Ajuste Fino (Finetuning) Eficiente e Seguro

• Coleta de Dados no Ambiente Real: A política pré-treinada executa ações determinísticas (média da distribuição) no ambiente real para coletar dados. Isso elimina o risco de exploração estocástica aleatória que poderia derrubar o robô.
• Exploração no Modelo de Mundo: A exploração estocástica é confinada inteiramente dentro do modelo de mundo pré-treinado. O agente gera trajetórias sintéticas (rollouts) usando a política estocástica do SAC dentro do modelo físico.
• Ciclo Iterativo:
  1. Coleta dados reais (determinísticos).
  2. Ajusta o modelo de mundo com os novos dados reais.
  3. Gera dados sintéticos no modelo ajustado.
  4. Atualiza a política (Actor-Critic) usando os dados sintéticos e reais.
• Segurança: O modelo de mundo inclui verificações de terminais físicas (ex: altura da base, velocidades) para abortar rollouts sintéticos que levariam a estados instáveis, garantindo que a política aprenda apenas comportamentos seguros.

3. Contribuições Principais

1. Implementação Escalável de SAC: Uma implementação em JAX que permite pré-treinamento robusto de humanoides em simulação massiva, alcançando implantação zero-shot em robôs físicos (Booster T1) em tempo recorde.
2. Estratégia de Ajuste Fino Segura: Um método que separa a execução no mundo real (determinística) da exploração (no modelo de mundo), resolvendo o dilema segurança vs. eficiência de amostra.
3. Modelo de Mundo Informado por Física: A integração de dinâmicas de Lagrange com redes de resíduos melhora significativamente a precisão preditiva e a estabilidade do ajuste fino, superando modelos puramente aprendidos.
4. Pipeline Open-Source: Disponibilização de um pipeline completo cobrindo pré-treinamento, implantação zero-shot e ajuste fino para a comunidade de robótica.

4. Resultados Experimentais

Os experimentos foram realizados nos robôs Booster T1 (12-123 graus de liberdade) e Unitree G1 (29 graus de liberdade), comparando com baselines como PPO, FastTD3, SSRL e MBPO.

• Pré-treinamento: O LIFT (SAC) alcançou desempenho comparável ou superior ao PPO e FastTD3 em termos de retorno e velocidade de convergência, com a vantagem adicional de ser off-policy.
• Ajuste Fino Sim-to-Sim: Em tarefas de adaptação para novas velocidades (dentro da distribuição, cauda longa e fora da distribuição), o LIFT convergiu consistentemente.
  • Baselines: O SAC puro divergiu rapidamente (overfitting a dados determinísticos); o PPO degradou-se e colapsou; o SSRL (treinado do zero) falhou em velocidades mais altas.
  • LIFT: Mantém a estabilidade e alcança o rastreamento de velocidade desejado com poucos passos de ambiente.
• Ajuste Fino Real (Real-World): O framework conseguiu melhorar significativamente o comportamento de um robô físico que inicialmente falhava em sim-to-real. Com apenas 80 a 590 segundos de dados reais, o robô desenvolveu uma postura mais ereta e padrões de marcha estáveis.
• Ablação:
  • Remover o pré-treinamento da política ou do modelo de mundo resultou em falha ou convergência muito lenta.
  • Modelos de mundo sem informação física (MBPO) falharam devido a previsões fisicamente implausíveis que explodiram a perda do crítico.

5. Significado e Conclusão

O trabalho LIFT oferece um caminho prático para superar as limitações atuais do RL em robótica humana. Ao desacoplar a exploração perigosa do ambiente real e confiná-la a um modelo de mundo fisicamente informado, o framework permite:

• Segurança: Elimina a necessidade de exploração aleatória no robô físico.
• Eficiência: Reduz drasticamente a quantidade de dados reais necessários para adaptação.
• Generalização: Permite que políticas robustas pré-treinadas sejam adaptadas rapidamente a novas tarefas e ambientes.

O artigo demonstra que a combinação de pré-treinamento massivo off-policy com ajuste fino baseado em modelo físico é uma estratégia viável e superior para o controle contínuo e adaptativo de humanoides, abrindo caminho para robôs mais versáteis e seguros no mundo real.