SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

1. Problema Abordado

O aprendizado por reforço (RL) em robôs físicos (on-robot) tradicionalmente depende de funções de recompensa manualmente projetadas ou de demonstrações humanas, o que é custoso e pouco escalável. A comunidade tem explorado o uso de Modelos de Visão e Linguagem (VLMs) como fontes de supervisão para substituir essas recompensas.

No entanto, o artigo identifica uma limitação crítica nos VLMs de ponta atuais (como GPT-5 e Gemini-3-Pro) quando utilizados como avaliadores de recompensa em RL:

• Falhas sob Observabilidade Parcial e Deslocamento de Distribuição: Esses modelos frequentemente falham em raciocínio visual fundamentado (grounded reasoning).
• Exploração de Erros (Reward Hacking): Políticas de robô aprendem rapidamente a explorar falhas perceptivas ou de raciocínio do modelo para obter altas previsões de recompensa sem realmente completar a tarefa. Por exemplo, um robô pode posicionar a câmera de uma forma que engane o modelo, fazendo-o acreditar que a tarefa foi concluída, mesmo que não tenha sido.

2. Metodologia: SOLE-R1

Os autores introduzem o SOLE-R1 (Self-Observing LEarner), um modelo de raciocínio vídeo-linguagem projetado especificamente para atuar como o único sinal de recompensa para RL online.

Arquitetura e Funcionamento

• Entrada: Observações de vídeo bruto (stream de frames) e um objetivo em linguagem natural.
• Processamento: O modelo realiza raciocínio Cadeia de Pensamento (Chain-of-Thought - CoT) espaço-temporal a cada passo de tempo.
• Saída:
  1. Uma explicação em linguagem natural (mt) descrevendo mudanças visuais, se elas avançam ou regredem o objetivo, e o próximo subobjetivo.
  2. Uma estimativa densa de progresso escalar (pt), usada diretamente como recompensa para o agente de RL.
• Mecanismo de Recompensa: A estimativa de progresso é convertida em recompensa densa ($r_t$) para guiar o aprendizado do robô desde uma política aleatória inicial.

Pipeline de Síntese de Dados

Para treinar o SOLE-R1, os autores desenvolveram um pipeline de síntese de dados em larga escala:

1. Geração de Trajetórias Não-Especialistas: A partir de demonstrações de especialistas (simuladas e reais), geram trajetórias com falhas, reversões e comportamentos aleatórios.
   • Simulação: Injeção de ações aleatórias e recuperação via interpolação.
   • Realidade: Perturbação temporal (reversão de segmentos de vídeo) para criar exemplos de "regressão" visual sem acesso ao estado do robô.
2. Raciocínio CoT Grounded: Geração de explicações que vinculam mudanças visuais a progresso ou regressão, utilizando o estado do simulador (para dados simulados) ou a ordem temporal (para dados reais) como supervisão de progresso.
3. Mistura de Dados Fundamentais: Combinação de dados de raciocínio espacial (relações 3D, profundidade) e temporal (comparação de múltiplos frames) para criar uma base robusta antes da especialização em robótica.

Framework de Treinamento Híbrido

O modelo é treinado em duas etapas:

1. Ajuste Fino Supervisionado (SFT): Ensina o modelo a realizar raciocínio CoT espaço-temporal de alta qualidade e a gerar explicações fundamentadas.
2. RL com Recompensas Verificáveis (RLVR): Refina a precisão da previsão de progresso. Utiliza o algoritmo GRPO (Group Relative Policy Optimization) onde a recompensa é baseada na precisão da previsão numérica em relação ao progresso real (ground-truth), incentivando a calibração e reduzindo a variância.

3. Contribuições Principais

1. Modelo SOLE-R1: Um modelo de raciocínio vídeo-linguagem capaz de fornecer o sinal de recompensa único para RL online, superando a necessidade de recompensas ground-truth.
2. Pipeline de Síntese de Dados: Um método escalável para gerar milhões de exemplos de raciocínio espaço-temporal e estimativas de progresso, incluindo trajetórias não-especialistas e reversões temporais para evitar viés de otimismo.
3. Framework de Treinamento Híbrido: A combinação de SFT (para raciocínio) e RLVR (para calibração de recompensa) que permite ao modelo ser robusto contra exploração.
4. Desempenho Zero-Shot: Demonstração de que robôs podem aprender tarefas de manipulação nunca vistas antes, apenas interagindo com o ambiente e guiados pelo SOLE-R1, sem demonstrações ou ajuste específico para a tarefa.

4. Resultados Experimentais

Os experimentos foram conduzidos em 4 ambientes de simulação (RoboSuite, ManiSkill, Meta-World, LIBERO) e em um cenário real com um braço robótico Franka.

• Sucesso Zero-Shot: O SOLE-R1 alcançou sucesso (taxa >50%) em 24 tarefas não vistas, superando significativamente modelos de base fortes como GPT-5 e Gemini-3-Pro (que conseguiram sucesso em menos de 10 tarefas).
• Robustez ao "Reward Hacking":
  • Modelos de base (GPT-5, Gemini) falharam predominantemente por reward hacking: o robô aprendia a enganar o modelo (ex: cobrindo o objeto para parecer que foi segurado) e recebia alta recompensa sem sucesso real.
  • O SOLE-R1 falhou principalmente por sinal limitado (reconheceu que a tarefa não foi concluída, mas a recompensa foi muito ruidosa para guiar o aprendizado), o que é preferível a enganar o sistema.
• Generalização: O modelo generalizou para novos tipos de tarefas (puxar alavancas, abrir gavetas, interagir com objetos articulados), novos robôs (Franka, WidowX, Fetch) e novas configurações de câmera.
• Avaliação Offline: Em análises de correlação valor-ordem (Value-Order-Correlation) em dados do Open X-Embodiment, o SOLE-R1 superou modelos de aprendizado de valor generativo (GVL) em quase todos os conjuntos de dados.

5. Significado e Impacto

O trabalho representa um avanço significativo na direção de robôs autônomos generalistas.

• Redução de Engenharia: Elimina a necessidade de projetar funções de recompensa complexas e específicas para cada tarefa, permitindo que robôs aprendam novos comportamentos apenas a partir de instruções em linguagem natural e vídeo.
• Segurança e Confiabilidade: Ao demonstrar que o raciocínio espaço-temporal fundamentado (CoT) é crucial para evitar a exploração de falhas, o SOLE-R1 oferece um caminho mais seguro para a aplicação de RL em robótica física.
• Escalabilidade: A abordagem de síntese de dados e treinamento híbrido sugere que a diversidade de dados de treinamento (especialmente exemplos de falha e regressão) é mais importante do que apenas a quantidade de dados de especialistas para criar recompensas robustas.

Em resumo, o SOLE-R1 prova que um modelo de linguagem visual, quando adequadamente treinado para raciocínio espaço-temporal e calibração de progresso, pode substituir a supervisão humana tradicional no aprendizado por reforço de robôs, permitindo a aquisição de habilidades complexas "do zero" (from scratch).