Resumo Técnico: CLIFT – Transformando o Gemini Robotics On-Device em Especialistas Humanoides via Ajuste Fino Iterativo de Ciclo Fechado Não Invasivo

1. Declaração do Problema

A comunidade robótica enfrenta uma tensão fundamental: os modelos de fundação Vision-Language-Action (VLA) mais capazes são tipicamente treinados em dados proprietários e permanecem de código fechado, limitando a capacidade de adaptação dos usuários finais. Embora um paradigma emergente ofereça APIs de Managed Supervised Fine-Tuning (SFT) (ex: Gemini Robotics On-Device ou GROD) que permitem aos usuários enviar dados e receber políticas ajustadas sem acessar pesos ou gradientes, este regime apresenta limitações significativas para a manipulação humanoide ágil e rica em contato.

A adaptação atual baseada em API depende primariamente de SFT baseado apenas em demonstrações. Esta abordagem atinge um teto de desempenho porque:

1. Desajuste de Distribuição: Treina-se em uma distribuição fixa de dados de teleoperação humana, enquanto o deployment ocorre sob a própria distribuição de observação de ciclo fechado da política.
2. Qualidade de Execução: A conclusão da tarefa por si só não garante o sucesso; fatores como suavidade, qualidade de contato e segurança são críticos.
3. Acoplamento de Controlador: As políticas VLA estão fortemente acopladas com controladores de corpo inteiro (whole-body) subsequentes. O mesmo bloco de ação (action chunk) pode gerar resultados físicos diferentes devido à latência, complacência e dinâmica de rastreamento, criando um hiato entre a saída da política e o comportamento implantado.

Métodos existentes de melhoria de ciclo fechado (ex: PPO, RL residual) exigem acesso a sinais internos como gradientes, verossimilhanças ou redes de crítico, que não estão disponíveis em regimes de acesso restrito via API. A questão central é: Quão eficaz é o regime de API gerenciada para a adaptação humanoide e como a melhoria de ciclo fechado pode ser realizada dentro dele para alcançar a maestria da tarefa?

2. Metodologia: CLIFT

Os autores propõem o CLIFT (Closed-Loop Iterative Fine-Tuning), um pipeline não invasivo que faz a ponte entre interfaces de SFT gerenciadas e a melhoria de política de ciclo fechado. O CLIFT opera como um "volante" (flywheel) que converte o feedback de recompensa do tempo de execução em dados compatíveis com a API de supervisão, sem nunca tocar nos pesos internos ou nas perdas (losses) do modelo.

O pipeline consiste em três etapas iterativas:

A. Modelagem de Recompensa Densa Calibrada por Preferência

Para pontuar as execuções (rollouts) de deployment, o CLIFT emprega um processo de geração de recompensa em dois estágios:

1. Geração de Candidatos: Um VLM zero-shot gera múltiplas sequências de recompensas candidatas por passo para um determinado rollout.
2. Seleção Humana e Destilação: Operadores humanos fornecem preferências pareadas sobre a qualidade do rollout. Os candidatos cujas classificações de retorno cumulativo melhor correspondem às preferências humanas são selecionados. Essas sequências selecionadas são então destiladas em um modelo de recompensa generativo ($R_\theta$). Este modelo fornece recompensas densas e calibradas por preferência que capturam a qualidade da execução além do progresso bruto da tarefa.

B. Condicionamento de Vantagem Baseado em Recuperação

Em vez de descartar falhas ou tratar episódios como sucesso/falha binários, o CLIFT realiza a atribuição de crédito ao nível de chunk:

1. Recuperação: Para cada bloco de ação (action chunk) iniciando no estado $o_t$, o sistema recupera um conjunto de blocos de comparação de outros rollouts que iniciam de estados visualmente similares.
2. Pontuação: O bloco é pontuado com base em seu retorno descontado sobre uma janela de antecipação (look-ahead window) usando o modelo de recompensa $R_\theta$.
3. Rotulagem: O bloco é rotulado com um Token de Vantagem binário ($I \in \{positivo, negativo\}$). Se o retorno do bloco estiver nos 30% superiores do conjunto recuperado (autocalibrando-se à dificuldade do estado), ele recebe um rótulo positivo; caso contrário, é negativo.
4. Conversão de Dados: Cada bloco de rollout é convertido em uma tupla de SFT: (observação, instrução, action_chunk, advantage_token).

C. Auto-Melhoria Iterativa

O ciclo prossegue da seguinte forma:

1. Deployment: A política atual $\pi_k$ é implantada no robô para coletar rollouts de ciclo fechado.
2. Relabelagem: Os rollouts são pontuados por $R_\theta$ e os blocos são rotulados com tokens de vantagem.
3. Construção de Dataset: Um dataset cumulativo $D_k$ é formado combinando as demonstrações humanas originais (sempre rotuladas como positivas) e os novos blocos de rollouts relabelados.
4. Ajuste Fino (Fine-Tuning): O modelo base é ajustado do zero no dataset $D_k$ via API de SFT gerenciada para produzir $\pi_{k+1}$.
5. Inferência: No deployment, a política é condicionada ao token de vantagem positivo para direcionar o comportamento para ações de alta qualidade.

3. Configuração Experimental

• Plataforma: Robô humanoide Unitree G1 com braços duplos, mãos destras e câmeras RGB montadas na cabeça.
• Controle: Controle de corpo inteiro hierárquico onde a VLA fornece ângulos de junta da parte superior do corpo e velocidades da parte inferior, rastreados por um controlador aprendido via RL.
• Tarefas: Três tarefas de manipulação ágil e ricas em contato:
  1. Empacotamento de Caixa (Box Packing): Preensão e posicionamento precisos.
  2. Inserção de Copo (Cup Insertion): Coordenação bimanual assimétrica (estabilizar um suporte enquanto insere uma garrafa).
  3. Entrega de Prato Bimanual (Bimanual Plate Handover): Transferência coordenada entre as mãos.
• Modelos Comparados:
  • GROD: Modelo de peso fechado via API de SFT gerenciada.
  • $\pi_{0.5}$: VLA de peso aberto (Physical Intelligence) com acesso direto aos pesos.
• Protocolo: Ambos os modelos foram inicializados com 2 horas de demonstrações teleoperadas e submetidos a dois ciclos de CLIFT.

4. Principais Resultados

Ganhos de Desempenho

• GROD (Peso Fechado): O CLIFT conseguiu levar o GROD à maestria quase perfeita da tarefa após dois ciclos de volante, apesar do acesso apenas via API.
  • Empacotamento de Caixa: 93% $\to$ 100%
  • Inserção de Copo: 70% $\to$ 98%
  • Entrega de Prato Bimanual: 53% $\to$ 96%
• $\pi_{0.5}$ (Peso Aberto): O CLIFT também melhorou o modelo de peso aberto, mas este estagnou em um teto significativamente inferior (ex: 5% $\to$ 30% na Entrega de Prato Bimanual).
• Comparação: O SFT direto no GROD já superou o $\pi_{0.5}$ treinado nos mesmos dados. Mesmo quando o $\pi_{0.5}$ recebeu adaptação "invasiva" (condicionamento estilo FiLM para injetar sinais de preferência diretamente na rede), ele ainda ficou atrás do GROD adaptado via API.

Denso vs. Seleção de Episódio

Os autores compararam duas variantes do CLIFT:

1. Vantagem Condicionada Densa: Rotula cada bloco em cada rollout (positivo ou negativo).
2. Seleção de Episódio de Alto Retorno: Mantém apenas os 30% superiores de episódios bem-sucedidos (estilo DAgger padrão).

• Achado: Em tarefas fáceis, ambos performaram de forma semelhante. Na tarefa mais difícil (Entrega de Prato Bimanual), a variante Densa superou significativamente a seleção de episódios (96% vs. ~84%). Isso demonstra que reter rollouts falhos e rotulá-los como blocos bem executados (como positivos) e blocos ruins (como negativos) é crucial para aprender com a falha.

Comportamentos Emergentes

O CLIFT permitiu que a política adquirisse comportamentos não presentes nas demonstrações originais:

• Pré-manipulação: Reorientar uma caixa com os dedos/pulso para facilitar a preensão.
• Recuperação: Tentar uma segunda inserção após uma primeira tentativa falha, em vez de estagnar.

5. Significância e Alegações

O artigo afirma que o CLIFT demonstra que APIs de SFT gerenciadas podem servir não apenas como interfaces de customização, mas como mecanismos práticos para a melhoria de política de ciclo fechado.

• Maestria Não Invasiva: É possível levar um modelo de fundação de peso fechado à maestria quase perfeita em tarefas complexas e ricas em contato sem "abrir a caixa do modelo" (acessar pesos, gradientes ou perdas).
• Importância do Modelo de Fundação: A escolha do modelo de base é crítica. Um modelo de fundação de peso fechado mais forte (GROD) adaptado via uma interface de API estreita supera um modelo de peso aberto mais fraco ($\pi_{0.5}$), mesmo quando este último recebe acesso total interno. Isso sugere que, para adaptação de ciclo fechado, a força do prior pré-treinado pode importar mais do que o nível de acesso ao treinamento.
• Eficiência de Dados: Ao converter falhas de deployment em sinais de treinamento densos ao nível de bloco, o CLIFT extrai o valor máximo das execuções reais no robô, transformando a falha em um sinal de aprendizado em vez de descartá-la.

Os autores concluem que, embora as execuções em robôs reais sejam dispendiosas, esta abordagem oferece um caminho viável para a maestria de tarefas para robôs humanoides na era dos modelos de fundação proprietários.