Resumo Técnico: EXPO-FT

Declaração do Problema

A capacidade de aprender novas tarefas de forma eficiente e confiável permanece um desafio fundamental na robótica. Embora os modelos Visão-Linguagem-Ação (VLA) tenham demonstrado forte generalização em diversas tarefas de manipulação por meio de aprendizado por imitação em larga escala, as políticas pré-treinadas consistentemente ficam aquém da confiabilidade necessária para implantação no mundo real. Falhas em ambientes físicos são custosas, tornando necessária uma trajetória para fechar a lacuna entre o pré-treinamento generalista e o desempenho confiável e específico de tarefas.

As abordagens existentes para treinar políticas de robôs no mundo real via Aprendizado por Reforço (RL) enfrentam uma dicotomia:

1. Treinamento do zero: Métodos que treinam políticas de RL sem ajustar finamente um VLA (ou que treinam modelos leves sobre eles) frequentemente alcançam forte desempenho assintótico, mas falham em aproveitar os ricos priores semânticos e comportamentais embutidos em grandes VLAs pré-treinados.
2. Ajuste fino de VLAs: Métodos que ajustam finamente VLAs pré-treinados herdam representações generalizáveis, mas frequentemente falham em alcançar taxas de sucesso confiáveis, exigem números proibitivamente grandes de interações com o ambiente, ou ambos.

Existe uma lacuna crítica para frameworks que simultaneamente explorem o prior de um VLA pré-treinado e alcancem a eficiência de amostras e a confiabilidade necessárias para implantação prática.

Metodologia: EXPO-FT

Os autores apresentam o EXPO-FT, um sistema projetado para ajuste fino estável e eficiente em amostras de RL de políticas VLA pré-treinadas. O sistema é construído sobre o algoritmo EXPO, um método recentemente proposto para RL estável com políticas de fluxo expressivas ou de difusão, e estende-o para abordar desafios específicos na robótica.

Arquitetura Central e Escolhas de Design

O EXPO-FT integra três componentes principais para alcançar alta eficiência de amostras e confiabilidade:

1. Política Base e Mecanismo de Edição (EXPO Estendido):

   • O sistema utiliza um VLA pré-treinado (especificamente $\pi_{0.5}$) como uma política de fluxo base ($\pi_{VLA}$).
   • Em vez de retropropagar gradientes através do grande modelo VLA durante as atualizações de RL, o EXPO-FT emprega uma política de edição leve ($\pi_{edit}$).
   • A política de edição prevê uma correção $\hat{a}$ restrita a uma pequena faixa $[-\beta, \beta]$, que é adicionada à ação base $a$ para produzir a ação editada $\tilde{a} = a + \hat{a}$.
   • Uma função Q é treinada via Aprendizado por Diferença Temporal (TD) para selecionar o candidato que maximiza o valor entre a ação base e a ação editada. Isso permite que o sistema fundamente atualizações TD em ações quase ótimas sem desestabilizar o VLA pré-treinado.

2. Ações Temporalmente Estendidas (Blocos de Ação):

   • Ao contrário dos algoritmos clássicos de RL projetados para ações Gaussianas de passo único, os VLAs modernos operam sobre blocos de ação (sequências de $H$ ações futuras).
   • O EXPO-FT adapta a política de edição e a função Q para operar nativamente sobre esses blocos ($a_{t:t+C}$). A política de edição prevê edições para todo o bloco, preservando a abstração temporal central ao design do VLA.

3. Intervenções Humano-no-Loop (HIL):

   • Para acelerar ainda mais o aprendizado e fornecer correções direcionadas onde a exploração autônoma é insuficiente, o sistema incorpora feedback humano-no-loop.
   • Durante o treinamento online, um operador humano pode intervir via teleoperação (usando um SpaceMouse) para fornecer correções de ação para passos de tempo específicos dentro de um bloco de ação.
   • Essas ações corretivas sobrescrevem as ações da política para os passos de tempo intervenidos, e as trajetórias resultantes são adicionadas ao buffer de replay. Este mecanismo fornece sinais de alta qualidade para reduzir o ônus da exploração.

Procedimento de Treinamento

O sistema emprega uma arquitetura Aprendiz-Ator desacoplada para gerenciar a latência da inferência e do treinamento de grandes VLAs:

• Ator: Executa trajetórias no ambiente do mundo real, coleta intervenções humanas e envia tuplas estado-ação-recompensa $(s, a, r, s')$ para o aprendiz.
• Aprendiz: Lida com o treinamento do VLA, a inferência e mantém o buffer de replay. Ele atualiza o agente (rede Q e política de edição) por passo, por episódio ou por grande lote.
• Inicialização: Antes do RL online, o VLA é frequentemente inicializado com um pequeno conjunto de dados offline de demonstrações humanas via ajuste fino supervisionado (Aprendizado por Imitação) para alcançar uma taxa de sucesso de base (ex.: ~40%).
• Recompensa: O sistema utiliza um sinal de recompensa binário esparsa indicando a conclusão da tarefa, evitando a sobrecarga de engenharia do ajuste denso de recompensas.

Contribuições Principais

1. Sistema para Ajuste Fino de RL Eficiente em Amostras: Um framework completo (EXPO-FT) que permite o ajuste fino confiável de modelos VLA pré-treinados usando RL, alcançando altas taxas de sucesso com dados online mínimos.
2. Extensões Arquiteturais: A extensão do algoritmo EXPO para suportar blocos de ação temporalmente estendidos e a integração de intervenções humano-no-loop especificamente para ajuste fino de VLA.
3. Lançamento de Código Aberto: O lançamento de uma base de código de código aberto para facilitar a adoção mais ampla do ajuste fino de RL para modelos VLA na comunidade robótica.

Resultados Experimentais

Os autores avaliaram o EXPO-FT em oito tarefas desafiadoras de manipulação no mundo real que exigem combinações de alta precisão, ações dinâmicas e robustez a estados iniciais variados. As tarefas incluíram:

• Dinâmicas/Ricas em Contato: Virar Ovo (virar um ovo frito com uma espátula), Tacada de Pôquer (bater em uma bola de bilhar).
• Precisão/Alinhamento: Inserção de Flor (inserir um caule em uma garrafa), Pegada de Cubo (agarrar sob randomização), Roteamento de Luz de Fita (pendurar lâmpadas e conectar a energia).
• Deformáveis/Ruidosas: Colher de Doce (transferir doces com uma colher).

Métricas de Desempenho:

• Taxa de Sucesso: O EXPO-FT alcançou uma taxa de sucesso perfeita (30/30) em todas as tarefas avaliadas.
• Eficiência de Amostras: O sistema alcançou esse desempenho confiável dentro de uma média de 19,1 minutos de dados de robô online.
• Comparação: O EXPO-FT superou:
  • HIL-SERL (RL do zero com HIL): Alcançou apenas 5,5/30 de sucesso médio, lutando com grandes distribuições de estado inicial.
  • DSRL (RL em espaço latente em VLAs): Alcançou 19/30 de média, limitado por restrições de otimização dentro da distribuição prior.
  • HG-DAgger (Aprendizado por imitação com correções): Alcançou 22,1/30 de média, lutando para se recuperar de erros cumulativos em tarefas dinâmicas.
  • Ajuste Fino Supervisionado (SFT): Alcançou 20,5/30 de média.

Notavelmente, em tarefas que exigem ações dinâmicas (Virar Ovo, Tacada de Pôquer) ou alta precisão, a lacuna de desempenho entre o EXPO-FT e métodos anteriores foi mais pronunciada.

Significado e Alegações

O artigo afirma que o EXPO-FT demonstra que o ajuste fino de RL de VLAs pode ser tanto eficiente em amostras quanto confiável quando projetado com as escolhas arquitetônicas corretas. Ao combinar os priores semânticos de um VLA pré-treinado com um algoritmo de RL off-policy eficiente (EXPO) e correções humano-no-loop, o sistema fecha a lacuna entre o pré-treinamento generalista e a confiabilidade necessária para implantação no mundo real.

Os autores posicionam este trabalho como uma pedra fundamental para a adoção mais ampla do ajuste fino de modelos VLA generalistas com aprendizado por reforço. Eles reconhecem limitações, como a exigência atual de redefinição manual do ambiente e os desafios computacionais de executar treinamento de alta frequência em modelos com bilhões de parâmetros, identificando esses pontos como direções para trabalhos futuros. No entanto, a contribuição central é a validação de que um pipeline unificado e eficiente em amostras pode transformar um VLA generalista em um especialista altamente confiável para tarefas complexas de manipulação.