Resumo Técnico: INSIGHT – Aquisição de Habilidades Autodirigida via VLAs Controláveis

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) avançaram o controle robótico de propósito geral, mas permanecem fundamentalmente limitados pelas habilidades presentes em seus dados de treinamento. A aquisição de novas habilidades de manipulação normalmente requer demonstrações humanas dispendiosas e ajuste fino (fine-tuning) para cada nova tarefa. Embora o aprendizado por reforço (RL) ofereça uma alternativa, ele frequentemente exige uma complexidade de amostragem proibitiva e restrições de segurança no mundo real. Além disso, os métodos existentes que utilizam Modelos de Visão-Linguagem (VLMs) ou Modelos de Linguagem de Grande Escala (LLMs) como planejadores ou agentes de codificação geralmente operam em tempo de teste; eles compõem habilidades pré-definidas ou geram trajetórias sem atualizar a política aprendida subjacente. Consequentemente, os robôs não podem expandir autonomamente seu conjunto de capacidades para lidar com cenários inéditos (por exemplo, um rover de Marte precisando varrer detritos quando foi treinado apenas para coletar rochas) sem intervenção humana.

Metodologia: Estrutura INSIGHT

O INSIGHT aborda essas limitações tornando os VLAs "controláveis" (steerable) ao nível da ação primitiva, permitindo a aquisição autônoma de habilidades por meio de um pipeline de dois estágios.

Estágio 1: Segmentação Automática de Primitivas e Treinamento de VLA Controlável

O primeiro estágio transforma demonstrações padrão de teleoperação em uma política VLA controlável sem necessidade de anotação manual.

• Definição de Primitiva: Uma primitiva é definida como um segmento de ação reutilizável caracterizado por um único modo de movimento dominante (ex: translação ao longo de um eixo, rotação ou transição de estado do gripper) e um rótulo de linguagem natural (ex: "levantar para cima", "fechar gripper").
• Segmentação Automatizada: Um VLM recebe uma descrição da tarefa e exemplos de primitivas para gerar uma sequência ordenada de primitivas esperadas. Esses planos gerados pelo VLM são alinhados com os dados de demonstração humana usando transições de estado do gripper (abrir/fechar), magnitudes de movimento do efetor final e tags de eixo dominante.
• Ajuste Fino (Fine-Tuning): As trajetórias segmentadas e rotuladas são usadas para ajustar um VLA pré-treinado (usando LoRA). Cada segmento de primitiva torna-se um episódio de treinamento separado, condicionado ao seu rótulo de linguagem. Um canal de progresso aprendido é adicionado ao espaço de ação para fornecer sinais de terminação para primitivas individuais.
• Resultado: O resultado é um VLA que pode ser direcionado via linguagem para executar primitivas específicas, em vez de apenas instruções de tarefas completas.

Estágio 2: Ciclo de Aquisição de Habilidades Guiado por VLM

Dado um VLA controlável com um vocabulário conhecido de primitivas ($V$), o INSIGHT adquire autonomamente as habilidades ausentes para novas tarefas.

1. Identificação de Lacuna de Primitiva: Para uma nova tarefa, um planejador VLM decompõe a tarefa em uma sequência de primitivas. Qualquer primitiva $p_i$ no plano que não esteja no vocabulário atual $V$ é marcada como uma "lacuna de primitiva".
2. Parametrização e Execução: Para cada lacuna, o VLM propõe parâmetros de controle de baixo nível, especificamente um eixo de movimento (translação $\{dx, dy, dz\}$ ou rotação $\{dr_x, dr_y, dr_z\}$) e uma magnitude com sinal. O robô executa o plano: primitivas conhecidas são tratadas pelo VLA controlável, enquanto as lacunas são executadas por um controlador de baixo nível usando os parâmetros propostos pelo VLM.
3. Avaliação de Sucesso e Integração: Um oráculo VLM analisa a cena antes e depois da execução para verificar o sucesso da tarefa. Execuções bem-sucedidas da nova primitiva são automaticamente rotuladas, armazenadas e adicionadas ao conjunto de dados de treinamento.
4. Retreinamento: O VLA é retreinado no conjunto de dados combinado das primitivas originais e das recém-adquiridas. Isso expande o vocabulário $V$, permitindo que o robô execute a tarefa completa composta autonomamente em iterações futuras.

Principais Contribuições

1. Pipeline de Segmentação Automática de Primitivas: Um método para decompor demonstrações de teleoperação em primitivas rotuladas usando decomposição de plano por VLM e pistas cinemáticas, eliminando a necessidade de anotação manual e permitindo a controlabilidade ao nível da primitiva.
2. Ciclo de Dados (Data Flywheel) Guiado por VLM: Um sistema de ciclo fechado onde o VLM identifica primitivas ausentes para novas tarefas, gera autonomamente demonstrações bem-sucedidas via controle de baixo nível e retreina o VLA para integrar essas novas capacidades sem novas demonstrações humanas.
3. Aquisição de Habilidades Composicional: Uma demonstração de que as primitivas adquiridas podem ser compostas para resolver tarefas complexas de longo horizonte, permitindo efetivamente o aprendizado contínuo e vitalício (lifelong learning).

Resultados Experimentais

A estrutura foi avaliada em cinco tarefas em simulação (ambiente LIBERO com um Franka Panda) e em hardware real (UFactory xArm).

• Simulação (Virar Bloco): Partindo de apenas demonstrações de pegar e colocar (pick-and-place), o INSIGHT adquiriu uma primitiva de "girar-bloco". Ele alcançou 75% de sucesso na tarefa de virar o bloco após 246 execuções de primitiva adquirida. Em contraste, um baseline de RL Soft Actor-Critic (SAC) com o mesmo orçamento computacional alcançou 0% de sucesso no giro.
• Simulação (Fechar Gaveta): Treinado apenas em demonstrações de abrir gaveta, o INSIGHT adquiriu uma primitiva de "empurrar gaveta para fechar" a partir de um estado inicial fora da distribuição (OOD) (gaveta já aberta). Ele alcançou 100% de sucesso ao fechar a gaveta, mantendo a capacidade de abri-la.
• Mundo Real (Torcer e Verter):
  • Torcer: O INSIGHT alcançou 92% de sucesso de ponta a ponta na abertura de uma tampa de garrafa, comparado a 32% para o baseline Code-as-Policies (CaP-X) e 0% para um VLA padrão ajustado ($\pi0.5$).
  • Verter: O INSIGHT alcançou 96% de sucesso ao verter feijões, contra 16% do CaP-X.
  • Composição: Para uma tarefa complexa de 14 primitivas de "torcer-então-verter", o INSIGHT alcançou 80% de sucesso de ponta a ponta, superando significativamente o CaP-X (4%).
  • Eficiência: O INSIGHT exigiu substancialmente menos tempo de relógio por tentativa do que o CaP-X (ex: 13,6s vs 41,5s para torcer) porque executa primitivas aprendidas em vez de raciocinar sobre cada etapa em tempo de teste.
• Mundo Real (Varrer): A partir de apenas demonstrações de colher (scooping), o INSIGHT adquiriu uma primitiva de empuxo lateral para varrer detritos, obtendo sucesso em 5/5 tentativas de avaliação.
• Retenção de Habilidade: Em todos os experimentos, o VLA unificado manteve 100% de desempenho nas suas habilidades base originais após adquirir novas primitivas.

Significância e Alegações

O artigo alega que a controlabilidade de primitivas fornece uma base prática para a aquisição contínua de habilidades em políticas VLA. Ao decompor habilidades em primitivas compostáveis e controláveis, o INSIGHT permite que os robôs:

• Identifiquem exatamente quais capacidades estão faltando para uma nova tarefa.
• Adquiram autonomamente essas habilidades específicas faltantes através de prática.
• Integrem novas habilidades em uma política unificada sem o esquecimento catastrófico de habilidades anteriores.

Os autores posicionam isso como uma mudança de tratar VLMs meramente como planejadores de tempo de teste para usá-los como agentes ativos em um ciclo de aquisição de dados que expande persistentemente o conjunto de habilidades do robô. Esta abordagem oferece um caminho para robôs que podem se adaptar a novos ambientes (como o exemplo do rover de Marte) sem o custo proibitivo de coletar novas demonstrações humanas para cada novo comportamento.

Limitações observadas pelos autores:

• A aquisição de primitivas é atualmente restrita a movimentos de eixo único.
• O sistema filtra execuções bem-sucedidas; incorporar análise de falhas poderia melhorar a eficiência de amostragem.
• A intervenção humana ainda é necessária para resets de ambiente entre as execuções.
• O método ainda não foi testado em corpos de altos graus de liberdade (high-DOF), como humanoides ou manipuladores móveis.