Resumo Técnico: Robustez de Tarefas via Re-Rotulagem de Dados Robóticos de Visão-Ação (TREAD)

Definição do Problema

Avanços recentes na escala de modelos de aprendizado robótico produziram políticas capazes de generalizar para novos cenários. No entanto, essas políticas frequentemente lutam para seguir instruções baseadas em texto de forma confiável. Os autores atribuem essa fraqueza à falta de diversidade linguística e de sequências de ação nos conjuntos de dados de robótica existentes. Embora esforços colaborativos tenham expandido o tamanho dos conjuntos de dados, esses dados frequentemente sofrem de desequilíbrios de modalidade: contêm trajetórias longas e complexas com múltiplos subobjetivos, mas a diversidade linguística é "diluída" porque menos instruções únicas estão associadas ao crescente número de quadros de imagem-ação. A re-anotação manual de milhares de vídeos de demonstração para aumentar essa diversidade não escala com as demandas dos sistemas modernos de aprendizado robótico.

Metodologia: Estrutura TREAD

O artigo apresenta o TREAD (Task Robustness via RE-Labelling Vision-Action Robot Data), uma estrutura escalável que utiliza Grandes Modelos de Visão-Linguagem (VLMs) para aumentar os conjuntos de dados de robótica existentes sem coletar novos dados. A estrutura opera através de um processo iterativo de três estágios usando um VLM pré-treinado (especificamente o Gemini Pro 2.5 nos experimentos):

1. Geração de Subtarefas Semânticas: Dada uma instrução de alto nível original e o quadro da cena inicial, o VLM gera uma sequência de descrições de subtarefas semânticas necessárias para completar o objetivo. Crucialmente, o modelo adapta o número de subtarefas com base no contexto da cena (por exemplo, determinando se uma gaveta está aberta ou fechada).
2. Segmentação Temporal: O VLM processa o vídeo de demonstração completo, utilizando a lista de subtarefas gerada para identificar os limites temporais específicos (início e fim) onde cada subtarefa ocorre. Isso decompõe uma única trajetória de longo horizonte $(\tau, \ell)$ em um conjunto ordenado de sub-trajetórias $[(\tilde{\tau}_1, \tilde{\ell}_1), \dots, (\tilde{\tau}_z, \tilde{\ell}_z)]$.
3. Diversidade de Instrução Ancorada: Para cada sub-trajetória, o VLM gera variações linguísticas diversas da instrução. Diferente de uma simples substituição de sinônimos, este passo condiciona a geração ao contexto visual (o primeiro quadro da sub-trajetória). O modelo incorpora propriedades de objetos (cor, forma) e relações espaciais para criar paráfrases ancoradas (por exemplo, mudando "pegue a caneca azul" para "agarre a pequena caneca de café ao lado do laptop").

O conjunto de dados resultante é uma mistura das trajetórias originais e das sub-trajetórias recém-decompostas e linguisticamente diversas.

Principais Contribuições

Os autores realizam duas contribuições primárias:

1. Uma Nova Estrutura: O TREAD utiliza a consulta iterativa de um VLM para aumentar e diversificar sistematicamente os conjuntos de dados originais através da decomposição de trajetórias e da re-rotulagem com linguagem ancorada e diversa.
2. Um Conjunto de Dados Aumentado: Os autores liberam o conjunto de dados obtido ao aplicar esta estrutura para facilitar pesquisas futuras.

Resultados Experimentais

Os autores avaliaram o TREAD no benchmark LIBERO, um ambiente de simulação para manipulação robótica. Eles realizaram o ajuste fino (fine-tuning) de duas políticas generalistas, Octo e $\pi_0$-FAST, em conjuntos de dados aumentados pelo TREAD e os compararam com as bases treinadas nos dados originais.

• Generalização de Movimento (Novos Ambientes): Quando testadas em novos pares cena-instrução, as políticas treinadas com a decomposição de trajetória do TREAD mostraram desempenho melhorado. Especificamente, o TREAD alcançou uma taxa de sucesso 15% maior no Octo e 6% maior no $\pi_0$-FAST para tarefas de objetivo único em comparação com a base. Os benefícios foram particularmente pronunciados para tarefas de múltiplos objetivos, onde o TREAD melhorou as taxas de conclusão do primeiro objetivo em 30% para o Octo.
• Generalização de Linguagem (Novas Instruções): Em tarefas que exigem adesão a instruções linguisticamente variadas, o TREAD demonstrou robustez significativa. Para tarefas de objetivo único, o TREAD melhorou as taxas de sucesso em 20% para o Octo e 9% para o $\pi_0$-FAST sobre a base.
• Desempenho In-Distribution: O aumento não comprometeu o desempenho em tarefas dentro da distribuição (in-distribution); o TREAD manteve taxas de sucesso comparáveis à base em tarefas de longo horizonte padrão do LIBERO-10.

Os autores observam que a decomposição de trajetória forneceu vieses indutivos particularmente valiosos para o Octo, que carece da compreensão de visão-linguagem pré-treinada inerente ao $\pi_0$-FAST.

Significância e Alegações

O artigo afirma que o TREAD aborda efetivamente o problema da "diluição" em conjuntos de dados de robótica ao decompor demonstrações longas em pares de linguagem-ação granulares e ancorados. Ao alavancar o conhecimento transferível em VLMs, o método melhora tanto a generalização de planejamento (através da decomposição de trajetória) quanto a generalização de política condicionada à linguagem (através do aumento da diversidade linguística).

Os autores enfatizam que sua abordagem melhora o desempenho da política sem exigir coleta de dados adicional ou mudanças arquiteturais na própria política, tornando-a aplicável junto a qualquer arquitetura de visão-linguagem-ação. Eles reconhecem limitações, especificamente a dependência de um VLM de código fechado que afeta a reprodutibilidade, e sugerem que trabalhos futuros devem explorar alternativas de código aberto e aplicação a conjuntos de dados maiores. No entanto, concluem que mesmo com pequenas quantidades de dados adequadamente segmentados e aumentados, os modelos VLA atuais exibem ganhos de desempenho óbvios.