Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está ensinando um robô a fazer tarefas domésticas, como limpar a mesa ou dobrar roupas. Até agora, a maneira de fazer isso era como dar ao robô um livro de receitas fixo. Se o livro tivesse a receita de "fazer um sanduíche", o robô sabia fazer. Mas se você pedisse para ele "fazer um bolo de cenoura" e essa receita não estivesse no livro, o robô ficava paralisado. Ele não sabia improvisar e precisava que um humano escrevesse a receita do zero para ele.

O artigo que você enviou apresenta uma solução genial chamada Uni-Skill. Pense no Uni-Skill não como um livro de receitas estático, mas como um robô com uma "mente curiosa" e uma "biblioteca de vídeos" infinita.

Aqui está como funciona, explicado de forma simples:

1. O Problema: O Robô que Só Sabe o que Está no Manual

Os robôs antigos (ou os métodos antigos) tinham um conjunto fixo de habilidades. Se você pedisse algo novo, eles diziam: "Não sei fazer isso, não está no meu manual". Eles precisavam de um humano para ensinar cada novo movimento, o que é lento e chato.

2. A Solução: O "Detetive" e o "Arquivista"

O Uni-Skill divide o cérebro do robô em duas partes principais que trabalham juntas:

A. O Detetive (Planejamento Consciente de Habilidades)

Imagine que você pede ao robô: "Limpe a mesa com uma esponja".

O robô olha para suas habilidades atuais (pegar, soltar, mover).
O Detetive pensa: "Ok, eu sei pegar e soltar, mas eu não sei 'limpar com esponja'. Isso é uma habilidade que falta!"
Em vez de desistir, o Detetive cria uma nova descrição para essa habilidade. Ele diz: "Preciso de uma habilidade chamada 'limpar mesa' que usa uma esponja e faz movimentos circulares".
Isso permite que o robô entenda que precisa aprender algo novo na hora, sem esperar que um humano diga o que fazer.

B. O Arquivista (Evolução Automática de Habilidades)

Agora que o robô sabe que precisa aprender a "limpar mesa", como ele aprende?

Antigamente, um humano teria que filmar a si mesmo limpando uma mesa e ensinar o robô.
Com o Uni-Skill, o robô vai para a sua biblioteca gigante de vídeos (chamada SkillFolder).
Essa biblioteca é como um Netflix de vídeos de robôs e pessoas fazendo tarefas, mas organizado de forma inteligente.
O robô procura na biblioteca: "Alguém já fez algo parecido com 'limpar com esponja'?".
Ele encontra milhares de vídeos onde alguém (ou outro robô) limpou uma mesa. Ele não precisa assistir a tudo; ele usa a inteligência artificial para encontrar os melhores exemplos e extrair o "padrão" do movimento.

3. A Grande Magia: A "Árvore de Habilidades" (SkillFolder)

Para organizar essa biblioteca gigante, os criadores do Uni-Skill usaram uma ideia brilhante. Eles criaram uma árvore de habilidades inspirada em dicionários de verbos (VerbNet).

No topo da árvore: Há categorias gerais, como "Ações de Limpeza" ou "Movimentos de Mãos".
No meio: Há exemplos específicos, como "Limpar com pano" ou "Limpar com esponja".
Na base: Há os vídeos reais e os movimentos exatos (para onde a mão vai, com que força).

Isso é como organizar uma biblioteca não apenas por autor, mas por tipo de ação. Se você precisa de "dobrar roupa", o robô não procura apenas por "roupa", ele procura na categoria "dobrar", vê como foi feito antes e adapta para a sua situação.

4. O Resultado: Um Robô que Aprende Sozinho

Quando o robô vai executar a tarefa no mundo real:

Ele vê a mesa suja.
O Detetive percebe que precisa da habilidade "limpar".
O Arquivista vai à biblioteca, pega um exemplo de alguém limpando uma mesa e diz: "Olha, eles fizeram movimentos circulares e pressionaram um pouco".
O robô usa esses exemplos como um guia visual para fazer o movimento sozinho, mesmo nunca tendo feito aquilo antes.

Por que isso é incrível?

Sem ensaios manuais: Você não precisa filmar o robô fazendo cada tarefa nova. Ele aprende olhando para vídeos de outras pessoas ou robôs.
Adaptável: Se você pedir algo estranho, como "arrumar os livros de cabeça para baixo", o robô tenta encontrar exemplos na biblioteca e cria um plano.
Melhor que os outros: Nos testes, esse sistema foi muito melhor do que os robôs que só usam manuais fixos. Ele conseguiu fazer tarefas complexas que os outros robôs falhavam, como dobrar roupas ou fechar gavetas difíceis.

Em resumo: O Uni-Skill transforma o robô de um funcionário que só segue um manual rígido em um estagiário inteligente que, quando não sabe fazer algo, abre o Google (sua biblioteca de vídeos), vê como outros fizeram, aprende o padrão e executa a tarefa sozinho. É um passo gigante para robôs que realmente entendem o mundo e se adaptam a ele.

Each language version is independently generated for its own context, not a direct translation.

Resumo Técnico: Uni-Skill

1. O Problema

A robótica de manipulação enfrenta um desafio fundamental: generalizar instruções de linguagem livre para tarefas diversas em ambientes do mundo real. As abordagens existentes baseadas em centradas em habilidades (skill-centric) utilizam modelos fundacionais (LLMs) para decompor tarefas complexas em habilidades pré-definidas (APIs). No entanto, essas abordagens sofrem de limitações críticas:

Bibliotecas de Habilidades Fixas: Os sistemas dependem de um conjunto de habilidades pré-definido e estático. Se uma tarefa requer uma habilidade não presente na biblioteca (ex: "dobrar roupas" quando apenas "pegar" e "soltar" existem), o sistema falha.
Dependência de Intervenção Humana: Para novas habilidades, os métodos atuais exigem anotação manual de demonstrações ou waypoints durante a implantação, o que é ineficiente e não escalável.
Subutilização de Dados Não Estruturados: Embora existam grandes volumes de vídeos robóticos na internet contendo demonstrações de habilidades, esses dados são desestruturados e carecem de anotações específicas, tornando-os inúteis para expansão automática de bibliotecas de habilidades.

2. Metodologia

O Uni-Skill propõe um framework unificado que permite o planejamento consciente de habilidades e a evolução automática de habilidades, superando a rigidez das bibliotecas fixas. O sistema é composto por dois módulos principais:

A. Planejamento Consciente de Habilidades (Skill-Aware Planning)
Este módulo permite que o sistema detecte lacunas de habilidades e adapte o planejamento dinamicamente.

Discriminador de Suficiência ( $E$ ): Avalia se as habilidades básicas existentes são suficientes para executar a instrução dada.
Gerador de Habilidades ( $G$ ): Se habilidades adicionais forem necessárias, o sistema sintetiza automaticamente descrições semânticas para novas habilidades (ex: gerar uma descrição para "limpar a mesa" se não existir na base).
Planejador ( $P$ ): Gera código de política executável combinando habilidades da base ( $L_{base}$ ) e as novas habilidades sintetizadas ( $L_{ext}$ ), utilizando modelos de Visão-Linguagem (VLMs) treinados em dados de código.

B. Evolução Automática de Habilidades (Automatic Skill Evolution)
Este módulo transforma descrições de habilidades de alto nível em sequências de ação de baixo nível, sem necessidade de demonstrações em tempo real.

SkillFolder (Repositório Hierárquico): Inspirado no VerbNet, é um repositório de habilidades derivado de vídeos robóticos em larga escala. Ele organiza as habilidades em uma taxonomia de quatro camadas:
1. Classes VerbNet: Categorias abstratas de ação (ex: "manner of wiping").
2. Instâncias de Verbos: Diferenças sutis de contexto e padrão comportamental.
3. Descrições de Habilidades: Templates de interação focados em objetos específicos.
4. Folhas (Exemplos Visuais): Segmentos de vídeo anotações automaticamente que instanciam a habilidade.
Pipeline de Anotação Automática: Utiliza um VLM (Gemini-2.0-Flash) para extrair procedimentos, descrever habilidades e alinhar temporalmente os segmentos de vídeo, convertendo 350 horas de vídeos brutos em mais de 10.000 traços de habilidades anotados.
Implementação Few-Shot: Ao encontrar uma nova habilidade, o sistema recupera exemplos relevantes do SkillFolder. Esses exemplos fornecem:
- Restrições Semânticas: Regras de contato e waypoints de alto nível.
- Referências de Trajetória: Trajetórias espaciais 2D/3D e padrões de orientação (6-DoF) que são transferidos para o cenário de destino.

3. Principais Contribuições

Framework Uni-Skill: A primeira abordagem que integra planejamento adaptativo com um repositório de habilidades auto-evolutivo, eliminando a necessidade de anotação manual para novas tarefas.
SkillFolder: Um dataset hierárquico e estruturado contendo mais de 10.000 exemplos de habilidades, mapeados para 106 classes do VerbNet e 1.659 descrições únicas, permitindo recuperação semântica eficiente.
Mecanismo de Evolução Automática: Um pipeline que converte vídeos não estruturados em demonstrações de habilidades utilizáveis, permitindo que o robô "aprenda" novas habilidades a partir de dados existentes.
Generalização Zero-Shot: Capacidade de executar tarefas nunca vistas antes, gerando trajetórias e políticas baseadas em exemplos recuperados semanticamente, sem necessidade de demonstrações in-situ.

4. Resultados

Os experimentos foram realizados em simulação (RLBench) e no mundo real (braço robótico Franka Emika).

Simulação (RLBench):
- Em tarefas fora do conjunto de habilidades básicas (10 tarefas novas), o Uni-Skill superou o estado da arte (MOKA) em 31,0% na taxa de sucesso zero-shot.
- O Uni-Skill alcançou uma taxa média de sucesso de 41% em tarefas novas, enquanto métodos baseados em geração de código (CaP) falharam (0,01%) e MOKA obteve 10%.
Mundo Real:
- O Uni-Skill demonstrou superioridade em tarefas de longo horizonte e habilidades não vistas, com uma melhoria de 20,0% em tarefas de longo horizonte e 34,0% em habilidades não vistas em comparação com métodos existentes.
- Em tarefas complexas como "Dobrar Tecido" e "Mexer Blocos", o Uni-Skill alcançou taxas de sucesso significativamente maiores (ex: 70% em Dobrar Tecido vs. 20% do MOKA).
Análise de Falhas: A maioria das falhas ocorreu devido a erros de planejamento ou fundamentação (grounding), mas um mecanismo de auto-correção (usando exemplos negativos) melhorou as taxas de sucesso em tarefas específicas em até 12%.

5. Significado e Impacto

O trabalho Uni-Skill representa uma mudança de paradigma na aprendizagem robótica:

De Estático para Dinâmico: Transita de bibliotecas de habilidades fixas para repositórios que crescem e evoluem automaticamente.
Escalabilidade: Demonstra que grandes volumes de dados não estruturados (vídeos da internet) podem ser transformados em conhecimento estruturado e acionável para robôs, reduzindo drasticamente a dependência de anotação humana cara.
Generalização Robusta: Prova que a combinação de raciocínio semântico (via VLMs) com recuperação de exemplos visuais estruturados permite que robôs lidem com instruções de linguagem livre em cenários totalmente novos, aproximando-se do objetivo de manipulação robótica generalista.

Em suma, o Uni-Skill oferece uma solução viável para o "gap" entre a capacidade de planejamento de alto nível dos LLMs e a execução física de baixo nível, permitindo que robôs se adaptem a novas tarefas de forma autônoma e eficiente.