💻 computer science

Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning

Este artigo propõe o SCE, um framework de Especialistas de Composição de Habilidades que mitiga o esquecimento catastrófico no Aprendizado Contínuo Incorporado ao decompor tarefas em habilidades reutilizáveis por meio de Ancoragem de Habilidades Composicionais e coordenar sua execução e transições através de Especialistas de Execução e Transição Duplos.

Autores originais: Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

Publicado 2026-06-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a fazer tarefas domésticas. Primeiro, você ensina como abrir uma gaveta. Depois, você ensina como pegar uma tigela. Finalmente, você ensina como colocar essa tigela dentro da gaveta.

No mundo da robótica, isso é chamado de Aprendizado Contínuo Incorporado (Embodied Continual Learning). O robô tem que continuar aprendendo novas tarefas sem esquecer como fazer as antigas.

O Problema: O Robô "Derivante"

O artigo explica que a maioria dos robôs tem um sério problema de memória. Quando você ensina um novo truque a eles, o "cérebro" interno deles (especificamente, a forma como processam dados visuais e de linguagem) começa a se deslocar ou "derivar" para acomodar a nova tarefa.

Pense nisso como um músico que aprende uma música nova. Se ele praticar demais a música nova, pode começar a tocar as músicas antigas de forma levemente errada, misturando o novo ritmo. Em um robô, isso é perigoso porque não é apenas tocar uma música; é mover braços físicos. Se o mapa interno do robô derivar, um pequeno erro em um passo pode aumentar cada vez mais conforme ele tenta terminar uma tarefa, eventualmente causando a falha completa. Isso é chamado de esquecimento catastrófico.

A Solução: A Abordagem "Caixa de Lego" (SCE)

Os autores propõem um novo framework chamado SCE (Skill-Compositional Experts - Especialistas de Composição de Habilidades). Em vez de ensinar o robô a ver cada nova tarefa como uma instrução gigante e completamente nova, eles o ensinam a decompor tudo em pequenos tijolos de Lego reutilizáveis (habilidades).

Veja como o SCE funciona, usando duas ferramentas principais:

1. O "Organizador de Habilidades" (CSG)

Imagine que você tem uma caixa de instruções. O módulo de Fundamentação de Habilidades Composicionais (CSG) é como um bibliotecário inteligente. Ele observa um vídeo longo de um robô realizando uma tarefa complexa (como "colocar a tigela na gaveta") e a divide em pedaços minúsculos e reutilizáveis:

Pedaço A: "Pegar a tigela."
Pedaço B: "Levantar a tigela."
Pedaço C: "Abrir a gaveta."
Pedaço D: "Colocar a tigela."

Ele salva esses pedaços em uma Base de Habilidades (uma biblioteca digital). Agora, quando o robô precisa aprender uma nova tarefa, ele não começa do zero. Ele apenas pega os tijolos existentes de "Pegar" e "Colocar" da biblioteca e os encaixa em uma nova ordem.

2. O "Cérebro de Especialistas Duplos" (DETE)

Uma vez que o robô tem sua biblioteca de peças de Lego, ele precisa de um cérebro para decidir como usá-las. Este é o módulo de Especialistas de Execução e Transição Duplos (DETE). Ele possui dois ajudantes especializados trabalhando juntos:

O "Executor" (Especialista de Execução): Este ajudante é ótimo em realizar uma habilidade específica perfeitamente. Se o robô precisa "Pegar a tigela", este especialista assume o controle e garante que o robô pegue exatamente como fez da primeira vez. Isso evita que o robô "esqueça" como pegar algo.
O "Alternador" (Especialista de Transição): Este ajudante é o mestre das transições. Ele sabe como passar suavemente de "Pegar" para "Levantar". Ele lida com a parte confusa do meio, onde uma habilidade termina e outra começa.

Esses dois especialistas trabalham juntos. O "Executor" mantém as habilidades individuais estáveis, enquanto o "Alternador" garante que o robô não tropece ao mudar de uma ação para outra.

Por que isso importa

O artigo testou isso em uma simulação de computador (usando o benchmark LIBERO) e em um braço robótico físico real.

Na simulação: O novo método (SCE) foi muito melhor em lembrar tarefas antigas enquanto aprendia novas tarefas em comparação com outros métodos. Ele esqueceu muito menos.
No mundo real: Quando tentaram o método em um braço robótico real, ele funcionou ainda melhor. O robô conseguiu completar uma sequência de tarefas que aprendeu ao longo do tempo, enquanto outros métodos fizeram o robô falhar nas tarefas antigas após aprender as novas.

A Visão Geral

O artigo afirma que, ao tratar as tarefas do robô como combinações de habilidades reutilizáveis (como construir com Lego), em vez de um bloco gigante e imutável de memória, os robôs podem aprender continuamente sem perder o controle. O "Executor" mantém as habilidades afiadas, e o "Alternador" mantém o fluxo suave, evitando que o mapa interno do robô derive do curso.

Em resumo: O SCE ensina os robôs a serem como mestres chefs que possuem um conjunto de técnicas básicas perfeitas (cortar, fritar, ferver). Em vez de memorizar uma receita inteira do zero toda vez, eles apenas misturam e combinam essas técnicas perfeitas para criar novos pratos, garantindo que nunca esqueçam como cortar uma cebola.

Resumo Técnico: Especialistas de Composição de Habilidades para Aprendizado Contínuo Incorporado

Definição do Problema

O artigo aborda o Aprendizado Contínuo Incorporado (ECL - Embodied Continual Learning), um cenário onde robôs devem adquirir sequencialmente novas tarefas de manipulação enquanto retêm comportamentos aprendidos anteriormente sob controle de malha fechada (closed-loop control). Diferente do aprendizado contínuo (CL) convencional, onde os dados são estáticos, o ECL envolve ambientes dinâmicos onde as observações evoluem com base nas ações do robô.

O desafio central identificado é o esquecimento catastrófico, que é exacerbado no ECL pelo desvio de características (feature drift). À medida que os modelos de Visão-Linguagem-Ação (VLA) aprendem novas tarefas, suas representações de características derivam das associadas às tarefas antigas. Sob controle de malha fechada, esse desvio não é meramente uma queda estática de desempenho; ele se propaga através da tomada de decisão sequencial, fazendo com que os erros se acumulem e levando à degradação dos comportamentos previamente aprendidos. Métodos existentes frequentemente tratam as tarefas como unidades isoladas ou focam na descoberta de habilidades sem organizá-las explicitamente para uma composição coerente, levando ao uso inconsistente e à amplificação do desvio.

Metodologia: O Framework SCE

Os autores propõem o SCE (Skill-Compositional Experts), um framework projetado para permitir o aprendizado contínuo de tarefas por meio da composição de habilidades reutilizáveis. A arquitetura consiste em dois componentes primários integrados a um modelo VLA pré-treinado:

1. Fundamentação de Habilidade Composicional (CSG)

O CSG é responsável por decompor demonstrações de tarefas em habilidades reutilizáveis e organizá-las em uma Base de Habilidades (Skill Base). Ele opera em duas fases:

Decomposição de Tarefa Consciente do Estado: Usando a dinâmica do estado do robô (especificamente mudanças no estado da garra e mudanças na tendência de movimento do efetuador final), o CSG particiona demonstrações de tarefas brutas em segmentos temporalmente coerentes.
Indução de Habilidade Fundamentada em VLM: Um Modelo de Linguagem-Visão (VLM) fundamenta esses segmentos contra a base de habilidades atual. Se um segmento corresponde a uma habilidade existente, ele é atribuído a essa habilidade; caso contrário, uma nova habilidade reutilizável é induzida e adicionada à base. Este processo gera anotações de habilidade ( $s$ ) para os dados de treinamento, permitindo que o modelo aprenda um espaço de habilidades estruturado.

2. Especialistas Duplos de Execução e Transição (DETE)

O DETE aumenta o decodificador de ação do VLA com dois ramos de especialistas complementares para suportar a composição de habilidades:

Ramo Especialista de Execução: Foca em modelar padrões de ação específicos da habilidade. Ele utiliza um roteador para selecionar o especialista mais relevante de um conjunto baseado na distribuição atual da habilidade, garantindo a execução estável de habilidades individuais. Esse confinamento de atualizações a especialistas específicos reduz a interferência com habilidades não relacionadas.
Ramo Especialista de Transição: Foca em modelar padrões de transição entre habilidades. Como as mudanças de habilidade frequentemente ocorrem ao longo de intervalos temporais em vez de instantaneamente, este ramo captura dependências entre a habilidade precedente e a subsequente. Ele utiliza um roteador consciente da transição que incorpora a distribuição de habilidades para modelar a ambiguidade durante a troca de habilidades.
Fusão Adaptativa: Um Módulo de Fusão Adaptativa combina dinamicamente as saídas dos ramos de Execução e Transição. Ele calcula um coeficiente de equilíbrio ( $\alpha$ ) baseado na característica de roteamento consciente da transição. Quando a distribuição de habilidades está concentrada em uma única habilidade, o modelo enfatiza a execução; próximo aos limites de habilidade, ele desloca o peso para o ramo de transição para garantir um comportamento coerente.

O modelo é otimizado usando uma função de perda combinada: a perda original de flow-matching para geração de ação e uma perda auxiliar de entropia cruzada para supervisionar a distribuição de habilidades.

Principais Contribuições

Framework SCE: A proposta de um framework de Especialistas de Composição de Habilidades que permite o aprendizado contínuo através da composição de habilidades reutilizáveis, abordando os desafios específicos do desvio de características no ECL de malha fechada.
Módulos CSG e DETE:
- CSG: Um mecanismo para decompor demonstrações em habilidades reutilizáveis e manter uma base de habilidades estruturada.
- DETE: Uma arquitetura de especialistas duplos que separa a execução específica da habilidade da transição entre habilidades, permitindo execução estável e troca coerente.
Validação Empírica: Experimentos extensos demonstrando que o SCE mitiga efetivamente o desvio de características e melhora a retenção em comparação com as linhas de base de última geração (state-of-the-art).

Resultados Experimentais

Os autores avaliaram o SCE em benchmarks simulados e do mundo real:

Simulação (Benchmarks LIBERO):
- No LIBERO-Goal, o SCE alcançou uma Taxa de Sucesso Final (SR) de 83,4% e um Esquecimento de Nova Tarefa (NBT) de 4,3%, superando significativamente as linhas de base como o Task-MoE (64,8% SR, 15,8% NBT).
- No LIBERO-Long, o SCE alcançou um SR Final de 73,4% com um NBT de 0,5%, demonstrando estabilidade superior em horizontes longos.
- As métricas utilizadas incluíram Transferência Direta (FWT), NBT, Área Sob a Curva (AUC) e SR Final.
Manipulação no Mundo Real:
- Experimentos em um robô Mercury B1 de 7-DoF com três tarefas sequenciais (Box-to-Board, Board-to-Bowl, Box-to-Bowl) mostraram o SCE alcançando um SR Final de 83,3% e 0,0% de NBT, superando a linha de base Task-MoE (56,7% SR, 10,0% NBT).
Análise de Desvio de Características:
- A análise revelou que, enquanto o treinamento sequencial padrão causou um desvio significativo nas características de ação (até 6,9 vezes maior que as características do VLM), o SCE reduziu substancialmente esse desvio.
- Rollouts de âncora compartilhada demonstraram que o SCE manteve um gap de estado do simulador muito menor em relação aos comportamentos de referência sob controle de malha fechada comparado às linhas de base.
Estudos de Ablação:
- A remoção do CSG resultou em uma queda no SR Final de 83,4% para 70,0%, destacando a necessidade de uma organização de habilidades explícita.
- A remoção de qualquer um dos ramos especialistas (Execução ou Transição) degradou o desempenho, confirmando que tanto a execução específica da habilidade quanto a modelagem de transição entre habilidades são complementares e necessárias.

Significância e Alegações

O artigo afirma que o SCE fornece uma solução robusta para o equilíbrio entre estabilidade e plasticidade no aprendizado contínuo incorporado. Ao estruturar o conhecimento como habilidades reutilizáveis e modelar explicitamente as transições entre elas, o método evita o acúmulo de desvio de características que tipicamente degrada o desempenho de malha fechada. Os autores asseguram que sua abordagem permite que os robôs retenham comportamentos aprendidos anteriormente de forma mais eficaz do que métodos de nível de tarefa ou de nível de habilidade não estruturados, tornando-o um passo viável em direção à adaptabilidade de longo prazo na implantação robótica no mundo real. O trabalho sugere que direções futuras poderiam envolver a extensão desta abordagem composicional para repertórios de habilidades de maior escala e mais abertos.