MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks

1. O Problema

A robótica de manipulação enfrenta desafios significativos ao lidar com tarefas de longo horizonte que combinam movimentos grosseiros (coarse-grained) e manipulações precisas ricas em contato. As abordagens tradicionais de aprendizado de máquina possuem limitações inerentes:

• Aprendizado por Imitação (IL): É eficiente na derivação de políticas a partir de demonstrações, mas sofre com erros cumulativos e deslocamento de distribuição (distribution shift), falhando em cenários que exigem alta precisão ou que fogem do conjunto de dados demonstrado.
• Aprendizado por Reforço (RL): Permite exploração autônoma e supera os limites dos dados de demonstração, mas é ineficiente em termos de amostras, requer muitos tentativas e erros (trial-and-error) e frequentemente necessita de intervenção humana para garantir segurança e convergência.
• Métodos Híbridos Existentes: Muitas soluções atuais que tentam combinar IL e RL lutam para equilibrar eficiência e robustez em tarefas complexas do mundo real, muitas vezes apresentando tempos de convergência longos e alta frequência de intervenção humana.

2. Metodologia: MoRI (Mixture of RL and IL Experts)

O MoRI é um framework baseado na arquitetura Mixture of Experts (MoE) que integra dinamicamente um especialista de IL (baseado em Behavioral Cloning - BC) e um especialista de RL (baseado em Soft Actor-Critic - SAC). O sistema opera em duas etapas principais:

A. Pré-treinamento Offline

• Utiliza um pequeno conjunto de dados de demonstração (20 amostras) para inicializar os especialistas.
• O especialista BC é refinado via Mean Squared Error (MSE) para estabelecer uma linha de base de movimento.
• O especialista RL é inicializado usando o algoritmo AWAC (Advantage-Weighted Actor-Critic) para equilibrar o conhecimento das demonstrações com a capacidade de exploração, mitigando o conservadorismo excessivo do RL offline.
• Um componente DBC (Discrete BC) é introduzido para o controle do gripper (discreto: abrir, segurar, fechar), acelerando a convergência em comparação com métodos baseados em Q-Value (DQN).

B. Ajuste Fino Online (Fine-tuning)

• Mecanismo de Gateamento (Gating Network): Um rede neural avalia a variância das ações dos especialistas.
  • Se a variância for baixa (alta certeza), o sistema prioriza o especialista BC para movimentos grosseiros e estáveis.
  • Se a variância for alta (incerteza, contato complexo), o sistema alterna para o especialista RL para exploração e ajuste fino.
• Regularização por IL: A política de RL é regularizada pela distribuição de ações do BC. Isso restringe a exploração do RL a regiões seguras e viáveis, reduzindo a necessidade de intervenção humana e prevenindo comportamentos catastróficos.
• Seleção de Ação: Em cada passo de tempo, o sistema seleciona rigidamente a ação do especialista com maior peso (BC ou RL) com base na saída da rede de gateamento, combinada com o comando discreto do gripper.

3. Principais Contribuições

1. Mecanismo de Agendamento Dinâmico: Propõe um mecanismo dentro do framework MoE que coordena especialistas de IL e RL baseado na variância das ações, permitindo que o sistema se adapte às demandas específicas da tarefa (movimento vs. contato).
2. Pipeline Integrado Offline-Online: Combina pré-treinamento offline com ajuste fino online, utilizando poucos dados de demonstração para inicialização, o que acelera significativamente a convergência e melhora a eficiência do co-treinamento.
3. Regularização de Segurança: Utiliza a distribuição de ações do IL para regularizar o RL, garantindo segurança durante a exploração e reduzindo drasticamente a dependência de intervenção humana.

4. Resultados Experimentais

O método foi avaliado em quatro tarefas complexas do mundo real usando um braço robótico Franka Research 3:

1. Colocar um bloco em uma gaveta.
2. Colocar uma toalha em uma caixa com tampa.
3. Inserir dois plugues (de dois e três pinos) em soquetes.
4. Dobrar uma toalha duas vezes.

Desempenho Comparativo (vs. ConRFT e Baselines):

• Taxa de Sucesso: O MoRI alcançou uma taxa de sucesso média de 97,5% (vs. 57,5% do ConRFT e 77,5% do RL puro).
• Tempo de Convergência: Redução de 21% no tempo de treinamento em comparação com algoritmos de base. O ajuste fino foi concluído em 2 a 5 horas.
• Intervenção Humana: Redução de 85,8% na necessidade de intervenção humana em comparação com o baseline. A proporção de dados de demonstração no replay buffer caiu de 49,6% para apenas 7,0%.
• Eficiência de Amostragem: Aumento de 111,7% no número de amostras de sucesso autônomas.
• Estabilidade: A regularização BC garantiu transições suaves entre especialistas, evitando saltos bruscos na posição do efetuador final (mudança de ~0,017m com regularização vs. >0,029m sem).

5. Significado e Conclusão

O MoRI representa um avanço significativo na robótica de manipulação ao oferecer uma solução prática para o dilema entre eficiência (IL) e robustez/adaptabilidade (RL). Ao decompor tarefas longas em sub-tarefas gerenciadas por especialistas apropriados e usar a variância como gatilho para a troca, o sistema consegue lidar com tarefas de longo horizonte e alto contato sem a sobrecarga computacional ou de dados de métodos puramente baseados em RL.

Os resultados demonstram que é possível alcançar desempenho de nível humano em tarefas complexas com tempo de treinamento reduzido e mínima intervenção humana, abrindo caminho para a implantação mais ampla de robôs em ambientes não estruturados. O trabalho sugere futuras expansões para modelos hierárquicos com Modelos Visão-Linguagem (VLA) e o uso de "World Models" para reduzir ainda mais o custo de treinamento no mundo real.