HACTS: a Human-As-Copilot Teleoperation System for Robot Learning

Título: HACTS: Um Sistema de Teleoperação "Humano como Copiloto" para Aprendizado de Robôs

1. O Problema

A teleoperação é fundamental para o aprendizado de robôs, especialmente em tarefas de manipulação que dependem de demonstrações humanas (como modelos Vision-Language-Action - VLA) ou correções em tempo real (Reinforcement Learning com Humano no Loop - HITL RL). No entanto, os sistemas existentes apresentam limitações críticas:

• Controle Unilateral: A maioria dos sistemas (ex: VR, exoesqueletos, joysticks) permite apenas que o humano envie comandos ao robô, sem fornecer feedback tátil ou de posição em tempo real.
• Falta de Sincronização: Sem um mecanismo de sincronização bilateral, quando um robô opera autonomamente e precisa de intervenção humana, o operador não "sente" o estado do robô. Isso pode levar a movimentos bruscos e não intencionais, interrompendo a continuidade da tarefa.
• Custo e Complexidade: Sistemas bilaterais existentes que oferecem feedback de força ou tátil são caros, complexos e exigem hardware especializado, tornando-os inacessíveis para a maioria das plataformas robóticas comuns.

2. Metodologia: O Sistema HACTS

O HACTS (Human-As-Copilot Teleoperation System) foi desenvolvido para resolver essas limitações através de uma abordagem de sincronização de juntas bilateral em tempo real.

• Conceito de "Copiloto": O sistema permite que o operador humano atue como um copiloto, intervindo perfeitamente enquanto o robô executa tarefas autônomas.
• Sincronização Bilateral:
  • Leader-to-Follower: O humano controla o robô para coletar dados de demonstração (modo offline).
  • Follower-to-Leader: O robô executa uma política aprendida e o hardware de teleoperação move-se em sincronia com o robô. Se o robô falhar ou precisar de ajuste, o humano pode intervir fisicamente no hardware, e o sistema registra essa correção como dados de ação-correção.
• Design de Hardware (Baixo Custo):
  • Construído com componentes impressos em 3D e motores servo comerciais de baixo custo (DYNAMIXEL XL430 e XL330).
  • Custo total inferior a $300.
  • Estrutura cinematicamente equivalente ao braço robótico (UR5), permitindo fácil adaptação a diferentes robôs.
• Design de Software:
  • Utiliza a API DYNAMIXEL para monitoramento e ajuste de posição.
  • Implementa um fluxo de dados bidirecional com compensação de offset para manter a sincronização.
  • Inclui um pedal externo para alternar entre modos autônomos e intervenção humana.

3. Contribuições Principais

1. Novo Sistema de Teleoperação: Introdução do HACTS, que habilita sincronização de juntas bilateral em tempo real, permitindo interação mais intuitiva e controle preciso.
2. Melhoria no Aprendizado por Imitação (IL): Demonstração de que os dados de correção de ação coletados pelo HACTS melhoram significativamente a capacidade de recuperação de falhas e a eficiência dos dados em modelos de IL.
3. Suporte a RL com Humano no Loop (HITL): Facilita configurações complexas de RL online, permitindo que o robô aprenda e se adapte a partir de intervenções humanas e ações autônomas em um ciclo contínuo.

4. Resultados Experimentais

Os autores avaliaram o HACTS em tarefas de manipulação do mundo real (ex: abrir uma caixa, colocar um bun no vapor, endireitar uma caneca) usando dois paradigmas:

• Aprendizado por Imitação (IL):
  • Substituição de Dados: Dados de intervenção humana via HACTS substituíram com sucesso dados de teleoperação direta de especialistas, resultando em taxas de sucesso superiores mesmo com a mesma quantidade de dados.
  • Correção de Falhas (ID): Modelos treinados com dados de correção do HACTS superaram modelos treinados apenas com demonstrações completas, especialmente em cenários onde o modelo inicial falhava.
  • Generalização (OOD): O HACTS permitiu que os modelos generalizassem para cenários estáticos e dinâmicos fora da distribuição (ex: objetos em posições nunca vistas ou objetos sendo movidos durante a tarefa), onde modelos baseados apenas em demonstrações tradicionais falharam (0% de sucesso).
• Reinforcement Learning (RL):
  • Foi implementado o RLPD-HACTS, combinando o sistema com um algoritmo de RL off-policy.
  • Em uma tarefa de fechar uma lixeira aleatoriamente posicionada, o sistema atingiu 80% de taxa de sucesso após 45 minutos de treinamento online.
  • A intervenção humana tornou-se progressivamente mais curta e precisa à medida que a política do robô melhorava, demonstrando uma transição suave de dependência humana para autonomia.

5. Significado e Impacto

O HACTS representa um avanço significativo na colaboração humano-robô e na coleta de dados para aprendizado de robôs.

• Acessibilidade: Ao utilizar componentes de baixo custo, torna a teleoperação bilateral acessível para laboratórios e indústrias que não podem arcar com sistemas de feedback de força caros.
• Eficiência de Dados: A capacidade de coletar dados de "correção de falha" (não apenas trajetórias de sucesso) enriquece os conjuntos de dados, tornando os modelos mais robustos e capazes de lidar com imprevistos.
• Futuro do Aprendizado: O sistema estabelece as bases para uma nova geração de robôs que aprendem de forma interativa, onde o humano não é apenas um instrutor inicial, mas um parceiro ativo ("copiloto") durante todo o processo de aprendizado e operação.

Em resumo, o HACTS preenche uma lacuna crítica entre o controle unilateral simples e os sistemas bilaterais complexos e caros, oferecendo uma solução escalável e eficaz para avançar as capacidades de manipulação de robôs autônomos.