Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

Resumo Técnico: Aprendizado de Pegada Dexterosa Reativa via Planejamento RL Hierárquico no Espaço de Tarefas e Controle QP no Espaço das Articulações

Declaração do Problema
A pegada dexterosa reativa com mãos de múltiplos graus de liberdade (DoF) permanece um desafio significativo devido a dinâmicas híbridas, modos de contato descontínuos e interações de atrito complexas. Pipelines sequenciais tradicionais (síntese de pegada, planejamento de movimento, rastreamento de trajetória) lutam em ambientes dinâmicos e não estruturados devido à sobrecarga computacional e reatividade limitada. Embora o Aprendizado por Reforço (RL) ofereça uma alternativa sem modelo, abordagens end-to-end monolíticas enfrentam três limitações críticas: (1) treinamento computacionalmente caro que escala mal com a diversidade de objetos; (2) comportamento imprevisível sem garantias formais de segurança; e (3) baixa capacidade de direcionamento, tornando difícil adaptar-se a novos obstáculos ou restrições de segurança sem retreinamento. Os autores argumentam que essas questões decorrem de colocar um fardo de aprendizado excessivo em uma única política, forçando-a a resolver simultaneamente raciocínio de tarefas de alto nível, coordenação cinemática de baixo nível e satisfação de restrições de segurança.

Metodologia
O artigo propõe um framework de controle hierárquico híbrido que desacopla explicitamente a intenção espacial de alto nível da execução articular de baixo nível. A arquitetura consiste em duas camadas distintas:

1. Planejador RL Multi-Agente de Alto Nível (Espaço de Tarefas):

   • Inspirado no controle motor humano, o planejador é decomposto em dois agentes especializados treinados dentro de um framework de Treinamento Centralizado com Execução Descentralizada (CTDE):
     • Agente do Braço ($\pi_{arm}$): Responsável pelo transporte global, emitindo uma torção desejada da palma (velocidades lineares e angulares) no referencial do mundo.
     • Agente da Mão ($\pi_{hand}$): Responsável pela manipulação local, emitindo velocidades lineares desejadas para as pontas dos dedos relativas ao referencial da palma.
   • Observações: Os agentes utilizam estados proprioceptivos e estados do objeto representados por uma Caixa Limitante de Volume Mínimo (MVBB), evitando a necessidade de malhas 3D explícitas ou poses de pegada pré-calculadas.
   • Recompensas: O sistema emprega um indicador de pegada compartilhado e recompensas de elevação no espaço de tarefas para incentivar a colaboração, juntamente com regularização para suavidade de ação.

2. Controlador QP Constrained no Espaço das Articulações de Baixo Nível:

   • Os comandos de velocidade no espaço de tarefas de alto nível são processados por um solucionador de Programação Quadrática (QP) paralelizado por GPU.
   • O QP mapeia velocidades no espaço de tarefas para velocidades articulares viáveis ($\dot{q}_{des}$) minimizando o erro de rastreamento sujeito a restrições estritas:
     • Limites de posição e velocidade das articulações.
     • Evitação de colisão (robô-ambiente e auto-colisão).
     • Viabilidade cinemática.
   • A saída do QP é convertida em comandos de torque através de um controlador PD de alta frequência.
   • Crucialmente, o solucionador QP é incorporado diretamente no loop de treinamento do RL, garantindo que a política aprenda a operar dentro das restrições físicas do controlador, em vez de aprender a evitá-las via modelagem de recompensa.

Principais Contribuições

1. Arquitetura Hierárquica Híbrida: Um framework combinando RL com um controlador baseado em física explícito, permitindo aprendizado eficiente em dados, tratamento explícito de restrições e comportamento direcionável.
2. Decomposição Multi-Agente: Demonstração de que separar a política em agentes de transporte da palma (braço) e manipulação dos dedos (mão) resulta em maior desempenho e convergência mais rápida do que políticas monolíticas, particularmente para mãos de alto DoF.
3. Solucionador QP Paralelizado por GPU: O desenvolvimento e a disponibilização de código aberto de um solucionador QP paralelizado por GPU integrado diretamente ao pipeline de treinamento do RL, aplicável a várias tarefas de manipulação braço-mão.
4. Transferibilidade Zero-Shot: Validação de pegadas robustas em diversos objetos sem modelos de objeto explícitos ou poses pré-calculadas, alcançando transferência sim-real bem-sucedida.

Resultados Experimentais
O framework foi validado através de simulações extensas e experimentos com hardware do mundo real utilizando um braço de 7 DoF equipado com uma mão antropomórfica de 20 DoF (ROBOTIS HX5-D20) e uma garra de 2 dedos com 8 DoF.

• Desempenho em Simulação: A abordagem Multi-Agente alcançou uma taxa de sucesso de 81,4% na mão de 5 dedos, superando significativamente as bases End-to-End (13,2%) e as bases hierárquicas de Agente Único (80,9%). Também demonstrou superior precisão no rastreamento de pose (erro de posição de 4,2 cm, erro de orientação de 15,9°) comparado a outras arquiteturas.
• Transferência Sim-Real: A política, treinada puramente em simulação, foi implantada em hardware físico sem ajuste fino. Ela pegou e levantou com sucesso 22 de 26 objetos não vistos, incluindo itens deformáveis.
• Robustez Reativa: Experimentos com hardware demonstraram a capacidade do sistema de recuperar-se de perturbações físicas inesperadas (por exemplo, uma garrafa de spray sendo empurrada para longe durante a aproximação) e repegar objetos deformáveis deslocados (um brinquedo de preguiça) recalculando continuamente trajetórias no espaço de tarefas.
• Direcionabilidade: O framework suporta direcionabilidade zero-shot. Operadores podem ajustar dinamicamente margens de segurança (por exemplo, limites de velocidade das articulações) ou adicionar campos potenciais repulsivos para evitação de obstáculos sem retreinar a política.

Significado e Alegações
Os autores afirmam que esse isolamento estrutural da tomada de decisão no espaço de tarefas em relação à execução de baixo nível aborda as limitações centrais das abordagens puras de RL. Ao permitir que o QP baseado em física lide com restrições tratáveis (cinemática, segurança), a política de RL é liberada para focar exclusivamente no raciocínio estratégico de alto nível. Este design:

• Acelera a convergência do treinamento reduzindo o fardo de aprendizado e evitando sinais de recompensa conflitantes.
• Garante segurança do hardware através da aplicação determinística de restrições em vez de modelagem probabilística de recompensa.
• Desbloqueia direcionabilidade zero-shot, permitindo o ajuste dinâmico de margens de segurança e estratégias de evitação de obstáculos após o treinamento.
• Demonstra robustez em ambientes não estruturados, capaz de reagir a perturbações físicas e generalizar para geometrias de objetos não vistos usando apenas informações espaciais grosseiras (MVBB).

O artigo conclui que essa abordagem híbrida preenche a lacuna entre a adaptabilidade de métodos baseados em aprendizado e as garantias de segurança do controle baseado em modelo, fornecendo uma solução escalável para manipulação dexterosa reativa.