Resumo Técnico: orca – Uma Plataforma para Pesquisa de Destreza de Código Aberto

Declaração do Problema

A pesquisa em manipulação robótica convergiu amplamente para garras paralelas de dois dedos devido à sua confiabilidade, simplicidade mecânica e facilidade de teleoperação. Embora eficazes para muitas tarefas, as garras carecem dos graus de liberdade e da riqueza de contato necessários para a destreza de nível humano, como na reorientação dentro da mão. Mãos antropomórficas oferecem uma plataforma mais natural para o aprendizado de destreza e podem aproveitar diretamente dados de vídeo humanos; no entanto, elas permanecem subutilizadas na pesquisa devido aos altos custos e aos significativos desafios de integração.

Atualmente, o ecossistema de software para mãos destinas é fragmentado. Os pesquisadores devem montar pilhas personalizadas a partir de componentes isolados, incluindo SDKs específicos de fornecedores, scripts de retargeting customizados e pipelines de teleoperação não interoperáveis. Essa fragmentação dificulta a reprodutibilidade e aumenta a barreira de entrada. Além disso, os existentes frameworks de aprendizado robótico de código aberto (por exemplo, lerobot) visam primariamente braços baseados em garras, carecendo de suporte nativo para o controle complexo, simulação e retargeting exigidos por mãos destinas.

Metodologia

Os autores apresentam o orca, um stack de pesquisa de ponta a ponta, de código aberto, projetado para unificar a pesquisa de manipulação destre. O sistema é construído em torno da Orcahand, uma mão antropomórfica de baixo custo (~$3k), totalmente imprimível em 3D e acionada por tendões, com 17 graus de liberdade (DoF). O hardware suporta várias configurações, incluindo sensoriamento tátil e encoders miniaturizados, e é compatível tanto com atuadores de nível de pesquisa (Dynamixel) quanto com atuadores de baixo custo (Feetech).

O stack de software orca é modular, consistindo em quatro pacotes interoperáveis que compartilham um único formato de dados e abstração de controle:

1. orca_core: Fornece uma API de alto nível e fortemente tipada para controle de hardware, abstraindo atuação, calibração e estimativa de estado. Ele expõe controle de posição e corrente ao nível da junta, reconstruindo estados completos de junta (incluindo dados táteis) a uma taxa de controle fixa adequada para políticas de malha fechada.
2. orca_sim: Estende a interface principal para ambientes de simulação (MuJoCo e URDF/MJCF). Ele utiliza os mesmos arquivos de descrição da mão física, garantindo que as políticas treinadas em simulação sejam transferidas perfeitamente para o hardware. Suporta configurações de mão única e de braço completo (ex: Franka Panda, OpenArm).
3. orca_arm: Facilita a integração da Orcahand com braços manipuladores, permitindo tarefas destinas bimanuais e de braço único.
4. orca_teleop: Otimiza a teleoperação ao ingerir fluxos de entrada heterogêneos (MediaPipe, Meta Quest 3, luvas Manus) e realizar o retargeting do movimento humano para o robô. Ele emprega uma rotina de otimização usando uma perda de Huber em vetores-chave (pose da palma, posições das pontas dos dedos, direções, relações de pinça) para lidar com ruídos e discrepâncias morfológicas. O pipeline produz landmarks de mão padronizados compatíveis com tanto sinks reais quanto simulados.

Uma decisão arquitetônica fundamental é a integração nativa com o lerobot, um popular framework de aprendizado robótico. Isso permite que pesquisadores de mãos destinas utilizem os mesmos pipelines de coleta de dados, treinamento e avaliação usados para robôs baseados em garras.

Principais Contribuições

• O Stack de Aprendizado orca: Um stack de pesquisa totalmente de código aberto (licença MIT) que unifica controle, simulação, teleoperação e retargeting humano-para-robô sob uma única interface. Ele transforma a Orcahand em uma plataforma de aprendizado robótico de primeira classe.
• Integração com lerobot: O stack porta a pesquisa de destreza para o ecossistema lerobot, permitindo o treinamento e a avaliação de políticas destinas usando ferramentas e abstrações estabelecidas (ex: ACT, Diffusion Policy).
• Interface Real-Sim Unificada: Ao compartilhar arquivos de descrição e APIs de baixo nível entre mãos físicas e simuladas, o stack minimiza o gap sim-to-real e permite prototipagem rápida sem acesso ao hardware.
• Teleoperação Modular: Um pipeline de teleoperação composável que suporta diversos dispositivos de entrada de consumo, normalizando-os em um formato padrão para retargeting e treinamento de políticas.

Resultados

Os autores demonstram um workflow completo de ponta a ponta para validar o stack:

1. Durabilidade do Hardware: Um teste de estresse cíclico envolvendo 3.500 ciclos de abrir-fechar ao longo de 5 horas não apresentou cortes térmicos ou falhas de atuadores, confirmando a durabilidade da plataforma sob carga sustentada.
2. Teleoperação e Aprendizado por Imitação: A equipe coletou 10 demonstrações de um especialista de uma tarefa de reorientação de cubo dentro da mão usando um headset Meta Quest 3 e orca_teleop. Estas demonstrações foram registradas no formato LeRobotDataset.
3. Treinamento de Política: Uma política de clonagem comportamental (baseada em ACT, 50 milhões de parâmetros) foi treinada sobre este pequeno conjunto de dados usando lerobot com configurações padrão.
4. Avaliação: A política aprendida, utilizando inputs visuo-motores (propriocepção, câmeras de pulso e zenitais), alcançou uma taxa de sucesso de 9/10 em execuções de teste dentro do mesmo ambiente simulado. Isso confirma que o stack produz dados de alta qualidade suficientes para o aprendizado de políticas de malha fechada.

Significância e Alegações

O artigo afirma que o orca reduz significativamente a barreira de entrada para a pesquisa de manipulação destre. Ao fornecer uma plataforma de hardware acessível e um stack de software unificado e de código aberto, o objetivo é democratizar a pesquisa de destreza, movendo-a de um domínio de nicho e alto custo para um domínio padrão acessível à comunidade em geral.

Os autores enfatizam que, ao alinhar a pesquisa de mãos destinas com o existente ecossistema lerobot, eles permitem que pesquisadores utilizem os mesmos dados, treinamento e pipelines de avaliação usados para robôs não destros. Esta integração visa acelerar o progresso no campo ao reduzir a fricção associada à construção de stacks de software bespoke.

Limitações Reconhecidas:
Os autores observam várias limitações:

• Empacotamento: A decisão de dividir o stack em quatro subpacotes (em vez de um monolito) pode inicialmente dificultar a acessibilidade para alguns usuários, embora ajude na iteração da comunidade.
• Fidelidade de Simulação: Simular interações ricas em contato e acionadas por tendões continua sendo um desafio; a simulação atual fornece uma aproximação grosseira das interações físicas.
• Diversidade de Teleoperação: O pipeline de teleoperação atual poderia ser expandido com publicadores de entrada mais diversos.
• Compromissos de Design: Tratar a simulação como um domínio de primeira classe para melhorar a acessibilidade pode resultar em um design subótimo para casos de uso específicos do mundo real, sugerindo a necessidade de esforços futuros de co-design.