💻 computer science

Human Universal Grasping

Este artigo apresenta o HUG, um modelo de correspondência de fluxo (flow-matching) treinado em um massivo conjunto de dados de preensão humana egocêntrica de 1 milhão de quadros que gera preensões diversas e retargetáveis para qualquer objeto a partir de uma única imagem RGB-D, alcançando o estado da arte em preensão robótica zero-shot através de vários embodiments e ambientes.

Autores originais: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar um robô a pegar uma caneca de café. Normalmente, os engenheiros precisam passar meses programando o robô, mostrando a ele milhares de exemplos de como aquele robô específico deve mover seus dedos. É como ensinar uma criança a amarrar os sapatos mostrando apenas como as mãos dela fazem isso, e depois esperar que ela entenda como amarrar sapatos com um par de mãos diferente.

Este artigo, intitulado "Human Universal Grasping" (HUG), propõe uma solução muito mais simples e natural: Basta observar os humanos fazendo isso.

Aqui está a história de como eles fizeram isso, explicada em termos cotidianos.

1. O Problema: Robôs são Alunos Desajeitados

Os robôs são ótimos em tarefas repetitivas em fábricas, mas têm dificuldade com o mundo bagunçado e imprevisível de uma casa. Se você der a um robô um objeto de formato estranho (como um abacaxi ou um pente), ele muitas vezes não sabe como agarrá-lo sem derrubá-lo. A maioria dos robôs é treinada com dados "simulados" (jogos de computador) ou por humanos controlando-os manualmente, o que é lento e tedioso.

2. A Solução: A Passeio de Campo com "Óculos Inteligentes"

Os pesquisadores perceberam que os humanos já são especialistas em agarrar coisas. Nós pegamos milhares de objetos todos os dias sem pensar nisso. Em vez de ensinar os robôs do zero, eles decidiram copiar o manual de instruções humano.

A Coleta de Dados: Eles deram às pessoas um par de óculos inteligentes (chamado Aria Gen 2) que parecem óculos comuns, mas possuem câmeras e sensores.
A Missão: As pessoas usaram esses óculos e seguiram com suas rotinas em 41 edifícios diferentes (casas, escritórios, etc.). Elas pegaram 6.707 objetos diferentes.
O Resultado: Eles criaram uma biblioteca massiva chamada 1M-HUGS. Ela contém 1 milhão de imagens de mãos humanas agarrando coisas. É como um "YouTube" de preensão humana, mas com informações de profundidade 3D para que o computador saiba exatamente a que distância a mão está.

3. O Cérebro: Um Modelo de "Fluxo"

Uma vez que tiveram os dados, precisavam de uma maneira de ensinar o robô a usá-los. Eles construíram um modelo chamado HUG.

Pense no HUG como um camaleão ou um tradutor universal:

Entrada: Você mostra a ele uma única foto (com profundidade) de um objeto, como uma torradeira sobre um balcão. Você clica na torradeira com o seu mouse.
Processamento: O modelo olha para sua biblioteca de 1 milhão de agarres humanos. Ele pergunta: "Se um humano visse esta torradeira, como ele a agarraria?"
Saída: Ele não diz apenas "agarre". Ele calcula a posição exata, a rotação e o formato dos dedos necessários para segurar aquele objeto específico.

O truque de mágica é que este modelo aprende como os humanos se movem, não como um robô específico se move. Ele aprende o conceito de um agarre.

4. A Tradução: Das Mãos Humanas para as Mãos do Robô

Aqui está a parte inteligente. O modelo prevê um agarre usando uma forma de mão humana padrão (chamada MANO). Mas os robôs têm mãos diferentes — alguns têm três dedos, outros quatro, alguns são grandes, outros pequenos.

Os pesquisadores construíram um sistema de retargeting (redirecionamento). Imagine que você é um dançarino. Você aprende uma rotina (o agarre humano). Agora, você tem que realizar essa mesma rotina em um palco com um layout de piso diferente, ou com um parceiro que é mais alto que você. Você não aprende uma nova dança; você apenas ajusta seus passos para se adequar ao seu novo parceiro.

O HUG faz isso instantaneamente. Ele pega a pose da mão humana que previu e matematicamente a "redireciona" para caber nos dedos específicos do robô.

Sem necessidade de retreinamento: Você não precisa ensinar o robô novamente. Basta conectar o novo robô e ele funciona.
Zero-shot: Isso significa que ele funciona em objetos que o robô nunca viu antes, em salas que ele nunca visitou.

5. O Teste: O Desafio "HUG-BENCH"

Para provar que isso funciona, eles não testaram apenas em coisas fáceis como bolas ou caixas. Eles construíram um "exame final" chamado HUG-BENCH.

Eles reuniram 90 objetos complicados: coisas com alças, formatos estranhos, itens minúsculos e itens grandes e desajeitados.
Eles testaram o sistema de duas maneiras:
1. Em Simulação: Um mundo de computador onde podiam testar milhares de vezes rapidamente.
2. No Mundo Real: Levaram um robô real para uma casa real e tentaram pegar esses 90 objetos.

Os Resultados:

O HUG teve sucesso 66,7% das vezes na mesa e 62% "no mundo real" (casa bagunçada).
Ele superou os melhores métodos atuais de robótica por uma margem enorme (23% a 34% melhor).
Enquanto outros robôs falharam em itens complicados como uma cesta de piquenique ou um frasco spray, o HUG conseguiu entender como agarrá-los porque tinha "visto" humanos fazendo coisas semelhantes antes.

Resumo

O artigo afirma que, ao coletar 1 milhão de agarres humanos reais usando óculos inteligentes, eles criaram um sistema que permite aos robôs aprender a agarrar qualquer coisa, em qualquer lugar, com qualquer mão, simplesmente copiando a intuição humana. Eles unem a destreza humana e a desajeiteza robótica sem a necessidade de programar o robô para cada novo objeto.

O que eles não alegaram:

Não alegaram que isso funciona para cirurgias médicas ou tarefas clínicas delicadas.
Não alegaram que o robô pode planejar tarefas complexas de múltiplas etapas (como fazer um sanduíche); ele resolve apenas o problema específico de "como eu agarro este objeto agora?".
Eles notaram limitações: o sistema atualmente só modela agarres com a mão direita e tem dificuldade com objetos muito pequenos ou objetos que estão completamente ocultos da visão.

Resumo Técnico: HUG (Human Universal Grasping)

Declaração do Problema

Embora os humanos agarrem objetos arbitrários sem esforço, as mãos robóticas multifingered carecem de uma generalidade comparável. Um gargalo primário é a escassez de dados de agarrar diversificados e do mundo real para robôs. As abordagens existentes enfrentam limitações significativas:

Dados Sintéticos: Métodos que dependem de simulação (otimizando o fechamento de força ou usando RL) sofrem com o gap sim-to-real e frequentemente exigem retreinamento para cada nova incorporação de robô.
Teleoperação: Embora forneça agarres reais, a teleoperação é tediosa, não escala para o mundo aberto e é difícil de coletar para mãos de destreza.
Escassez de Dados: Os robôs carecem dos milhares de experiências diárias de agarrar que os humanos acumulam, dificultando o aprendizado de distribuições de agarrar naturais e executáveis.

O artigo argumenta que a fonte mais natural de dados de agarrar para robôs são os próprios humanos. No entanto, alavancar isso requer superar desafios na escala de coleta de dados, anotação 3D precisa e o gap de morfologia entre mãos humanas e robóticas.

Metodologia: Estrutura HUG

Os autores propõem o HUG (Human Universal Grasping), uma estrutura que aprende o agarrar de destreza puramente a partir de dados humanos "in-the-wild", permitindo a transferência zero-shot para várias mãos robóticas. O pipeline consiste em três componentes principais:

1. Conjunto de Dados: 1M-HUGS

Os autores coletaram o 1M-HUGS, um conjunto de dados egocêntrico compreendendo 1 milhão de pares imagem-agarre.

Coleta: Os dados foram registrados usando óculos inteligentes Aria Gen 2 em 41 edifícios, capturando 6.707 instâncias de objetos em 27,8 horas de vídeo.
Protocolo: Os usuários gravaram cenas estáticas de diversos pontos de vista antes de estender a mão direita para agarrar um objeto. A pose de agarrar é propagada de volta para os quadros precedentes (onde as mãos estão invisíveis) usando poses de câmera, gerando centenas de pares (imagem apenas do objeto, agarrar) por cada agarrar físico.
Processamento: Um pipeline de curadoria utiliza modelos de linguagem-visão e SAM3 para máscara de objetos. Os quadros são filtrados com base na confiança de profundidade e interseção mão-objeto.
Rótulos: Como o Aria fornece apenas 21 marcos de mão, os autores ajustam um modelo de mão articulada completa MANO a esses marcos. O parâmetro de forma do MANO ( $\beta$ ) é fixado a um valor canônico para remover variações de tamanho entre pessoas, enquanto o parâmetro de pose ( $\theta$ ) captura o agarrar. O conjunto de dados inclui RGB sincronizado, escala de cinza, profundidade métrica, máscaras de objeto e poses MANO.

2. Arquitetura do Modelo: Flow-Matching Transformer

O HUG é um modelo de flow-matching que prevê um estado de agarrar MANO a partir de uma única imagem RGB-D e um ponto de consulta 2D especificado pelo usuário no objeto.

Entrada: Uma imagem RGB-D e um clique de pixel 2D $(u, v)$ , que é elevado a um ponto de consulta 3D $p_q$ usando profundidade e intrínsecos.
Encoders:
- RGB: Codificado usando um DINOv2-Base ViT congelado com tokens de registro.
- Nuvem de Pontos (PC): A imagem de profundidade é retroprojetada para uma nuvem de pontos métrica, recortada para um raio de 0,3m ao redor de $p_q$ , e processada por um PointNeXt U-Net treinável.
Fusão: O modelo emprega point painting, projetando centroides da nuvem de pontos para a imagem RGB para amostrar características DINO, que são concatenadas com tokens de PC e fundidas via MLP.
Flow Transformer: O estado de agarrar é decomposto em translação do pulso ( $t$ ), rotação do pulso ( $R_{6d}$ ) e pose dos dedos ( $\theta_{6d}$ ). Estes são processados por um bloco DiT (Diffusion Transformer) que realiza atenção cruzada com os tokens de cena fundidos. O modelo é condicionado em passos de tempo via modulação AdaLN-Zero.
Saída: O modelo prevê um estado de agarrar de 99 dimensões, que é integrado via uma ODE de flow-matching para produzir a pose MANO final.

3. Retargeting

Os agarres humanos previstos (poses MANO) são retargeted para várias mãos robóticas (ex: Ability, WUJI) usando métodos de retargeting aprendidos. Crucialmente, nenhum treinamento por incorporação é necessário; o modelo generaliza zero-shot através de diferentes morfologias robóticas.

Principais Contribuições

Primeira Estrutura Apenas de Humanos: O HUG é a primeira estrutura de agarrar treinada puramente em dados humanos (sem dados de robôs) que é implantável em múltiplas incorporações robóticas.
Dataset 1M-HUGS: Um grande conjunto de dados egocêntrico de 1M de agarres humanos naturais com profundidade métrica e poses de mão ajustadas ao MANO, cobrindo diversos ambientes e instâncias de objetos.
HUG-BENCH: Um novo benchmark de avaliação consistindo em 90 objetos não vistos (30 para testes no mundo real) através de cinco categorias geométricas e três bins de tamanho. Inclui malhas 3D de escala métrica para avaliação pareada em simulação e no mundo real.
Metodologia: Um modelo de flow-matching condicionado por pontos que funde RGB e profundidade para prever agarres diversos e naturais sem exigir treinamento por mão.

Resultados Experimentais

Avaliação de Simulação (HUG-BENCH)

Avaliado no MuJoCo em 30 objetos de teste não vistos:

Desempenho: O HUG alcançou uma taxa de sucesso (SR) de 73,0% e um erro de contato de ponta de dedo (FC) de 14,6 mm.
Baselines: Superou o "Human Grasp Oracle" (94,0% SR) por uma margem consistente com as limitações do simulador (erros de rastreamento, execução em malha aberta).
Ablações:
- Remover a perda geométrica 3D reduziu o SR para 32,7%, destacando sua necessidade para o posicionamento preciso da ponta do dedo.
- Remover o recorte de 0,3m ou o point painting reduziu o desempenho em ~10-15 pontos de SR.
- Modalidade: O RGB-apenas falhou significativamente (29,7% SR), enquanto o PC-apenas foi forte (70,7% SR), mas carecia de fundamentação semântica. A abordagem dual-modal RGB+PC foi essencial para resolver casos ambíguos (ex: agarrar o cabo de um pincel vs. as cerdas).
Escalabilidade: O desempenho melhorou monotonicamente de 25K para 1M de quadros, sugerindo que o modelo ainda é limitado pelos dados e não pela capacidade.

Avaliação no Mundo Real

Avaliado em 30 objetos em dois cenários:

Mesa (xArm + Mão Ability): O HUG alcançou 66,7% de SR, superando o Dex1B (43,7%) e o CAP (32,7%), respectivamente, por +23% e +34%. O HUG agarrou com sucesso 28/30 objetos pelo menos uma vez.
In-the-Wild (Manipulador Móvel YOR + Mão WUJI + Óculos Aria): O HUG alcançou 62,0% de SR em ambientes domésticos não controlados sem qualquer ajuste local ou retreinamento por incorporação.

Modos de Falha: A maioria das falhas ocorreu durante a transição do pré-agarrar para o agarrar (atingir o objeto ou a mesa) ou durante a elevação (escorregar). Estes são atribuídos à execução em malha aberta e falta de feedback de força, e não ao erro de previsão do agarrar.
Generalização: O HUG demonstrou robustez através de variações de tamanho de objetos (borrachas pequenas a cestos grandes), geometrias (amorfas, com apêndices) e ambientes.

Significância e Alegações

O artigo afirma que o HUG demonstra que o agarrar robótico de destreza pode ser aprendido diretamente do comportamento natural dos humanos, contornando a necessidade de coleta de dados caros específicos para robôs ou treinamento pesado em simulação.

Generalidade: Ao modelar a distribuição de agarres humanos naturais em vez de todos os agarres fisicamente válidos, o sistema produz agarres confiavelmente executáveis que se transferem zero-shot para novas câmeras, mãos robóticas e lares não vistos.
Escalabilidade: O uso de óculos inteligentes leves permite a coleta de conjuntos de dados massivos (1M de quadros) que eram anteriormente inviáveis.
Benchmarking: A introdução do HUG-BENCH fornece um benchmark padronizado, desafiador e de escala métrica para avaliar o agarrar de destreza tanto em simulação quanto no mundo real, abordando a falta de padrões de avaliação rigorosos no campo.

Os autores concluem que, embora existam limitações (ex: apenas mão direita, execução em malha aberta, tratamento de oclusão), a estrutura representa um passo significativo em direção ao alcance da generalidade do agarrar humano na robótica.