💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

Este artigo apresenta um sistema que permite ao robô semihumanoide NICO imitar gestos de braços humanos utilizando entrada RGB monocular, estimativa de pose 3D baseada em MediaPipe e geometria analítica para calcular e mapear ângulos articulares, demonstrando desempenho bem-sucedido em gestos simples ao mesmo tempo em que reconhece limitações em poses complexas e movimentos de pulso.

Autores originais: Anastasiya Ihnatovich, Igor Farkaš

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anastasiya Ihnatovich, Igor Farkaš

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs não apenas seguem uma lista rígida de instruções, mas podem realmente "aprender" ao nos observar, tal como uma criança imita os seus pais. Este é o coração da Interação Humano-Robô (HRI), um campo da ciência dedicado a fazer com que as máquinas pareçam menos ferramentas e mais companheiras. Para que um robô consiga verdadeiramente copiar um movimento humano, ele precisa de dois superpoderes: Percepção (a capacidade de "ver" e compreender um corpo humano numa foto 2D) e Cinemática (a matemática que descobre como dobrar as suas próprias articulações de metal para corresponder àquela pose humana). Enquanto alguns cientistas tentam ensinar os robôs alimentando-os com milhões de vídeos na esperança de que um cérebro computacional complexo compreenda o processo, outros preferem uma abordagem geométrica mais direta — usando matemática simples para medir ângulos e distâncias. Por que é que isto importa? Porque se um robô conseguir copiar naturalmente os nossos gestos, poderá interagir connosco em contextos sociais, ajudar em tarefas ou até ensinar-nos, sem necessitar de sensores caros e volumosos ou de anos de treino.

Neste estudo, os investigadores Anastasiya Ihnatovich e Igor Farkaš tentaram ensinar um robô semi-humanoide chamado NICO a copiar gestos de braços humanos usando apenas uma câmara padrão e alguma geometria inteligente. Pense no NICO como um robô do tamanho de uma criança, com uma cabeça e dois braços, desenhado para conviver com as pessoas. A equipa não utilizou câmaras de profundidade 3D sofisticadas ou fatos de captura de movimento; em vez disso, basearam-se numa ferramenta de software gratuita chamada MediaPipe, que atua como um rastreador de esqueleto digital. Quando mostra o MediaPipe uma fotografia comum, ele identifica instantaneamente 33 pontos-chave num corpo humano (como ombros, cotovelos e pulsos) e estima onde estes se encontram no espaço 3D.

O método dos investigadores funciona como um tradutor. Primeiro, o MediaPipe "vê" o humano e capta as coordenadas das suas articulações do braço. Depois, a equipa utiliza um conjunto de fórmulas geométricas — basicamente, uma receita para calcular ângulos com base na distância entre pontos — para descobrir exatamente como o cotovelo do humano está dobrado ou como o pulso está torcido. Finalmente, eles pegam nesses ângulos humanos e os "mapeiam" matematicamente para os motores específicos do NICO, dizendo ao robô como mover as suas próprias articulações para corresponder ao humano. É como pegar numa pose humana e passá-la por uma tabela de conversão para obter o manual de instruções do robô.

A equipa testou este sistema com seis voluntários de diferentes alturas, pedindo-lhes que mantivessem 11 poses de braços diferentes enquanto estavam posicionados em vários ângulos (de frente ou ligeiramente de lado). Os resultados foram uma mistura de sucesso e limitações honestas. O robô foi bastante bom a copiar os movimentos amplos: conseguiu estimar o pitch do ombro (levantar o braço para cima e para baixo), a dobra do cotovelo e a dobra do pulso com um nível de precisão moderado, errando o alvo por uma média de cerca de 10°, 20° e 23°, respetivamente. No entanto, o robô teve mais dificuldades com o roll do ombro (torcer o braço no ombro) e a rotação do antebraço (torcer a mão como se estivesse a rodar uma maçaneta). A rotação do antebraço foi a parte mais difícil; mesmo com a ajuda dos dados de rastreio da mão, o palpite do robô falhou por uma média de 50,1°, o que é uma oscilação significativa.

Curiosamente, os investigadores descobriram que o desempenho do robô não dependia realmente da altura do humano ou de como este virava o seu corpo (dentro de uma margem de 45°). Em vez disso, o fator principal era o que o humano estava a fazer. Se a pose envolvesse uma torção complexa do antebraço ou se a mão estivesse escondida atrás do braço, o robó ficava confuso. O sistema foi também incrivelmente rápido, processando cada imagem em cerca de 0,0017 segundos, o que é suficientemente rápido para acompanhar o movimento em tempo real.

Em última análise, o artigo sugere que esta abordagem de "apenas geometria" é uma forma viável e eficiente de fazer um robô imitar gestos humanos sem necessidade de hardware caro ou bases de dados de treino massivas. Prova que é possível fazer um robô mover os braços de forma significativa usando apenas uma câmara comum. No entanto, os autores são cuidadosos ao notar que esta ainda não é uma solução perfeita. O sistema ainda tropeça em movimentos complexos de pulso e antebraço, e necessita de mais testes com uma variedade mais ampla de pessoas e poses antes de poder ser considerado uma ferramenta robusta e quotidiana. Por agora, é uma prova de conceito promissora que mostra que um robô pode "ver" e "copiar" o nosso movimento, mesmo que às vezes erre um pouco a torção do pulso.

Resumo Técnico: Imitação de Gestos de Braço pelo Robô Semi-Humanoide NICO

Definição do Problema
A Interação Humano-Robô (HRI) fluida exige que os robôs possuam habilidades perceptivas e motoras, especificamente a capacidade de imitar gestos humanos. Embora as abordagens baseadas em aprendizado ofereçam flexibilidade, elas frequentemente demandam grandes conjuntos de dados, treinamento extensivo e recursos computacionais significativos, limitando a aplicabilidade em tempo real. Por outro de lado, as abordagens analíticas proporcionam eficiência e interpretabilidade, mas muitas vezes dependem de hardware de sensoriamento especializado (ex: câmeras de profundidade) ou são restritas a conjuntos de gestos simplificados. O desafio abordado neste trabalho é alcançar a imitação significativa de gestos de braço humanos utilizando apenas entrada RGB monocular, sem dependência de sensores caros ou modelos computacionalmente intensivos, enquanto se adapta à estrutura cinemática específica de um robô semi-humanoide.

Metodologia
O sistema proposto é um pipeline projetado para o robô NICO (Neuro-Inspired COmpanion), um companheiro semi-humanoide do tamanho de uma criança com seis graus de liberdade (DoF) em cada braço. O framework opera através de três estágios primários:

Extração de Coordenadas 3D:
O sistema utiliza o framework MediaPipe para extrair landmarks 2D e pseudo-3D de uma única entrada de câmera RGB. Ele emprega o modelo pose_landmarker_heavy para a pose corporal (33 landmarks) e um modelo de mão dedicado (21 landmarks). Para aumentar a precisão, o sistema prioriza os landmarks do modelo de mão para o pulso e a palma (substituindo os landmarks de pose correspondentes) e traduz o sistema de coordenadas da mão para alinhar-se com a origem do pulso do modelo de pose. Isso fornece coordenadas 3D ( $x, y, z$ ) para as articulações do braço e pontos-chave da mão relevantes.
Reconstrução de Ângulo de Articulação (Geometria Analítica):
Utilizando as coordenadas 3D extraídas, o sistema calcula os ângulos das articulações via relações geométricas derivadas, assumindo que o torso do sujeito está aproximadamente paralelo ao plano da câmera. Uma compensação de yaw do torso é aplicada rotacionando as coordenadas com base na orientação da linha dos ombros. A reconstrução abrange:

Flexão do Pulso: Calculada como o ângulo entre o vetor do antebraço e o vetor normal do plano da palma.
Rotação do Antebraço: Determinada pelo ângulo assinado entre uma base de rotação de referência (derivada do vetor do braço superior) e o vetor de orientação projetado da palma. Uma lógica de contingência especial é aplicada para configurações de braço estendido.
Flexão do Cotovelo: Calculada como o ângulo não assinado entre os vetores do braço superior e do antebraço.
Pitch e Roll do Ombro: Derivados usando funções atan2 em componentes de vetores decompostos para resolver quadrantes e distinguir entre configurações de braço frontal e traseira. O yaw do ombro é fixado em uma posição neutra.

Mapeamento de Ângulo para o NICO:
Os ângulos analíticos reconstruídos não são diretamente compatíveis com os sistemas de coordenadas dos motores do robô. O sistema realiza um mapeamento linear para cada articulação, limitando (clamping) o ângulo reconstruído a um intervalo analítico pré-determinado $[\theta_{min}, \theta_{max}]$ e mapeando-o para as posições de motor correspondentes $m(\theta_{min})$ e $m(\theta_{max})$ . Isso lida tanto com o pareamento quanto com orientações de motor invertidas.

Principais Contribuições

Pipeline Analítico Apenas com RGB: O trabalho estende métodos baseados em geometria analítica para um conjunto mais amplo de gestos de braço usando apenas entrada RGB monocular, eliminando a necessidade de sensores de profundidade ou sistemas de captura de movimento.
Adaptação Cinemática: As formulações geométricas são especificamente adaptadas para a cinemática do robô NICO, que difere de outras plataformas (ex: NAO) por carecer de uma articulação de roll no cotovelo, mas exigir o tratamento específico da rotação do antebraço e flexão do pulso.
Integração de Landmarks de Mão: O sistema integra explicitamente os landmarks de mão do MediaPipe para melhorar a estimativa da flexão do pulso e da rotação do antebraço, abordando limitações encontradas ao usar apenas os landmarks de pose.
Sem Necessidade de Treinamento: Diferente dos métodos baseados em aprendizado, a abordagem proposta não requer estágio de treinamento ou conjuntos de dados anotados.

Resultados Experimentais
O sistema foi avaliado com seis participantes de diferentes alturas realizando 11 poses de membros superiores simétricas em três ângulos de visão diferentes ( $0^\circ, 30^\circ, 45^\circ$ ).

Precisão: O método alcançou uma precisão de reconstrução moderada para o pitch do ombro, flexão do cotovelo e flexão do pulso, com Erros Médios Absolutos (MAE) de aproximadamente $10^\circ$ , $20^\circ$ e $23^\circ$ , respectivamente. O roll do ombro apresentou menor precisão ( $34^\circ$ MAE).
Limitação da Rotação do Antebraço: A rotação do antebraço permaneceu como a principal fonte de erro. O uso de apenas landmarks de pose resultou em um MAE de $67,1^\circ$ . A incorporação de landmarks de mão dedicados reduziu este valor para $50,1^\circ$ (uma melhoria de $\approx 25\%$ ), embora o erro tenha permanecido significativamente maior do que para as outras articulações.
Dependência do Pulso: A precisão da flexão do pulso foi altamente dependente da orientação do antebraço; os erros aumentaram visivelmente para flexão/extensão extrema do pulso, onde a estimativa da rotação do antebraço foi pobre.
Fatores de Robustez: A precisão da reconstrução não mostrou correlação clara com a altura do participante. Variações de ponto de vista ( $0^\circ$ – $45^\circ$ ) tiveram um efeito relativamente pequeno comparado à variabilidade introduzida por gestos específicos e auto-oclusão.
Desempenho: O pipeline demonstrou alta eficiência computacional, com média de 0,0017 segundos por quadro (aprox. 590 FPS), com um pior caso de 0,0093 segundos (aprox. 108 FPS).

Significância e Alegações
Os autores posicionam este trabalho como uma "prova de conceito" para imitação de gestos analítica baseada em RGB monocular. O artigo afirma que a abordagem produz com sucesso movimentos imitativos significativos sem o custo computacional do aprendizado profundo ou o custo de hardware especializado. No entanto, os autores mantêm uma postura modesta quanto à robustez atual do sistema. Eles reconhecem que, embora o método funcione para várias articulações do braço sob condições controladas, a estimativa da rotação do antebraço continua sendo um desafio significativo. O artigo conclui que o sistema ainda não é uma solução robusta para imitação de gestos generalizada e requer validação adicional em conjuntos de dados maiores e mais diversos, além de melhorias na estimação da rotação do antebraço antes de uma implementação mais ampla.

Mais como este