TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction

Resumo Técnico: TAIHRI

1. O Problema

A interação humano-robô (HRI) em cenários de curta distância (close-range) e visão egocêntrica (câmeras montadas no robô ou usadas pelo usuário) apresenta desafios únicos que os métodos tradicionais de estimativa de pose 3D não conseguem resolver adequadamente:

• Foco no Corpo Inteiro vs. Partes da Tarefa: Métodos convencionais otimizam a reconstrução do corpo inteiro em relação a uma articulação raiz (root-centric). No entanto, em HRI, o robô precisa de precisão métrica absoluta em partes específicas do corpo (ex: mãos para apertar a mão, axilas para transferências em cadeira de rodas), não apenas na pose relativa.
• Ambiguidade de Profundidade e Oclusão: Em visões egocêntricas de curta distância, o campo de visão é limitado, resultando em oclusões severas e truncamento do corpo. Isso causa grandes ambiguidades de profundidade, dificultando a localização precisa de extremidades (punhos, tornozelos) no espaço 3D da câmera.
• Falta de Controle Semântico: Os modelos existentes não respondem bem a comandos de linguagem natural que solicitam a localização de partes específicas do corpo para uma tarefa específica.

2. Metodologia

O TAIHRI é o primeiro Modelo Visão-Linguagem (VLM) projetado especificamente para percepção de HRI de curta distância. A abordagem combina raciocínio visual, linguagem e representação espacial discretizada.

• Formulação da Tarefa: Dada uma imagem RGB egocêntrica e um prompt de linguagem (ex: "segure o braço direito"), o modelo deve localizar um conjunto de keypoints 3D relevantes para a tarefa no sistema de coordenadas da câmera do robô.
• Espaço de Interação Discretizado: Para integrar-se com a previsão de tokens de VLMs, o espaço 3D contínuo é quantizado em uma grade de voxels (índices de 0 a 999) dentro de um volume de interação pré-definido. Isso transforma a regressão 3D em um problema de classificação de tokens.
• Raciocínio em Duas Etapas (Chain-of-Thought): O modelo não prevê as coordenadas 3D diretamente. Em vez disso, utiliza uma estratégia de raciocínio sequencial:
  1. Raciocínio 2D: Primeiro, prevê as coordenadas 2D (pixels) dos keypoints na imagem.
  2. Raciocínio 3D: Com base nas posições 2D e no contexto, infere as coordenadas 3D (voxels) correspondentes.
• Dataset CloseHRI: Os autores criaram um novo dataset de mais de 1 milhão de imagens sintetizadas. Utilizando o pipeline WildHuman, eles renderizaram poses humanas (SMPL-X) em Blender, simularam câmeras egocêntricas (distâncias de 0.5m a 3m) e geraram imagens fotorrealistas com SD-XL. O dataset foi filtrado rigorosamente usando SAM3 e erro de reprojeção 2D.
• Treinamento com Reforço (RFT): Após o Supervised Fine-Tuning (SFT), o modelo é otimizado usando Group Relative Policy Optimization (GRPO). Uma função de recompensa baseada na precisão da pose (considerando apenas juntas visíveis) e na consistência 2D/3D é usada para refinar a capacidade de localização, superando as limitações da perda MSE tradicional.
• Injeção de Intrínsecos da Câmera: O modelo unifica os parâmetros intrínsecos (focal length) e aplica data augmentation (recorte aleatório) para simular diferentes pontos principais, permitindo que o modelo generalize para diferentes configurações de câmera sem precisar de um adaptador complexo.

3. Contribuições Chave

1. Primeiro VLM para HRI de Curta Distância: Introduz uma arquitetura que entende comandos de linguagem natural para direcionar a atenção do robô para keypoints específicos e relevantes para a tarefa.
2. Localização Métrica Absoluta: Diferente dos métodos root-relative, o TAIHRI fornece coordenadas 3D absolutas no espaço da câmera, essenciais para planejamento de movimento e interação física segura.
3. Dataset CloseHRI: Um novo benchmark de grande escala focado em perspectivas egocênicas de curta distância, preenchendo uma lacuna crítica em dados de treinamento.
4. Estratégia de Raciocínio 2D-para-3D: A decomposição da tarefa em previsão 2D seguida de inferência 3D melhora significativamente a precisão em cenários com oclusão.
5. Aplicabilidade em Robótica Real: O modelo foi validado em uma plataforma robótica real, demonstrando controle de malha fechada para tarefas como apertar a mão e massagear os ombros.

4. Resultados

Os experimentos foram conduzidos nos benchmarks Harmony4D-Egocentric e EgoBody, focando em grupos de keypoints (superior, inferior, lado esquerdo/direito).

• Desempenho Superior: O TAIHRI superou significativamente os métodos State-of-the-Art (SOTA) de estimativa de pose 3D global (como CameraHMR, PromptHMR, SAM 3D Body) e modelos VLMs gerais (GPT-5.2, Qwen3-VL, Gemini-2.5 Pro).
• Métrica (G-MPJPE): Em termos de Erro Médio de Posição da Junta em Coordenadas Globais (G-MPJPE), o TAIHRI alcançou erros muito menores. Por exemplo, no conjunto Harmony4D, o erro para o "Upper Body" foi de 93.83 mm (TAIHRI) contra 124.91 mm (3DB-DINOv3) e 158.70 mm (PromptHMR).
• Robustez em Oclusão: O modelo demonstrou maior precisão na localização de extremidades (punhos, cotovelos) que estão frequentemente ocluídas ou truncadas em visões de curta distância.
• Ablação: Estudos mostraram que a injeção de intrínsecos da câmera e a etapa de raciocínio 2D são críticas; removê-las causa uma queda drástica de desempenho. O uso de RFT (Reinforcement Finetuning) também foi essencial para a estabilidade e precisão final.

5. Significado e Impacto

O TAIHRI representa um avanço paradigmático na percepção robótica para HRI:

• Segurança e Precisão: Ao fornecer localização métrica precisa de partes do corpo relevantes para a tarefa, permite que robôs realizem interações físicas complexas com menor risco de colisão ou erro.
• Interação Natural: A capacidade de aceitar comandos de linguagem natural para focar em áreas específicas torna a interação mais intuitiva para humanos não técnicos.
• Versatilidade: O modelo não serve apenas para detecção, mas atua como um componente central para recuperação de malha humana global e controle robótico, conectando a percepção visual diretamente à ação do robô.

Em resumo, o TAIHRI estabelece um novo padrão para a percepção de interação humano-robô, movendo o foco da reconstrução genérica do corpo para a localização precisa e orientada a tarefas no espaço de trabalho compartilhado.