Resumo Técnico: OMNIROBOTHOME

Definição do Problema

Permitir que robôs auxiliem em ambientes de vida cotidiana requer conhecimento contínuo, preciso e em tempo real da localização e atividade humana em 3D. No entanto, os sistemas atuais de interação humano-robô (HRI) frequentemente dependem de sensores limitados (ex: visão única ou sensores embarcados) ou processamento offline, o que falha em capturar a natureza dinâmica e não estruturada dos lares. Embora existam sistemas de captura de movimento multicâmera, eles geralmente visam a construção de conjuntos de dados offline ou percepção isolada, em vez de entregar um estado denso e em tempo real para robôs atuando em malha fechada (in the loop). Consequentemente, o impacto específico da qualidade da percepção — como tempo real, granularidade, cobertura e previsão — no sucesso das tarefas de HRI permanece amplamente não quantificado.

Metodologia: Sistema OMNIROBOTHOME

Os autores apresentam o OMNIROBOTHOME, um banco de testes de IA física em escala de ambiente projetado para instrumentar uma casa mobiliada com capacidades de percepção de alta fidelidade e em tempo real, integradas diretamente ao loop de controle do robô.

1. Configuração de Hardware

• Ambiente: Uma área residencial mobiliada de 23,1 m² (incluindo cozinha, sala de estar e área de armazenamento) projetada para assemelhar-se a uma casa real com desordem natural e oclusões, em vez de um estúdio de captura estéril.
• Matriz de Sensores: 4�8 câmeras RGB sincronizadas por hardware.
  • 40 câmeras de ampla área distribuídas para rastreamento humano sem marcadores (markerless) e robusto a oclusões.
  • 8 câmeras formando quatro pares estéreo posicionados sobre espaços de trabalho específicos para estimativa de pose de objetos em 6D.
• Atuação: Três manipuladores integrados ao espaço: dois braços Franka Research 3 (com mãos Inspire F1) e um xArm (com mão Allegro-v4).
• Sincronização: Todas as câmeras e robôs são sincronizados via um gatilho de hardware externo, garantindo uma linha do tempo unificada para percepção e controle.

2. Arquitetura do Sistema e Pipeline de Percepção

Para lidar com o enorme fluxo de dados (~13,5 GB/s brutos), o sistema emprega uma arquitetura de computação de borda distribuída:

• Nós de Borda: 40 câmeras de ampla área são particionadas em 10 nós de borda. Cada nó executa inferência otimizada via TensorRT (YOLO26 para detecção, RTMPose para extração de pontos-chave 2D) e transmite apenas pontos-chave 2D esparsos e escores de confiança para um host central.
• Fusão Central: O host triangula articulações 3D em tempo real usando um DLT (Direct Linear Transform) vetorizado em lote, resolvido com Huber-reweighted IRLS, seguido de suavização temporal (Filtro One Euro). Este pipeline alcança ~22 FPS para estimativa de pose corporal completa em 3D.
• Percepção de Objetos:
  • Escala do Ambiente: Localização 3D grosseira e extensão são recuperadas via fusão multi-visão de detecções 2D (YOLOE) e reconstrução volumétrica.
  • Escala de Espaço de Trabalho: Quatro pares estéreo fornecem profundidade métrica densa e estimativa de pose 6D para alvos de manipulação usando FastFoundationStereo e FoundationPose, operando a ~16 Hz.
• Calibração: Um processo de três estágios (intrínsecos, extrínsecos via placas ChArUco e PnP, e calibração mão-olho) unifica todas as câmeras e robôs em um único frame de mundo, alcançando um erro de reprojeção inferior aos métodos de SfM baseados em características em áreas de características esparsas.

3. Capacidades Principais

• Percepção 3D em Tempo Real: Rastreamento sem marcadores de pose corporal humana e pose de objeto 6D com baixa latência.
• Previsão de Movimento Antecipatória: Um modelo de fluxo retificado condicional aprende priors de movimento específicos da sala a partir de dados registrados para prever futuros humanos de 5 segundos baseados em um histórico de 3 segundos. Ele utiliza uma estratégia de amostragem "Best-of-K" e recombinação de movimento via in-betweening para garantir previsões diversas e plausíveis.
• Assistência Multi-Robô: Os manipuladores são alinhados ao fluxo de percepção compartilhado, permitindo que qualquer robô próximo assista com base na intenção inferida.
• Agente de Avatar Social: Um agente de Modelo de Linguagem-Visão (VLM) observa o humano através da melhor câmera, raciocina sobre atividade e intenção, e engaja-se em conversação ou emite comandos de manipulação de alto nível.

Principais Contribuições

1. Um Novo Banco de Testes: A primeira plataforma residencial em escala de ambiente integrando 48 câmeras sincronizadas e múltiplos manipuladores em um frame de mundo unificado para entregar percepção 3D de corpo inteiro em tempo real diretamente no loop de controle do robô.
2. Uma Receita Prática: Um pipeline de sensoriamento de ponta a ponta em tempo real que aborda desafios de calibração, sincronização e processamento distribuído, permitindo a reprodutibilidade.
3. Um Estudo Controlado: O primeiro estudo tratando a qualidade da percepção como uma variável experimental nos domínios de segurança, assistência e interação social.

Resultados Experimentais

Os autores avaliaram o sistema em três problemas de HRI, degradando sistematicamente a qualidade da percepção (via latência, redução do número de câmeras ou falta de previsão) para medir o impacto na qualidade da interação.

• Segurança em Espaços Compartilhados:
  • Uma política usando a previsão em tempo real do sistema (horizonte de 1,5s) alcançou a menor taxa de colisão (8,60%) comparada a baselines como proximidade básica (18,66%) ou ausência de segurança (43,53%).
  • A introdução de atrasos de percepção (0,5s ou 1,0s) aumentou significativamente as taxas de colisão, demonstrando que o tempo real é crítico para a segurança.
• Previsão de Movimento Humano:
  • Modelos treinados com mais dados (4+ horas) e recombinação de movimento (Best-of-K) mostraram maior precisão (menor minADE) e diversidade (maior APD).
  • A remoção do mecanismo Best-of-K reduziu drasticamente a diversidade e o recall, confirmando a necessidade de supervisão multimodal.
• Cobertura Espacial e Assistência:
  • Tarefa de Apontamento: Em uma tarefa onde um robô deve classificar itens baseando-se no gesto de apontar de um humano, a precisão caiu de 95% (40 câmeras) para 41% (4 câmeras), provando que a cobertura densa é essencial para a estimativa de intenção refinada.
  • Calibração: A calibração proposta baseada em ChArUco reduziu a média e o desvio padrão do erro de reprojeção em comparação ao COLMAP.
• Interação Social:
  • Olhar Mútuo: A capacidade do avatar social de manter o olhar mútuo degradou-se mensuravelmente com o aumento da latência e a redução da cobertura de câmeras, destacando a necessidade de sensoriamento de baixa latência em escala de ambiente para um engajamento natural.

Significância e Alegações

O artigo argumenta que a qualidade da percepção é o fator dominante que governa o que é possível na interação humano-robô em ambientes domésticos do mundo real. O estudo demonstra uma tendência consistente: a qualidade da interação degrada-se sistematicamente à medida que os atributos da percepção (tempo real, granularidade, cobertura, precisão, previsão ou memória) são enfraquecidos.

Os autores concluem que melhorar a percepção é uma alavanca fundamental para desenvolver robôs domésticos capazes. Eles postulam que o "regime de percepção forte" proporcionado pelo OMNIROBOTHOME gera ganhos mensuráveis sobre as suposições de sensoriamento limitado de trabalhos anteriores. O artigo se compromete a liberar todo o código e dados para apoiar pesquisas futuras em colaboração humano-robô que anteriormente eram limitadas por restrições de infraestrutura.

Limitações: A avaliação está atualmente confinada a um único quarto instrumentado com manipuladores de base fixa e controladores de tarefas específicos. A generalização para diversos layouts domésticos, robôs móveis e interações de longo prazo permanece uma direção aberta para trabalhos futuros.