Resumen Técnico: OMNIROBOTHOME

Declaración del Problema

Permitir que los robots asistan en entornos de vida cotidiana requiere un conocimiento continuo, preciso y en tiempo real de la ubicación y actividad humana en 3D. Sin embargo, los sistemas actuales de interacción humano-robot (HRI) suelen depender de una detección limitada (por ejemplo, visión única o sensores integrados) o de procesamiento fuera de línea, lo que no logra capturar la naturaleza dinámica y no estructurada de los hogares. Si bien existen sistemas de captura de movimiento multicámara, estos suelen estar dirigidos a la construcción de conjuntos de datos fuera de línea o a la percepción aislada, en lugar de entregar un estado denso y en tiempo real a los robots que actúan en el bucle. En consecuencia, el impacto específico de la calidad de la percepción —como la capacidad de respuesta, la granularidad, la cobertura y la previsión— sobre el éxito de las tareas de HRI permanece mayormente sin cuantificar.

Metodología: Sistema OMNIROBOTHOME

Los autores presentan OMNIROBOTHOME, un banco de pruebas de IA física a escala de habitación diseñado para instrumentar un hogar amueblado con capacidades de percepción de alta fidelidad y tiempo real integradas directamente en el bucle de control del robot.

1. Configuración de Hardware

• Entorno: Un área de vivienda amueblada de 23.1 m² (que incluye cocina, sala de estar y almacén) diseñada para parecer un hogar real con desorden natural y oclusiones, en lugar de un estudio de captura estéril.
• Matriz de Sensores: 48 cámaras RGB sincronizadas por hardware.
  • 40 cámaras de área amplia distribuidas para un seguimiento humano sin marcadores y robusto ante oclusiones.
  • 8 cámaras que forman cuatro pares estéreo posicionados sobre espacios de trabajo específicos para la estimación de la pose de objetos en 6D.
• Actuación: Tres manipuladores integrados en el espacio: dos brazos Franka Research 3 (con manos Inspire F1) y un xArm (con mano Allegro-v4).
• Sincronización: Todas las cámaras y robots están sincronizados mediante un disparador externo de hardware, asegurando una línea de tiempo unificada para la percepción y el control.

2. Arquitectura del Sistema y Pipeline de Percepción

Para manejar el enorme flujo de datos (~13.5 GB/s brutos), el sistema emplea una arquitectura de computación perimetral (edge computing) distribuida:

• Nodos Perimetrales (Edge Nodes): Las 40 cámaras de área amplia se reparten entre 10 nodos perimetrales. Cada nodo ejecuta inferencia optimizada con TensorRT (YOLO26 para detección, RTMPose para extracción de puntos clave 2D) y transmite únicamente puntos clave 2D dispersos y puntuaciones de confianza al host central.
• Fusión Central: El host triangula las articulaciones 3D en tiempo real utilizando un DLT (Transformación Lineal Directa) vectorizado por lotes resuelto con reponderación de Huber/IRLS, seguido de un suavizado temporal (Filtro One Euro). Este pipeline logra ~22 FPS para la estimación de la pose corporal completa en 3D.
• Percepción de Objetos:
  • Escala de la habitación: La ubicación 3D gruesa y la extensión se recuperan mediante la fusión multivista de detecciones 2D (YOLOE) y reconstrucción volumétrica.
  • Escala de espacio de trabajo: Cuatro pares estéreo proporcionan profundidad métrica densa y estimación de pose 6D para objetivos de manipulación mediante FastFoundationStereo y FoundationPose, funcionando a ~16 Hz.
• Calibración: Un proceso de tres etapas (intrínsecos, extrínsecos mediante tableros ChArUco y PnP, y calibración ojo-mano) unifica todas las cámaras y robots en un único marco de referencia mundial, logiendo un error de reproyección menor que los métodos de SfM basados en características en áreas de características dispersas.

3. Capacidades Principales

• Percepción 3D en Tiempo Real: Seguimiento sin marcadores de la pose corporal completa y de la pose de objetos en 6D con baja latencia.
• Previsión de Movimiento Anticipatorio: Un modelo de flujo rectificado condicional aprende las prioridades de movimiento específicas de la habitación a partir de datos registrados para pronosticar futuros humanos de 5 segundos basados en un historial de 3 segundos. Emplea una estrategia de muestreo "Best-of-K" y recombinación de movimiento mediante in-betweening para asegurar predicciones diversas y plausibles.
• Asistencia Multi-Robot: Los manipuladores están alineados con el flujo de percepción compartido, permitiendo que cualquier robot cercano asista basándose en la intención inferida.
• Agente de Avatar Social: Un agente de Modelo de Lenguaje-Visión (VLM) observa al humano a través de la mejor cámara, razona sobre la actividad y la intención, y entabla una conversación o emite comandos de manipulación de alto nivel.

Contribuciones Clave

1. Un Nuevo Banco de Pruebas: La primera plataforma residencial a escala de habitación que integra 48 cámaras sincronizadas y múltiples manipuladores en un marco de mundo unificado para entregar percepción 3D de cuerpo completo en tiempo real directamente en el bucle de control del robot.
2. Una Receta Práctica: Un pipeline de detección de extremo a extremo en tiempo real que aborda los desafíos de calibración, sincronización y procesamiento distribuido, permitiendo la reproducibilidad.
3. Un Estudio Controlado: El primer estudio que trata la calidad de la percepción como una variable experimental en los dominios de seguridad, asistencia e interacción social.

Resultados Experimentales

Los autores evaluaron el sistema a través de tres problemas de HRI, degradando sistemáticamente la calidad de la percepción (mediante latencia, reducción del número de cámaras o falta de previsión) para medir el impacto en la calidad de la interacción.

• Seguridad en Espacios Compartidos:
  • Una política que utiliza la previsión en tiempo real del sistema (horizonte de 1.5s) logró la tasa de colisión más baja (8.60%) en comparación con líneas base como proximidad básica (18.66%) o sin seguridad (43.53%).
  • La introducción de retrasos de percepción (0.5s o 1.0s) aumentó significativamente las tasas de colisión, demostrando que la capacidad de respuesta es crítica para la seguridad.
• Previsión de Movimiento Humano:
  • Los modelos entrenados con más datos (4+ horas) y recombinación de movimiento (Best-of-K) mostraron una mejora en la precisión (menor minADE) y diversidad (mayor APD).
  • Eliminar el mecanismo Best-of-K redujo drásticamente la diversidad y la recuperación, confirmando la necesidad de supervisión multimodal.
• Cobertura Espacial y Asistencia:
  • Tarea de Señalamiento: En una tarea donde un robot debe clasificar artículos basándose en un gesto de señalamiento humano, la precisión cayó del 95% (40 cámaras) al 41% (4 cámaras), demostando que la cobertura densa es esencial para la estimación de la intención fina.
  • Calibración: La calibración propuesta basada en ChArUco redujo la media y la desviación estándar del error de reproyección en comparación con COLMAP.
• Interacción Social:
  • Mirada Mutua: La capacidad del avatar social para mantener la mirada mutua se degradó mediblemente con el aumento de la latencia y la reducción de la cobertura de las cámaras, resaltando la necesidad de una detección de baja latencia a escala de habitación para un compromiso natural.

Significancia y Reivindicaciones

El artículo argumenta que la calidad de la percepción es el factor dominante que gobierna qué interacción humano-robot es alcanzable en entornos domésticos del mundo real. El estudio demuestra una tendencia constante: la calidad de la interacción se degrada sistemáticamente a medida que se debilitan los atributos de la percepción (tiempo real, granularidad, cobertura, precisión, previsión o memoria).

Los autores concluyen que mejorar la percepción es una palanca clave para desarrollar robots domésticos capaces. Postulan que el "régimen de percepción fuerte" proporcionado por OMNIROBOTHOME ofrece ganancias medibles sobre las limitaciones de detección de trabajos previos. El artículo se compromete a liberar todo el código y los datos para apoyar la investigación futura en la colaboración humano-robot que anteriormente estaba limitada por restricciones de infraestructura.

Limitaciones: La evaluación se limita actualmente a una única habitación instrumentada con manipuladores de base fija y controladores de tareas específicos. La generalización a diversos diseños de hogares, robots móviles e interacciones a largo plazo sigue siendo una dirección abierta para trabajos futuros.