💻 computer science

SHARE: Towards Head-Mounted AR with User-Centric SLAM in Shared Human-Robot Workspaces

Este artículo presenta SHARE, un sistema SLAM centrado en el usuario para espacios de trabajo compartidos entre humanos y robots que prioriza la experiencia del usuario de RA mediante el ajuste adaptativo de las prioridades de transmisión y el aprovechamiento de la redundancia de características visuales para reducir significativamente la latencia manteniendo una alta precisión de seguimiento.

Autores originales: Tianyuan Du, Tianyi Hu, Hanting Ye, Maria Gorlatova

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianyuan Du, Tianyi Hu, Hanting Ye, Maria Gorlatova

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que llevas puestas unas gafas mágicas que pueden pintar cuadros digitales sobre el mundo real. Podrías ver un brazo robótico virtual ayudándote a construir un castillo de LEGO, o una flecha brillante señalando tus llaves perdidas. Esto es la Realidad Aumentada (AR). Pero para que estas imágenes se sientan reales, tienen que ser perfectas. Si giras la cabeza y la imagen virtual se retrasa incluso un poquito, tu cerebro se confunde, la imagen parece que está nadando y podrías incluso sentirte mal. Para que esta magia funcione, las gafas necesitan saber exactamente dónde estás y cómo es la habitación, al instante. Este trabajo se llama SLAM (Localización y Mapeo Simultáneos). Es como un cerebro superrápido que está dibujando constantemente un mapa de la habitación mientras descubre en qué parte de ella te encuentras.

Ahora, imagina que no estás solo en la habitación. También hay un robot real, como una aspiradora o un robot ayudante, trabajando junto a ti. Tanto tú como el robot están intentando dibujar el mismo mapa al mismo tiempo. Normalmente, para ahorrar energía, estos dispositivos envían sus dibujos a una computadora potente cercana (un servidor de borde o "edge server") para combinarlos en un único mapa gigante y perfecto. El problema es que esta computadora a menudo se ve abrumada. Trata a ti y al robot exactamente igual, enviando datos de ida y vuelta a la misma velocidad. Pero tú y el robot tienen necesidades muy diferentes: tus gafas mágicas necesitan ser ultrarrápidas para mantener viva la ilusión, mientras que el robot puede ser un poco más lento y aun así cumplir con su función. Si la computadora no conoce la diferencia, tus imágenes virtuales podrían empezar a retrasarse, rompiendo la magia.

Aquí es donde entra un nuevo sistema llamado SHARE. Los investigadores detrás de SHARE se dieron cuenta de que tratar a un humano y a un robot exactamente igual es una receta para el desastre en un espacio de trabajo compartido. Construyeron un sistema que actúa como un inteligente controlador de tráfico para los datos. En lugar de dar a todos la misma cantidad de espacio en la carretera, SHARE observa quién está conduciendo y ajusta los límites de velocidad. Sabe que el humano que lleva el visor de AR está en una "zona de velocidad" donde cada milisegundo cuenta, mientras que el robot está en una "zona de crucero" donde puede permitirse esperar un poco más.

Para lograr esto, SHARE utiliza algunos trucos ingeniosos. Primero, crea una "puntuación de felicidad" (llamada Calidad de la Experiencia, o QoE) para cada agente. Para el humano, la puntuación cae instantáneamente si hay cualquier retraso. Para el robot, la puntuación solo baja si el robot se pierde o comete un error. El sistema comprueba constantemente estas puntuaciones y utiliza una herramienta matemática especial (un programador PID) para decidir quién tiene prioridad para hablar con el servidor. Si el humano se mueve rápido o mira una pared aburrida y vacía donde es difícil encontrar puntos de referencia, el sistema grita: "¡El humano primero!" y acelera sus datos. Si el robot solo está en modo crucero, espera su turno.

Segundo, SHARE es un maestro en detectar la redundancia. En una habitación pequeña, tú y el robot podrían estar mirando la misma esquina de la pared al mismo tiempo. Los sistemas antiguos enviarían la imagen de esa esquina dos veces, desperdiciando tiempo y energía. SHARE calcula exactamente cuánto se solapa tu vista con la del robot. Si ambos están mirando el mismo punto, solo envía los datos una vez, ahorrando tiempo y energía valiosos. Es como dos amigos describiendo una película a una tercera persona; en lugar de hablar los dos a la vez, se turnan o combinan sus historias para que nadie se aburra esperando.

Los investigadores probaron este sistema en el mundo real utilizando visores de AR reales (Meta Quest 3) y un robot terrestre (TurtleBot 4). Descubrieron que SHARE era increíblemente efectivo. Para los usuarios humanos, el sistema redujo el retraso (latencia) a un promedio de 13.22 milisegundos. Este es un gran avance, reduciendo el lag en un 43.3% en comparación con el sistema estándar, y mantuvo el retraso muy por debajo del límite de 20 milisegundos necesario para evitar el efecto de "nadar". Crucialmente, el robot no se perdió; se mantuvo preciso con menos de 2 centímetros de diferencia.

En un estudio con usuarios, los resultados fueron aún más impresionantes. Cuando las personas usaban SHARE para controlar al robot a través de sus gafas de AR, sentían que el robot era mucho más predecible y receptivo. De hecho, el 65% de los participantes dijo que SHARE era su sistema favorito, y nadie lo eligió como su menos favorito. El estudio sugiere que, al tratar a humanos y robots de manera diferente según lo que realmente necesitan, podemos hacer que los espacios de trabajo compartidos se sientan mucho más fluidos y mágicos, sin necesidad de computadoras supercaras que hagan todo el trabajo pesado.

Resumen Técnico: SHARE: Hacia la Realidad Aumentada con Visor mediante SLAM Centrado en el Usuario en Espacios de Trabajo Compartidos entre Humanos y Robots

1. Planteamiento del Problema

El artículo aborda un cuello de botella crítico de latencia en los sistemas de Colaboración Humano-Robot (HRC) habilitados para Realidad Aumentada (AR) que dependen de SLAM multi-agente. Aunque los marcos de SLAM multi-agente existentes (por ejemplo, COVINS-G) coordinan eficazmente agentes heterogéneos (robots y visores de AR) a través de servidores de borde (edge servers), tratan a todos los agentes de manera uniforme. Esta uniformidad no tiene en cuenta los requisitos de latencia fundamentalmente diferentes de los agentes de HRC:

Visores de AR: Requieren una latencia estricta de movimiento-a-fotón (típicamente < 20 ms) para evitar el desplazamiento visual y la incomodidad del usuario.
Robots: Pueden tolerar una latencia significativamente mayor (hasta 750 ms–1 s), ya que sus bucles de control son menos sensibles a la retroalimentación visual inmediata.

Los sistemas de SLAM asistidos por edge actuales suelen exceder el umbral de 20 ms para los usuarios de AR debido a la asignación uniforme de recursos, computaciones redundantes en espacios interiores compartidos y la falta de diferenciación entre tipos de agentes. Los autores identifican tres desafíos específicos:

Tolerancia a la Latencia Heterogénea: Cómo priorizar la latencia de la AR mientras se explotan las restricciones más laxas del robot.
Entornos Visuales Dinámicos: Cómo equilibrar la latencia y la precisión cuando la densidad de características visuales fluctúa (por ejemplo, paredes sin rasgos frente a texturas ricas).
3.Redundancia de Mapas: Cómo eliminar las operaciones de fusión de mapas ineficientes y redundantes en entornos interiores de pequeña escala donde los agentes comparten frecuentemente líneas de visión superpuestas.

2. Metodología: El Sistema SHARE

Los autores proponen SHARE, un sistema de SLAM centrado en el usuario diseñado para asignar recursos dinámicamente basándose en la Calidad de Experiencia (QoE) específica del agente y la dinámica del entorno visual. La arquitectura del sistema integra tres componentes principales:

A. Modelado de QoE Específico por Agente

SHARE introduce un modelo de QoE que cuantifica el rendimiento de seguimiento de forma diferente para los usuarios de AR y los robots, yendo más allá de las métricas de latencia uniformes.

Formulación: La QoE se define como una función de la latencia ( $d$ $d$ ) y la precisión ( $a$ $a$ ), utilizando una relación exponencial para capturar los rendimientos marginales decrecientes.
- Para Usuarios de AR: La latencia es el factor de penalización dominante ( $P_i = d - d_0$ , donde $d_0 = 20$ ms). La precisión proporciona beneficios marginales.
- Para Robots: La precisión es el factor de penalización dominante ( $P_i = a_0 - a$ , donde $a_0 = 1$ cm). La latencia tiene rendimientos marginales decrecientes, ya que los robots pueden amortiguar los retrasos.
Estimación de Precisión en Tiempo Real: Dado que no se dispone de trayectorias de verdad de campo (ground-truth) en tiempo real, SHARE despliega una red neuronal profunda (DNN) ligera basada en MobileNetV2 en los agentes móviles. Esta red estima el error de localización en tiempo real utilizando tres modalidades de entrada: características de fotogramas clave (keyframes) visuales, matrices de Distribución Espacial de Puntos (PSD) y estadísticas de seguimiento escalares.

B. Pipeline de Programación PID

Para abordar las condiciones visuales dinámicas, SHARE emplea un programador (scheduler) PID para ajustar las tasas de transmisión de fotogramas.

Mecanismo: El programador trata la desviación entre la QoE objetivo y la QoE actual como una señal de error. Modula dinámicamente la tasa de transmisión de fotogramas ( $R$ ) para cada agente.
Adaptación: Los agentes en entornos con pocas características (que requieren tasas de fotogramas más altas para la precisión) reciben una mayor prioridad de transmisión, mientras que los agentes en entornos ricos en características (donde la redundancia es alta) ven reducidas sus tasas para disminuir la latencia. Esto reemplaza el umbral estático o basado en reglas por una optimización continua impulsada por la retroalimentación.

C. Análisis de Solapamiento Visual para la Reducción de Redundancia

Para mitigar la sobrecarga computacional en espacios de trabajo interiores compartidos, SHARE implementa una estrategia de fusión de mapas selectiva.

Cálculo de Solapamiento Basado en Pose: En lugar de procesar conjuntos completos de características para detectar solapamientos, el sistema calcula el "volumen de solapamiento" entre los conos de visión de los agentes utilizando solo datos de pose de 6 grados de libertad (aprox. 200 bytes frente a 200 KB de características).
Fusión Probabilística: La fusión de mapas se activa basándose en el volumen de solapamiento. El sistema utiliza un umbral probabilístico para omitir fusiones redundantes cuando los agentes están en proximidad cercana con alto solapamiento visual, reteniendo las fusiones solo cuando ofrecen nueva información geométrica significativa (es decir, en el pico de solapamiento visual).

3. Contribuciones Clave

Marco de QoE Centrado en el Usuario: El primer modelo de QoE para HRC que diferencia explícitamente entre usuarios de AR sensibles a la latencia y robots críticos en precisión, permitiendo una asignación de recursos diferenciada.
Estimación de Precisión en Tiempo Real: Una arquitectura DNN ligera que estima el error de localización de SLAM sin datos de verdad de campo, permitiendo que el modelo de QoE funcione en despliegues del mundo real.
Programación Adaptativa PID: Un pipeline de programación basado en la teoría de control que ajusta dinámicamente las prioridades de transmisión según las desviaciones de la QoE en tiempo real y la dinámica del entorno.
Fusión de Mapas Consciente de la Redundancia: Una metodología basada en la pose para identificar y recortar las operaciones de fusión de mapas redundantes en espacios interiores confinados, reduciendo la computación de borde y la sobrecarga de comunicación.
Implementación del Sistema: Una implementación completa de SHARE utilizando visores Meta Quest 3 y un robot TurtleBot 4, integrada con el marco COVINS-G.

4. Resultados y Evaluación

El sistema fue evaluado mediante estudios de campo en el mundo real (5 trayectorias, 483.93 metros) y conjuntos de datos sintéticos (entornos de Almacén y Estación de Bomberos).

Rendimiento de Latencia: SHARE logró una latencia de seguimiento promedio de 13.22 ms para los usuarios de AR, una reducción del 43.3% en comparación con el sistema base COVINS-G. Crucialmente, SHARE mantuvo la latencia por debajo del umbral de 20 ms de la AR en todas las trayectorias, mientras que COVINS-G excedió este límite con frecuencia.
Rendimiento de Precisión: SHARE mantuvo un Error de Trayectoria Absoluta (ATE) inferior a 2 cm y un Error de Pose Relativa (RPE) inferior a 1 cm para todos los agentes, comparable a los sistemas de SLAM de última generación. En entornos con pocas características (Estación de Bomberos), SHARE superó a los modelos de referencia al aumentar las tasas de fotogramas mediante el programador PID.
Eficiencia: El cálculo de solapamiento visual redujo las operaciones de fusión de mapas en un promedio del 43.72% en comparación con COVINS-G sin una pérdida significativa de precisión.
Estudio de Usuario: Un estudio con 20 participantes reveló mejoras estadísticamente significativas en la predictibilidad del robot (+25.3% sobre COVINS-G), la capacidad de respuesta (+12.1%) y la alcanzabilidad (+24.6%). El 65% de los participantes calificó a SHARE como su solución preferida.

5. Significación y Reivindicaciones

El artículo afirma que SHARE representa un paso adelante significativo para hacer viable la HRC impulsada por AR en aplicaciones del mundo real, resolviendo el compromiso entre latencia y precisión inherente a los sistemas multi-agente heterogéneos.

La Diferenciación es la Clave: El trabajo demuestra que tratar a los agentes heterogéneos (humanos frente a robots) con políticas de SLAM uniformes es subóptimo. Al priorizar los estrictos requisitos de latencia del usuario de AR mientras se relajan las restricciones para los robots, el sistema logra una experiencia superior global.
Optimización Consciente del Contexto: La integración del modelado de QoE con la programación PID y el análisis de redundancia visual permite al sistema adaptarse tanto a la heterogeneidad de los agentes como a la dinámica del entorno, asegurando un rendimiento robusto en espacios con pocas características o concurridos.
Viabilidad Práctica: El sistema funciona eficazmente con hardware modesto (Intel N100 en los visores, CPU de 4 núcleos en los servidores de borde), demostando que un SLAM colaborativo de alto rendimiento y baja latencia no requiere aceleración de GPU costosa.

Los autores concluyen que estos conocimientos se extienden más allá de SLAM, sugiriendo que cualquier sistema multi-agente basado en edge que sirva a clientes heterogéneos puede beneficiarse de la diferenciación de la calidad de experiencia y la fusión de datos consciente del contexto.