Feelium: A Touchable Blimp Body for Aerial Telepresence

Resumen Técnico: Feelium – Un cuerpo de dirigible táctil para la telepresencia aérea

Planteamiento del problema
Los sistemas de telepresencia aérea existentes, particularmente los drones, enfrentan limitaciones significativas para facilitar la interacción social natural. Si bien las investigaciones han demostrado que envolver los cuadricópteros en jaulas seguras aumenta las interacciones táctiles del 1.4% al 38.9%, los sistemas actuales no proporcionan retroalimentación háptica al operador remoto. Además, los drones tradicionales están limitados por rotores ruidosos, riesgos de seguridad y una detección de contacto transitoria a escala de la punta de los dedos que depende de sistemas de seguimiento externos. Por el contrario, aunque los dirigibles han sido explorados durante décadas como portadores aéreos, pantallas o compañeros (p. ej., PRoP, LightBee), sus envolventes han funcionado históricamente solo como dispositivos de salida. Aunque existen inflables táctiles basados en tierra, ninguno ha conectado con éxito una superficie tocada con una persona remota, dejando un vacío en la creación de un canal de interacción física compartida para la cercanía mediada.

Metodología
Los autores presentan Feelium, un sistema que integra una plataforma de dirigible de pantalla voladora, habitación en VR de primera persona y una envolvente con detección de tacto integrada.

• Plataforma de Hardware: El cuerpo físico es un dirigible de helio de interior de 64 cm que pesa 323.7 g, con una capacidad de elevación de ~360 g. Utiliza cuatro motores bajo control de bucle cerrado para un vuelo estacionario estable y silencioso. La envolvente está mayormente ennegrecida para retener el helio y rechazar la luz ambiental, excepto por una cara frontal de dispersión de luz que actúa como pantalla de retroproyección. Esta pantalla es iluminada por un proyector láser de 24.9 g (Ultimems HD309) mediante una lente de ojo de pez de 180°.
• Habitación Remota: Un usuario remoto usa un Apple Vision Pro, habitando el dirigible en primera persona. Una cámara de ojo de pez frontal sirve como "ojos", manteniendo un campo de visión amplio para mantener la mano de un compañero que se acerca en el encuadre hasta que ocurre el contacto. El rostro o avatar del usuario se proyecta sobre la piel del dirigible. Los comandos de control (adelante, atrás, arriba, abajo, girar izquierda, girar derecha) y los flujos de medios viajan a través de HTTP.
• Arquitectura de Detección de Tacto: El sistema emplea un enfoque de doble cámara para detectar el contacto en la piel inflable:
  1. Cámara RGB (Decisor Primario): Una cámara Raspberry Pi AI (Sony IMX500) montada en la parte trasera observa la membrana desde el interior contra la luz de fondo. Utiliza un flujo de trabajo de sombras que mantiene una imagen de referencia de la membrana no tocada que se adapta lentamente. Calcula la profundidad de sombra relativa por píxel (fracción de luz de fondo perdida) para asegurar la independencia de la brillantez desigual del proyector.
  2. Cámara Térmica (Detección de Presencia): Una cámara térmica MLX90640-D55 de 32×24 detecta cuerpos cálidos (manos/compañeros) que se acercan o sobrevuelan cerca de la membrana mediante la diferenciación de fotogramas contra una línea base ambiental, pero no toma decisiones de contacto, ya que el calor conducido a través de la membrana es demasiado débil y lento.
• Lógica de Tacto: El sistema distingue entre "vuelo estacionario" (hover) y "toque" utilizando dos puertas:
  • Puerta de Profundidad Instantánea: Detecta presiones firmes de inmediato.
  • Puerta de Anclaje Sostenido: Computa el mínimo rodante de la profundidad de la sombra durante el último segundo. Esto diferencia una punta de dedo fija (sombra sostenida) de una mano que sobrevuela (sombra oscilante y delgada).
  • Segmentación de Eventos: Un rastreador segmenta las decisiones en eventos discretos (toque, mantener, deslizamiento) basándose en la duración del contacto y la longitud de la trayectoria de la punta del dedo.
  • Renderizado: Los toques detectados se renderizan como marcadores localizados en la vista del usuario de VR, y el proyector responde en el punto específico tocado.

Contribuciones Clave
El artículo reclama tres contribuciones primarias:

1. El Sistema Feelium: La primera integración de un dirigible de pantalla voladora, habitación en VR de primera persona y una envolvente con detección de tacto integrada para la telepresencia aérea.
2. Vocabulario de Interacción: Un conjunto definido de interacciones táctiles de dos personas entre un compañero co-localizado y el habitante remoto, incluyendo palmaditas de saludo, unión palma con palma, besos en la mejilla, juegos de dibujo con el dedo y abrazos de inclinación.
3. Validación Técnica Preliminar: Evidencia empírica que demuestra la viabilidad de la detección de tacto en una envolvente inflable utilizando el flujo de trabajo de detección de sombras y térmica propuesto.

Resultados
El sistema fue validado mediante 228 ensayos etiquetados en tres sesiones, incluyendo 138 toques inducidos (toques, mantener, deslizamientos) y 90 muestras negativas (vuelos estacionarios, perturbaciones, escenas vacías), además de clips continuos.

• Sensibilidad de Detección: El detector de sombras registró actividad en 171 de 198 ensayos donde había una mano presente y nunca se activó en escenas vacías.
• Rechazo de Vuelo Estacionario: El umbral simple del área oscurecida logró una recuperación (recall) del 95%, pero solo un 77% de precisión debido a falsos positivos de manos que solo sobrevolaban. La puerta de anclaje sostenido mejoró significativamente el rendimiento, logrando un AUC de 0.99 al separar el contacto del vuelo estacionario en clips continuos. Un umbral ajustado en el primer 60% de los datos mantuvo una precisión balanceada de 0.90 en el resto no visto.
• Localización: Para 69 toques y mantenimientos detectados, los puntos de aterrizaje se agruparon estrechamente alrededor de los objetivos inducidos, con una dispersión RMS mediana de 9 píxeles en la resolución de 640×480 del detector.
• Rendimiento: El flujo de procesamiento se ejecuta a bordo aproximadamente a 15 fps.
• Limitaciones: Los resultados actuales están limitados a iluminación de habitación tenue y un único parche de "piel sensible" rectangular de la envolvente.

Significancia y Reivindicaciones
Los autores posicionan a Feelium como el primer sistema en explorar el tacto de la envolvente en un contexto de telepresencia aérea. Argumentan que el tacto es un canal crítico para profundizar la cercanía mediada, yendo más allá del intercambio de información hacia la "presencia" como el contenido principal. El artículo afirma que el sistema proporciona con éxito un canal de interacción física donde la piel actúa como una superficie compartida entre el habitante remoto y los compañeros co-localizados. El trabajo se presenta como una validación técnica preliminar que motiva una evaluación diádica de la presencia social, la detección de toda la envolvente, la retroalimentación háptica al usuario y el vuelo pilotado por gestos, con el objetivo de dar a la presencia remota un cuerpo que "invite al tacto" y acerque a los compañeros separados al alcance de un brazo.