Feelium: A Touchable Blimp Body for Aerial Telepresence

Résumé Technique : Feelium – Un corps de dirigeable tactile pour la téléprésence aérienne

Énoncé du problème
Les systèmes de téléprésence aérienne existants, en particulier les drones, présentent des limitations significatives pour faciliter l'interaction sociale naturelle. Bien que la recherche ait montré que l'enveloppement de quadricoptères dans des cages sécurisées augmente les interactions tactiles de 1,4 % à 38,9 %, les systèmes actuels ne parviennent pas à fournir un retour haptique à l'opérateur distant. De plus, les drones traditionnels sont contraints par des rotors bruyants, des risques de sécurité et une détection de contact transitoire à l'échelle du bout du doigt reposant sur des systèmes de suivi externes. À l'inverse, bien que les dirigeables soient explorés depuis des décennies comme supports aériens, écrans ou compagnons (ex. PRoP, LightBee), leurs enveloppes ont historiquement fonctionné comme des dispositifs de sortie uniquement. Bien que des objets gonflables tactiles au sol existent, aucun n'a réussi à connecter une surface touchée à une personne distante, laissant un vide dans la création d'un canal d'interaction physique partagé pour une proximité médiatisée.

Méthodologie
Les auteurs présentent Feelium, un système intégrant une plateforme de dirigeable à affichage volant, une inhabitation en VR à la première personne, et une enveloppe sensible au toucher embarquée.

• Plateforme matérielle : Le corps physique est un dirigeable à l'hélium d'intérieur de 64 cm pesant 323,7 g, avec une flottabilité d'environ 360 g. Il utilise quatre moteurs sous contrôle en boucle fermée pour un vol stationnaire stable et silencieux. L'enveloppe est largement noircie pour retenir l'hélium et rejeter la lumière ambiante, à l'exception d'une face avant diffusante servant d'écran de rétroprojection. Cet écran est illuminé par un projecteur laser de 24,9 g (Ultimems HD309) via un objectif fisheye de 180°.
• Inhabitation à distance : Un utilisateur distant porte un Apple Vision Pro, habitant le dirigeable à la première personne. Une caméra fisheye frontale sert d'« yeux », maintenant un large champ de vision pour garder la main tendue d'un partenaire dans le cadre jusqu'au contact. Le visage ou l'avatar de l'utilisateur est projeté sur la peau du dirigeable. Les commandes de contrôle (avant, arrière, haut, bas, tourner à gauche, tourner à droite) et les flux de médias voyagent via HTTP.
• Architecture de détection tactile : Le système emploie une approche à double caméra pour détecter le contact sur l'enveloppe gonflable :
  1. Caméra RGB (Décisionnaire primaire) : Une caméra Raspberry Pi AI (Sony IMX500) montée à l'arrière observe la membrane depuis l'intérieur contre le rétroéclairage. Elle utilise un pipeline d'ombre qui maintient une image de référence de la membrane intacte à adaptation lente. Elle calcule la profondeur d'ombre relative par pixel (fraction de rétroéclairage perdue) pour garantir l'indépendance vis-à-vis de l'éclat inégal du projecteur.
  2. Caméra thermique (Détection de présence) : Une caméra thermique MLX90640-D55 de 32×24 détecte la chaleur. Elle détecte les corps chauds (mains/partenaires) s'approchant ou planant près de la membrane en comparant les images à une ligne de base ambiante, mais ne prend pas de décisions de toucher, car la chaleur conduite à travers la membrane est trop faible et lente.
• Logique de toucher : Le système distingue le « survol » (hover) du « toucher » (touch) en utilisant deux portes :
  • Porte de profondeur instantanée : Détecte les pressions fermes immédiatement.
  • Porte d'ancrage soutenu : Calcule le minimum glissant de la profondeur d'ombre sur la seconde écoulée. Cela différencie un doigt pressé (ombre soutenue) d'une main en survol (ombre vacillante et ténue).
  • Segmentation d'événements : Un traceur segmente les décisions en événements discrets (tap, maintien, glissement) basés sur la durée du contact et la longueur du chemin du bout du doigt.
  • Rendu : Les touches détectées sont rendues sous forme de marqueurs localisés dans la vue de l'utilisateur VR, et le projecteur répond à l'endroit spécifique touché.

Contributions clés
Le papier revendique trois contributions principales :

1. Le système Feelium : La première intégration d'un dirigeable à affichage volant, d'une inhabitation VR à la première personne et d'une enveloppe sensible au toucher pour la téléprésence aérienne.
2. Vocabulaire d'interaction : Un ensemble défini d'interactions tactiles à deux parties entre un partenaire co-localisé et l'inhabitant distant, incluant des tapes de salutation, des fusionnements paume contre paume, des baisers sur la joue, des jeux de dessin au doigt et des câlins en se penchant.
3. Validation technique préliminaire : Preuve empirique de la faisabilité de la détection tactile sur une enveloppe gonflable à l'aide du pipeline de détection d'ombre et thermique proposé.

Résultats
Le système a été validé par 228 essais étiquetés sur trois sessions, comprenant 138 touches provoquées (taps, maintenus, glissements) et 90 échantillons négatifs (survols, perturbations, scènes vides), plus des clips continus.

• Sensibilité de détection : Le détecteur d'ombre a enregistré une activité dans 171 des 198 essais où une main était présente et n'a jamais déclenché lors de scènes vides.
• Rejet du survol : Un simple seuillage de la zone assombrie a atteint un rappel de 95 % mais seulement 7 précision de 77 % en raison de faux positifs provenant de mains en survol. La porte d'ancrage soutenu a considérablement amélioré les performances, atteignant une AUC de 0,99 pour séparer le contact du survol sur des clips continus. Un seuil ajusté sur les premiers 60 % des données a maintenu une précision équilibrée de 0,90 sur le reste non vu.
• Localisation : Pour 69 taps et maintenus détectés, les points d'atterrissage se sont regroupés étroitement autour des cibles provoquées, avec un écart RMS médian de 9 pixels dans la résolution 640×480 du détecteur.
• Performance : Le pipeline de traitement s'exécute sur l'appareil à environ 15 fps.
• Limitations : Les résultats actuels sont limités à un éclairage de pièce sombre et à une seule « zone de peau sensible » rectangulaire de l'enveloppe.

Signification et Revendications
Les auteurs positionnent Feelium comme le premier système à explorer le toucher de l'enveloppe dans un contexte de téléprésence aérienne. Ils soutiennent que le toucher est un canal critique pour approfondir la proximité médiatisée, passant de l'échange d'informations à la « présence » comme charge utile. Le papier affirme que le système fournit avec succès un canal d'interaction physique où la peau agit comme une surface partagée entre les partenaires distants et co-localisés. Ce travail est présenté comme une validation technique préliminaire qui motive une évaluation dyadique de la présence sociale, de la détection de toute l'enveloppe, du retour haptique à l'utilisateur et du vol piloté par gestes, visant à donner à la présence distante un corps qui « invite au toucher » et ramène les partenaires séparés à portée de bras.