Feelium: A Touchable Blimp Body for Aerial Telepresence

Technische Zusammenfassung: Feelium – Ein haptischer Blimp-Körper für die aerale Telepräsenz

Problemstellung
Bestehende aerale Telepräsenzsysteme, insbesondere Drohnen, stehen vor erheblichen Einschränkungen bei der Ermöglichung natürlicher sozialer Interaktion. Während die Forschung gezeigt hat, dass das Umschließen von Quadrocoptern mit sicheren Käfigen die taktilen Interaktionen von 1,4 % auf 38,9 % erhöht, versagen aktuelle Systeme darin, dem entfernten Operator haptisches Feedback zu geben. Zudem sind traditionelle Drohnen durch laute Rotoren, Sicherheitsrisiken und transiente, auf die Fingerspitzen skalierende Kontaktmessung, die auf externen Tracking-Systemen basiert, eingeschränkt. Im Gegensatz dazu wurden Blimps seit Jahrzehnten als aerale Träger, Bildschirme oder Begleiter (z. B. PRoP, LightBee) erforscht, doch ihre Hüllen fungierten historisch gesehen nur als reine Ausgabegeräte. Obwohl bodengestützte, berührbare aufblasbare Objekte existieren, hat bisher keines erfolgreich eine berührte Oberfläche mit einer entfernten Person verbunden, wodurch eine Lücke bei der Schaffung eines gemeinsamen physischen Interaktionskanals für vermittelte Nähe entstanden ist.

Methodik
Die Autoren präsentieren Feelium, ein System, das eine fliegende Display-Blimp-Plattform, die First-Person-VR-Inhabitation und eine taktile Sensor-Hülle integriert.

• Hardware-Plattform: Der physische Körper ist ein 64 cm großer Indoor-Helium-Blimp mit einem Gewicht von 323,7 g und einem Auftrieb von ca. 360 g. Er nutzt vier Motoren unter Closed-Loop-Steuerung für einen stabilen, leisen Schwebeflug. Die Hülle ist größtenteils geschwärzt, um Helium zu halten und Umgebungslicht abzulehnen, mit Ausnahme einer lichtstreuenden Frontseite, die als Rückprojektionsschirm dient. Dieser Bildschirm wird durch einen 24,9 g leichten Laserprojektor (Ultimems HD309) über ein 180°-Fisheye-Objektiv beleuchtet.
• Remotes Inhabitation: Ein entfernter Nutzer trägt eine Apple Vision Pro und bewohnt den Blimp aus der Ich-Perspektive. Eine nach vorne gerichtete Fisheye-Kamera dient als „Augen“ und hält ein weites Sichtfeld aufrecht, um die herannahende Hand eines Partners im Bild zu behalten, bis der Kontakt erfolgt. Das Gesicht oder der Avatar des Nutzers wird auf die Haut des Blimps projiziert. Steuerbefehle (vorwärts, rückwärts, hoch, runter, links drehen, rechts drehen) und Medienströme werden über HTTP übertragen.
• Touch-Sensorik-Architektur: Das System verwendet einen Dual-Kamera-Ansatz, um Kontakt auf der aufblasbaren Haut zu erfassen:
  1. RGB-Kamera (Primärer Entscheidungsträger): Eine auf der Rückseite montierte Raspberry Pi AI Kamera (Sony IMX500) beobachtet die Membran von innen gegen das Gegenlicht. Sie nutzt eine Schatten-Pipeline, die ein langsam adaptierendes Referenzbild der unberührten Membran aufrechterhält. Sie berechnet die pro Pixel relative Schatten-Tiefe (Bruchteil des verlorenen Gegenlichts), um Unabhängigkeit von ungleichmäßiger Projektorhelligkeit zu gewährleisten.
  2. Thermalkamera (Präsenzerkennung): Eine 32×24 MLX90640-D55 Thermalkamera erfasst Wärme. Sie erkennt warme Körper (Hände/Partner), die sich der Membran nähern oder in deren Nähe schweben, indem sie die Frames gegen eine Umgebungslinie differenziert, trifft jedoch keine Touch-Entscheidungen, da die durch die Membran geleitete Wärme zu schwach und zu langsam ist.
• Touch-Logik: Das System unterscheidet zwischen „Schweben“ (Hover) und „Berühren“ (Touch) mittels zwei Gates:
  • Instant Depth Gate: Erkennt festes Drücken sofort.
  • Sustained-Anchoring Gate: Berechnet das rollierende Minimum der Schatten-Tiefe über die letzte Sekunde. Dies unterscheidet eine fixierte Fingerspitze (anhaltender Schatten) von einer schwebenden Hand (wackelnder, dünner werdender Schatten).
  • Event-Segmentierung: Ein Tracker segmentiert Entscheidungen in diskrete Ereignisse (Tippen, Halten, Wischen) basierend auf Kontaktdauer und Pfadlänge der Fingerspitze.
  • Rendering: Detektierte Berührungen werden als lokalisierte Marker in der Ansicht des VR-Nutzers gerendert, und der Projektor reagiert an der spezifischen Berührungsstelle.

Hauptbeiträge
Das Paper beansprucht drei primäre Beiträge:

1. Das Feelium-System: Die erste Integration eines fliegenden Display-Blimps, First-Person-VR-Inhabitation und einer onboard befindlichen taktilen Sensor-Hülle für aerale Telepräsenz.
2. Interaktions-Vokabular: Ein definiertes Set an Zwei-Personen-Touch-Interaktionen zwischen einem ko-lokalisierten Partner und dem entfernten Bewohner, einschließlich Begrüßungs-Pats, Palm-to-Palm-Verschmelzung, Wangen-Küsschen, Finger-Zeichen-Spielen und Anlehnen für Umarmungen.
3. Vorläufige technische Validierung: Empirische Belege für die Machbarkeit der Berührungssensorik auf einer aufblasbaren Hülle unter Verwendung der vorgeschlagenen Schatten- und Thermik-Sensor-Pipeline.

Ergebnisse
Das System wurde mit 228 gelabelten Versuchen über drei Sitzungen validiert, einschließlich 138 geprompteter Berührungen (Taps, Holds, Swipes) und 90 Negativproben (Hovers, Störungen, leere Szenen), sowie kontinuierlichen Clips.

• Detektionssensitivität: Der Schatten-Detektor registrierte Aktivität in 171 von 198 Versuchen, in denen eine Hand präsent war, und löste nie in leeren Szenen aus.
• Hover-Rejektion: Eine einfache Schwellenwertbildung der verdunkelten Fläche erreichte eine Recall von 95 %, aber nur eine Precision von 77 % aufgrund von False Positives durch schwebende Hände. Das Sustained-Anchoring Gate verbesserte die Leistung signifikant und erreichte einen AUC von 0,99 bei der Trennung von Kontakt und Hover in kontinuierlichen Clips. Ein auf den ersten 60 % der Daten angepasster Schwellenwert hielt eine Balanced Accuracy von 0,90 auf dem ungesehenen Rest aufrecht.
• Lokalisierung: Für 69 detektierte Taps und Holds gruppierten sich die Landepunkte eng um die geprompten Ziele, mit einem medianen RMS-Spread von 9 Pixeln bei der 640×480 Auflösung des Detektors.
• Leistung: Die Verarbeitungspipeline läuft onboard mit etwa 15 fps.
• Einschränkungen: Die aktuellen Ergebnisse sind auf Beleuchtung in dunklen Räumen und einen einzelnen rechteckigen „sensiblen Hautabschnitt“ der Hülle beschränkt.

Bedeutung und Ansprüche
Die Autoren positionieren Feelium als das erste System, das die Untersuchung der Hüllentaktilität im Kontext der aferalen Telepräsenz untersucht. Sie argumentieren, dass Berührung ein kritischer Kanal ist, um die vermittelte Nähe zu vertiefen, indem man über den Informationsaustausch hinausgeht und „Präsenz“ als Payload betrachtet. Das Paper behauptet, dass das System erfolgreich einen physischen Interaktionskanal bereitstellt, bei dem die Haut als gemeinsame Oberfläche zwischen dem entfernten und dem ko-lokalisierten Partner fungiert. Die Arbeit wird als vorläufige technische Validierung präsentiert, die eine dyadische Evaluierung von sozialer Präsenz, Ganzkörper-Hüllensensorik, haptischem Feedback an den Träger und gestengesteuerter Flug motiviert, mit dem Ziel, der entfernten Präsenz einen Körper zu geben, der „Berührung einlädt“ und getrennte Partner in Reichweite bringt.