Feelium: A Touchable Blimp Body for Aerial Telepresence

Technische Samenvatting: Feelium – Een Tastbaar Blimp-lichaam voor Luchttelespresence

Probleemstelling
Bestaande systemen voor luchttelespresence, met name drones, kampen met aanzienlijke beperkingen bij het faciliteren van natuurlijke sociale interactie. Hoewel onderzoek heeft aangetoond dat het omhullen van quadcopters met veilige kooien de tactiele interacties verhoogt van 1,4% naar 38,9%, bieden huidige systemen geen haptische feedback aan de externe operator. Bovendien worden traditionele drones beperkt door luidruchtige rotoren, veiligheidsrisico's en vluchtige, op vingertoppen gebaseerde contactdetectie die afhankelijk is van externe trackingsystemen. Daarentegen zijn blimps (luchtballonnen) al decennia lang verkend als luchtdragers, schermen en metgezellen (bijv. PRoP, LightBee), maar hun enveloppen fungeerden historisch gezien slechts als output-only apparaten. Hoewel er op de grond gebaseerde tastbare opblaasbare objecten bestaan, heeft geen van hen er succesvol een verbinding tussen een aangeraakt oppervlak en een verre persoon tot stand gebracht, waardoor er een gat is ontstaan in het creëren van een gedeeld fysiek interactiekanaal voor bemiddelde nabijheid.

Methodologie
De auteurs presenteren Feelium, een systeem dat een vliegend display-blimpplatform, first-person VR-inhabitatie en een aan boord aanwezig tastgevoelig omhulsel integreert.

• Hardware Platform: Het fysieke lichaam is een 64 cm grote binnenhuis helium-blimp met een gewicht van 323,7 g en een drijfvermogen van ~360 g. Het maakt gebruik van vier motoren onder closed-loop controle voor stabiel, stil zweven. De envelop is grotendeels zwart gemaakt om helium vast te houden en omgevingslicht af te wijzen, behalve een lichtverstrooiend voorpaneel dat fungeert als een achterprojectiescherm. Dit scherm wordt verlicht door een 24,9 g laserprojector (Ultimems HD309) via een 180° fisheye-lens.
• Remote Inhabitation: Een verre gebruiker draagt een Apple Vision Pro en bewoont de blimp vanuit een first-person perspectief. Een naar voren gerichte fisheye-camera dient als de "ogen", waarbij een breed gezichtsveld wordt behouden om de reikende hand van een partner in beeld te houden totdat contact plaatsvindt. De gezicht of avatar van de gebruiker wordt op de huid van de blimp geprojecteerd. Commando's (vooruit, achteruit, omhoog, omlaag, links draaien, rechts draaien) en mediastromen worden via HTTP verzonden.
• Touch Sensing Architectuur: Het systeem gebruikt een dual-camera benadering om contact op de opblaasbare huid te detecteren:
  1. RGB Camera (Primaire Beslisser): Een aan de achterzijde gemonteerde Raspberry Pi AI Camera (Sony IMX500) observeert het membraan van binnenuit tegen het tegenlicht. Het gebruikt een schaduwpipeline die een langzaam adapterend referentiebeeld van het onaangetaste membraan bijhoudt. Het berekent de per-pixel relatieve schaduwdiepte (fractie van verloren tegenlicht) om onafhankelijkheid van ongelijke projectorhelderheid te garanderen.
  2. Thermische Camera (Aanwezigheidsdetectie): Een 32×24 MLX90640-D55 thermische camera detecteert warmte. Het detecteert warme lichamen (handen/partners) die de membraan naderen of er vlakbij zweven door frames te vergelijken met een ambient baseline, maar neemt geen beslissingen over aanraking, aangezien geleidde warmte door de membraan te zwak en te traag is.
• Touch Logica: Het systeem onderscheidt "zweven" van "aanraking" met behulp van twee poorten:
  • Instant Depth Gate: Detecteert stevige druk onmiddellijk.
  • Sustained-Anchoring Gate: Berekent de rollende minimumwaarde van de schaduwdiepte over de afgelopen seconde. Dit onderscheidt een vastgepinde vingertop (constante schaduw) van een zwevende hand (wobbelende, dunner wordende schaduw).
  • Event Segmentatie: Een tracker segmenteert beslissingen in discrete gebeurtenissen (tik, vasthouden, vegen) op basis van contactduur en de padlengte van de vingertop.
  • Rendering: Gedetecteerde aanrakingen worden gerenderd als gelokaliseerde markeringen in het zicht van de VR-gebruiker, en de projector reageert op de specifieke plek waar de aanraking plaatsvindt.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Het Feelium Systeem: De eerste integratie van een vliegend display-blimp, first-person VR-inhabitatie en een aan boord aanwezig tastgevoelig omhulsel voor luchttelespresence.
2. Interactie Vocabulaire: Een gedefinieerde set van twee-partij tactiele interacties tussen een co-gelokaliseerde partner en de remote inhabitant, inclusief begroetingspats, palm-tot-palm versmeltingen, wangkusjes, vingerteken-spelletjes en vooroverleunen-knuffels.
3. Voorlopige Technische Validatie: Empirisch bewijs dat de haalbaarheid van contactdetectie op een opblaasbaar omhulsel met de voorgestelde schaduw- en thermische sensing pipeline aantoont.

Resultaten
Het systeem werd gevalideerd met 228 gelabelde proeven over drie sessies, inclusief 138 geprompte aanrakingen (taps, holds, swipes) en 90 negatieve samples (zweven, verstoringen, lege scènes), plus continue clips.

• Detectiegevoeligheid: De schaduwdetector registreerde activiteit in 171 van de 198 proeven waarbij een hand aanwezig was, en werd nooit geactiveerd in lege scènes.
• Hover Rejection: Eenvoudige drempelwaarde-analyse van het verduisterde gebied bereikte 95% recall, maar slechts 77% precisie door fout-positieven van zwevende handen. De sustained-anchoring gate verbeterde de prestaties aanzienlijk en behaalde een AUC van 0,99 bij het scheiden van contact van zweven op continue clips. Een drempelwaarde die werd aangepast op de eerste 60% van de data, behield een gebalanceerde nauwkeurigheid van 0,90 op de onbekende resterende data.
• Lokalisatie: Voor 69 gedetecteerde taps en holds clusterden de landingspunten nauw rond de geprompte doelen, met een mediane RMS-spreiding van 9 pixels in de 640×480 resolutie van de detector.
• Prestaties: De verwerkingspipeline draait aan boord op ongeveer 15 fps.
• Beperkingen: De huidige resultaten zijn beperkt tot dimme kamerverlichting en een enkele rechthoekige "gevoelige huidpatch" van de envelop.

Betekenis en Claims
De auteurs positioneren Feelium als het eerste systeem dat de envelop-aanraking in een context van luchttelespresence onderzoekt. Ze stellen dat aanraking een cruciaal kanaal is voor het verdiepen van bemiddelde nabijheid, waarbij men verder gaat dan informatie-uitwisseling naar "aanwezigheid" als de payload. Het artikel claimt dat het systeem er succesvol in slaagt een fysiek interactiekanaal te bieden waarbij de huid fungeert als een gedeeld oppervlak tussen de remote en de co-gelokaliseerde partners. Het werk wordt gepresenteerd als een voorlopige technische validatie die verdere dyadische evaluatie van sociale aanwezigheid, volledige-envelop sensing, haptische feedback naar de drager en gebaar-gestuurde vlucht motiveert, met als doel een remote aanwezigheid een lichaam te geven dat "uitnodigt tot aanraking" en gescheiden partners binnen armbereik brengt.