Feelium: A Touchable Blimp Body for Aerial Telepresence

Sintesi Tecnica: Feelium – Un corpo di dirigibile tattile per la telepresenza aerea

Problematica
Gli attuali sistemi di telepresenza aerea, in particolare i droni, affrontano limitazioni significative nel facilitare l'interazione sociale naturale. Sebbene la ricerca abbia dimostrato che avvolgere i quadricotteri in gabbie sicure aumenta le interazioni tattili dall'1,4% al 38,9%, gli attuali sistemi non forniscono un feedback aptico all'operatore remoto. Inoltre, i droni tradizionali sono vincolati da rotori rumorosi, rischi per la sicurezza e una rilevazione del contatto transitoria su scala di punta del dito che si affida a sistemi di tracciamento esterni. Al contrario, sebbene i dirigibili siano stati esplorati per decenni come vettori aerei, schermi o compagni (es. PRoP, LightBee), i loro involucri sono storicamente funzionati come dispositivi di sola uscita. Sebbene esistano inflabili tattili basati a terra, nessuno ha mai collegato con successo una superficie toccata a una persona remota, lasciando un vuoto nella creazione di un canale di interazione fisica condivisa per la vicinanza mediata.

Metodologia
Gli autori presentano Feelium, un sistema che integra una piattaforma a dirigibile con display volante, inabitazione in VR in prima persona e un involucro con sensibilità al tocco integrata.

• Piattaforma Hardware: Il corpo fisico è un dirigibile all'elio indoor di 64 cm con un peso di 323,7 g, con una spinta di galleggiamento di circa 360 g. Utilizza quattro motori sotto controllo a ciclo chiuso per un volo stazionario stabile e silenzioso. L'involucro è ampiamente oscurato per trattenere l'elio e respingere la luce ambientale, eccetto per una faccia anteriore a diffusione della luce che funge da schermo a proiezione posteriore. Questo schermo è illuminato da un proiettore laser da 24,9 g (Ultimems HD309) tramite una lente fisheye a 180°.
• Inabitazione Remota: Un utente remoto indossa un Apple Vision Pro, abitando il dirigibile in prima persona. Una telecamera fisheye frontale funge da "occhi", mantenendo un ampio campo visivo per tenere la mano del partner che si avvicina nel campo visivo fino al contatto. Il volto o l'avatar dell'utente viene proiettato sulla pelle del dirigibile. I comandi di controllo (avanti, indietro, su, giù, gira a sinistra, gira a destra) e gli stream multimediali viaggiano via HTTP.
• Architettura di Rilevamento del Tocco: Il sistema impiega un approccio a doppia telecamera per rilevare il contatto sulla pelle gonfiabile:
  1. Telecamera RGB (Decisore Primario): Una telecamera Raspberry Pi AI (Sony IMX500) montata posteriormente osserva la membrana dall'interno contro lo sfondo luminoso. Utilizza una pipeline di ombre che mantiene un'immagine di riferimento a adattamento lento della membrana non toccata. Calcola la profondità relativa dell'ombra per pixel (frazione di retroilluminazione persa) per garantire l'indipendenza dalla luminosità non uniforme del proiettore.
  2. Telecamera Termica (Rilevamento Presenza): Una telecamera termica MLX90640-D55 da 32×24 rileva il calore. Rileva corpi caldi (mani/partner) che si avvicinano o fluttuano vicino alla membrana differenziando i fotogrammi rispetto a un baseline ambientale, ma non prende decisioni sul tocco, poiché il calore condotto attraverso la membrana è troppo debole e lento.
• Logica del Tocco: Il sistema distingue tra "hover" (sospensione) e "touch" (tocco) utilizzando due gate:
  • Gate di Profondità Istantanea: Rileva pressioni ferme immediatamente.
  • Gate di Ancoraggio Sostenuto: Calcola il minimo mobile della profondità dell'ombra nell'ultimo secondo. Questo differenzia una punta del dito fissata (ombra sostenuta) da una mano in sospensione (ombra oscillante o sottile).
  • Segmentazione degli Eventi: Un tracker segmenta le decisioni in eventi discreti (tap, pressione prolungata, swipe) basandosi sulla durata del contatto e sulla lunghezza del percorso della punta del dito.
  • Rendering: I tocchi rilevati vengono renderizzati come marcatori localizzati nella visuale dell'utente VR, e il proiettore risponde nel punto specifico toccato.

Contributi Chiave
Il documento rivendica tre contributi primari:

1. Il Sistema Feelium: La prima integrazione di un dirigibile con display volante, inabitazione VR in prima persona e un involucro con sensibilità al tocco integrata per la telepresenza aerea.
2. Vocabolario di Interazione: Un insieme definito di interazioni tattili a due parti tra un partner co-localizzato e l'inabitante remoto, inclusi colpetti di saluto, unione palmo a palmo, baci sulle guance, giochi di disegno con le dita e abbracci di inclinazione.
3. Validazione Tecnica Preliminare: Evidenza empirica che dimostra la fattibilità del rilevamento del tocco su un involucre gonfiabile utilizzando la proposta pipeline di rilevamento ombre e termica.

Risultati
Il sistema è stato validato con 228 prove etichettate in tre sessioni, incluse 138 occlusioni indotte (tap, hold, swipe) e 90 campioni negativi (hover, disturbi, scene vuote), oltre a clip continue.

• Sensibilità di Rilevamento: Il rilevatore di ombre ha registrato attività in 171 delle 198 prove in cui era presente una mano e non è mai scattato in scene vuote.
• Rigetto dell'Hover: Una semplice soglia dell'area oscurata ha raggiunto il 95% di recall ma solo il 77% di precisione a causa di falsi positivi da mani in sospensione. Il gate di ancoraggio sostenuto ha migliorato significativamente le prestazioni, raggiungendo un AUC di 0,99 nel separare il contatto dalla sospensione su clip continue. Una soglia adattata sui primi 60% dei dati ha mantenuto una precisione bilanciata di 0,90 sul resto dei dati non visti.
• Localizzazione: Per 69 tap e hold rilevati, i punti di atterraggio si sono raggruppati strettamente attorno ai target promossi, con una dispersione RMS mediana di 9 pixel nella risoluzione di 640×480 del rilevatore.
• Performance: La pipeline di elaborazione gira onboard a circa 15 fps.
• Limitazioni: I risultati attuali sono limitati a un'illuminazione di stanza soffusa e a una singola "patch di pelle sensibile" rettangolare dell'involucro.

Significatività e Rivendicazioni
Gli autori posizionano Feelium come il primo sistema che esplora il tocco dell'involucro in un contesto di telepresenza aerea. Sostengono che il tocco sia un canale critico per approfondire la vicinanza mediata, andando oltre lo scambio di informazioni verso la "presenza" come carico utile. Il documento afferma che il sistema fornisce con successo un canale di interazione fisica dove la pelle funge da superficie condivisa tra il partner remoto e quello co-localizzato. Il lavoro è presentato come una validazione tecnica preliminare che motiva ulteriori valutazioni diate sulla presenza sociale, il sensing dell'intero involucro, il feedback aptico all'utente e il volo pilotato da gesti, con l'obiettivo di dare alla presenza remota un corpo che "inviti al tocco" e porti i partner separati a portata di braccio.