Feelium: A Touchable Blimp Body for Aerial Telepresence

Resumo Técnico: Feelium – Um Corpo de Blimp Tátil para Telepresença Aérea

Declaração do Problema
Os sistemas de telepresença aérea existentes, particularmente drones, enfrentam limitações significativas ao facilitar a interação social natural. Embora pesquisas tenham mostrado que envolver quadricópteros em gaiolas seguras aumenta as interações táteis de 1,4% para 38,9%, os sistemas atuais falham em fornecer feedback háptico ao operador remoto. Além disso, os drones tradicionais são limitados por rotores barulhentos, riscos de segurança e sensoriamento de contato transiente na escala da ponta dos dedos, que depende de sistemas de rastreamento externos. Por outro lado, embora os blimps tenham sido explorados por décadas como transportadores aéreos, telas e companheiros (ex: PRoP, LightBee), seus envelopes historicamente funcionaram apenas como dispositivos de saída. Embora existam infláveis táteis baseados em solo, nenhum conectou com sucesso uma superfície tocada a uma pessoa remota, deixando uma lacuna na criação de um canal de interação física compartilhada para proximidade mediada.

Metodologia
Os autores apresentam o Feelium, um sistema que integra uma plataforma de blimp de exibição voadora, inibição em VR de primeira pessoa e um envelope de sensoriamento de toque integrado.

• Plataforma de Hardware: O corpo físico é um blimp de hélio interno de 64 cm pesando 323,7 g, com uma sustentação de aproximadamente 360 g. Utiliza quatro motores sob controle de malha fechada para um pairar estável e silencioso. O envelope é amplamente escurecido para reter o hélio e rejeitar a luz ambiente, exceto por uma face frontal de dispersão de luz que atua como uma tela de projeção traseira. Esta tela é iluminada por um projetor a laser de 24,9 g (Ultimems HD309) via uma lente fisheye de 180°.
• Inibição Remota: Um usuário remoto usa um Apple Vision Pro, habitando o blimp em primeira pessoa. Uma câmera fisheye frontal serve como os "olhos", mantendo um campo de visão amplo para manter a mão alcançante de um parceiro no quadro até que ocorra o contato. O rosto ou avatar do usuário é projetado na pele do blimp. Comandos de controle (frente, trás, cima, baixo, virar esquerda, virar direita) e fluxos de mídia viajam via HTTP.
• Arquitetura de Sensoriamento de Toque: O sistema emprega uma abordagem de câmera dupla para detectar o contato na pele inflável:
  1. Câmera RGB (Tomadora de Decisão Primária): Uma câmera Raspberry Pi AI (Sony IMX500) montada na parte traseira observa a membrana pelo lado de dentro contra a luz de fundo. Ela utiliza um pipeline de sombra que mantém uma imagem de referência de adaptação lenta da membrana não tocada. Ela computa a profundidade relativa de sombra por pixel (fração da luz de fundo perdida) para garantir independência da luminosidade irregular do projetor.
  2. Câmera Térmica (Detecção de Presença): Uma câmera térmica MLX90640-D55 de 32×24 detecta corpos quentes (mãos/parceiros) aproximando-se ou pairando perto da membrana através da diferenciação de quadros contra uma linha de base ambiente, mas não toma decisões de toque, pois o calor conduzido através da membrana é muito fraco e lento.
• Lógica de Toque: O sistema distingue entre "pairar" (hover) e "tocar" usando dois portões:
  • Portão de Profundidade Instantânea: Detecta pressões firmes imediatamente.
  • Portão de Ancoragem Sustentada: Computa o mínimo móvel da profundidade de sombra ao longo do último segundo. Isso diferencia uma ponta de dedo pressionada (sombra sustentada) de uma mão pairando (sombra oscilante e tênue).
  • Segmentação de Eventos: Um rastreador segmenta decisões em eventos discretos (toque, manter, deslizar) com base na duração do contato e no comprimento do caminho da ponta do dedo.
  • Renderização: Os toques detectados são renderizados como marcadores localizados na visão do usuário de VR, e o projetor responde no ponto específico tocado.

Principais Contribuições
O artigo reivindica três contribuições primárias:

1. O Sistema Feelium: A primeira integração de um blimp de exibição voadora, inibição em VR de primeira pessoa e um envelope de sensoriamento de toque integrado para telepresença aérea.
2. Vocabulário de Interação: Um conjunto definido de interações de toque entre dois parceiros — um co-localizado e o habitante remoto —, incluindo batidinhas de saudação, fusão palma-com-palma, beijos na bochecha, jogos de desenho com o dedo e abraços de inclinação.
3. Validação Técnica Preliminar: Evidência empírica demonstrando a viabilidade do sensoriamento de toque em um envelope inflável usando o pipeline de sensoriamento de sombra e térmico proposto.

Resultos
O sistema foi validado usando 228 tentativas rotuladas ao longo de três sessões, incluindo 138 toques provocados (toques rápidos, manter, deslizar) e 90 amostras negativas (pairar, distrações, cenas vazias), além de clipes contínuos.

• Sensibilidade de Detecção: O detector de sombra registrou atividade em 171 de 198 tentativas onde uma mão estava presente e nunca disparou em cenas vazias.
• Rejeição de Pairar (Hover): O limiar simples de área escurecida alcançou 95% de recall, mas apenas 77% de precisão devido a falsos positivos de mãos pairando. O portão de ancoragem sustentada melhorou significativamente o desempenho, alcançando um AUC de 0,99 na separação de contato e pairar em clipes contínuos. Um limiar ajustado nos primeiros 60% dos dados manteve uma acurácia balanceada de 0,90 no restante não visto.
• Localização: Para 69 toques e pressões detectados, os pontos de pouso se agruparam firmemente em torno dos alvos propostos, com um desvio RMS mediano de 9 pixels na resolução de 640×480 do detector.
• Desempenho: O pipeline de processamento roda no dispositivo a aproximadamente 15 fps.
• Limitações: Os resultados atuais são limitados à iluminação de sala escura e a um único "patch de pele sensível" retangular do envelope.

Significância e Alegações
Os autores posicionam o Feelium como o primeiro sistema a explorar o toque no envelope em um contexto de telepresença aérea. Eles argumentam que o toque é um canal crítico para aprofundar a proximidade mediada, indo além da troca de informações para a "presença" como o conteúdo principal. O artigo afirma que o sistema fornece com sucesso um canal de interação física onde a pele atua como uma superfície compartilhada entre o habitante remoto e o parceiro co-localizado. O trabalho é apresentado como uma validação técnica preliminar que motiva futuras avaliações diádicas de presença social, sensoriamento de todo o envelope, feedback háptico para o usuário e voo pilotado por gestos, visando dar à presença remota um corpo que "convida ao toque" e traz parceiros separados ao alcance dos braços.