Feelium: A Touchable Blimp Body for Aerial Telepresence

技术摘要：Feelium —— 一种用于空中远程存在的可触摸飞艇躯体

问题陈述
现有的空中远程存在系统（尤其是无人机）在促进自然社交互动方面面临显著局限。虽然研究表明，将四旋翼无人机包裹在安全的防护罩中可以将触觉互动从 1.4% 提高到 38.9%，但目前的系统无法为远程操作员提供触觉反馈。此外，传统的无人机受限于嘈壮的旋翼声、安全风险以及依赖外部追踪系统的瞬时、指尖规模的接触感知。相反，虽然气球作为空中载体、显示器和伴侣（如 PRoP、LightBee）已被探索了数十年，但它们的包络层在历史上一直仅作为输出设备。尽管地面上的可触摸充气设备已经存在，但尚未有任何设备能成功地将触摸表面与远程人员连接起来，这在创造一种介导亲密感的共享物理交互通道方面留下了空白。

方法论
作者提出了 Feelium，一个集成了飞行显示气球平台、第一人称 VR 入驻和机载触觉感知包络层的系统。

• 硬件平台： 物理躯体是一个重 323.7 克、具有约 360 克浮力的 64 厘米室内氦气气球。它利用四个电机进行闭环控制以实现稳定、安静的悬停。包络层大部分被涂黑以保留氦气并拒绝环境光，仅在前端保留了一个作为后投影屏幕的散射面。该屏幕由一个 24.9 克的激光投影仪（Ultimems HD309）通过 180° 鱼眼镜头进行照明。
• 远程入驻： 远程用户佩戴 Apple Vision Pro，以第一人称视角入驻气球。一个前置鱼眼摄像头充当“眼睛”，保持宽广的视野，以确保在接触发生前将伙伴伸出的手保持在画面内。用户的脸部或化身会被投影到气球的皮肤上。控制命令（前进、后退、上升、下降、左转、右转）和媒体流通过 HTTP 进行传输。
• 触觉感知架构： 系统采用双摄像头方法来感知充气皮肤上的接触：
  1. RGB 摄像头（主要决策者）： 一个后置的树莓派 AI 摄像头（Sony IMX500）从内部观察背光下的膜层。它使用一个阴影流水线，维护一个未受触摸时的膜层缓慢适应参考图像。它计算每像素相对阴影深度（背光损失的分数），以确保独立于不均匀的投影器亮度。
  2. 热成像摄像头（存在检测）： 一个 32×24 的 MLX90640-D55 热成像摄像头感知热量。它通过与环境基准进行差分来检测靠近或悬停在膜层附近的温暖物体（手/伙伴），但并不做出触摸决策，因为通过膜层传导的热量太弱且太慢。
• 触摸逻辑： 系统使用两个门限来区分“悬停”和“触摸”：
  • 瞬时深度门限（Instant Depth Gate）： 立即检测到坚实的按压。
  • 持续锚定门限（Sustained-Anchoring Gate）： 计算过去一秒内阴影深度的滚动最小值。这可以区分被按住的指尖（持续阴影）与悬停的手（晃动、变薄的阴影）。
  • 事件分割： 追踪器根据接触持续时间和指尖路径长度将决策分割为离散事件（轻点、按住、滑动）。
  • 渲染： 检测到的触摸被渲染为 VR 用户视图中的定位标记，并且投影器会在特定的触摸位置做出响应。

核心贡献
该论文声称有三个主要贡献：

1. Feelium 系统： 第一个集成飞行显示气球、第一人称 VR 入驻和机载触觉感知包络层的系统。
2. 交互词汇： 定义了一套本地伴侣与远程入驻者之间的双人触摸交互，包括问候性的轻拍、掌对掌合并、脸颊轻吻、手指绘画游戏和倾身拥抱。
3. 初步技术验证： 通过经验证据证明了使用所提出的阴影和热成像感知流水线在充气包络层上进行触觉感知的可行性。

结果
系统通过包括 138 个提示触摸（轻点、按住、滑动）和 90 个负样本（悬停、干扰、空场景）以及连续片段在内的 228 次标注试验进行了验证。

• 检测灵敏度： 在 198 次手部存在的试验中，阴影检测器记录了 171 次活动，且在空场景中从未触发。
• 悬停抑制： 使用暗区阈值法实现的简单阈值处理达到了 95% 的召回率，但由于悬停的手会导致误报，其精确率仅为 77%。持续锚定门限显著提升了性能，在连续片段中区分接触与悬停的 AUC 达到了 0.99。在 60% 数据上拟合的阈值在未见过的剩余数据上保持了 0.90 的平衡准确率。
• 定位： 对于 69 个检测到的轻点和按住，落点紧密聚集在提示的目标周围，在 640×480 分辨率的检测器中，中值 RMS 偏差为 9 像素。
• 性能： 处理流水线在机载端以约 15 fps 的速度运行。
• 局限性： 当前结果受限于昏暗房间的光照条件以及单个矩形“敏感皮肤区域”的包络层。

意义与主张
作者将 Feelium 定位为第一个探索在空中远程存在语境下进行包络层触摸的系统。他们认为，触摸是深化介导亲密感的关键通道，将目标从信息交换转向了“存在感”本身。该论文声称系统成功提供了物理交互通道，其中皮肤作为一个共享表面，连接了远程人员与本地伴侣。这项工作被呈现为一次初步的技术验证，旨在为进一步的二元评估（关于社会存在感、全包络感知、向佩戴者提供触觉反馈以及手势控制飞行）提供动力，目标是给远程存在赋予一个“邀请触摸”的身体，并将分离的伴侣带入臂展范围之内。