Feelium: A Touchable Blimp Body for Aerial Telepresence

技術要約：Feelium – 空中テレプレゼンスのための触覚を持つブリンプ・ボディ

問題提起
既存の空中テレプレゼンス・システム、特にドローンは、自然な社会的相互作用を促進する上で大きな限界に直面している。研究によれば、クアッドコプターを安全なケージで包むことで、触覚的な相互作用が1.4%から38.9%に増加することが示されているが、現在のシステムは遠隔オペレーターへの触覚フィードバックを提供できていない。さらに、従来のドローンは、騒々しいローター、安全上のリスク、そして外部のトラッキングシステムに依存する一時的な指先スケールの接触センシングという制約がある。一方で、ブリンプ（飛行船）は、長年、空中キャリア、ディスプレイ、あるいはコンパニオン（例：PRoP、LightBee）として探索されてきたが、そのエンベロープ（外殻）は歴史的に出力専用のデバイスとして機能してきた。地上ベースの触覚インフラブル（膨らまし製品）は存在するものの、触れた表面を遠隔の人物へと接続することに成功したものはなく、媒介された親密さのための共有された物理的相互作用チャネルを作成するというギャップが残されている。

手法
著者らは、飛行ディスプレイ・ブリンプ・プラットフォーム、一人称視点のVR居住、およびオンボードの触覚センシング・エンベロープを統合したシステムであるFeeliumを提示する。

• ハードウェア・プラットフォーム： 物理的なボディは、重量323.7g、揚力約360gを持つ64cmの屋内用ヘリウム・ブリンプである。安定した静かなホバリングを実現するため、4つのモーターをクローズドループ制御で使用している。エンベロープは、ヘリウムを保持し周囲の光を遮断するために大部分が黒色化されているが、背面投影スクリーンとして機能する光散乱フロントフェイス部分は例外である。このスクリーンは、180°魚眼レンズを介して、24.9gのレーザープロジェクター（Ultimems HD309）によって照らされる。
• 遠隔居住（Remote Inhabitation）： 遠隔ユーザーはApple Vision Proを装着し、一人称視点でブリンプに居住する。前方の魚眼カメラが「目」として機能し、広角視野を維持することで、接触が起こるまでパートナーの手がフレーム内に留まるようにする。ユーザーの顔またはアバターは、ブリンプのスキン上に投影される。制御コマンド（前後、上下、左右旋回）およびメディアストリームはHTTP経由で転送される。
• 触覚センシング・アーキテクチャ： システムは、インフレタブルなスキンへの接触を感知するために、デュアルカメラ・アプローチを採用している。
  1. RGBカメラ（主要な意思決定者）： 背面に搭載されたRaspberry Pi AIカメラ（Sony IMX500）が、バックライトに対して内側からメンブレン（膜）を観察する。これは、触れていない状態のメンブレンの参照画像を緩やかに適応させるシャドウ・パイプラインを使用する。プロジェクターの輝度の不均一性に依存しないよう、ピクセルごとの相対的な影の深さ（バックライトの損失分）を計算する。
  2. 熱カメラ（存在検知）： 32×24のMLX90640-D55熱カメラが熱を感知する。これは、温かい身体（手など）がメンブレンの近くに接近またはホバリングしていることを検知するが、伝導熱によるメンブレンを通じた熱は弱く遅いため、接触の決定には使用されない。
• タッチ・ロジック： システムは、2つのゲートを用いて「ホバー（浮遊）」と「タッチ（接触）」を区別する。
  • インスタント深度ゲート（Instant Depth Gate）： 即座に強い押し込みを検知する。
  • 持続的アンカリング・ゲート（Sustained-Anchoring Gate）： 過去1秒間のシャドウの深さの移動最小値を計算する。これにより、固定された指先（持続的な影）と、ホバリングしている手（揺れ動く薄い影）を区別する。
  • イベント・セグメンテーション： トラッカーは、接触時間と指先の経路長に基づき、決定を離散的なイベント（タップ、ホールド、スワイプ）に分割する。
  • レンダリング： 検知されたタッチは、VRユーザーの視界内に位置情報付きのマーカーとしてレンダリングされ、プロジェクターは接触した特定の箇所に反応する。

主な貢献
本論文は、主に3つの貢献を主張している。

1. Feeliumシステム： 飛行ディスプレイ・ブリンプ、一人称VR居住、およびオンボードの触覚センシング・エンベロープを統合した初の空中テレプレゼンス・システム。
2. インタラクション・ボキャブラリー： 同席するパートナーと遠隔の居住者の間で行われる、定義された二者間のタッチ・インタラクション（挨拶のパッティング、手のひら同士の融合、頬へのキス、指での描画ゲーム、寄り添うハグなど）。
3. 予備的な技術検証： 提案されたシャドウおよびサーマル・センシング・パイプラインを用いた、インフレタブルなエンベロープ上でのタッチ・センシングの実現可能性を示す経験的証拠。

結果
システムは、138回の促されたタッチ（タップ、ホールド、スワイプ）と90回のネガティブサンプル（ホバー、妨害、空のシーン）、および連続クリップを含む、3つのセッションにわたる228のラベル付き試行を用いて検証された。

• 検出感度： シャドウ・ディテクタは、手が存在した198回の試行のうち171回で活動を記録し、空のシーンでは一度も作動しなかった。
• ホバー除去： 暗部領域の単純な閾値処理は95%の再現率を達成したが、ホバリングする手による偽陽性により適合率は77%にとどまった。持続的アンカリング・ゲートは性能を大幅に向上させ、連続クリップにおいて接触とホバーを分離するAUC 0.99を達成した。データの最初の60%に適合させた閾値は、未学習の残りのデータに対して0.90のバランス精度を保持した。
• ローカリゼーション（位置特定）： 検知された69回のタップとホールドにおいて、着地点は促されたターゲットの周囲に密接にクラスター化しており、検出器の640×480解像度における中央値RMS偏差は9ピクセルであった。
• パフォーマンス： プロセッシング・パイプラインは、オンボードで約15 fpsで動作する。
• 制限事項： 現在の結果は、薄暗い部屋の照明と、エンベロープ上の単一の長方形の「感応スキン・パッチ」に限定されている。

意義と主張
著者らは、Feeliumを、空中テレプレゼンスの文脈においてエンベロープ・タッチを探索する初のシステムとして位置づけている。彼らは、タッチが情報の交換を超えて「存在（プレゼンス）」をペイロードとする、媒介された親密さを深めるための重要なチャネルであると主張している。本論文は、システムが、スキンが遠隔のパートナーと同席するパートナーとの間の共有された表面として機能する、物理的な相互作用チャネルを正常に提供できることを示している。この研究は、遠隔の存在に「触れることを誘う」身体を与え、離れたパートナーを腕の届く範囲に引き寄せることを目的とした、社会的プレゼンス、全エンベロープ・センシング、およびジェスチャーによる操縦飛行の二者間評価に向けた、予備的な技術検証として提示されている。