A Wearable Non-Visual Guidance System with an Inspectable Spatial-Cue Core

技術要約：検証可能な空間キュー・コアを備えたウェアラブル非視覚的ガイダンスシステム

問題提起
視覚障害（BLV）ユーザー向けのウェアラブル支援は、決定的な「翻訳問題」に直面している。それは、生の環境知覚（例：物体検出、深度マップ）を、実行可能な非視覚的ガイダンスへと変換することである。既存のソリューションは、知覚とフィードバックの間のインターフェースにおいて失敗することが多い。検出された物体は、それ自体では実行可能なローカルなキューにはなり得ない。生のベクトルは、古かったり、不完全であったり、あるいはユーザーのタスク意図と一致していなかったりする場合がある。さらに、既存のシステムは、空間的関係がレンダリングの準備ができているかどうかを検証するための、明示的でテスト可能な中間状態を欠いていることが多い。スマートグラスは意味理解を提供し、触覚デバイスはコンパクトなフィードバックを提供するが、「何が見えているか」と「どこへ動くべきか」の間のギャップは、特にガイダンスデータの妥当性と鮮度に関して、依然として未解決のままである。

手法およびシステムアーキテクチャ
著者らは、専用の**空間キュー・コア（Spatial-Cue Core）**を通じてこのギャップを埋めるために設計された、3ノード構成のウェアラブルシステムを提案している。アーキテクチャは以下の要素で構成される：

1. スマートグラス・ノード： RGB-D/ステレオカメラ、マイクロフォン、スピーカーを備え、エゴセントリックな知覚とユーザーインタラクション（音声/ボタン）をキャプチャする。
2. エッジコンピューティング・ノード（RK3588）： この中央ユニットは、ローカル知覚（YOLO11sによる検出、LightStereoによるメトリック深度推定）とタスク・グラウンディングを実行する。極めて重要な点として、これは知覚を構造化され、検証可能な「空間キュー・レコード」へと変換する空間キュー・コアをホストする。
3. 触覚リストバンド・ノード： 4つのモーターを備えたデバイスであり、BLEを介してベクトルパケットを受信し、IMU（BMI270）を用いて手首のロール角を推定し、方向的な触覚フィードバックをレンダリングする。

空間キュー・コア
コアとなる革新技術は、キューの状態をタスク意図、グラウンデッド・エンティティ、実行モード、メトリック空間関係、および妥当性状態を表すタプル $C_t = \langle \tau_t, e_t, m_t, r_t, s_t \rangle$ として定式化したことにある。

• Vision-to-Vector パイプライン： システムは、深度に裏付けられた検出結果をメトリックな3Dベクトルへと逆投影する。「把握モード（grasp mode）」では、手からターゲットへのベクトルを計算し、「回避モード（avoid mode）」では、側方前方への危険警告ベクトルを生成する。
• 妥当性ゲート（Validity Gating）： 送信前に、コアはエンティティのグラウンディング、深度の完全性、モードの一致性、および鮮度を検証する。いずれかのチェックが失敗した場合、キューは非アクティブとマークされ、古くなったり無効になったりしたガイダンスのレンダリングを防ぐ。
• 姿勢補償： リストバンドは手首のロール回転を補償し、触覚の方向がカメラフレームではなく、ユーザーの身体フレームに沿った状態を維持するようにする。

主な貢献

1. アーキテクチャ： エゴセントリックな知覚とマルチモーダルなフィードバックの間に、専用の空間キュー・コアを備えた、3ノード構成のウェアラブルBLVガイダンスシステム。
2. フォーマルなパイプライン： 検出結果をメトリック3Dベクトルへと逆投影し、手首の姿勢を補償し、構造化された妥当性契約を通じて無効なキューを抑制する、Vision-to-Cue パイプライン。
3. 検証フレームワーク： 知覚幾何学、キュー状態のフォールト・リプレイ、触覚レンダリング、および統合された把握/回避試行をカバーするシステムレベルの評価。

実験結果
本論文は、以下の3つの次元にわたる検証を提示している：

• 知覚および幾何学：
  • 検出： 1,004枚のテスト画像セットにおいて、適合率84.60%、再現率87.91%を達成した。
  • 深度/ベクトル精度： 公称距離30、50、70 cmにおいて、システムはそれぞれ $1.13 \pm 0.38$、$1.66 \pm 0.47$、$1.76 \pm 0.30$ cmの配置レベルの相対ベクトル誤差を達成した。
• システムの信頼性（キュー・コア・リプレイ）：
  • 961件のイベント（有効525件、無効436件）のリプレイ研究において、提案されたコアは、有効なキューを誤って抑制することなく、無効なアクティブ・キュー（436/436）を100%抑制することに成功した。
• 統合タスク性能：
  • 把握（Grasping）： 60秒のタイムアウトを設けた40回の試行のうち、37回（92.5%）でオブジェクトの回収に成功した。
  • 障害物回避（Obstacle Avoidance）： 別個の研究から転記された比較レポート（完全なシステム、音声のみ、白杖を含む47試行ずつの条件）によれば、完全なシステムは成功率89.4%、平均時間26.7sを達成し、音声のみ（成功率80.9%、34.6s）を上回り、白杖（成功率87.2%、35.4s）と同等の成功率を示しながら、より迅速な完了と大きなクリアランスを提供した。
• ユーザー調査（補足レポート）：
  • 100人の参加者（全盲50人、ロービジョン50人）を対象に、システムを白杖と比較した。
  • 全盲グループ： システムは衝突回数を大幅に減少させた（平均4.46回 vs 白杖の12.54回；$p < 0.001, d = 4.37$）。
  • ロービジョングループ： システムは、白杖との事前の設定等価基準（衝突差 $\pm 1.5$）を満たした（平均差0.14; 90% CI $[-0.01, 0.29]$）。
  • 相互作用： 年齢調整済みのグループ・デバイス間相互作用が有意であり（$F(1, 97) = 412.5, p < 0.001$）、デバイスの恩恵は視覚状態に依存することを示した。

意義と主張
本論文は、パフォーマンス指標と行動結果を統合することで、この多次元的なフレームワークがウェアラブル支援システムを評価するための実用的なツールを提供することを主張している。主な意義は、ガイダンスが有効であり、タスクに関連しており、かつ新鮮である場合にのみレンダリングされることを保証する、明示的でテスト可能な中間状態（空間キュー・コア）にある。

著者らは、本システムが特定のタスク（把握および局所的な障害物回避）に対して、より安全で効果的な自律的支援をサポートすると控えめに結論付けており、白杖訓練のような確立された移動スキルを代替するものではないとしている。知見は、デバイスの恩恵は機能的なニーズに応じて調整されるべきであることを示唆している。なぜなら、本デバイスは全盲のユーザーに対しては衝突の大幅な減少をもたらす一方で、ロービジョンのユーザーに対しては衝突回避の面で白杖と同等の性能を発揮するためである。本システムは、ウェアラブル支援技術における知覚から行動への変換をいかに定式化するかを示す、ヒューマン・マシン・インタラクション研究への貢献として提示されている。