💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

本論文は、マイクロレンズアレイとバイナリマスクを備えた受動型光学エンコーダを用いてタスク関連の潜在特徴を直接捉えることで従来の画像処理を迂回し、従来のカメラベースの手法と比較して3.4ミリ秒のエンドツーエンド遅延と向上したエネルギー効率を実現する、リアルタイムかつ超低遅延の視線追跡システムを提示する。

原著者： Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

誰かがどこを見ているかを推測しようとしていると想像してください。従来の方法は、相手の目を高解像度の 4K 写真のように撮影し、その巨大なファイルをスーパーコンピュータに送信し、コンピュータにすべてのピクセルを分析させて視線の方向を特定するというものです。これは正確ですが、遅く、多くのバッテリーを消費し、大量のデータを移動させる必要があります。

この論文は、全く異なる「ショートカット」手法を提案しています。完全な写真を撮る代わりに、研究者たちは「スマートな篩（ふるい）」のような特殊な光学フィルターを構築しました。

以下に、そのシステムがどのように機能するかを簡単な概念に分解して示します。

1. 「スマートな篩」（光学エンコーダ）

目の光を水の入ったバケツだと想像し、それが激しく降っているのか、それとも軽く降っているのかを知りたいとします。すべての雨粒を巨大な網でキャッチして一つずつ数える（完全な写真を撮る）代わりに、水を通すのは、非常に具体的でカスタムメイドの穴のパターンを持つ篩です。

ハードウェア: 研究者たちは、マイクロレンズアレイ（小さな拡大鏡のシート）とバイナリマスク（黒と銀の正方形の特定のパターンを持つシート）を備えた装置を構築しました。
魔法: 目からの光がこの「篩」を通過すると、特定のパターンに撹乱されます。システムは目が「どのように見えるか」（虹彩の色、肌色、詳細な特徴など）には関心を持ちません。通過する光の「強度パターン」のみに関心を持ちます。
結果: 256x256 ピクセルの画像（65,000 以上のデータポイント）の代わりに、システムが捉えるのは16 個の数値だけです。まるで、主要なプロットを伝える単一の文に小説全体を圧縮したようなものです。

2. 「軽量な翻訳機」（AI デコーダ）

システムがその 16 個の数値を取得すると、目の画像を再構築しようとはしません。それは時間の無駄です。代わりに、その 16 個の数値を小さく超高速なコンピュータの脳（軽量ニューラルネットワーク）に入力します。

トレーニングの工夫: この小さな脳を教えるために、研究者たちは目の画像を抽象的なコードに変換する方法を知る「教師」AI を使用しました。彼らは、新しいシステムに 16 個の数値のみを使用して、教師の「思考プロセス」を模倣させるように教えました。
プライバシーボーナス: システムが実際に目の本当の画像を見たり保存したりしないため、自然とプライバシーが守られます。16 個の数値から個人を特定することはできませんが、システムは依然として誰がどこを見ているかを正確に伝えることができます。

3. 速度記録（レイテンシ）

ここでの最大の利点は速度です。

従来のカメラ: 画像全体の撮影を待ち、すべてのピクセルを読み取り、その後処理する必要があります。通常、これは 10〜20 ミリ秒（それ以上）かかります。
このシステム: 「写真を撮る」ステップをスキップし、16 個の小さなセンサーのみを読み取るため、光がセンサーに当たってからコンピュータが「左を見ている」と言うまでの全プロセスは、3.4 ミリ秒未満で完了します。

比喩:
従来のカメラシステムは、写真を撮り、印刷し、それを美術評論家のところまで持って行き、「その人はどこを見ているか？」と尋ねる写真家のようなものです。
この新しいシステムは、相手の顔を全く見ない警備員のようなものです。代わりに、特定の壁にその人が落とす影だけを見ます。その影は歪んでいて顔としては認識できませんが、警備員は影の形に基づいて、その人がどの方向を向いているかを正確に知っています。これは即座に完了し、写真も不要で、エネルギーもほとんど消費しません。

彼らが実際に達成したこと

精度: テストにおいて、システムは視線の方向を約 6 度の誤差で推測しました（腕を伸ばして親指の幅程度）。これは多くの実世界での用途にとって十分です。
実世界でのテスト: 彼らは実際のレンズ、マスク、センサーを用いた物理的なプロトタイプを構築しました。実在の人物でテストした際、その特定の人物向けにシステムを「較正」するために、画面の異なる 12〜15 のスポットをその人物に見せるだけでよく、うまく機能しました。
効率性: このシステムは、標準的なカメラに必要な計算能力のごく一部しか使用しません。将来の AR ゴーグルのような非常に小さくバッテリー駆動のデバイスで動作できるほど効率的です。

まとめ:
この論文は、眼球運動を追跡するために高解像度のカメラは必要ないことを実証しています。光を小さな数値のセットに撹乱する巧妙な光学フィルターと、その数値を読み取る単純な AI を使用することで、誰かがどこを見ているかを4 ミリ秒未満で追跡できます。これは人間の脳に追いつくのに十分な速さであり、遅延が乗り物酔いを引き起こす次世代のバーチャルリアリティや拡張現実ゴーグルにとって完璧です。

「潜在光学センシングによる低遅延視線追跡」という論文の詳細な技術的概要を以下に示す。

問題定義

従来の視線追跡システムは、完全な眼球画像を捉えるために高解像度カメラに依存し、その後、深層ニューラルネットワークによる推論を行う。この手法は精度が高いものの、数百万ピクセルの読み出しと処理を必要とするため、センシング、帯域幅、計算コストにおいて大きなオーバーヘッドを生じさせる。この遅延は、没入感を損なうことなくリアルタイムインタラクションと焦点適応レンダリングをサポートする次世代ウェアラブル AR/VR ディスプレイに必要な 5ms の閾値を超えてしまうことが多い。既存の軽量またはイベントベースのソリューションも、しばしば時間的集約や画像類似の再構成を必要とし、フルフレーム画像の取得と処理という根本的なボトルネックを排除できていない。

手法

著者らは、明示的な画像形成を完全に回避する完全受動的光学系を提案する。高密度な画像を捉える代わりに、このシステムはタスク指向の光学エンコーディングを実行し、眼球のコンパクトで低次元の潜在表現を直接取得する。

1. 光学エンコーダとハードウェアアーキテクチャ
システムの核心は、「潜在光学エンコーダ」であり、以下の 3 つの主要コンポーネントで構成される。

マイクロレンズアレイ (MLA): 眼球画像を縮小するフレネルレンズアレイ。
二値クロムマスク: MLA の焦点面に配置され、共同設計された二値マスク。
フォトトランジスタアレイ: 空間多重化された光学測定値を捉える 4×4 アレイ（16 要素）。
眼球からの光は MLA を通過し、二値マスクによって変調される。その結果としてエンコードされた強度は、フォトトランジスタによって直接捉えられ、16 次元の測定ベクトルを生成する。このハードウェアは、迅速な信号取得のために FPGA と統合されている。

2. エンドツーエンド学習フレームワーク
このシステムは、光学エンコードマスクとデジタル推論ネットワークを共同最適化するシミュレーションから実世界へのパイプラインを用いて学習される。

デジタルエミュレーション: 微分可能なデジタルエンコーダ $\tilde{E}$ が、入力眼球画像に適用される 16 個の学習可能な二値マスク（ $256 \times 256$ 解像度）を用いて光学プロセスをシミュレートする。
潜在蒸留: 16 個の測定値に十分な情報が含まれていることを保証するため、システムは「教師 - 生徒」アプローチによる蒸留を採用する。教師ネットワーク ( $P_T$ ) は、事前学習された StyleGAN2 生成器を反転させて眼球画像を 256 次元の潜在空間 ( $h_T$ ) にマッピングし、視線を予測する。生徒デコーダ ( $P$ ) は、圧縮された 16 測定ベクトルを直接この同じ潜在空間 ( $h$ ) にマッピングするように学習されるとともに、視線方向 ( $\hat{g}$ ) と有効性フラグ ( $\hat{v}$ ) を予測する。
損失関数: 学習目的は、教師による視線予測との一致（視線蒸留）、教師による潜在表現との一致（特徴蒸留）、教師による視線予測との一致（視線蒸留）、および有効性分類を組み合わせた教師あり視線回帰を含む。
データ拡張: アイデンティティバイアスとデータセットの多様性の限界に対処するため、著者らは生成インペインティング（SAM3 と ControlNet を備えた Flux 拡散モデル）を用いて、真の視線ラベルを保持しつつ眼周囲の外観（肌色、照明）を変化させる。

3. 視線操作 (Gaze Steering)
このフレームワークには、潜在空間内で視線を操作する制御ネットワークが含まれる。ソースとターゲットの視線ベクトルに基づいて残差変位 ( $\Delta h$ または $\Delta w^+$ ) を予測することで、システムは被験者のアイデンティティを保持しつつ視線方向を変更するために潜在表現を編集でき、学習された特徴が視線と外観を効果的に分離していることを示している。

主要な貢献

エンドツーエンド潜在空間フレームワーク: 受動的光学エンコーディングとニューラルデコーディングを共同最適化する新規フレームワークにより、完全な眼球画像を再構成することなく、16 個のスカラー測定値から直接視線を推論可能にする。
コンパクトなハードウェアプロトタイプ: MLA、最適化された二値マスク、および FPGA による取得を備えた 4×4 フォトトランジスタアレイを利用する単一ショット光学センシングシステム。この設計は、センシングと計算を含むエンドツーエンドの遅延を3.4 msで達成する。
シミュレーションから実世界へのパイプライン: 2 段階の評価戦略により、クロスサブジェクトのシミュレーション誤差を6.47°、12〜15 点の較正ポイントのみを使用した較正済みサブジェクトごとの実世界誤差を**6°**未満で達成する。

結果

精度と効率性: ETH-XGaze データセットにおいて、提案手法は 16 個の測定値と軽量な MLP（0.244M パラメータ、0.49M FLOPs）のみを使用して 6.47°の角度誤差を達成する。
- 16×16 ResNet18 ベースラインと比較して、センシング次元を 16 倍、パラメータを約 48 倍、計算量を約 573 倍削減する。
- 256×256 ResNet18 ベースラインと比較して、センシング次元を 4096 倍、計算量を約 9300 倍削減する。
- MobileNetV3 や EfficientNet-B0 などのコンパクトなバックボーンよりも、パラメータおよび FLOP 効率の面で優れており、かつ競争力のある精度を維持している。
遅延: システムは CPU 上で3.4 msの総エンドツーエンド遅延を示す（光学センシング/取得が 3.19 ms、推論が 0.22 ms）。これは従来の画像ベースのモバイルエッジシステム（通常数十ミリ秒）を大幅に凌駕し、EyeLink 1000 Plus などの専用高速商用トラッカーのパフォーマンスに迫るものである。
実世界での性能: 12 点の較正ポイントを用いた被験者固有の微調整により、システムは平均角度誤差 5.96°を達成し、一部の被験者では 4.5°に達している。
プライバシー: 生体認証用の眼球画像ではなく、タスクに関連する潜在特徴のみを捉えることでプライバシーを保護しており、測定値から被験者のアイデンティティを再構成できないことが示されている。

意義と主張

本論文は、タスク駆動型の設計を通じて特徴抽出を光学ドメインへ移行させることが、超低遅延かつエネルギー効率の高い視線追跡への実現可能な道筋を提供すると主張している。高帯域幅の画像読み出しと重計算処理の必要性を排除することで、このシステムは没入型 XR アプリケーションに必要な厳格な 5ms 未満の遅延要件を満たす。著者らは、現在のプロトタイプが概念実証である一方で、データ量の劇的な削減（メガピクセルから 16 個のスカラーへ）は、将来のバッテリー駆動ウェアラブルデバイスにおける極めてエネルギー効率の高い実装への明確な道筋を示唆していると強調している。この研究は、特定のコンピュータビジョンタスクにおいて従来の画像形成を置き換える「推論としてのセンシング」の可能性を浮き彫りにしている。