TrackStudio: An Integrated Toolkit for Markerless Tracking
TrackStudioは、オープンソースのツールを統合し、マーカーレスの2Dおよび3Dモーショントラッキングのためのプログラミング不要な完全なパイプラインを提供するとともに、多様な環境で検証された信頼性の高いパフォーマンスを研究者や非専門家にもたらす、アクセシブルなGUIベースのツールキットです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
ダンサーの動きを撮影して、その捻りや回転を研究したいと考えているとしましょう。しかし、あなたにはレーザーや反射ステッカーが詰まった、数百万ドルの費用がかかるスタジオはありません。かつて、ステッカーなしで人間の動きを追跡しようとすることは、オーブンミットをはめ、知らない言語を話しながらルービックキューブを解こうとするようなものでした。ソフトウェアをまともに動かすだけでも、膨大な技術的専門知識、コーディングスキル、そして忍耐が必要だったのです。
そこで登場したのが、モーショントラッキングのための「プラグアンドプレイ」な魔法の杖として機能する新しいツールキット、TrackStudioです。このツールは、研究者がプログラマーになることを強いる代わりに、既存の優れたオープンソースツールを一つの使いやすいウィンドウ（グラフィカルユーザーインターフェース、またはGUI）にまとめ上げています。好奇心旺盛な学生から臨床研究者に至るまで、誰でもコードを一行も書くことなく、ビデオの記録、カメラの同期、そして3Dの動きデータの取得ができるように設計されています。
舞台裏の魔法
このプロセスを、キッチンで働く専門のシェフたちのチームに例えて考えてみましょう。
- 2Dシェフ（MediaPipe）： まず、システムはビデオを見て、手首、肘、指先といった身体の「ランドマーク（特徴点）」を見つけ出します。これは、2Dの写真の中でケーキの上のチェリーの正確な位置を特定するシェフのようなものです。
- 3D建築家（Anipose）： しかし、写真は平面的です！奥行きを得るには、異なる角度からケーキを見る必要があります。Aniposeは複数のカメラを使用して、これらの2Dの地点を「三角測量」し、それらの視点を組み合わせて空間内に3Dモデルを構築します。
- 指揮者： TrackStudioは、これらすべてのシェフが完璧に連携できるように調整する指揮者です。カメラの同期（すべてのカメラが全く同じミリ秒で開始するようにすること）やレンズのキャリブレーションといった難しい部分を、シンプルなメニューを通じて処理します。
実証実験
開発者たちは単にこれを作っただけでなく、その実力を試すために、3つの非常に異なる「キッチン」で過酷なテストを行いました。彼らは76名の参加者を対象に、以下の3つのセットアップでテストを実施しました。
- 座位セットアップ： テーブルに座った人々が、3台の低コストなウェブカメラ（Logitech Brio）を使用し、日常的な物体を動かします。中には、視界を遮るロボットの「第三の親指」を装着している人もおり、ソフトウェアにとって難解なパズルとなりました。
- 仰臥位（仰向け）セットアップ： 模擬MRI室（狭くて暗い空間）に横たわった人々が、4台のウェブカメラを使用し、体が一部隠れた状態で物体に手を伸ばします。
- 混合セットアップ： より高度なテストとして、5台の高解像度カメラ（FLIR Blackfly S）を使用し、人々が狭い空間で座ったり立ったりしながら、手、腕、顔を追跡しました。これは5日間にわたって行われました。
結果：バターのように滑らか
数値が物語るのは、驚くべき安定性です。
- 滑らかさ： トラッキングは非常に滑らかでした。「フレーム間相関（動きが次のフレーム間でどれほど一貫しているかの指標）」は、座位セットアップで0.98、仰臥位セットアップでは限りなく完全な0.999でした。これは、動きがあってもソフトウェアが混乱したり、カクついたり（ジャンプしたり）しなかったことを意味します。
- 精度： 3D空間における誤差を測定したところ、手のトラッキングは非常に精密でした。座位セットアップでの平均誤差は13.6 mmでした。仰臥位セットアップでは8.95 mmにまで下がりました。ハイテクな混合セットアップにおいても、手の誤差はわずか4.41 mmでした。
- 大きなミス？： 極めて稀でした。座位セットアップにおいて、誤差が10mmを超えたフレームはわずか**0.58%でした。仰臥位セットアップでは、さらに低い0.55%**でした。
- 実用テスト： 人々がターゲットに触れる必要がある特定のタスクにおいて、システムは91%の確率でターゲットゾーンへの到達に成功しました。ミスをした場合でも、指は通常ターゲットからわずか10.3 mmの範囲内にありました。
また、非専門家にとっての使いやすさについてもテストが行われました。初級から中級程度のコーディングスキルを持つ10人が、インストールから実行までの全プロセスを試みました。全員が初回で成功し、平均時間はわずか4分44秒（コンピュータによるビデオ処理時間を除く）でした。
これができること（と、できないこと）
TrackStudioが「何ではないか」を知っておくことも重要です。これは新しい数学を発明したり、世界最高峰のアルゴリズムを打ち負かすような全く新しいアルゴリズムを作成したりするものではありません。著者たちは明確に述べています。彼らは理想的な条件下での特定のツール（MediaPipeやAniposeなど）を凌駕しようとしたのではなく、それらの強力なツールを一般の人々が利用できるようにするための「架け橋」を築いたのです。
また、本論文はいくつかのシナリオを除外しています。このツールキットは、比較的構造化された環境における単独の人物の記録のために設計・テストされたものです。群衆を追跡したり、複数の人間による複雑な相互作用を扱ったり、あるいはアイデンティティが混同されるような深刻で予測不可能な遮蔽物に対処したりするためのソリューションではありません。もしサッカーチーム全体を追跡しようとすれば、システムは誰が誰であるかの判断に混乱する可能性があります。
結論
TrackStudioは、信頼性の高い高品質なモーショントラッキング・データを得るために、コーディングの達人である必要はないということを示唆しています。安価なウェブカメラでも高級なカメラでも対応でき、はるかに複雑で高価なシステムに匹敵する結果をもたらす、実用的で「箱から出してすぐに使える」ソリューションを提供します。あらゆる科学的なエッジケースに対して絶対的に完璧なシステムではないかもしれませんが、これまでコンピュータビジョンの博士号を必要としていた作業のハードルを下げ、好奇心旺盛なティーンエイジャーや多忙な研究者が5分足らずで実行できるものへと変えてくれました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。