TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

工場のロボットアームや、ユーザーの顔に装着された拡張現実（AR）グラスを想像してみてください。これらの機械が世界と相互作用するためには、単に物体を見るだけでは不十分です。その物体が3次元空間内の正確にどこにあり、どのように回転しているかを理解しなければなりません。これには、6つの特定の数値を計算する必要があります。物体の位置を説明する3つの数値（左右、上下、前後）と、回転を説明する3つの数値（傾き、ロール、スピン）です。これは「6自由度ポーズ推定（six-degree-of-freedom pose estimation）」として知られています。研究所にある強力なコンピュータであれば、高い精度でこのパズルを解くことができますが、バッテリー駆動の小型デバイスでこれを行うことは、依然として困難な課題であり続けてきました。従来の手法は、複雑で多段階のプロセスに依存することが多く、リアルタイムでの使用には遅すぎます。一方で、最新の非常に高精度なシステムは、現代のロボティクスやウェアラブル技術を支えるエッジデバイスで動作させるには重すぎるのです。

ドイツのフラウンホーファーIGDとオランダのデルフト工科大学の研究チームは、プロセス全体を軽量かつ高速にすることを目指した「TinyDETR-Pose」と呼ばれる新しいアプローチを導入しました。物体を見つけ、次にその位置を計算し、さらに答えを精査するというように、タスクを別々の段階に分割する代わりに、彼らのシステムはこれらすべてのステップを単一の統合されたパスで行います。これは、写真を見て、物体が何であるかだけでなく、それが空間内にどのように置かれているかを瞬時に理解する機械のようなものです。そこでは、視覚データを効率的に処理できることで知られる人工知能モデルの一種である「トランスフォーマー・アーキテクチャ」の、特化した合理化されたバージョンが使用されています。研究者たちは、コンピュータが物体の検出と3D方向の推定を同時に学習するように、システムを「エンドツーエンド」で構築しました。これにより、古いシステムを遅らせる原因となる中間ステップを排除しています。

彼らの革新の中核は、舞台裏での数学の処理方法にあります。従来の手法では、物体までの距離を算出するために別途計算が必要だったり、AI自身が容易に学習できない複雑な幾何学的ソルバーを使用したりすることがよくありました。TinyDETR-Poseは、画面上の物体の中心点とその奥行きを直接予測し、単純な幾ロメトリ（幾何学）を用いて完全な3D位置を再構成することで、これらの障害を回避します。また、ソーダ缶や対称的な箱のように、角度によって見た目が同じになるというロボティクスにおける一般的な問題にも対処しています。特定の物体ごとに特別なルールを必要とするのではなく、システムは単一の統一された手法を用いてその正確性を判断するため、対称的なアイテムと非対称なアイテムの両方から混乱することなく学習できます。この設計により、モデルは非常に小さく保たれ、他の類似システムよりも調整可能な設定数が大幅に少なくなっています。これは、限られたハードウェア上で動作させる上で極めて重要です。

21種類の家庭用品を含む標準的なデータセットを用いたテストにおいて、このシステムは、高い精度を得るために膨大な計算能力は必要ないことを証明しました。乱雑なシーンにおいても、物体の位置と方向を正しく特定し、より大規模で複雑なモデルに匹敵するレベルの精度を達成しました。さらに重要なことに、システムは、ドローンや携帯型ロボットによく使用されるNVIDIA Jetson Nanoとして知られる、エネルギー効率の高い小型コンピュータチップ上でその速度を証明しました。このハードウェア上で、システムは新しい画像を約4.5ミリ秒で処理しました。これは、現実世界の動きに追いつくのに十分な速さです。この性能は、高度なロボティクスの展開を長年制限してきた「精度と速度のトレードオフ」を、大幅に軽減できる可能性があることを示唆しています。

研究者たちは、彼らのシステムが非常に効率的である一方で、完璧ではないことも認めています。物体が大きく遮られていたり、一部が隠れていたりする場合、特に不規則な形状のアイテムについては、精度が低下することがあります。彼らは、現在の設計が、計算に多くの時間を要するシステムが達成する絶対的な最高精度よりも、速度とシンプルさを優先していると述べています。しかし、コンパクトな単一ステージモデルがエッジデバイス上でリアルタイムに動作できることを示したことで、この研究は、日常的なアプリケーションへの高度な3Dビジョンの導入に向けた実用的な道を開きました。これらの知見は、ロボティクスや拡張現実の未来が、より大きく強力なコンピュータを作ることではなく、より少ないリソースでより多くのことをこなせる、よりスマートで引き締まったシステムを設計することにかかっていることを示唆しています。