あなたはマジックショーを見ていると想像してください。手品師が帽子からウサギを取り出します。あなたは、その動き、毛の色、そして帽子が傾く様子を目にします。しかし、あなたはウサギを「感じる」ことはできません。マジシャンが優しく撫でているのか、それとも強く握りしめているのかは分かりません。ロボットやコンピュータの世界において、これは非常に大きな問題です。カメラは手が物体を掴む様子を「見る」ことはできますが、目に見えない「握る力」に対しては盲目なのです。コンピュータビジョンと呼ばれるこの分野は、機械に外見だけでなく、物理的な世界を理解させることを試みています。長い間、科学者たちは、手がテーブルのような平らで退屈な表面に触れている場合に、手がどれほど強く押しているかを推測することしかできず、それでもなお困難な作業でした。しかし、現実の世界は複雑です。私たちは丸いリンゴを掴み、柔らかい枕を押しつぶし、道具を使います。ロボットが料理をしたり、掃除をしたり、あるいはバーチャルリアリティの中で私たちを助けたりできるようにするためには、単に手が「どこ」に触れているかだけでなく、皮膚のあらゆる一点において「どれほど強く」押しているかを理解する必要があります。

ここで登場するのが、HOPE（Hand-Object Pressure Estimation：手と物体の圧力推定）です。これは、握手の目に見えない力を捉えるための、スーパーパワーを備えたX線のような新しい手法です。特殊なセンサー付きの手袋や平らな圧力マットを必要とする代わりに、HOPEは手の通常のビデオを見て、皮膚上の圧力マップを直接推測します。このように考えてみてください。もしあなたの手が778個の小さな目に見えない点で作られた3Dメッシュだったとしたら、HOPEはそれぞれの点が物体に対してどれほど強く押し付けているかを正確に教えてくれます。研究者たちは、正確な圧力値を与えるセンサー付き手袋を着用した手のビデオと、裸の手が物に触れているビデオ（接触のヒントを与えるもの）を組み合わせることで、コンピュータに何も触れることなく「圧力を感じる」方法を教えることができました。彼らは、このシステムが手袋の上でも、平らなテーブルの上でも、さらには人々がランダムな物体を掴んでいる日常的な動画の中でも機能し、接触がどこで起きているかと、その握りの強さの両方を予測できることを証明しました。

問題点：見ることは感じることではない

誰かがピアノを弾いているビデオを見るだけで、ピアノの弾き方を学ぼうとしている場面を想像してみてください。指が動いているのは見えますが、鍵盤の重みや、音を出すために必要な圧力は感じることができません。それが、今日のコンピュータが直面している課題です。コンピュータは、手がカップの近くにあることを見つけるのは得意ですが、手がそれを優しく持っているのか、それとも今にも潰してしまいそうなのかを知ることは非常に苦手です。これまでの解決策は、壁に映った平らな影を見て魚の重さを測ろうとするようなものでした。魚が平らなテーブルの上に横たわっている場合はうまく機能しましたが、曲線や角度のある3Dの世界に飛び込むと、測定が崩れてしまいました。また、これらの手法の多くは、センサー付きの特殊でかさばる手袋を着用する必要があり、それが手の見た目や感覚を変えてしまうため、素手の人間に適用するのが困難でした。

解決策：「触覚のユニバーサル・トランスレーター」

HOPEの開発チームは、賢いアイデアを思いつきました。物体やテーブル上の圧力を測定しようとするのではなく、手そのものの圧力を直接測定するという方法です。彼らは手を、778個の特定の「チェックポイント」（頂点と呼ばれます）を持つデジタルマップとして扱いました。

コンピュータに教えるために、彼らは「ユニバーサル・トランスレーター（万能翻訳機）」のアプローチを用いました。彼らは3つの異なるソースからのデータを取得し、それらに同じ言語を話すように強制しました。

1. グローブ・データ： 正確な圧力（キロパスカル、またはkPa）を測定するセンサー付き手袋を着用した手のビデオ。これは、正確な数学を知っている教師のようなものです。
2. フラット・データ： センサーで覆われた平らなテーブルを押している手のビデオ。これは、ボタンを押すことしか知らない教師のようなものです。
3. 素手・データ： 人々が手袋なしで物を掴んでいるビデオ。ここでは「どこ」に触れたかは分かりますが、「どれほど強く」は分かりません。これは、指を置く場所は知っているが、どの程度の力を使うべきかを知らない学生のようなものです。

魔法のトリックは、これらすべての異なるタイプのデータを、手の同じ778点のマップへと「持ち上げる（リフティング）」ことでした。グローブ・データは手のひらと指先のみをカバーしており、素手・データは手全体をカバーしていましたが、それらを組み合わせることができました。素手・データは「セーフティネット」または構造的なガイドとして機能し、圧力が起こり得るのは接触がある場所のみであることをコンピュータに教えました。もしコンピュータが手にボールが触れているのを見れば、たとえ具体的な数値を持っていなくても、そこに圧力が「存在するはずだ」と判断できるのです。

仕組み：タイムトラベリング・ディテクティブ（時間を遡る探偵）

HOPEの頭脳は、「Vertex-anchored Video Transformer（頂点固定型ビデオ・トランスフォーマー）」と呼ばれる特別なAIモデルです。このモデルを、単なる一枚の写真を見るのではなく、映画一本分を見守る探偵だと想像してください。

• 永続的なトークン（Persistent Tokens）： このモデルは、手の778個の各点を、ビデオを通じて変化しない「キャラクター」として扱います。たとえ手が動いても、「親指の先」というキャラクターは常に親指の先であり続けます。
• ムービー・ウォッチャー（映画の観客）： モデルはビデオをフレームごとに観察します。圧力は一瞬で発生するのではなく、蓄積されるものであることを理解しています。手がカップに近づいている時は圧力はありません。触れると、圧力が始まります。握りしめると、圧力は上昇します。一連の出来事の「シーケンス（順序）」を観察することで、モデルは単に凍結された一枚の画像を見るよりも、圧力をより正確に推測することができます。
• 「接触がなければ圧力もゼロ」というルール： モデルには、「手が物体に触れていなければ、圧力はゼロである」という組み込みのルールがあります。これにより、偽の信号を無視し、実際の相互作用に集中することができます。

得られた成果

研究者たちは、OpenTouchデータセット（グローブを着用した手）、PressureVisionDB（平らな表面）、MOW（日常的な素手）を含む複数のデータセットを用いてHOPEをテストしました。

• 従来の方法よりも優れた性能： グローブのデータセットにおいて、HOPEは平らな画像から圧力を推測しようとする従来の手法よりも、はるかに正確に圧力を予測しました。特に、手のどの部分が作業を行っているかを特定することに長けていました。
• 素手の驚き： モデルは主にグローブを着用したデータで学習されましたが、日常的なビデオにおける素手の圧力をも成功裏に予測することができました。これは、モデルが単にグローブの外見を学んだのではなく、触れるという「物理学」を学んだことを意味しており、非常に重要なことです。
• データの混合による力： 「素手の接触」データを用いた場合と用いない場合でモデルをテストしたところ、素手のビデオを追加することで、未知の状況に対する汎用性が大幅に向上することが分かりました。接触データはガイドとして機能し、正確な圧力の数値が得られない場合でも、相互作用の形状を理解する助けとなりました。

限界と未来

論文では、HOPEが完璧ではないことも慎重に記されています。モデルは、まず手の形状を特定するための別のツールに依存しており、もしそのツールが混乱した場合（例えば、手が物体の後ろに隠れている場合など）、HOPEも混乱する可能性があります。また、現在のモデルは、物体に垂直に押し込む力（法線方向の圧力）のみを予測しており、擦れる力や回転する力は予測しません。さらに、うまく機能してはいるものの、世界のあらゆる物体を扱うためには、より多様なデータを必要としています。

しかし、これらの結果は有望な道筋を示唆しています。圧力を物体自体の特性ではなく、手自身の特性として扱うことで、そして異なる種類の学習データを組み合わせることで、HOPEは、単に「見る」だけでなく、真に世界を「感じる」ことができるロボットへの一歩を踏み出しました。これは、熟したトマトを潰すことなく手に取ったり、繊細な作業で人間を助けたりする、シンプルなビデオから実現する技術への一歩なのです。