Factorized Spatio-Temporal Convolutions for Human Pose Estimation from Planar Lidar

ロボットに世界の「見方」を教えようとしているところを想像してみてください。今日のほとんどのロボットは、眼鏡をかけた人間のようなものです。カメラを使って写真を撮り、形や色を探すことで、人がどこに立ち、どちらを向いているのかを判断します。これは日当たりの良い部屋ではうまく機能しますが、もし明かりが消えたり、カメラが遮られるような混雑した廊下にロボットが入ったりすると、ロボットは目が見えなくなってしまいます。これを解決するために、多くのロボットは「レーザースキャナー」（LiDARと呼ばれます）を搭載しています。これは灯台のように、全方位に不可視の光のビームを放ちます。これは色や顔を見ることはありませんが、物との距離がどれくらい離れているかを知ることができます。問題は、このレーザースキャナーによる単一のショットは、鍵穴越しに人を見ているようなものだということです。足は見えても、その人が自分に向かって歩いてきているのか、それとも遠ざかっているのか、あるいはそもそも人間なのかさえ判別できません。

このぼやけた一次元的な視界を理解するために、科学者たちは「時空間（spatio-temporal）」処理と呼ばれるトリックを使う必要があります。「空間的（spatial）」とは、今この瞬間の物体の形を見ることであり、「時間的（temporal）」とは、その形が時間の経過とともにどのように変化するかを見ることです。もし鍵穴を通って人が通り過ぎる様子を見ているなら、単に足を見るのではなく、足が現れ、動き、そして消えていく様子を見ることになります。これらの瞬間を一つに繋ぎ合わせることで、ロボットは人の全身のポーズを推測できるのです。この論文は、まさにそれをロボットに教えるという課題に取り組んでいます。つまり、これらの一連のレーザースキャンから、単に「どこに」人がいるかだけでなく、「どちらを向いているか」までもを、スーパーコンピューターを必要とせず、ロボットの小さくて非力なコンピュータ脳の上で実行する方法です。

---

レーザーの灯台とタイムトラベル探偵

ロボットを紹介しましょう。それは、ホテルや病院で見かけるような、車輪で転がるサービスロボットです。その腰の部分には360度のレーザースキャナーが回転しており、毎秒360本の不可視のビームを放っています。しかし、落とし穴があります。単一のビームは、ただの距離を示す点に過ぎません。もし人の前に人が立てば、レーザーはその人を点の「塊（ブロブ）」として捉えます。それは人間でしょうか？ 椅子でしょうか？ それともゴミ箱でしょうか？ そして、もしそれが人間だとしたら、挨拶するためにロボットの方を向いているのか、それとも無視するために背を向けているのか？

研究者たちは、単一のスナップショットを見ることは、映画のプロットをたった一コマの静止画から推測しようとするようなものだと気づきました。シーン全体が展開される必要があります。そこで彼らは、特別な「タイムトラベル探偵」ネットワークを構築しました。このネットワークは、直近数秒間のスキャンの「短い映画」を見ることで、現在のレーザースキャンだけを見るのではなく、その「塊」が時間の経過とともにどのように動き、形を変えるかを観察します。

「因子分解」思考のマジック

ここが巧妙な点です。ほとんどのコンピュータの脳は、形と動きの両方を一つの大きな、混沌とした脳細胞の中で一度に処理しようとします。論文の著者たちは、「仕事を分けよう」と言いました。彼らは、**「時空間ブロック（Space-Time Block）」**と呼ばれる新しいタイプの脳細胞を作り出したのです。

あなたがダンスを説明しようとしている場面を想像してください。

1. 空間ステップ： まず、ダンサーの「今の」ポーズを見ます。腕は上がっていますか？ 足は広がっていますか？ これが「空間的」な部分です。ロボットのネットワークは、最初のビームと最後のビームが実際には隣り合っていること（リング状であること）を考慮しながら、円状にレーザービームを見ることでこれを行います。
2. 時間ステップ： 次に、一秒ごとにダンサーがどのように「動くか」を観察します。回転しましたか？ 前に踏み出しましたか？ これが「時間的」な部分です。

この論文の大きな発見は、これら二つのステップ、つまり「形を分析すること」と「動きを分析すること」を分離すれば、ロボットの推測精度が大幅に向上するということです。それは、一つのことを何でもこなそうとするジェネラリストではなく、「形」の専門家と「映画」の専門家が協力して動いているようなものです。この**「因子分解された時空間畳み込み（factorized spatio-temporal convolution）」**と呼ばれる手法により、ロボットは、すべてを混ぜ合わせてしまう従来の手法よりも、はるかに正確に人を特定し、向きを推測できるようになりました。

「シャドウ・ティーチャー（影の教師）」のトリック

さて、ここが最大の難関です。レーザースキャンのラベル付けがなされた何百万時間もの人間のデータがない状態で、どうやってロボットにレーザービームから人間を認識させるのでしょうか？ 通常であれば、人間がそこに座り、あらゆるレーザースキャンのあらゆる場面で人の周りにボックスを描く必要がありますが、それは退屈でコストがかかる作業です。

著者たちは、素晴らしい回避策を編み出しました。それが**「自己教師あり学習（Self-Supervision）」**です。彼らは、レーザースキャナーと通常のカメラ（深度センサー付きのウェブカメラのようなもの）の両方を持つロボットを使用しました。カメラは人を識別することに長けており、人がどこにいて、どちらを向いているかを正確に把握できます。一方、レーザースキャナーはこれには不向きです。

そこで、彼らは「シャドウ・ティーチャー（影の教師）」システムを構築しました。カメラが人物を見て、「おい、2メートルの位置に、北を向いている人がいるぞ！」と教えます。するとロボットはレーザースキャナーを確認します。もしレーザービームがその同じ地点に当たっていれば、ロボットは「よし、この特定のレーザーの点のパターンは『北を向いている人間』を意味するのだ」と学習します。しかし、ここでの肝は、ロボットはこのレッスンを「カメラが見えている範囲」でのみ学習するということです。ロボットの後ろ側（カメラが見えない場所）を含む、残りの360度の円については、前方の情報から何が起きているかを推測しなければなりません。それは、静かな部屋で友人の声を聞き分けるスキルを学び、そのスキルを使って、顔が見えない騒がしい群衆の中でもその人を識別するようなものです。

結果：より速く、より賢く、そして実用的に

チームは、彼らの「時空間ブロック」を持つロボットの脳を、より単純な古い脳と比較テストしました。結果は驚くべきものでした。

• 距離： 新しいロボットは、従来の方法よりも38%少ない誤差で、人がどのくらい離れているかを推測しました。
• 位置： 人がどこに立っているかを、28%少ない誤差で特定しました。
• 向き： 人がどちらを向いているかを、15%少ない誤差で推測しました。

さらにエキサイティングなことに、この賢い脳は動作させるためにスーパーコンピューターを必要としませんでした。著者たちは、標準的なサービスロボットと一般的なノートパソコンのプロセッサ（CPU）を用いてテストを行いましたが、それはリアルタイムで動作しました。オフィスや廊下を動き回る間も、ロボットは人々を見つけ、位置を推測し、さらには相手が自分の方を向いているかさえ推測することができました。

彼らはさらに、FROGという公開データセット（ロボットの視覚に関する標準テストのようなもの）でもテストを行いました。彼らのモデルは、通常は強力なグラフィックスカード（GPU）を必要とする重厚なモデルと同等の性能を発揮しながら、ロボット自身の小さなコンピュータ上でスムーズに動作しました。

実世界のテスト：ウェイター・ロボット

これが単なる実験室のトリックではないことを証明するために、彼らはロボットを現実世界のシナリオに投入しました。ロボットにウェイターや受付係のように振る舞うようプログラムしました。ロボットは部屋をスキャンして人を見つけ、もしその人がロボットの方を向いており、かつ十分に近い距離にいれば、ロボットは目の前に転がり、相手の方を向き、手を差し出す「提供」のジェスチャーを行います。

あるテストでは、ロボットは別の物体の後ろに人が部分的に隠れていても、その人を正しく検知しました。ロボットは、人がそこにいて、自分の方を向いていることを正しく推測できたのです。ただし、論文では限界についても指摘されています。例えば、二人以上の人がロボットから見て全く重なって立っている場合（同じレーザービーム上にいる場合）、ロボットは混乱して一人しか認識できません。また、部屋が極端に散らかっている場合も、推測は難しくなります。しかし全体として、この軽量で「時間」を意識したアプローチは、高価で重い装備を必要とせずに、ロボットが私たちの世界を安全かつ社会的にナビゲートするための確かな一歩であることを示しました。

要するに、レーザースキャンの「静止画」ではなく「映画」を見るようにロボットを教え、カメラを使ってレーザーに「見方」を教えることで、著者たちは、より賢く、より速く、そして実世界への準備が整ったロボットの視覚システムを作り上げたのです。