CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

あなたはロボットに人間のボディランゲージを理解させようとしていると想像してください。あなたは、人がどのように頭を傾けているのか、鳥を見上げて上を向いているのか、スマートフォンを見下ろしているのか、あるいは円を描くようにぐるりと回転しているのかを、正確に把握させたいと考えています。このタスクは「頭部姿勢推定（Head Pose Estimation: HPE）」と呼ばれ、バーチャルリアリティのゲームから、歩行者が自分の方を見ているかを知る必要がある自動運転車に至るまで、あらゆる分野で極めて重要です。コンピュータにこれを教えるには、通常、何千枚もの顔の写真を提示します。しかし、ここが非常に厄介な点なのですが、現実の世界では、異なる人々が全く同じ方向を向いている写真を2枚見つけることは、驚くほど困難なのです。それは、混雑したスタジアムの中で、見ず知らずの二人が天井にある全く同じ一点の塵を凝視しているのを見つけるようなものです。このような「一致する」ペアを見つけることは非常に難しいため、「コントラスティブ学習（対照学習）」と呼ばれる強力な学習手法（似ているものを比較することで、何がそれらを似ているようにさせているのかを学ぶ手法）は、この特定の作業においては足踏み状態に陥っていました。

ここで、この泥沼の隙間に橋を架けようと決意した研究者チームが登場します。彼らは「CLERF（Contrastive LEaRning for Full Range Head Pose Estimation）」と呼ばれる新しいフレームワークを構築しました。彼らは、宇宙が自発的に一致する写真を提供してくれるのを待つ代わりに、特別なAI生成器を使用して、独自の「双子」の写真をその場で作り出しました。また、既存のほとんどのロボットの脳は、写真がわずかに傾いたり反転したりしているだけで、対応するのが非常に下手であることにも気づきました。写真を10度回転させるだけで、ロボットは混乱してしまいます。しかし、CLERฟは360度の世界を扱うように設計されており、上下逆さまの頭であっても冷静さを保ち、写真が多少乱れていても平然としています。

問題点：頭部姿勢の「干草の中の針」

頭部姿勢推定を、学生に方向を認識させる方法を教えることに例えて考えてみましょう。もし、正面を向いている人や少し横を向いている人の写真ばかりを見せたら、彼らはその分野のエキスパートになるでしょう。しかし、もし彼らに、真上を見上げている人や、真下を見ている人、あるいは上下逆さまになっている人を識別するように求めたら、彼らは見たことがない角度であるために失敗するかもしれません。

研究者たちは、この全範囲の動きに対して「コントラスティブ学習」を用いることは、ほぼ不可能であることを発見しました。簡単に言えば、コントラスティブ学習は、ターゲットとなる画像（アンカー）を、一致するもの（ポジティブ）、および不一致のもの（ネガティブ）と比較することで学習する「間違い探し」のようなゲームです。うまく学習するためには、コンピュータは同じ方向を見ている多くのペアを見る必要があります。しかし、頭部の動きという広大な3D空間において、二人の人間が統計的に全く同じ方向を見ている確率を見つけることは、ほぼ不可能です（0.02%未満）。これらの一致するペアがなければ、コンピュータは角度の微妙な違いを学ぶことができません。

解決策：魔法の鏡と回転する部屋

この問題を解決するために、著者たちは巧妙な2ステップの手法を構築しました。

ステップ1：魔法の鏡（合成された双子）
実在する人々が同じ方向を向いている写真を探し回る代わりに、彼らは「3D対応型GAN」（リアルな3D画像を生成できるタイプのAI）を使用して、合成された双子を作成しました。例えば、ある人が少し左を向いている写真があるとします。AIは、その「全く同じ方向」を見ている別の人物の偽の写真を生成します。これにより、コンピュータには、研究するための完璧な「ポジティブ・ペア（一致するペア）」が手に入ります。これは、必要な時にいつでも「針」を作り出すことで、「干草の中の針」問題を解決しています。

ステップ2：回転する部屋（幾何学的変換）
研究者たちは、単に一致するペアがあるだけでは不十分であり、上下逆さまの頭のような奇妙な角度も含め、あらゆる角度を扱えるように教える必要があることに気づきました。そこで、彼らは画像に対して数学的な「反転」と「回転」を適用しました。これは、写真を撮った後に、その周りの部屋を回転させるようなものです。もし、左を向いている人の写真を180度回転させれば、その人は右を向いていることになります。これらの画像を数学的に反転・回転させることで、彼らは頭部の動きの全領域（-180度から180度まで）をカバーすることができ、コンピュータがあらゆる可能な角度を確実に目にすることができるようにしました。

決定的なのは、一致するペアの画像を全く同じ方法で回転または反転させても、それらは依然として「一致」していることを彼らが証明したことです。これにより、コントラスト学習を効果的に活用できるようになり、左を向いている頭は、たとえ写真が上下逆さまであっても、根本的に右を向いている頭とは異なるものであるということを、コンピュータに教えることができました。

彼らが発見したこと：目眩を起こさないロボット

チームは、標準的なテストデータセットを用いて、新しいモデルであるCLERFを既存の最高水準のモデルと比較テストしました。結果は以下の通りです。

• 通常の写真において： 標準的な直立した写真でテストした際、CLERFはトップモデルと同等の性能を発揮しました。それは、すべてを一瞬で完璧にする魔法の杖ではありませんでしたが、十分に通用するものでした。
• わずかに傾いた写真において： ここで魔法が発揮されました。研究者がテスト用の写真を10度回転させたり反転させたりしたとき（彼らが「わずかに拡張された（SA）」バージョンと呼ぶもの）、既存のモデルはつまずき始めました。彼らの精度は大幅に低下しました。しかし、CLERFは極めて堅実でした。これらのトリッキーな回転画像において、CLERFは次に優れたモデルよりも約0.5〜1.3度正確でした。
• 激しく回転した写真において： 彼らが「フルレンジ（FA）」バージョンと呼ぶ、激しく回転したり反転したりした画像でテストを行ったとき、その差は決定的でした。既存のモデルは、たとえフルレンジを扱えると主張していても、混乱してエラーが10度以上跳ね上がりました。対照的に、CLERFはこれらのクレイジーな角度を容易に扱い、競合他社を大幅に上回る性能を示しました。

研究者たちは、コンピュータが世界をどのように「見ている」かを可視化もしました。彼らは、人が全方位に回転する様子を捉えたビデオをモデルに提示しました。従来のモデルでは、回転する人物は、開始点と終了点が似すぎて見える、ぼやけた混乱した塊として映っていました。しかし、CLERFは、明確でスムーズな円として捉え、近い角度と遠い角度を完璧に区別していました。

まとめ

この論文は、独自の「双子の」画像を生成し、データを数学的に回転させることで、これまでに誰も成し遂げられなかった方法で、コンピュータに頭部姿勢を理解させることに成功したことを示唆しています。彼らは単に完璧な写真で機能するモデルを作ったのではありません。現実世界の、乱れた、回転した、あるいは上下逆さまの現実に耐えうる堅牢なモデルを作り上げたのです。彼らはコンピュータビジョンのあらゆる問題を解決したと主張しているわけではありませんが、この新しいアプローチによって、これまで最高のAIシステムをも困らせてきた姿勢を含め、あらゆる頭部姿勢を正確に予測できる「真のフルレンジ」モデルが可能になることを実証しました。