GaitFace: A Multimodal Dataset for Long-Range Person Identification

音楽フェスティバルの混雑した中で、友人を識別しようとしている場面を想像してみてください。もし友人がすぐ隣に立っていれば、その笑顔や瞳の色、頭の傾け方まで見ることができます。これが、現在のほとんどの「顔認識」技術が機能している仕組みです。つまり、誰であるかを確信するために、鮮明で近距離の写真を必要とするのです。しかし、もし友人が300フィート（約90メートル）先にいて、フェンスの向こう側にいて、空気が霞んでいたらどうでしょう？突然、その友人の顔は、小さくてぼやけたシミになってしまいます。セキュリティや国境検問の世界において、これは深刻な頭痛の種です。セキュリティカメラはしばしば、画像品質が極めて低く、天候が悪く、人物が歩いていたり、バッグを持っていたり、普段とは違うジャケットを着ていたりする遠方から人々を見守らなければなりません。科学者たちはこれを「長距離人物識別（long-range person identification）」と呼びます。彼らはまた、顔がはっきりと見えない場合でも、足の動き方によって正体が判明することもあるため、人の歩き方、すなわち「歩容（gait）」についても研究しています。大きな疑問は、画像が粒状で、距離が非常に離れており、かつ人物が動いているときでも、コンピュータは誰が誰であるかを識別できるのか？ということです。

本論文では、GaitFaceと呼ばれる新しいツールを紹介します。これは、遠距離から人物を識別しようとするコンピュータプログラムのための、巨大でリアルな「トレーニングジム」のようなものです。研究者たちは、現在の技術がこれらのような困難な「実環境（in-the-wild）」のシナリオにどの程度対応できるかをテストするために、特別なデータセット（データの集合体）を構築しました。彼らは、現在のモデルが、高画質でズームされた写真を用いた顔認識には優れている一方で、解像度が低く遠距離から撮影された場合には、事実上「クラッシュして燃え尽きてしまう（完全に失敗してしまう）」ことを発見しました。さらに驚くべきことに、通常は最も「賢い」とされる複雑なモデルほど、こうした条件下では激しく失敗する傾向があり、一方で、より単純で軽量なモデルの方が、実は比較的よく持ちこたえることが分かりました。また、本論文は、服装やアクセサリーが変わると、歩行パターン（歩容）の認識がいかに困難であるかも示しています。主な教訓は、まだ完璧な解決策は存在しないということです。現在のシステムは、視界が悪い状況では非常に脆弱であり、完璧な近接写真に頼ることなく、国境警備や監視を確実に機能させるためには、より優れた技術が必要であるということです。

GaitFaceの物語

現在のセキュリティカメラの状態を、ぼやけたスナップショットだけで謎を解こうとしている探偵に例えてみましょう。この論文の著者たちは、どれほど「ぼやけ」がひどいのか、そして私たちのデジタル探偵たちがそれにどう対処するのかを正確に把握するために、「ミステリーボックス」としてのデータを作成することに決めました。彼らは、顔と**歩き方（歩容）**という2種類のヒントを組み合わせた公開データセット、GaitFaceを作成しました。

このセットアップは、実際の国境検問所を模していますが、一つ仕掛けがあります。旅行者がステーションに到着したと想像してください。まず、彼らは自分のスマートフォンで自撮りをします。これが「事前登録（Pre-Enrollment）」フェーズであり、その人が誰であるかを示す高画質で鮮明な写真です。次に、旅行者は屋外の通路を歩きます。歩いている間、彼らは2つの異なる角度から撮影されます。一つは地上レベル（近くに立っている警備員のような視点）、もう一つはビルの3階（電柱の高い位置に設置されたカメラのような視点）からの視点です。彼らはカメラから最大100メートル離れた経路を歩きます。

研究者たちは、単に旅行者に普通に歩かせたわけではありません。真のテストにするために、「混沌（カオス）」を加えました。参加者は、電話で話をしながら歩いたり、バックパックを背負ったり、異なるジャケットを着たり、あるいはただ普通に歩いたりしました。これらを2日間、数週間の間隔を空けて行い、髪型が変わったり、晴天ではなく雨天になったりしても、コンピュータが依然として彼らを識別できるかどうかを確認しました。合計で70人の記録を行い、約2.7 TBのビデオおよび画像データを生成しました。

大いなるテスト：何が起きたのか？

研究者たちは、最も高度な顔認識および歩容認識コンピュータ（「モデル」と呼ばれます）を取り出し、この混沌とした現実的なデータの中に投げ込みました。そこで以下の発見がありました。

1. 「ズーム」の魔法 vs 「ぼやけ」の現実
カメラが強力な光学ズームを使用して、100メートル先から鮮明で高品質な画像を取得したとき、コンピュータは素晴らしく機能しました。まるでその人が目の前に立っているかのように、非常に高い精度で人物を特定できました。しかし、ズーム機能を外し、カメラの通常のレンズを使用した瞬間、結果は悲惨なものとなりました。

• ズームなしの場合、100メートル先の人物の顔は、わずか18×22ピクセルほどの大きさしかありませんでした。これは切手よりも小さいサイズです！
• この低品質モードでは、最高のコンピュータであっても、実在の人物と見知らぬ人を区別するのに苦労しました。その精度は極めて低く、ほとんど推測と同程度でした。
• 興味深いことに、研究者たちは、より単純で軽量なコンピュータモデル（EdgeFaceなど）の方が、巨大で複雑なモデルよりも優れた結果を示すことがあることを発見しました。巨大なモデルは詳細の欠如によって混乱するようですが、小さなモデルはより柔軟であるようです。

2. 「カメラに向かって歩く」驚き
研究者たちは、人物が100メートル先から3メートル先まで歩いてくる際に何が起きるかもテストしました。

• 遠方（100m）では、コンピュータはほとんど盲目状態でした。
• 人物が近づくにつれて、コンピュータの精度は向上しましたが、その改善はスムーズではありませんでした。たとえ人物が比較的近くにいても、セキュリティシステムが（誤報を避けるために）非常に厳格に設定されている場合、コンピュータは依然として多くの人々を識別できませんでした。
• これは、単に人が近づくのを待つだけでは完璧な解決策にはならないことを示しています。システムは、ぼやけている瞬間にも耐えうる堅牢性を持つ必要があります。

3. 歩行のパズル（歩容）
歩容（歩き方）を認識することは、顔がぼやけすぎている場合のバックアッププランとして期待されています。しかし、GaitFaceのテストは、これもまた非常に困難であることを示しました。

• カメラの角度が変わったとき（地上から3階へ）、あるいは人物が服を変えたりバッグを持ったりしたとき、コンピュータは非常に混乱しました。
• 最も優れたモデルでも、容易なシナリオにおいて正解率はわずか**20%から28%**程度であり、条件が厳しくなると性能はさらに低下しました。
• 研究者たちは、クリーンで短距離のビデオ（スタジオ内で歩いているような動画）で学習したモデルは、GaitFaceのような乱雑で長距離のビデオに直面すると、無残に失敗することを突き止めました。

なぜこれが重要なのか

本論文は、問題を解決したと主張しているわけではありません。むしろ、現在のテクノロジーがどこで弱点を持っているのかを照らし出す「スポットライト」としての役割を果たしています。現在の技術がどこで脆弱であるかを明らかにしています。これは、もし今日、これらのシステムを国境検問に依存すれば、人々を見逃したり、間違いを犯したりする可能性があることを証明しています。

著者らは、未来はこれら2つの手がかり（顔と歩容）を組み合わせることにあると示唆しています。顔がぼやけすぎている場合は歩行パターンが助けとなり、その逆もまた然りです。しかし現時点では、GaitFaceは厳しい、正直なベンチマークとして存在しています。それは研究者たちにこう告げています。「これが現実の挑戦です。あなたの現在のツールは、まだ十分ではありません。もっと優れたものを作ってください。」このデータを公開することで、著者らは、世界の混沌とした現実に適応できる、よりスマートでタフな次世代のセキュリティシステムを生み出す刺激となることを願っています。