HiResNets: Native Full-HD Video Recognition with Foveal Residual Streams

目の秘密のスーパーパワー

混雑して混沌としたスタジアムの中で、友人を識別しようとしている場面を想像してみてください。もし、観客席の一人ひとりを、同じように鋭く、クリスタルクリアな焦点で観察しようとしたら、あなたの脳は圧倒されてしまうでしょう。それは、図書館にあるすべての本を、まさに同時に読もうとするようなものです。その代わりに、私たちの目には賢いトリックがあります。中心部には「中心窩（ちゅうしんか）」と呼ばれる、非常に鋭い小さなスポットがあり、それ以外の視界はぼやけて詳細度が低くなっています。あなたは一つの場所に永遠に注視し続けるわけではありません。目は素早くあちこちへ飛び、シーンの異なる部分の高解像度な写真を撮り、それらを脳内で繋ぎ合わせるのです。これが、人間がエネルギーを節約しながら、重要な細部を逃さずに世界を効率的に見る方法です。

数十年にわたり、コンピュータ科学者たちは、機械に同じような見せ方を教えようとしてきました。彼らは、膨大なピクセルの格子をニューラルネットワーク（画像を認識することを学習するコンピュータプログラム）に読み込ませることで、これらを構築してきました。しかし、ここに落とし穴があります。画像が大きくなり、より鮮明になるにつれて（例えば、標準的なテレビから4K Ultra HDスクリーンに切り替えるように）、コンピュータのメモリと計算能力は爆発的に増大する必要があるのです。それは、部屋の床のタイルがどんどん小さく、かつ数多くなっていく中で掃除をするようなものです。作業量は倍々に増えていき、最終的にコンピュータは力尽きてしまいます。この「二次関数的な成長」は、大きな障害となっています。つまり、小さな物体を見たり高精細なビデオを視聴したりするために、コンピュータは極めて低速になるか、あるいは巨大にならざるを得ないということです。大きな疑問はこうでした。「全体像を失うことなく、必要な場所にだけ力を集中させる、人間の目のように機能するコンピュータビジョン・システムを構築できるだろうか？」

研究の画期的なアイデア：HiResNets

この論文において、研究者たちはHiResNets（High-Resolution Networks）と呼ばれる新しいアーキテクチャを導入しています。彼らの目標は、このメモリのボトルネックを、単に外付けのステップとして追加するのではなく、人間の目の「中心窩的」な戦略をコンピュータの脳の中に直接組み込むことによって解決することでした。

標準的なコンピュータビジョンモデルを、巨大な壁画を描こうとする作業員だと考えてみてください。その作業員は、空であっても小さな花であっても、関係なく、壁のあらゆる平方インチを同じ労力で丁寧に塗ろうとします。これは非常に疲れやすく、無駄が多い作業です。一方、HiResNetsは、記憶の中に巨大な高解像度のキャンバス（「残差ストリーム」）を持ちながら、高価で詳細な筆を使うのは、一度に壁の小さな歪んだセクションに対してのみ行う、賢い芸術家のように振る舞います。

その仕組みは、論文内の現実の世界では以下の通りです：

1. 魔法の歪み（ワープ）： ネットワークは「対数極座標ワープ」と呼ばれる特別な数学的トリックを使用します。写真を撮り、中心を大きく詳細に引き伸ばす一方で、端の方を押しつぶして小さくぼやけさせる様子を想像してください。これは魚眼レンズの仕組みに似ていますが、コンピュータは「どこ」を中心にするかを学習します。
2. スマートなフォーカス： ネットワーク内部の小さな「中心予測器（center predictor）」が、画像のどの部分を詳しく見るべきかを決定します。これは、あなたの目が新しい物体へと動くのと同様に、フォーカスポイントを移動させます。
3. 効率的なプロセス： 重い処理（畳み込みブロック）は、この小さく歪んだ高詳細な中心部に対してのみ行われます。画像の残りの部分は、はるかに低い解像度で処理されます。
4. メモリバッファ： 決定的なことに、ネットワークは画像の残りの部分を捨てません。見つけた詳細を、高解像度の「バッファ」（残差ストリーム）へと書き戻していきます。時間が経つにつれ、ネットワークが異なる場所に焦点を移していくことで、まるで部屋をスキャンするように、断片的に完全な高精細の絵をメモリ内に構築していきます。

彼らが発見したこと

研究者たちは、特に「エゴセントリック（一人称視点）」ビデオ（ヘルメットにつけたGoProのような、人の視点から記録された映像）を用いて、HiResNetsをいくつかの困難なタスクでテストしました。これらのビデオは、乱れていたり、揺れていたり、電話のボタンや道具のような小さな物体が満載であったりします。

• 小さなものへの適応力： 小さな物体や微細な詳細（特定の部品を認識するなど）を特定するタスクにおいて、HiResNetsは標準的なモデルよりも大幅に優れた性能を示しました。例えば、EgoObjectsというデータセットでは、解像度を上げると標準的なモデルはデータを効率的に扱えずあまり改善しませんでしたが、HiResNetsの精度は約**10%**上昇しました。
• 速度 vs サイズ： 最もエキサイティングな発見は、速度に関するものでした。画像解像度が増加するにつれて、標準的なモデルは「二次関数的」に（サイズが2倍になれば、作業量は4倍になるという形で）どんどん遅くなります。しかし、HiResNetsの成長ははるかに緩やかでした。コアとなる畳み込み演算は解像度に対して対数二乗の関係でスケールしますが、全体の処理時間（レイテンシ）はほぼ線形的にしか増加しません。これは、コンピュータがクラッシュしたり動作が極端に遅くなったりすることなく、Full HDビデオ（さらにはそれ以上の解像度）を処理できることを意味します。
• 「見る」ことを学ぶ： ネットワークはただ機能するだけでなく、人間のように見ることを学習しました。「中心予測器」は、クローズアップのシーンでは手や物体に焦点を当て、パノラマショットでは異なるエリアをスキャンし始め、自然な目の動きを模倣しました。

彼らが否定していること

この論文は、何がうまくいかないのかについても明確に述べています。彼らは、標準的なネットワークを、メインの脳の外側に置かれた「グリンプス（一瞥）」や「ズーム」モジュールで単に包み込むという考えに対して異を唱えています。もしメインのネットワークがいまだに画像全体を高解像度で処理しなければならないのであれば、メモリのボトルネックは解消されず、システムは依然として低速なままであることを彼らは発見しました。フォーベーション（焦点化）は、単なる前処理ステップとしてではなく、コアとなる処理ブロックの「内部」で行われる必要があります。

彼らはまた、どこを見るかを予測する方法についてもテストを行いました。ネットワークの各ステージごとに「新しい」フォーカスポイントを予測することが不可欠であることを見出しました。もしネットワーク全体に対して一つの固定されたフォーカスポイントを使用したり、一度に複数の高解像度スポットを見ようとしたりすると、パフォーマンスが低下するか、コンピュータが低速化してしまいます。「飛び跳ねる目（darting eye）」のアプローチこそが鍵だったのです。

結論

著者らは、HiResNetsが有望な道筋を提供していると示唆しています。コンピュータのメモリバッファを高解像度のキャンバスとして扱い、注視している特定の場所に対してのみ高価な計算能力を使用することで、スーパーコンピュータを必要とせずに高精細ビデオ内の微細な詳細を認識できることを証明しました。結果は、このアプローチが単なる理論的なアイデアではなく、実際に機能するものであることを示しています。それは、困難なタスクに対してより高い精度を提供し、画像サイズが増大してもはるかに高い効率を実現します。これは、機械に、人間が何百万年も前から持っているような、効率的で機敏な視覚を与えるための第一歩なのです。