The Evolution of Deep Learning Architectures for Visual Recognition: Design Principles, Feature Learning, and Network Strategies

過去20年間にわたり、静かな革命が機械の世界の見方を変貌させてきました。この変化は、研究者たちが、あらゆる可能な形状や色に対して手動でルールを書き記すのではなく、膨大な量の画像をシステムに投入することで、システム自らがパターンを見つけ出す方法を学習できることに気づいたことから始まりました。ディープニューラルネットワークとして知られるこれらのシステムは、一種の層状のフィルターのように機能します。最初の層は単純なエッジを検出し、中間の層は円や角といった形状を認識し、最も深い層はそれらの形状を組み合わせて顔や車、あるいは木を識別します。時を経て、これらのネットワークは非常に洗ло化され、今では専門医と同等の精度で皮膚癌を特定したり、タンパク質の3次元構造を予測したり、さらにはテキストによる記述から新しい画像を生成したりすることさえ可能になっています。しかし、これらのシステムが強力になるにつれ、同時に複雑化もしており、内部の論理を追跡することが困難な、しばしば複雑な「ブラックボックス」のような存在となっています。

武漢理工大学、クリーブランド・クリニック、アールト大学などの機関の研究チームは、この進化の全行程をマッピングすることに乗り出しました。彼らの包括的なレビューにおいて、彼らは単一のタスクや特定の種類の画像に焦点を当てるのではありません。代わりに、彼らはこれらネットワークの構造的な設計図であるアーキテクチャの歴史と、その成功を推進してきた基礎的な原理の絡み合った歴史を辿っています。過去20年間の画期的な研究を検証することで、著者らはこの分野を、異なる仕事のために構築された特定の設計、ネットワークが特徴を学習するのを助ける小さな構成要素、そしてこれらの強力なシステムを構築するために用いられる根本的な戦略、という3つの明確なカテゴリーに分類しています。彼らの目標は、私たちがどのようにして単純なパターン照合器から、今日見られるような洗練された視覚的知能へと移行したのかについて、明確で構造化された理解を提供すると同時に、依然として残る限界と将来のイノベーションへの道筋を明らかにすることです。

この進化の物語は、単にネットワークを深くするだけでは必ずしも賢くなるわけではないという気づきから始まります。VGGネットワークのような初期の設計は、小さなフィルターを多数積み重ねることで詳細な特徴を抽出できることを証明しましたが、研究者たちは、層を増やしすぎると逆にパフォーマンスが低下するという壁にすぐに突き当たりました。解決策は、単純なアーキテクチャの微調整という形で現れました。それが「残差接続（residual connection）」です。この設計により、情報は特定の層をスキップして、ネットワークの一部分から別の部分へと直接流れることができ、ネットワークが極めて深くなっても学習プロセスを安定させることができます。この概念は、その後のほぼすべての設計の礎石となり、写真の中の物体を識別することから複雑な医療スキャンをセグメンテーションすることに至るまで、幅広いタスクのバックボーンとして機能する数百の層を持つネットワークの訓練を可能にしました。

分野が成熟するにつれ、焦点は単なる画像の分類から、画像内の物体の正確な位置と境界を理解することへと移りました。物体検出において、分野は、まず物体がありそうな場所を推測してからその推測を洗練させる「2段階プロセス」から、位置とアイデンティティを同時に予測する「1段階システム」へと移行しました。YOLOシリーズのモデルは、検出を単一の回帰問題として再定式化し、リアルタイム分析を可能にしたこの転換を体現しています。しかし、これらのシステムは依然として定義済みのグリッドや候補ボックスに依存していました。より最近の画期的な成果である「Detection Transformer」は、これらの人間が作った制約を完全に排除しました。物体検出を、言語モデルが次の単語を予測するのと同様に、直接的な集合予測問題として扱うことで、これらの新しいモデルは、以前は重複した検出を整理するために必要だった複雑な後処理ステップを必要とせずに、物体を特定することができます。

ネットワークの全体的な構造を超えて、研究者たちは、特定の視覚的課題を解決するために特定のサブモジュールがいかに設計されてきたかを強調しています。一つの重要な課題は、物体が極めて異なるサイズで現れることです。遠くにいる人は、近くにある車と比較して非常に小さく見えます。これに対処するため、現代のネットワークは、初期の層からの微細な詳細と深い層からの高レベルのコンテキストを組み合わせる「特徴ピラミッド」のような技術を用いて、マルチスケール特徴抽出を採用しています。これにより、システムは遠くの鳥と近くの犬の両方を等しく明瞭に認識できます。もう一つの大きな進歩は、アテンション・メカニズム（注意機構）の使用です。人間の目が背景を無視してシーンの特定の部分に自然に焦点を合わせるのと同様に、これらのメカニズムにより、ネットワークは画像の部分ごとに重み付けを行い、最も関連性の高い情報を強調し、ノイズを抑制することができます。これは、単純なチャネル重み付けから、画像の離れた部分同士の関係を理解できる複雑な自己注意（self-attention）システムへと進化しました。これは、かつては言語モデルの独壇場であった能力です。

このレビューはまた、高性能なシステムを構築するための戦略についても探究しており、成功は単にアーキテクチャによるものではなく、ネットワークがいかに教えられるかによって決まるという点を強調しています。著者らは、物体には境界があることや、特定の機能が他のものより重要であることといった物理的な現実などの「事前知識」を、学習プロセスに直接組み込むことの重要性を論じています。これは、困難な例を優先させたり、物体の空間的な連続性を尊重させたりするようにネットワークを導く、専門化された損失関数を通じて達成されます。さらに、対照学習（contrastive learning）の台頭は、ネットワークがデータから学ぶ方法を変えました。ラベル付きの例だけに頼るのではなく、これらの手法は、同じ物体の異なる二つの見え方は類似しているが、異なる物体は別物であるということをネットワークに教えます。このアプローチは、クロスモーダル学習において特に強力であり、CLIPのようなシステムは、画像とテキストによる記述を関連付けることを学び、記述を読むだけで見たこともない物体を認識することを可能にしています。

将来に向けて、著者らはこの分野が対処しなければならないいくつかの重要な課題を特定しています。一つの大きな障害は効率性です。モデルが大型化し、より有能になるにつれ、膨大な計算能力を必要とするため、スマートフォンや自動運転車のような日常的なデバイスへの展開が困難になります。研究者らは、将来の進歩は、与えられたタスクに対して必要な部分だけを起動させる、疎（sparse）で圧縮されたアーキテクチャを設計することに依存することになるだろうと示唆しています。もう一つのフロンティアは、「ワールドモデル」の開発であり、これは静的な画像認識を超えて、シーンが時間の経過とともにどのように変化するかを予測することを目指しています。これらのモデルは、単に物体が何であるかだけでなく、それがどのように動き、環境とどのように相互作用するかを理解することを目指しており、これはロボット工学やプランニングにとって極めて重要なステップです。最後に、論文は、言葉と視覚的証拠の関係を真に理解し、実際の画像とは一致しない、もっともらしい説明を生成してしまうという一般的な落とし穴を回避できる、より優れた視覚言語モデルの必要性を指摘しています。

数十年にわたるこれらの進歩を統合するにあたり、このレビューは、硬直した手作りのルールから、柔軟で自己学習型のシステムへと移行した分野の明確な姿を提示しています。その道のりは、より深いネットワークへの要求から、グローバルなコンテキストやリアルタイムの効率性への要求に至るまで、特定のボトルネックを解決してきた一連のアーキテクチャ上の革新によって定義されてきました。現在のシステムは驚くほど有能ですが、著者らは、その作業はまだ終わっていないことを強調しています。前進するための道は、正確であるだけでなく、効率的で堅牢であり、異なる領域にわたって真の理解ができるモデルを創り出すことにあります。これらの節目と原理を整理することで、本論文は研究者や実務家双方にロードマップを提供し、現代のコンピュータビジョンの根底にある構造的論理を照らし出し、次世代のインテリジェントな機械への道を示しています。