Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

あなたは、ロボットに世界の見方を教えようとしていると想像してみてください。長い間、その最善の方法は、シェフがレシピに従って一歩ずつ進めるように、非常に具体的で厳格な一連のルールをロボットに与えることでした。しかし、世界は混沌としており、色彩豊かで、驚きに満ちています。最近、科学者たちは「基盤モデル（foundation models）」を構築しようとしています。これらは、単にレシピに従うのではなく、子供が周囲を見渡して学ぶのと同じように、何百万枚もの画像を通じて物事の見方を実際に「学習」する、巨大で非常にスマートな脳です。これらのモデルは今や非常に強力になり、写真の中の猫を識別できるだけでなく、それを説明したり、ゼロから新しい猫を描いたり、さらにはその鳴き声を理解したりすることさえできます。研究者たちが投げかけている大きな問いは、「これらすべての異なる種類のスマートなロボットは、実は同じものの異なるバージョンなのではないか？」ということです。彼らは皆、異なるツールを使いながらも、同じ種類の世界の「地図」を構築しようとしているのではないか、ということなのです。

この論文は、研究チームによって書かれた、急速に変化するコンピュータビジョンの風景における壮大なツアーガイドのようなものです。著者たちは、異なるタイプのAIを別々の部族として扱うのではなく、「統一されたフレームワーク」を提案しています。モデルが、古風な畳み込み層（画像の小さなパッチを見るもの）を使用しているのか、現代的な「Transformer」（画像全体を一度に見るもの）を使用しているのか、あるいは生成モデル（新しい画像を生成するもの）を使用しているのかに関わらず、それらはすべて根本的には同じ仕事、つまり、隠れた「潜在表現（latent representation）」を構築し、操作しているのだと示唆しています。この表現を、AIが現実を理解するために使用する、秘密の圧縮された言語だと考えてください。この論文は、物事を「認識」するモデル、それについて「語る」モデル、そしてそれらを「描く」モデルの間の境界線が曖昧になってきていると論じています。これらはすべて、知覚、推論、そして創造を同時に扱うことができる、単一の、より汎用的な知能へと収束しています。

ロボットの目の進化

私たちが今どこにいるのかを理解するためには、ロボットの「目」がどのように変わってきたかを見る必要があります。10年以上にわたり、支配的なツールは**畳み込みニューラルネットワーク（CNN）**でした。CNNは、小さな虫眼鏡（フィルター）を持って画像をスライドさせ、エッジやコーナーのような単純なパターンを探す、小さなローカルな探偵のようなものだと考えることができます。CNNはこのような局所的な作業に非常に優れており、「物体は通常、パーツが近くに集まっている」といった、世界の仕組みに関する組み込みのルール（帰納バイアス）を持っているため、少量のデータから学習するのが得意です。しかし、この探偵には弱点があります。画像内で離れた場所にあるもの同士の点をつなぐことが苦手なのです。例えば、犬の耳と犬の尻尾を見つけることはできても、もしそれらが写真の反対側にあった場合、それらが同じ一つの犬に属しているということを理解できないかもしれません。

次に登場したのが、**Vision Transformer（ViT）**です。もしCNNがローカルな探偵なら、ViTはグローバルな噂好きです。虫眼鏡をスライドさせる代わりに、ViTは画像を小さなパズルピース（パッチ）に分解し、すべてのピースが同時に他のすべてのピースと会話できるようにします。これは「自己注意（self-attention）」と呼ばれるメカニズムを通じて行われます。突然、ロボットは一度に絵全体を見ることができるようになります。耳と尻尾がどれほど離れていても、瞬時にそれらをつなげることができるのです。これにより、AIは信じられないほど強力になりましたが、代償も伴いました。これらの「噂好き」のモデルは、非常に食欲旺盛です。CNNのような組み込みのルールを持っていないため、世界のルールをゼロから理解しなければならず、膨大な量のデータを必要とします。

大いなる収束：ツールの混合

論文は、魅力的な傾向を強調しています。それは、これら2つのアプローチが融合し始めているということです。研究者たちは、ローカルな探偵とグローバルな噂好きは、それぞれが欠いている強みを相手が持っていることに気づきました。そこで、彼らはハイブリッド・アーキテクチャの構築を開始しました。ローカルな探偵がエッジを見つけるための初期スキャンを行い、その後にグローバルな噂好きが引き継いでシーン全体を理解するチームを想像してください。CoAtNetやMaxViTといったモデルは、まさにこれを行っています。これらは、効率的に局所的な詳細を得るために畳み込み層を使用し、その後、全体像を理解するためにアテンション・メカニズムに切り替えます。論文は、これが単なるランダムな混合ではなく、CNNのデータ効率とTransformerの強力な推論の両方の利点を得るための、必然的な進化であると示唆しています。

「基盤」となる脳の台頭

論文が述べる次の大きな飛躍は、基盤モデル（Foundation Models）への移行です。これらは、AIの世界における「スーパーブレイン」です。科学者たちは、単に猫を認識するようにロボットを訓練するのではなく、ラベルのない何十億もの画像を用いて、彼らを訓練し始めました（自己教師あり学習）。DINOやDINOv2がその例です。これらは、画像を見るだけで世界の「構造」を理解することを学びます。例えば、猫の正面からの写真と横からの写真を見せると、誰に「これは猫です」と言われなくても、これらが同じ物体であることを学習します。

論文では、これらのモデルが視覚的表現を理解することにおいて非常に優れているため、ほぼあらゆることに利用できることが説明されています。例えば、DINOv3は、画像の非常に詳細なマップを作成できるため、特定のタスクのための特別な訓練を必要とせずに、物体の特定の部分を見つけたり、異なる写真間で似た物体を照合したりすることができます。これは、ロボットが視覚の「文法」を学んだため、求められたあらゆる「方言（タスク）」を話せるようになったようなものです。

言葉と描画：マルチモーダルおよび生成モデル

これらの視覚的な脳が言葉や絵を描き始めると、物語はさらにエキサイティングになります。CLIPやImageBindのようなマルチモーダル・モデルは、視覚の世界と言葉や音の世界をつなぎます。CLIPは、画像と言葉による記述を一致させることを学びます。これは、ロボットに「夕焼け」の写真と「夕焼け」という言葉が同じ意味であることを教えるようなものです。ImageBindはこれをさらに進め、画像を音声、深度、さらにはモーションセンサーと結びつけ、これらすべての異なる感覚が共に存在する単一の共有空間を作り出します。

次に、生成モデル、特に**拡散モデル（Diffusion Models）**が登場します。彼らはアーティストです。彼らは単に画像を認識するだけでなく、画像を創り出します。彼らはランダムなノイズ（静止画の砂嵐）でいっぱいのキャンバスから始まり、ステップ・バイ・ステップでノイズを取り除いて、鮮明な画像を明らかにしていきます。論文は、これらのモデルが現在、認識に使用されていたものと同じ「Transformer」の脳を使用していると指摘しています。Diffusion Transformers (DiT)は、古い畳み込み型のアーティストを新しいグローバルな噂好きの脳に置き換え、アート生成をより高速かつ一貫したものにしています。さらに新しい手法であるRectified Flowなどは、このプロセスをより直接的なものにし、ゆっくりとしたノイズの多い旅を、まっすぐで滑らかな一本の線に変えようとしています。

大きな絵：一つの統一された言語

この論文の核心的な発見は、これらすべての異なるアプローチ――CNN、Transformer、自己教師あり学習、マルチモーダル・システム、そして生成アート――は、別々の島ではないということです。それらはすべて、視覚についての単一の統一された考え方へと収束しています。著者たちは、これらを異なるツールとして見るのではなく、**潜在表現（latent representation）**を構築し、使用するための異なる方法として見るべきだと主張しています。

この潜在表現を、AIが世界を記述するために使用する、秘密の圧縮された言語だと考えてください。

• CNNは、ローカルなルールを用いてこの言語を構築します。
• Transformerは、すべてがすべてと会話させることで、これを構築します。
• 基盤モデルは、インターネットのライブラリ全体を読み込むことで、この言語を学習します。
• 生成モデルは、この言語を使用して新しい物語（画像）を書きます。

論文は、コンピュータビジョンの未来は、勝者を決めることではないと示唆しています。むしろ、それは**汎用的な視覚的知能（General-Purpose Visual Intelligence）**を構築することです。これらの未来のシステムは、同じフレームワーク内で、見る、理解する、話す、そして創ることをすべて行うことができるようになるでしょう。彼らは、写真を撮り、そこで何が起きているかを説明し、それについて質問に答え、さらにはその新しいバージョンを描くことさえできます。なぜなら、彼らは世界を理解するための共通の基礎となる「脳」を共有しているからです。

前方への道のり：課題と夢

論文はこの収束に対して楽観的ですが、まだそこには到達していないことも指摘しています。依然としていくつかの大きな障害が存在します。

• 効率性： これらの巨大なモデルは、計算能力を大量に消費します。これらをスマートフォンやロボットのような小さなデバイスで動作させることは、依然として課題です。
• 信頼性と安全性： これらのモデルは非常に複雑であるため、なぜ特定の決定を下したのかを知ることが困難です。もし医療AIが患者に疾患があると診断した場合、それが正しいのか、それとも単に推測しているだけなのかを知る必要があります。論文は、「信頼できる展開（trustworthy deployment）」、つまり信頼でき、かつ自らを説明できるモデルの必要性を強調しています。
• データ： これらのモデルには、大量の高品質なデータが必要です。インターネットからすべてをコピーすることなく、十分な良質なデータを見つけることは、成長し続ける問題となっています。

結論として、この論文は、分野が成熟している様子を描き出しています。私たちは、単一のタスク（例えば車の数を数えるだけ）のための特化したロボットを作ることから、学習し、推論し、創造することができるユニバーサルな視覚アシスタントを作る方向へと移行しています。ツールは変化していますが、目標はより明確になっています。それは、機械が世界を単なるピクセルの集合としてではなく、理解し、相互作用できる豊かな、相互に連結された現実として捉えられるようにすることです。