Screening Is Effective for Visual Recognition

ロボットに写真の中の猫を認識させる方法を教えようとしていると想像してみてください。人工知能の世界では、これは「コンピュータビジョン」と呼ばれる仕事です。長い間、これを行うための最善の方法は、「Vision Transformer（ViT）」と呼ばれる特殊な種類の脳を使うことでした。ViTを、写真を何百もの小さな正方形のパズルピース（パッチ）に切り分け、すべてのピースに互いに話し合うよう求めることで、全体の物語を理解しようとする、非常に整理整頓された司書のようなものだと考えてください。この司書は「自己注意（self-attention）」というルールを使い、どのピースが重要かを判断します。それは、クラスルームのようなものです。すべての生徒が手を挙げており、先生（司書）は誰に発言させるかを決めなければなりません。先生は「ソフトマックス（softmax）」というシステムを使って、発言時間を分配します。問題は、このシステムが、たとえ天気のことをささやいていたり窓の外を眺めていたりするだけの生徒であっても、全員にいくらかの発言時間を分け与えてしまうことです。猫の写真において、これらの「ささやいている」ピースは、背景の芝生やぼやけた壁かもしれません。先生が彼らに「ノー」と言えないため、それらが最終的な物語に混ざり込み、時としてロボットが実際に何を見ているのかを混乱させてしまうのです。

ここで、「スクリーニング（Screening）」と呼ばれる新しいアイデアが登場します。もともとテキストを読むために発明されたスクリーニングは、クラブの厳格なドアマン（用心棒）のようなものです。スポットライトを全員に分配する代わりに、ドアマンは各人のID（関連性）を特定のルールに照らし合わせてチェックします。もし基準を満たしていなければ、入場すらできません。明確な「ノー」を突きつけられるのです。Meijo UniversityのShimomura Shunya氏とHotta Kazuhiro氏による「Screening Is effective for Visual Recognition」という題名のこの論文は、大きな問いを投げかけています。「この『ドアマン』スタイルのスクリーニングを、言葉だけでなく画像にも使えるだろうか？」と。彼らはVisionScreenという新しいモデルを提案しています。すべてのパズルピースに注意を競わせる代わりに、VisionScreenは、各ピースがその隣接するピースが本当に自分に関連しているかどうかを、独立して判断できるようにします。もし背景の芝生のパッチが猫にとって重要でないなら、VisionScreenはそのパッチを会話から明確に追い出すことができます。著者らは、これを行うことで、ロボットが純粋に猫に集中し、ノイズを無視できるようになり、より大きく複雑な脳を必要とせずに認識能力を高められると示唆しています。

新しいモデル：VisionScreen

著者らは、標準的なViTの「クラスルームでの競争」問題を解決するためにVisionScreenを構築しました。通常のViTでは、もし猫の耳のパッチが背景のパッチと話している場合、その耳のパッチが「誰か」と話しているという理由だけで、背景のパッチもわずかな注意を獲得してしまうことがあります。これは相対的なゲームであり、他のノイズの多いパッチよりも優れていなければ注意を得られません。VisionScreenはルールを絶対的なゲームに変更します。「このパッチは関連しているか？」と問うのです。もし答えが「ノー」であれば、関連性のスコアはゼロになり、そのパッチは完全に無視されます。

これを画像で機能させるために、チームは独創的なエンジニアリングを行う必要がありました。画像は二次元のグリッド（チェス盤のようなもの）ですが、オリジナルのスクリーニングは一次元のテキストの列（文章のようなもの）のために設計されていました。著者らは、この仕組みを二次元空間にも対応できるよう拡張しました。彼らは「空間ソフトマスク（spatial softmask）」を導入しました。これは、各パズルピースの周囲にある柔軟で目に見えないバブル（泡）のようなものです。このバブルの中で、ピースは隣接するピースと会話できます。このバブルのサイズは固定されておらず、モデルは特定の仕事に対してどれくらいの大きさが必要かを学習します。細部（ひげなど）を見るために小さなバブルを必要とする部分もあれば、猫の体全体を見るために大きなバブルを必要とする部分もあるかもしれません。

彼らが発見したこと

チームは、2つの有名な画像データセット、ImageNet-1k（120万枚の画像を含む膨大なコレクション）とCIFAR-100（100の異なるカテゴリを持つ6万枚の小さなセット）を用いてVisionScreenをテストしました。彼らは、新しいモデルを、ViT-Tiny/16と呼ばれる標準的な非常に小さなバージョンのVision Transformerと比較しました。

結果は有望でした。ImageNet-1kにおいて、VisionScreenは72.5%のトップ1精度を達成しましたが、標準的なViT-Tiny/16は68.1%にとどまりました。これは4.4パーセントポイントの向上です。より小さなCIFAR-100データセットでは、VisionScreenは52.4%を記録し、標準モデルの50.3%を上回りました。興味深いことに、VisionScreenはこれらすべてを、標準的なViT（5.7 million）よりもわずかに少ないパラメータ数（約5.4 million）で行いました。これは、モデルが単に大きくなったから良くなったのではなく、何に注意を払うべきかを賢く判断できるようになったために良くなったことを示唆しています。

違いを見る

なぜVisionScreenがより優れていたのかを理解するために、著者らはモデルの内部を可視化しました。魚（具体的にはテンチ）の画像を見たとき、標準的なViTは気を散らされているようでした。背景にある釣り竿やリールに注意を向けてしまい、それらの詳細を「魚とは何か」という概念の中に混ぜ込んでしまっていました。それはまるで、司書が背景のノイズによって混乱しているかのようでした。

対照的に、VisionScreenははるかに集中していました。釣り具や背景の水は明確に拒絶し、注意のほとんどを魚そのものに集中させていました。可視化の結果は、VisionScreenが画像全体に注意を薄く広げるのではなく、関連する部分の間に鋭く明確なつながりを作り出していることを示しました。これは、相対的な競争（クラスルームの投票）ではなく、絶対的な関連性（ドアマン）を用いることで、モデルが「偽の相関（spurious correlations）」、つまり猫と特定の種類の芝生、あるいは魚と釣り竿との間の偶然のつながりを無視することを学んだことを示唆しています。

細かな注釈

著者らは、これらの結果が強力であるものの、これらは特定の実験に基づいていることに注意を促しています。彼らはこれらのデータセットに対してモデルをゼロから学習させ、VisionScreenがより高いスコアを得ただけでなく、学習中の「検証損失（validation loss）」（エラーの尺度）も低くなったことを発見しました。これは、学習プロセスがより安定していたことを示唆しています。また、彼らは「ゲーティング（gating）」メカニック（特徴量をオンまたはオフにするスイッチ）についてもテストを行い、これを取り除くと精度が0.7パーセントポイント低下することを発見しました。これは、このスイッチがモデルの焦点を微調整するのに役立っていることを示唆しています。

しかし、この論文は、これがコンピュータビジョンのための最終的な解決策であると主張しているわけではありません。著者らは、この手法が現行の標準に対する強力な代替案であり、より効率的で、注意が散漫になりにくいモデルを構築する方法を提供すると示唆しています。彼らは、スクリーニングが視覚的認識において効果的であることを結論づけており、モデルが物語に集中するために図書館のノイズを無視する優れた読者のように、「ノー」と言う方法を学ぶ新しい道を提示しています。