コンピュータが単に数字を計算するだけの終わりのない電卓ではなく、私たちの脳のように思考する世界を想像してみてください。これは、生物学的なニューロンが、必要な時にだけ小さな電気的な火花、すなわち「スパイク」を放つ仕組みを模倣した人工知能の一種、スパイキングニューラルネットワーク（SNN）の世界です。絶え間なく動き続けるのではなく、これらのネットワークはイベント駆動型、つまり何か面白いことが起こるまで静かに待機するため、驚異的なエネルギー効率を実現しています。最近、科学者たちはこの効率的な「スパイキング」スタイルと、コンピュータが言語を理解したり画像を認識したりするのに役立つ強力な「Transformer」アーキテクチャを組み合わせようとしています。その目的は？画像を見たり世界を理解したりするために、膨大な量の電力を消費することなく、超効率的なAIを作り出すことです。しかし、一つ問題があります。これらのスパイキングTransformerが画像の異なる部分に注目しようとすると、隣り合っているもの同士に注意を向けるのが苦手な場合があるのです。まるで、隣の家を無視してしまう隣人のようです。

「Rethinkng Attention Locality in Spiking Transformers（スパイキングTransformerにおけるアテンションの局所性の再考）」と題されたこの論文は、まさにその問題に深く切り込んでいます。浙江大学、ウエストレイク大学、北京大学の研究チームである著者らは、これまでの「近所付き合い」の問題を解決しようとする試みが、より賢いAIを生み出した一方で、根本的な原因を解決できていなかったことに気づきました。彼らは、一部の手法が実際に近くのピクセルを見ているのではなく、単に局所的に計算を行っているだけであることや、他の手法は同じ修正案をネットワークのあらゆる部分に強制しようとしており、それが必ずしも機能しないことを発見しました。これを解決するために、彼らは「SCLA-BCP」と呼ばれる新しいシステムを考案しました。これは、AIに優れた「近所の見守り方」を教えるようなものです。画像を小さく整ったブロックに分割して近隣同士が容易に会話できるようにしつつ、ブロック間に情報を流すための特別な「境界ブリッジ」を追加することで、何も見落とされないようにします。彼らの実験によれば、この新しいアプローチによって、AIはより良く物事を見、物体をより正確に認識できるようになり、しかも非常に少ない追加エネルギーでそれを実現できることが示されています。

問題点：「局所的」が「近く」を意味しないとき

著者らが発見したことを理解するために、まずこれらのスパイキングTransformerが通常どのように機能するかを見る必要があります。標準的なTransformerでは、AIは画像を見て、異なる部分が互いにどのように関連しているかを判断しようとします。「このピクセルはあのピクセルを気にしているか？」と問いかけるのです。通常のコンピュータの脳では、これは「Softmax」と呼ばれる特別な数学的トリックによって行われ、AIがどのピクセルが最も重要かを決定するのを助けます。しかし、スパイキングTransformerでは、効率性と「スパイク」の状態を維持するためにSoftmaxを取り除きます。そのデメリットは？AIがすべてのピクセルをほぼ平等に扱ってしまうことです。まるで、誰と一緒に座ればよいかわからず、部屋にいる全員をぼんやりと眺めている学生のようです。

これを修正するために、以前の研究者たちはAIに局所的な領域に集中することを強制しようとしました。彼らは主に2つの方法で行いました。

1. 「グルーピング」法（LSSA）： ピクセルをパターンに基づいてグループ化しようとしました（例えば、2番目のピクセルごとにグループに入れるなど）。著者らが発見した問題は、これが「靴のサイズ」で人々をグループ分けするようなものであるということです。たとえ同じグループに入っていても、部屋の反対側に立っているかもしれません。数学的には「局所的」であっても、物理的には離れているのです。著者らはこれを「計算空間的な局所性の不一致（computational-spatial locality discrepancy）」と呼んでいます。コンピュータは隣人を見ているつもりでも、実際には他人を見ているのです。
2. 「一様」法（LRF-SSA）： 他の研究者は、ネットワークのすべての層に同じ種類の助けが必要だと仮定して、AIの脳のすべての層に「ローカルな視点」を追加しようとしました。著者らがこれをテストしたところ、あらゆる場所でうまく機能するわけではないことがわかりました。幼児にはティーンエイジャーとは異なるルールが必要であるように、AIネットワークの異なる層には異なるレベルの「局所的」な焦点が必要です。すべての層に同じ修正を適用することは、時には状況を悪化させたり、あるいは全く変化をもたらさなかったりしました。

解決策：SCLA-BCP

著者らは、問題を真に解決するためには2つのことが必要であると気づきました。一つは、AIが実際に「物理的に」隣接するピクセルを見るようにすること、もう一つは、それらのピクセルが境界を越えて隣人と会話できるようにすることです。彼らはSCLA-BCPを考案しました。

SCLA（空間的に連続した局所的アテンション）：
巨大なピザがあると想像してください。パターンに基づいてバラバラに切るのではなく、きれいで正方形の、重なり合わないブロックに切ります。SCLAは、AIが自分自身の正方形ブロック内のピクセルだけを見るように強制します。これにより、AIが「私の隣人は誰か？」と尋れるとき、文字通りすぐ隣に座っているピクセルに対して問いかけることが保証されます。これは、グループが真の「連続した近隣」であることを保証することで、「靴のサイズ」問題を解決します。

BCP（境界連続パスウェイ）：
しかし、新たな問題が生じます。もしピザを別々の正方形に切ってしまうと、一つの正方形の端にあるペパロニは、次の正方形の端にあるチーズと会話できなくなります。情報が停滞してしまうのです。これを解決するために、著者らはBCPを追加しました。これは、正方形の縁に沿って走る特別な「橋」や「運び屋サービス」のようなものです。軽量なツール（畳み込み/コンボリューション）を使用して、画像全体を（分割せずに）素早く確認し、その情報をメインシステムに送り返します。これにより、AIはブロックの境界を越えて何が起きているかを理解できるようになり、画像全体が繋がり続けるようになります。

展開方法

著者らはまた、この新しいシステムをAIのあらゆる部分にただ適用すればよいわけではないことも理解していました。彼らは、特定のAIアーキテクチャ（「ViT型」のもの）では、ネットワークの最初の半分にのみ使用するのが最適であることを発見しました。他のタイプ（「マルチステージ型」）では、最初の2つのステージで使用するのが最適です。これは、子供に走ることを教える前に歩き方を教える必要があることを知っているようなものです。赤ん坊にランニングシューズを履かせることはありません。SCLA-BCPを適用する場所を慎重に選ぶことで、エネルギーを無駄にすることなく、最高の結果を得ることができました。

結果：世界をより良く見る

チームは、単純な画像認識（猫や犬の識別など）から、複雑なタスク（都市の中の車を見つける、あるいはシーン内の物体を分離するなど）に至るまで、7つの異なるデータセットで新しい手法をテストしました。結果は驚くべきものでした。

• 精度の向上： 物体検出に使用されるCOCO 2017データセットにおいて、彼らの手法は物体検出の精度を最大**9.50%向上させました。シーン理解に使用されるADE20Kデータセットでは、画像の異なる部分を分離する能力を最大3.42%**向上させました。
• 効率性： 彼らは、システムに加える「重み」を極めてわずかに抑えながら、これらの大きな改善を実現しました。例えば、いくつかのモデルでは、わずか0.02から0.48百万個のパラメータ（AIの小さな構成要素）と、ごくわずかな追加エネルギー（約0.09から0.93ミリジュール）しか追加していません。
• 概念実証： 彼らがAIがどのように「考えているか」（MADと呼ばれる平均アテンション距離という指標を使用）を調べたところ、彼らの手法は、以前の手法が失敗することもあったのに対し、実際に近い隣人に焦点を当てていることがわかりました。可視化の結果、彼らのAIは実際の物体（チンパンジーなど）に明確に焦点を当て、背景のノイズを無視していましたが、古い手法は時として注意をそらされてしまうことが示されました。

これが意味すること

この論文は、単にAIを「局所的」にしようとするだけでは不十分であり、「局所的」な部分が実際に画像の物理的なレイアウトと一致していることを確認しなければならないことを示唆しています。著者らは、厳格な「近隣ルール（SCLA）」と「境界の橋（BCP）」を組み合わせ、これらのルールを適用する場所を賢く選択することで、より効率的であるだけでなく、世界をより良く見るスパイキングTransformerを構築できることを示しました。これは、AIにおいて、時には大きな絵を見るための最善の方法は、まず自分の近所を整理し、それからそれらを繋ぐためのいくつかの橋を架けることであるということを思い出させてくれます。