Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

あなたは、あらゆる状況下で完璧に見ることができるロボットのための究極のカメラを構築しようとしていると想像してください。あなたには2つの異なる「目」があります。一つは、人間のように素晴らしい色彩や質感を見る「可視光」の目ですが、暗闇や煙の中では盲目になります。もう一つは、熱を見る「赤外線」の目です。これは暗闇や霧の中でも人間を見つけ出すことができますが、見た目はぼやけた灰色の熱的な塊（サーマル・ブロッブ）のようです。目標は、これら2つの目を1つのスーパービジョン・システムへと融合させる「画像融合（Image Fusion）」です。

長い間、科学者たちは**人工ニューラルネットワーク（ANN）**を使用してこれを行おうとしてきました。これは、どんなに小さく重要でない数字であっても、スプレッドシートのすべての数値を足し合わせる、超高速だが非常に疲れやすい会計士のようなものです。これはうまく機能しますが、メールをチェックするためだけにフルマラソンを走るかのように、膨大なエネルギーを消費します。

ここで**スパイキングニューラルネットワーク（SNN）**が登場します。これらは、私たちの実際の脳の仕組みから着想を得ています。数値を絶えず加算する代わりに、これらは「叫ぶ」準備をしている部屋に集まった人々のようです。何か面白いことが起きた時にだけ、「スパイク（信号）」を発射（発火）します。これにより、驚異的なエネルギー効率を実現しています。まるで、誰かが部屋に入った時だけ点灯する電球のようです。しかし、ここには落とし穴があります。彼らは「十分に大きな声」が出た時にしか叫ばないため、重要な情報の「小さな囁き」を聞き逃してしまう可能性があるのです。もし熱信号が弱すぎてニューロンを叫ばせる（発火させる）のに十分でなければ、それは無視されてしまい、ロボットはその重要な詳細を見失ってしまいます。

ここで、この問題を解決する新しい論文が登場します。ルイ・チャオ（Rui Zhao）氏らのチームは、CIS-Fuseと呼ばれる巧妙なトリックを提案しています。ニューロンが叫ぶ（スパイクを発火させる）のを待ってから2種類の視覚を混ぜるのではなく、彼らは「叫びが起こる前」に信号を混ぜるのです。彼らは**電流注入（Current Injection）**というメカニズムを使用しています。これは、一方の目の微弱な信号を、もう一方の目のニューロンの「バッテリー（膜電位）」へと優しく注入する方法です。これにより、たとえその信号が単独では叫ぶには弱すぎたとしても、もう一方の目の信号と組み合わさることで、ニューロンを限界まで押し上げ、発火させる手助けをすることができるのです。

その結果、このシステムは「叫ぶ」脳が持つ超低消費電力のメリットを維持しながら、細部を失わないという成果を生み出しました。チームは4つのデータセットでこれをテストし、彼らの手法が、エネルギーを大量に消費する重たい会計士（ANN）と同等の融合画像を作り出しつつ、実行にはおよそ10倍少ないエネルギーで済むことを発見しました。また、彼らの融合画像を使用するロボットは、暗闇での車や人の発見においてより優れた性能を示すことも証明しました。つまり、クリアに見るために多くの電力を消費する必要はないということです。

問題点： 「小さすぎて叫べない」ジレンマ

なぜこの論文が重要なのかを理解するには、2つの全く異なる情報処理方法の間の緊張関係を見る必要があります。

一方には、現代のAIの多くを動かしている**人工ニューラルネットワーク（ANN）**があります。これらは、巨大で連続的な水の流れのようなものです。すべての水滴（すべてのデータ）が測定され、混合されます。これは、明るい光であれかすかな影であれ、あらゆる微細な詳細を捉えるのに適しています。しかし、それは高価です。多くの計算能力を必要とし、バッテリーを急速に消耗させます。これは、限られた電力で一日中稼働する必要があるドローンや自動運転車にとって問題となります。

もう一方には、**スパイキングニューラルネットワーク（SNN）**があります。これらは、デジタル版の神経系のようです。SNNのニューロンは、入力が「閾値（しきい値）」を超えるまで静かに座っています。一度そのラインを越えると、彼らは単一のバイナリ・スパイク（1）を発射します。ラインを越えなければ、彼らは沈黙したまま（0）です。これは、何かが面白いことが起きた時にだけシステムが動作するため、非常に効率的です。

問題は、SNNを画像融合に使用しようとする時に発生します。融合には、赤外線カメラからの弱い信号（例えば、人のかすかな熱源）と、可視光カメラからの強い信号（例えば、木の質感）を取り込み、それらを完璧にブレンドすることが求められます。標準的なSNNでは、もし赤外線信号がニューロンを発火させるほど強くない場合、その信号は破棄されてしまいます。これは、囁き声を混ぜようとしているのに、叫び声だけに耳を傾けているようなものです。叫び声だけに耳を傾けていれば、囁き声を聞き逃してしまいます。この論文は、この「バイナリ（二値）」的な性質が、融合を有用にするための補完的な情報を捨ててしまっていると主張しています。

解決策： 叫ぶ前に混ぜる

この論文の著者たちは、解決策は**膜電位（membrane potential）**にあることに気づきました。生物学的なニューロン（およびS S N）において、ニューロンが発火する前に、ニューロンは「バッテリー（膜電位）」の中に電荷を蓄積します。このバッテリーは、入力がまだ叫び声を上げるほど強くなくても、その信号を保持し続けます。

著者らは、CIS-Fuseという新しいオペレーターを提案しています。その仕組みは、簡単な言葉で言えば以下の通りです。

1. セットアップ: 2つのデータのストリームを想像してください。一つは赤外線カメラから、もう一つは可視光カメラからのものです。
2. 注入: 両者がどちらが先に叫ぶかを争わせるのではなく、システムは「補助的な」ストリーム（例えば赤外線）を取り出し、それをメインのストリーム（例えば可視光）の「バッテリー」へと「ゲート付き電流」として注入します。
3. ゲートキーパー: スマートなゲートキーパー（学習可能なゲート）が存在し、補助的な信号をどれだけ取り入れるかを決定します。また、すべての情報チャンネルに対して特別なダイヤル（学習可能なスケール係数）を持っており、「この特定の詳細は重要だからブーストしよう」とか、「これは必要ないので低くしておこう」といった判断をシステムが行えるようにしています。
4. 融合: ニューロンが発火するかどうかを決める前に、2つの信号は「バッテリーの中で」混ざり合います。これは、たとえ可視光信号単体では不十分だったとしても、微弱な赤外線信号がニューロンを限界まで押し上げ、発火を助けることができることを意味します。

このアプローチは、そうでなければ失われてしまうであろう「きめ細かな（fine-grained）」応答を保持します。これは、静かな人が隣にいる大声の人と一緒にいれば、最終的な決定に貢献できるチームのようなものです。単に声が小さいという理由だけで無視されることはありません。

アーキテクチャ： 特殊なドライバーを備えた二車線ハイウェイ

これを効果的に機能させるために、研究者たちは特定のネットワークアーキテクチャを構築しました。彼らは単にアイデアをランダムに混ぜたのではなく、巧妙なひねりを加えたデュアルブランチ（二系統）システムを設計しました。

彼らは、画像を処理する2つの並行したパス（ブランチ）を作成しました。

• シャロー・ブランチ（浅いブランチ）: このパスは層が少なく（彼らの特別な融合モジュールが1ブロックのみ）、
• ディープ・ブランチ（深いブランチ）: このパスは長く、3つの融合モジュールブロックを積み重ねています。

最初、あなたは「なぜ長さの違う2つを用意するのか？」と思うかもしれません。論文は、この非対称性がネットワークに自然な専門化を促すと示唆しています。学習後、「シャロー」ブランチと「ディープ」ブランチは異なる挙動を示すようになりました。シャロー・ブランチは緩やかな混合を行うことを学習し、ディープ・ブランチは重厚で強烈な混合を行うことを学習しました。これは、キッチンに2人のシェフがいるようなものです。一人は素早く軽いタッチで混ぜる料理人であり、もう一人は強力なブレンダーを使う料理人です。両者が揃うことで、あらゆるニーズをカバーできるのです。

また、論文は**再パラメータ化出力ヘッド（Reparameterized Output Head）**も導入しています。これは、学習時にはシステムを賢くし、使用時にはシンプルにする技術的なトリックです。学習中、システムは画像を組み合わせる最善の方法を学ぶために複雑なマルチブランチ構造を使用します。しかし、学習が終わると、システムはそのすべてのブランチを単一のシンプルな畳み込み層へと「崩壊（collapse）」させます。これにより、最終的な製品は、学習時の複雑な負担を持つことなく、標準的なレイヤーと同じくらい高速でシンプルなものになります。

結果： 高品質かつ低エネルギー

研究者らは、CIS-Fuseを4つの異なるベンチマーク（赤外線画像と可視光画像のデータセット）でテストし、Text-IF、DCEvo、S4Fusionといった強力な手法を含む、15の最新鋭の手法と比較しました。

視覚的品質:
結果は、CIS-Fuseが最高峰のANNベースの手法と同等の融合画像を作成することを示しました。実際、平均的なパフォーマンス指標において、CIS-Fuseはトップにランクインしました。

• 暗闇における人や車の鋭い熱的な輪郭を保持しました。
• 可視光画像からの樹木や道路標識の微細な質感を維持しました。
• 他の手法でよく見られる問題である、詳細が「白飛び」したりぼやけたりすることもありませんでした。

ダウンストリーム・タスク（後続タスク）:
論文は、単に綺麗な画像を作るだけでなく、これらの融合画像が実際にロボットの「視覚」を向上させるかどうかをテストしました。

• 物体検出: 彼らは融合画像を使用して、YOLOv8s検出器（物体を見つけるシステム）を学習させました。CIS-Fuseは、他のすべての手法と比較して、最も高い精度（mAP 59.8）を達成する助けとなりました。特に、困難な条件下での人物や車両の発見において優れた性能を発揮しました。
• セマンティック・セグメンテーション: また、ピクセルごとにラベル付けを行うシステム（塗り絵のようなもの）もテストしました。CIS-Fuseは最高の総合スコア（mIoU 74.3）を達成し、競合他社よりも車、ガードレール、歩行者などの物体を正確にアウトライン化できることを示しました。

エネルギー効率:
これがこの論文の「キラー機能」です。CIS-Fuseはスパイキングニューロンを使用しているため、スパイクが発生した時にのみ動作します。

• 研究者がニューロンの「発火率」を測定したところ、平均して、ある時点で発火しているニューロンは約**14.48%**に過ぎませんでした。
• 標準的なエネルギーモデルを使用すると、CIS-Fuseは、同規模のANNベースの手法（具体的にはDCEvo）と比較して、およそ1桁（10倍）少ないエネルギーを使用することが推定されました。
• エネルギー節約効果は、画像の解像度が高くなるにつれてさらに大きくなります。

この論文が否定したもの

この論文は、何が彼らの手法ほど上手くいかないかを明確に述べています。

• 単純な加算: 2つの画像を単に足し合わせる（要素ごとの加算）、あるいはスタックして単純なフィルターを通す（結合）手法は、著しく劣っていました。これらは、信号がどのように相互作用すべきかというニュアンスを逃していました。
• 片方向の融合: 片方向のみ（例：赤外線から可視光への一方通行）で信号を混ぜることは、双方向の混合よりも劣っていました。論文は、両方のモダリティが互いに洗練させ合う必要があると主張しています。
• 対称ブランチ: 2つのブランチを全く同じ長さ（対称）で使用することは、彼らの非対称（シャロー vs ディープ）な設計ほど上手くいきませんでした。この非対称性が、ネットワークに専門化させ、異なる役割を学習させる鍵であると論文は示唆しています。
• 単純なニューロン: 古い、より単純なニューロンモデル（学習可能なパラメータを持たない標準的なIntegrate-and-FireやLeaky Integrate-and-Fireなど）を使用すると、性能が悪化しました。論文は、ニューロンが「時定数（信号をどれくらい記憶するか）」を学習できる能力が極めて重要であることを強調しています。

結論

論文CIS-Fuseは、エネルギー効率と高品質な画像融合のどちらか一方を選ぶ必要はないということを示唆しています。混合プロセスを「膜電位」の段階、つまりニューロンが叫ぶ前に信号を混ぜる段階へと移動させることで、研究者たちは非常に効率的かつ非常に効果的なシステムを作り上げました。

彼らは、最も高度でエネルギーを大量に消費するAIモデルと同等の視覚的品質を実現しながら、ごくわずかな電力で動作することを示すことで、これを証明しました。これは、ドローン、ロボット、自動運転車のように、1ジュール（J）のエネルギーが極めて重要となるバッテリー駆動のデバイスに、スマートなビジョンシステムを配備するための大きな一歩となります。著者らは、複数のデータセットとタスクにわたって結果を検証しており、他の人々が検証し、発展させられるよう、コードを公開しています。