LDMFNet: A Lightweight Dual-Modal Fusion Network for Accurate Multispectral Object Detection

霧の立ち込める夜の公園で、友人を見つけようとしている場面を想像してみてください。もし、普通の懐中電灯（標準的なカメラのようなもの）しかなければ、その人の形は見えても、霧のせいで赤いジャケットを着ているのか青いジャケットを着ているのかまでは判別するのが難しくなります。一方で、熱感知式のナイトビジョンゴーグル（赤外線カメラのようなもの）だけがあれば、周囲の冷たい背景に対してその人の温かい体がはっきりと見えますが、顔の細部や何を持っているかまでは分かりません。これが「単一モダリティ（single-modality）」の視覚が抱える典型的な問題です。つまり、一つの種類の感覚だけに頼ると、困難な条件下では推測に頼らざるを得なくなるのです。

この問題を解決するために、コンピュータビジョンの分野の研究者たちは、ロボットや自動運転車のために「デュアルモダル（二重様式）」の目を作り始めています。これらのシステムは、通常の写真が持つ豊かな色彩や質感と、赤外線画像が持つ熱感知能力を組み合わせようとします。それは、探偵に高精細な写真とサーマルスキャンを同時に与えるようなものです。目標は、真っ暗な夜でも、目がくらむような晴天でも、あるいは濃い霧の中でも、機械が鮮明に視覚を得られるようにすることです。しかし、ここには落とし穴があります。これら2つの強力な情報ストリームを組み合わせるには、通常、膨大な計算を行うための巨大で重いコンピューターの脳が必要となり、それが処理速度を低下させ、小型ドローンや自動車への搭載を困難にします。大きな疑問は、「最高レベルの精度を持ちながら、重くて遅いコンピューターを使わずに済む方法はないのか？」ということです。

これこそが、研究者たちが LDMFNet を通じて解き明かそうとした課題です。彼らは、これら2種類の視覚を融合させるための、新しい「軽量な」手法を提案しています。巨大で不器用な脳でデータを処理する代わりに、彼らは、非常に効率的な専門家チームのように機能する、よりスマートでスリムなシステムを設計しました。

「重い」アプローチの問題点

過去において、可視光（RGB）と赤外線（IR）の画像を統合しようとする試みは、多くの場合、2つの別々の重いニューラルネットワークを並行して走らせることを意味していました。それは、同じシーンを見ている2人の異なる専門家を雇い、意思決定をする前にあらゆる細部について議論させるようなものでした。このプロセスは多くの「特徴量の混乱（feature confusion）」を生み出し、膨大な計算能力を必要としたため、リアルタイムでの実行を遅く、かつ高価なものにしていました。著者らは、単に計算能力を投入するだけでは正しい答えにはならないと主張しています。むしろ、2種類の画像が足取りを重くすることなく、互いに情報をやり取りできるような、よりスマートな方法が必要なのです。

解決策：軽量な専門家チーム

著者らは、Lightweight-Dual-CSPDarknet と呼ばれる巧妙な構造に基づいた LDMFNet（Lightweight Dual-Modal Fusion Network）を紹介しています。これは、合理化された工場のラインのようなものです。あらゆる細部を重いハンマーで叩きつけるのではなく、プロセスの最初段階で「チャネルを刈り込む（回路内の不要なワイヤーを切り取るようなもの）」を行います。これにより、視覚能力を損なうことなく、必要な計算量を即座に削減し、システムを大幅に高速化させています。

画像がシステムに入ると、それらはすぐに2つの写真を混ぜ合わせるわけではありません。それは、油と水を混ぜて完璧に混ざることを期待するようなものです。代わりに、システムは DOIM（Detail-Contour Feature Interaction Aggregation Module）と呼ばれる特別なモジュールを使用します。このモジュールは発明の中核であり、2つの明確で遊び心のあるステップで動作します。

1. 「スキップ接続型チャネル・アテンション（SCCA）」: 細かなディテール（ほくろのようなもの）を見つけるのが得意な友人と、大きな輪郭（車の形のようなもの）を見るのが得意な友人がいると想像してください。SCCAモジュールは、混乱を避けるために、まず彼らが独立して作業できるようにします。その後、「スキップ接続」という一種のエクスプレス・エレベーターを使用して、彼らの最高の洞察を互いに伝えます。これにより、複雑なフル・フュージョン（完全な融合）という重労働を行う前に、異なる特徴の重要性を判断することができます。これは、ディテール担当者の声を聞くべきか、輪郭担当者の声を聞くべきかを正確に知っているスマートなマネージャーがいるようなもので、重要な手がかりが失われないように保証します。

2. 「マルチスケール空間アテンション（MSSA）」: 2つのストリームが互いの洞察を共有した後、MSSAモジュールが介入します。この部分は、さまざまなサイズの拡大鏡のようなものです。システムは、様々なレンズ（7x1、11x1、21x1といった異なるカーネルサイズ）を通して結合された画像をスキャンし、小さな鳥から巨大なトラックまで、あらゆるサイズの物体を捉えます。「深度分離畳み込み（depthwise separable convolutions）」を用いることで、エネルギーを節約しながら非常に効率的にスキャンを行い、何も見逃さないようにしています。

研究結果

研究者たちは、3つの異なる実世界のデータセット、すなわち LLVIP（歩行者）、DroneVehicle（空からの車両）、FLIR（熱画像）を用いて、この新しいシステムをテストしました。結果は非常に有望なものでした。

空からの視点で車両を特定することに特化した DroneVehicle データセットにおいて、彼らの手法は mAP（検出の正確さを示すスコア）で 81.1 を達成しました。これは驚異的な飛躍であり、最高水準の単一カメラ（RGBのみ）の手法を 15.4パーセントポイント 上回り、既存の最高のデュアルカメラ手法をも 9.7パーセントポイント 上回りました。

人を特定するための LLVIP データセットでは、モデルは mAP@50 で 95.8、mAP@50:90 で 60.8 に達しました。真に印象的なのは、これほど高いスコアを達成しながら、モデルのサイズはわずか 2.38 M（238万）パラメータ、計算コストは 6.2 GFLOPs という非常に小さいサイズに抑えていることです。比較すると、他の多くの高性能モデルは、同等あるいはそれ以下のスコアを得るために、はるかに多くの「脳の力」を必要とします。

なぜ重要なのか

この論文は、2種類の画像がどのように相互作用するかを注意深く設計すること（混乱を避けるために十分に分離しつつ、強みを共有するために十分に接続すること）によって、極めて正確かつ驚くほど高速な視覚システムを構築できることを示唆しています。著者らは、相互作用モジュールを特定のステージ（P3、P4、P5レイヤー）に配置することが極めて重要であることを発見しました。早すぎても遅すぎても、同様の効果は得られませんでした。

要約すると、LDMFNetは、暗闇や霧の中で鮮明に見るために、巨大で遅いコンピューターは必要ないということを示しています。少しの巧妙なエンジニアリングがあれば、軽量なシステムがスーパー探偵のように振る舞い、視覚と熱のベストな部分を組み合わせることで、高い精度で物体を特定できます。これは、自動運転車やドローンによる点検などの実世界での用途において、非常に有力な候補となります。