技術要約：モダリティ融合を超えて：マルチモーダル分類のためのディープアンサンブル

問題提起

マルチモーダル分類において、標準的なアプローチは、単一モダリティのニューラルネットワークによって抽出された特徴量を結合し、それらを結合分類器に渡す「後半結合（late-fusion）」ネットワークである。しかし、顕著なモダリティ不均衡（あるモダリティが他方よりも有意に予測力を持つ、あるいは収束が速い場合）が存在する場合、素朴な後半結合ネットワークは、最良の単一モダリティ・ベースラインを下回ることが多い。この現象は、最適化プロセスが、より低速に収束する（弱い）モダリティを十分に探索しないために起こる。これにより、特徴抽出が最適化されない。学習のバランスを取るために、勾配変調（gradient modulation）や損失正則化などの様々な正則化手法が提案されてきたが、後半結合の設定において単一モダリティの特徴を組み合わせる最適な手法は依然として未解決の課題である。

手法

著者らは、明示的なモダリティ融合の代替案として、**ヘテロジニアス・ディープアンサンブル（Heterogeneous Deep Ensembles: HeDEs）**を提案する。HeDEsは、特徴を融合するために単一のネットワークを訓練するのではなく、異なるモダリティに対して独立して訓練された複数の単一モダリティ・ネットワークで構成される。最終的な予測は、これら独立したモデルの出力ロジットの平均によって得られる。

主な手法構成要素は以下の通りである：

1. アンサンブルの構築： 二モーダル・データセットの場合、著者らはモダリティ1に対して$n_1$個、モダリティ2に対して$n_2$個の分類器を訓練する。アンサンブルの予測は、全$N_{ens} = n_1 + n_2$個のロジットの平均である。$n_2=0$の場合、これはホモジニアス・ディープアンサンブル（Homogeneous Deep Ensemble: HoDE）に還元される。
2. モデル割り当てのヒューリスティック： 最適なモダリティごとのモデル数（$n_1, n_2$）を求めるための計算コストの高い全探索を避けるため、著者らは検証損失（$l_i$）に基づくヒューリスティックを提案している。モダリティ$i$のモデル数は$1/l_i$に比例する：
   $$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$$
   このヒューリスティックは、極端な不均衡下では、小規模なスケールでは強いモダリティの同質（homogeneous）アンサンブルが好まれるが、アンサンブルのサイズが大きくなるにつれて異質（heterogeneous）なアンサンブルが最適になることを予測している。
3. 合成データセット・フレームワーク： モダリティ不均衡を系統的に研究するために、著者らは合成データ構築法を導入している。単一モダリティのデータセットから出発し、それを非重複のサブセットに分割することで、二モーダル（または三モーダル）のペアを作成する。これらのサブセットのサイズを変化させることで、予測強度と収束速度を制御し、従来の合成ベンチマークには存在しない最適化の課題を観察するために過剰パラメータ化されたネットワークを訓練できる。
4. スケーリング則： 著者らは、サイズ（$N$）および比率（$\theta$）の関数としてのアンサンブルのテスト損失に対してべき乗則を適合させ、アンサンブルの漸近的性能が個々の単一モダリティ・モデルの損失から予測可能であることを示している。

主な貢献

1. ディープアンサンブルの優位性： 本論文は、ディープアンサンブルによる単一モダリティ・ネットワークが、最先端の後半結合法（OGM-GE、MMPareto、InfoRegのような不均衡に対処する設計を含む）、中間結合技術（MMTM、クロスアテンション）、およびハイブリッド手法（I2M2）を一貫して上回ることを示している。これは、等しいパラメータ数を持つモデルとの比較においても成立する。
2. 割り当てヒューリスティックの検証： モダリティごとのモデル数を選択するための提案されたヒューリスティックは、合成および実世界のデータセットにおいて経験的に検証されている。これは、アンサンブルサイズが拡大するにつれて、同質から異質への移行を正確に予測しており、特に極端なモダリティ不均衡条件下において顕著である。
3. 合成マルチモーダル・フレームワーク： 著者らは、モダリティの数と予測強度を独立して制御できる合成データセット構築法を提供している。このフレームワークは、実際の運用で見られる最適化の課題（例えば、後半結合における弱いモダリティの収束の速さ）を明らかにしており、これまでの合成ベンチマークでは再現できなかったものである。
4. アンサンブルのスケーリング則： 本研究は、ヘテロジニアス・ディープアンサンブルの漸近的なテスト損失が、単一モディリティ・モデルの損失から信頼して予測可能であるというスケーリング則を確立しており、これは単一モディリティの検証メトリクスだけでフルアンサンブルの性能を推定できることを示唆している。

実験結果

著者らは以下のデータセットで彼らの手法を評価した：

• 合成データ： CIFAR-100およびImageNet-1Kの二モーダルおよび三モーダル分割。
• 実世界のデータ： CREMA-D（音響・視覚）、Sarcasm（テキスト・視覚）、およびKinetics-400（音響・視覚）。

主な知見：

• 性能： HeDEsは、すべてのデータセットおよび不均衡レベルにおいて、すべての後半結合ベースライン、中間結合ネットワーク、およびハイブリッドモデルを上回った。
• 不均衡のダイナミクス： 極端な不均衡かつ小さなアンサンブルサイズの下では、HoDEs（強いモダリティのみを使用）がHeDEsを上回った。しかし、アンサンブルサイズが増加するにつれ、HeDEsは一貫してHoDEsおよび後半結合法を凌駕した。
• ヒューリスティックの正確性： 提案されたヒューリスティックは、ほぼすべてのテストされた構成において最適なモダリティ割り当てを正確に予測し、最小限のエラーで総当たり探索の結果と一致した。
• 較正（キャリブレーション）： HeDEsにおけるロジット平均は、事後的な較正を必要とせず、良好に較正された予測を提供し、しばしば確率平均よりも優れた性能を示した。
• コスト： HeDEsの訓練には複数の独立したモデルの訓練が必要であるが、推論コストは同等のパラメータ数を持つ後半結合ネットワークと同等である。また、訓練プロセスは完全に並列化可能である。

意義と主張

本論文は、効果的なマルチモーダル分類のために、明示的なモダリティ融合は厳密には必要ではないと主張している。代わりに、独立して訓練された単一モダリティ・モデルのアンサンブルによって、マルチモーダル・データの恩恵を得ることができる。著者らは、彼らのアプローチが、複雑な融合アーキテクチャに対する堅牢でパラメータ効率の良い代替案、特にモダリティ不均衡があるシナリオにおいて提供されると主張している。

彼らの研究は、後半結合の「強欲な」性質（これはしばしば弱いモダリティの無視につながる）が、ディープアンサンブルの独立した訓練と集計戦略によって回避できることを示唆している。さらに、単一モダリティの検証損失のみを用いてアンサンブルの性能と最適な構成を予測できる能力は、リソース制約のあるマルチモーダル学習のための実用的なツールを提供する。

著者らは、彼らの知見が多様なデータセットで一貫しているものの、割り当てヒューリスティックの理論的根拠は依然として不明確であり、より広範な融合技術や大規模なマルチモーダルモデルに対するさらなる評価が必要であることを認め、控えめな姿勢を維持している。また、彼らの合成構築はインスタンス整合（instance-aligned）ではなくクラス整合（class-aligned）であることも述べているが、研究対象となっている現象（汎化と収束速度）は、この設定においても保持されていると主張している。