Deep Multimodal Learning with Missing Modality: A Survey
本サーベイは、欠損モダリティを伴うマルチモーダル学習（MLMM）におけるディープラーニング手法に関する初の包括的なレビューであり、その動機、標準的なセットアップとの違い、現在の技術、応用、データセット、および将来の課題を詳細に述べるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな全体像：「五感」の問題
映画を理解しようとしている場面を想像してみてください。通常、あなたには2つの主要な入力があります。それは「視覚」（ビデオ）と「聴覚」（台詞や音楽）です。これは「マルチモーダル」なシステムといいます。つまり、物語の全貌を把握するために複数の感覚を使っているのです。
しかし、現実の世界ではトラブルが起こります。スピーカーが壊れて音が出なくなったり（音声なし）、画面が真っ暗になったり（映像なし）することがあります。あるいは、霧の深い森の中にいて、景色は見えないけれど、カサカサという音だけが聞こえるかもしれません。これが「欠損モダリティ（Missing Modality）」問題です。
ほとんどのAIモデルは、教科書と音声ノートの両方が揃っていないと勉強できない学生のようなものです。片方がなくなると、彼らはパニックに陥り、失敗してしまいます。このサーベイ論文は、AIが「感覚」の一つを失ったとしても、冷静さを保ち、高いパフォーマンスを発揮し続けられるようにする方法を研究者に教えるための、膨大なガイドブックなのです。
この論文は何について書かれているのか？
この論文は「サーベイ（概説）」です。これは、2012年から2025年までに書かれたこの特定のトピックに関するあらゆる本（354本の論文！）を読み終えた司書のような存在だと考えてください。著者であるRenjie Wu氏とそのチームは、これらすべての異なる解決策を明確なマップとして整理し、研究者が何が機能し、何が機能せず、次にどこへ進むべきかを知ることができるようにしました。
彼らはこの分野を「MLMM（欠損モダリティを伴うマルチモーダル学習）」と呼んでいます。
2つの主要な戦略：「データの修正」vs「脳の修正」
著者は、すべての解決策を、壊れた車を「部品を修理する」か「ドライバーの運転方法を変える」かのどちらかで直すような、2つの大きな陣営に分類しています。
1. データ処理：「部品を直す」アプローチ
このアプローチは、AIが考え始める前に、欠けている情報を補おうとするものです。
- 「白紙」メソッド（モダリティ組成）： 本を読んでいるとき、ページが破れている場面を想像してください。そのページをただの白い空白（ゼロ）にするか、デタラメな文字を書き込む（ランダムな値）ことができます。AIは、その空白を無視して他の部分に集中することを学びます。シンプルですが、あまり賢い方法ではありません。
- 「コピー＆ペースト」メソッド（検索）： もしページが足りないなら、図書館にある同じ本の他のコピーを探し、一致するページを見つけて、そこに貼り付けます。これは、本の内容が同一であればうまく機能しますが、もしストーリーが少しでも異なっていれば、間違ったシーンを貼り付けてしまう可能性があります。
- 「想像力」メソッド（モダリティ生成）： これは最も高度な方法です。AIはクリエイティブな作家のように振る舞います。もし音声が欠けているなら、AIはビデオを見て「本来あるべき音」を想像し、それを生成します。まるで手品師が帽子からウサギを取り出すようなものです。論文では、これは素晴らしい手法である一方で、時として「幻覚（ハルシネーション）」、つまり事実ではないことを作り出してしまう可能性があると指摘しています。
2. 戦略設計：「脳を直す」アプローチ
欠けているデータを修正するのではなく、欠損データに対しても自然に対処できるように、AIの構造（アーキテクチャ）自体を変更するアプローチです。
- 「スポットライト」メソッド（アテンション）： 教室にいる先生を想像してください。生徒が欠席していても、先生は授業を止めません。代わりに、出席している生徒にスポットライトを当てます。「アテンション（注意）」メカニズムにより、AIは利用可能なデータだけに動的に焦点を合わせ、欠損している部分を無視することができます。
- 「家庭教師」メソッド（蒸留）： すべての本を持っている賢い生徒（教師）と、本の半分しか持っていないあまり賢くない生徒（学生）を想像してください。教師は、欠けている章について学生に説明します。学生は、物理的な本がなくても、物語全体を理解する方法を学びます。
- 「チームワーク」メソッド（モデルの組み合わせ）： 一つの巨大なAIを作るのではなく、専門家チームを作ります。ビデオがなければ「音声のエキスパート」に聞き、音声がなければ「ビデオのエキスパート」に聞きます。彼らは答えについて一緒に投票します。
- 「スーパーブレイン」（大規模言語モデル）： 最近では、チャットボットを動かしているような巨大なAIモデルが登場しました。これらは非常に賢く、テキスト、画像、音声を一度に理解できます。非常に柔軟なので、一つの入力が取り除かれても、人間が写真が見えなくても物語を話し続けられるのと同じように、適応して進み続けることができます。
これはどこで使われているのか？（実世界の例）
論文では、これが極めて重要となる多くの場面を挙げています。
- 医療スキャン： 医師は患者のMRIスキャンは持っているが、CTスキャンを持っていない場合があります。AIは、デタラメな推測をすることなく、MRIだけで病気を診断する必要があります。
- 自動運転車： 車のカメラが雪で目がくらんだり、レーダーが故障したりすることがあります。車のAIは、まだ機能しているセンサーだけを使って、安全に運転し続けなければなりません。
- 感情検出： ビデオ通話で音声は悪いけれど、映像は鮮明な場合があります。AIは、あなたの顔を見ることで、あなたが幸せか悲しいかを判断できるはずです。
- ロボット工学： 洞窟を探索しているロボットがGPS信号を失うことがあります。ロボットは、カメラと触覚センサーだけを使ってナビゲートする必要があります。
私たちがまだ解決できていない問題
これらの素晴らしいテクニックがあるにもかかわらず、論文はいくつかの大きな悩みを指摘しています。
- 「偽データ」の罠： AIが欠けているデータを「想像」するとき、間違った詳細を作り出してしまうことがあります。もし自動運転車が、崖がある場所に道があると「想像」してしまったら、それは危険です。
- 「怠け者」のAI： 時として、AIは欠けている部分を補おうと試みるものの、結局新しい情報を無視してしまい、今ある一つのセンサーだけに頼ってしまうことがあります。これは十分な情報量にならない可能性があります。
- 「乱れた図書室」： 単一の標準的なテストが存在しません。ある研究者は欠損データを10%としてテストし、別の研究者は90%としてテストしているかもしれません。誰が本当に優れているのかを比較するのは困難です。
- 重すぎる： これらの解決策の多くは、膨大なコンピュータパワー（スーパーコンピュータのようなもの）を必要とします。しかし、現実世界のデバイス（スマートウォッチやドローンなど）は小さく、バッテリーも弱いです。私たちは、小さなチップでも動作する「軽量な」解決策を必要としています。
まとめ
この論文はロードマップです。センサーが壊れたりデータが欠けたりしても対処できるようにAIを教えることで、私たちは大きな進歩を遂げましたが、それでも「デタラメなことを言わない」「スーパーコンピュータを必要としない」「現実世界の混乱した状況に惑わされない」という、より良い方法がまだ必要であることをこの論文は伝えています。目標は、視界がぼやけていたりマイクが壊れていたりしても、世界を理解できる人間のように、強靭（ロバスト）なAIを構築することです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。