Challenges and proposed solutions in modeling multimodal medical data: A systematic review

巨大で複雑なパズルを解こうとしているところを想像してみてください。ただし、単に一つのパズルの箱があるのではなく、いくつかの箱があります。ある箱にはカラフルな写真（医療スキャンのようなもの）が入っており、別の箱には長い数字のリスト（遺伝コードのようなもの）が入っています。三つ目の箱には日々の日記の記録（患者の診療録のようなもの）があり、四つ目の箱にはスマートウォッチからのデータ（心拍数など）が入っています。医学の世界では、これを**マルチモーダル・データ（multimodal data）**と呼びます。「マルチ」は「多くの」、「モーダル」は異なるタイプや「モード」を意味します。医師たちは、X線検査や血液検査といった一つの種類の情報だけを見ることは、映画の全体像を理解しようとして、たった一コマのフレームだけを見ているようなものであることを、古くから知っています。患者の健康状態という物語の全貌を把握するには、これらすべての異なるピースを組み合わせる必要があるのです。

しかし、これらの異なるパズルの箱を混ぜ合わせるのは、非常に困難な作業です。ピース同士が自然に噛み合うことはありません。形も大きさも色も異なるからです。一部の箱にはピースが完全に欠けていたり、ある箱には何千もの小さなピースがある一方で、別の箱にはほんの数個しかなかったりします。時には、ピースがあまりに小さすぎたり、画像がぼやけすぎていたりして、何が起きているのか判別するのが難しいこともあります。これが、**人工知能（AI）**の分野の研究者たちが解決しようとしている問題です。彼らは、これらの異なるパズルの箱を組み合わせる方法を学習できるコンピュータ・プログラムを構築しています。しかし、完璧なロボット・パズル・ソルバーを構築する前に、現実世界の「散らかり具合」をどう扱うかを考え出さなければなりません。

この論文は、このパズルを解こうとしてきた過去10年間の「成績表」のようなものです。著者たちは、ドイツの大学の研究チームです。彼らは自分たちで新しいロボットを作ったわけではありません。その代わりに、探偵のように振る舞い、2011年から2023年後半までに発表された69もの異なる研究を追い詰めました。彼らは、これらの科学者たちが医療データを混ぜ合わせようとする際にどのような問題に直面したのか、そしてより重要な点として、それらの問題を解決するためにどのような「コツ」を使ったのかを見つけ出すために、そのすべてを読み込みました。彼らが知りたかったのは、「この分野における最大の悩みは何であり、私たちはそれらを解決する術を向上させているのか？」ということです。

5つの大きな悩み

何百もの論文を整理した後、チームは、ほとんどの人が同じ5つの戦いに直面していることを発見しました。

1. 欠損ピース問題（The Missing Piece Problem）
パズルを解こうとしているのに、ある患者については「X線」の箱が完全に空っぽである状況を想像してください。機械が故障したか、患者が検査費用を払えなかったか、あるいは研究から脱落したのかもしれません。現実の世界では、このようなことは常に起こります。論文によると、69件の研究のうち15件（約22%）がこの問題に対処しなければなりませんでした。

• 解決策： 単に推測したり空白のままにしたりする代わりに、賢いコンピュータ・プログラムは、欠けているピースを「幻視（ハルシネーション）」することを学んでいます。彼らは、**敵対的生成ネットワーク（GANs）のような技術を使用します。これは、二人のAIアーティストがゲームをしているようなものです。一人が本物に見える偽のX線を描こうとし、もう一人がその偽物を見破ろうとします。この練習を通じて、AIは欠落したデータの現実的な推測を作成する方法を学びます。他の手法では、ある種のデータについてはすべてを知っている「教師」AIが、すべてのピースを見ていなくても、他のピースを推測する方法を「生徒」AIに教える知識蒸留（knowledge distillation）**が用いられます。

2. 小さな群衆問題（The Tiny Crowd Problem）
時には、パズルはあるものの、それを解くための助けとなる人がほんの数人しかいないことがあります。医学研究において、これは**小規模データセット（small dataset）**と呼ばれます。論文では、これが最も一般的な課題であり、17件の研究（25%）で見られたことが示されています。もし、わずか5つの例だけで希少疾患を認識するようにコンピュータを教えようとすれば、コンピュータはそれら5枚の画像を単に暗記してしまい、新しい画像を見たときに失敗してしまうでしょう。

• 解決策： これを回避するために、研究者は**転移学習（Transfer Learning）を利用しています。これは、一般的な画像（猫や車など）についてすでに100万時間学習した学生を連れてきて、医療画像に関する短期集中講義を行うようなものです。また、コンピュータが持っている数少ない画像を、人工的に回転させたり、反転させたり、明るさを変えたりすることで「新しい」練習用画像を作り出し、小さな群衆を巨大なスタジアムのように見せるデータ拡張（Data Augmentation）**も行われます。

3. サイズの不一致問題（The Size Mismatch Problem）
バケツ一杯の砂と、一粒の米を混ぜようとしている場面を想像してください。バケツの砂は画像データ（数百万ピクセルを持つ可能性がある）を表し、米の一粒はゲノムデータ（数千の数字しかない可能性がある）を表します。これらをただ一緒にぶちまけてしまうと、コンピュータは米を無視して砂だけを見てしまいます。これは**次元の不均衡（imbalance in dimensionality）**と呼ばれ、7件の研究がこれに取り組みました。

• 解決策： 解決策は、砂のバケツを米のサイズまで縮小するか、あるいは米に特別な「重み」を与えて、コンピュータが注意を払うようにすることです。研究者は、審判が「おい、小さなデータを無視するな！それは重要だ！」と叫ぶような**重み付き損失関数（weighted loss functions）**を使用します。これにより、コンピュータは巨大な画像と小さなゲノスのリストの両方に等しく耳を傾けるよう強制されます。

4. 「ブラックボックス」問題（The "Black Box" Problem）
コンピュータがパズルを完璧に解いたとしても、多くの場合、どのようにしてそれを解いたのかを説明することを拒みます。医学において、これは危険なことです。もしコンピュータが「この患者には癌があります」と言っても、なぜそう判断したのかを医師に説明できなければ、医師はその結果を信頼することができません。この**解釈可能性（interpretability）**の欠如は、14件の研究における課題でした。

• 解決策： 科学者たちは、AIのための「懐中電灯」を構築しています。彼らは、Grad-CAMやSHAPといった、X線のどの部分やどの特定の遺伝子をコンピュータが見て判断を下したのかを強調するツールを使用しています。それは、コンピュータがX線の怪しい箇所に丸を描き、「これを見たので、このように判断しました」と言うようなものです。

5. 混合戦略問題（The Mixing Strategy Problem）
最後に、「どのようにデータを混ぜるか」という問題があります。生のピースを最初に混ぜ合わせるべきか（早期融合：Early Fusion）、部分的に解かれた後に混ぜるべきか（中間融合：Intermediate Fusion）、あるいは個別に解いてから最後に答えを組み合わせるべきか（後期融合：Late Fusion）です。論文によると、69件の研究のうち39件（半分以上）が**中間融合（Intermediate Fusion）**を使用していました。

• 解決策： このアプローチは、専門家チームを持っているようなものです。X線の専門家と血液検査の専門家が、それぞれ自分の手がかりをまず研究し、最終的な決定を下す前に、途中で合流して意見を交換します。これは、最初からすべてを混ぜ合わせたり、最後の方まで待ったりするよりも上手くいっているようです。

論文が述べていること（および述べていないこと）

著者たちは、完全勝利を宣言しないよう慎重になっています。彼らは、多くの巧妙なトリックが存在するものの、あらゆる疾患やあらゆるタイプのデータに対して機能する**「魔法の弾丸（特効薬）」となる単一の手法は存在しない**ことを発見しました。最善の解決策は、解こうとしている特定のパズルによって完全に異なります。

また、彼らはいくつかのアイデアを明確に退けています。例えば、データの違いを考慮せずに単にすべてのデータを貼り合わせる手法（「早期融合」と呼ばれる方法）は、ビデオとスプレッドシートを混ぜるような、データ型があまりに異なるときにはしばしば失敗することを指摘しました。また、多くの研究が公開データセット（18件の研究で使用されたAlzheimer's Disease Neuroimaging Initiativeや、8件で使用されたCancer Genome Atlasなど）に依存していることも指摘しています。これらはテストには素晴らしいものですが、論文は、これらに頼りすぎることは、実際の病院にある「乱雑な現実世界のデータ」に対してアイデアを検証できていないことを意味する可能性があると示唆しています。

さらに、この論文は懸念されるギャップを浮き彫りにしています。69件の研究のうち、データとコンピュータコードの両方を共有していたのは、わずか**19件（27.5%）**でした。これは、これらの巧妙な解決策の多くについて、他の科学者がその成果を簡単にチェックしたり、さらに発展させたりすることができないことを意味します。著者たちは、この分野は、単に完成したケーキを出すのではなく、レシピを共有するように、もっとオープンである必要があると提案しています。

結論

このレビューは、私たちが前進しているものの、その道はまだデコボコであることを示唆しています。最も頻繁に起こる問題は、データの欠損と、学習するための例が不足していることです。現在、最も有望なツールは、コンピュータに欠けているピースを推測させたり、他のタスクから知識を借りたり、彼らがどのように考えているかを見るための「懐中電灯」を使ったりすることに関わっています。

論文は、未来とは「完璧なアルゴリズムを見つけること」ではないと結論づけています。むしろ、欠けているピースに対処でき、小さな群衆と共に働き、その推論を説明できる、柔軟なシステムを構築することです。著者たちが述べているように、目標は単に「モデルを作ること」から、頑健で信頼でき、現実の病院で現実の医師を助ける準備ができているモデルを作ることへと移行することです。そこに至るまでは、パズルはまだ進行中の作業ですが、私たちは確実にピースを見つける術を向上させています。