DualDiT: A Conditional Dual-Output Diffusion Transformer for Joint OCT Image and Segmentation Mask Generation

ロボットに特定の種類の果物、例えばイチゴの認識方法を教えようとしている場面を想像してみてください。しかし、手元にはイチゴの写真がたった3枚しかなく、リンゴの写真は何千枚もあります。すると、ロボットは混乱して、あらゆる赤い果物をリンゴだと勘違いしてしまうでしょう。これは医学の世界では非常に大きな問題です。医師たちが疾患を見つけるためにコンピュータを訓練するには何千ものラベル付き画像が必要ですが、そのような画像を入手することは困難で、コストがかかり、時には不可能な場合もあります。この問題を解決するために、科学者たちは「生成AI」という、一種の超クリエイティブなアーティストのようなコンピュータプログラムを使用しています。既存の写真をただコピーするのではなく、物の見え方のルールを学習し、人間を欺けるほどリアルに見える、全く新しい偽の画像を描き出すのです。しかし、ここで難しいことがあります。もしAIが偽のイチゴを描くなら、種がどこにあるかを示す完璧な地図も描かなければなりません。もしその地図が果物と一致していなければ、それを学習するロボットはさらに混乱してしまうからです。

これは、OCT（光干渉断層撮影）と呼ばれる特別な眼底スキャンに研究者たちが直面した課題そのものです。OCTは、目の後ろにある光に敏感な層である網膜の、極めて詳細な断面図のようなものです。医師たちはこれを使って病気を見つけますが、これらのスキャン内の微細な層を手作業でラベル付けするには専門家の膨大な時間がかかるため、学習用の例は非常に少なくなってしまいます。この論文で紹介されているのは、DualDiTという、非常に巧妙なAIアーティストです。DualDiTを単なる画家ではなく、片手に絵を描くための筆を持ち、もう片方の手に地図のためのステンシルを持つ「二刀流」の魔法使いだと考えてください。古いAIモデルは、画像とマスク（重要な部分の輪郭）を別々に、あるいは不器用に生成しようとして失敗することが多かったのですが、DualDiTは画像とマスクの両方を同時に生成することを学習するため、偽の眼底スキャン内の層が偽の地図と完璧に一致することを保証します。研究者たちはこれを、ヒトの眼疾患の研究には不可欠でありながら、スキャンやラベル付けが非常に難しい、保存状態の優れたマウスの目を用いてテストしました。

デュアル出力アーティストの魔法

フェルナンド・ガルシア＝トーレス率いる研究チームは、マウスの眼スキャンの「データ不足」問題を解決したいと考えました。彼らはDualDioT（Conditional Dual-Output Diffusion Transformer）という新しいAIモデルを構築しました。これがなぜ特別なのかを理解するために、子供に家の描き方を教えている場面を想像してみてください。もし家と、それとは別の屋根の絵を見せたら、その子は屋根が空中に浮いているような家を描いてしまうかもしれません。古いAIモデルは、画像と「マスク」（重要な部分の輪郭）を別々に、あるいは不器用に生成しようとする、そのような仕組みでした。

しかし、DualDiTは、家と屋根を同時に描くことを学ぶ子供のようなものです。つまり、屋根が必ず壁の上に載っていなければならないということを理解しているのです。研究者たちは、2つの異なる方法で保存されたマウスの網膜データを用いて、このAIを訓練しました。一方のグループは液体（生理学的）媒体の中に保持されており、もう一方は硬い樹脂の中に埋め込まれていました。これら2つの方法は、水中の魚の写真と、皿の上の魚の写真のように、見た目がわずかに異なります。AIはこれらの違いを認識し、液体または樹脂の特定のスタイルに一致する、新しい偽のスキャンを生成するように教えられました。

結果：専門家を欺く

チームは、この新しいAIを、生のピクセルに対して直接機能するモデル（DDPMと呼ばれる）と、圧縮された「潜在的（latent）」空間で機能するモデル（LDMと呼ばれる）という、2つの古い伝統的な手法に対してテストしました。彼らは、偽の画像がどれほどリアルであるかをFID（Fréchet Inception Distance）というスコアを用いて測定しました。この数値が低いほど、偽の画像が本物に似ていることを意味します。

結果は明白でした：DualDiTの勝利でした。

• DualDiTは、FIDスコア56.14、および空間的FID（sFID）114.35を達成しました。
• 古いDDPMモデルは、FID164.55、sFID254.52でした。
• LDMモデルは、FID102.21、sFID150.66でした。

平易な言葉で言えば、DualDiTの偽の画像は、他のモデルよりもずっと本物に近かったのです。古いモデルは、層をぼやけさせたり、網膜が本来の形とは異なる形状に見える「幻覚」を生じさせたりといったミスをよく起こしていました。しかし、DualDiTは、本物のマウスの目に見られる微細な斑点や質感まで備えた、本物と見紛うほどシャープで詳細な画像を生成しました。

しかし、真のテストは画像の美しさだけではありませんでした。それがコンピュータの学習を実際に助けることができるかどうかです。研究者たちは、DualDiTによって生成された偽の画像を使用して、新しいコンピュータプログラムを訓練し、網膜の層をセグメンテーション（輪郭抽出）させました。

• 実データのみを使用したとき、コンピュータのスコアは0.908（Diceスコア）でした。
• DualDiTの偽の画像を学習に加えると、スコアは0.927へと跳ね上がりました。
• 古いモデルは、実際には状況を悪化させるか、ほとんど助けになりませんでした。例えば、DDPMモデルは、樹脂埋め込みサンプルの処理においてコンピュータの性能を低下させました。

人間のテスト：偽物を見抜けるか？

偽の画像が本当に説得力があるかどうかを確認するために、研究者は3人の専門家にそれらを見せました。専門家たちは、本物と偽物の画像が混ざったものを見て、どちらがどちらかを推測するよう求められました。結果は驚くべきものでした。専門家たちが偽の画像を本物だと誤認した割合は**46%に達しました。また、本物を偽物と間違えた割合も42%**でした。これは、DualDiTが作成した画像があまりにもリアルであったため、訓練を受けた目であっても、その違いを確実に判別することができなかったことを示唆しています。

これが意味すること（そして意味しないこと）

この論文は、DualDiTが、本物のデータが不足している場合の医療用AIの訓練を支援するための、「合成データ」を作成する強力な新しいツールであることを示唆しています。これは、Transformerベースのアーキテクチャ（長距離のつながりを理解することで知られるAIの一種）を使用することが、画像とマップの両方を同時に生成するというこの特定のタスクにおいて、従来のU-Netベースの手法よりも優れていることを証明しています。

しかし、著者らは、これがまだ万能薬ではないことも慎重に注記しています。この研究は、比較的規模の小さいデータセット（10匹のマウスから得られた約340枚のスライス）に対して行われており、画像の解像度も特定されています（512 × 256 ピクセル）。結果は有望ですが、著者らは、これがすべての眼底スキャンに通用するかを確認するためには、より大規模なデータセットでのさらなるテストが必要であると述べています。また、現在のセットアップには膨大な計算能力が必要であり、それが一部のクリニックにとっての障壁になる可能性があることにも触れています。

要約すると、DualDiTは、偽のマウスの眼底スキャンとその対応するマップを、専門家さえも欺き、コンピュータの学習を加速させるほど巧みに描くことができる、高度な技術を持つ「二刀流」のアーティストです。これは、画像とそのラベルを同時に生成するようにAIを訓練することで、医療AIにおける最大のボトルネックである「ラベル付きデータの不足」を克服できる可能性を示しています。しかし、あらゆる新しいツールと同様に、実際の患者を診断するために信頼される前には、さらなる練習とより大規模なテストが必要です。