💻 computer science

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

RadJEPA は、言語的監督なしにマスクされた画像領域の潜在表現を予測することで胸部 X 線写真に対する堅牢な放射線学エンコーダを学習する自己教師ありフレームワークであり、複数の下流医療タスクにおいて最先端の性能を達成する。

原著者： Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

原著者： Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

胸の X 線写真をコンピュータに理解させることを想像してみてください。通常、コンピュータに画像を教える最良の方法は、画像を見せ、医師の所見を声に出して読み、「これは肺炎です」あるいは「この心臓は大きいです」と伝えることです。これは、子供に犬の写真を示して「犬」と言うことで教えるのと同じです。

しかし、この論文の著者であるRadJEPAは、この方法には欠陥があると主張しています。医師の所見は、迅速な判断を行う人間向けに書かれており、即時の診断に直接関係ないため、微小な詳細や微妙な変化をしばしば省略しています。もしコンピュータに医師が言ったことだけを教えるならば、実際に存在する微妙な視覚的な手がかりを見逃してしまう可能性があります。

そこで、チームは問いかけました：医師の所見の一文も読ませることなく、コンピュータに X 線写真を理解させることはできるでしょうか？

新しいアプローチ：「穴埋め」ゲーム

RadJEPA はテキストの代わりに、**Joint Embedding Predictive Architecture（JEPA：結合埋め込み予測アーキテクチャ）**と呼ばれる手法を使用します。これは、紙の上ではなくコンピュータの「脳」の中で行われる、ハイ・ステークスの「穴埋め」ゲームやパズルのようなものです。

設定： コンピュータは胸の X 線写真を見ます。
マスク： コンピュータは画像のランダムな断片を隠します（マスクします）。これは、X 線写真の一部にテープを貼るようなものです。
推測： コンピュータは見える部分（健康な肺、肋骨、心臓など）を見て、隠されたマスクされた部分がどのようなものか予測しようとします。
ひねり： これは写真のようにピクセル単位で画像を再描画しようとするのではありません。代わりに、欠けている部分の意味や「本質」を推測しようとします。「体の残りの部分に基づいて、この隠れた場所には何があるべきか？」と問うのです。

コンピュータが「本質」を正しく推測できれば、学習します。間違えれば、内部の理解を調整します。このゲームを何千枚もの X 線写真で何百万回も繰り返すことで、コンピュータは人間に自分が何を見ているかを教わる必要なく、解剖学と疾患に対する深くて直感的な理解を構築します。

なぜこれが古い方法よりも優れているのか

この論文は、RadJEPA をコンピュータを教える他の 2 つの一般的な方法と比較しています。

「テキスト教師」（ビジョン・ランゲージモデル）： これらは医師の所見に依存します。前述の通り、所見は偏っていたり不完全だったりする可能性があります。RadJEPA はテキストを完全に無視し、コンピュータに画像そのものから学習させることを強制します。
「鏡の教師」（自己蒸留/DINO）： これらの手法は、コンピュータに同じ画像を異なる方法（切り抜く、反転させる、明るくするなど）で提示し、「これらはすべて同じ画像だ」と伝えます。コンピュータは変化を無視することを学びます。著者らは、これによりコンピュータが解剖学の意味よりも画像の見た目に焦点を当ててしまうと主張しています。RadJEPA は欠けている部分を予測することで、コンピュータに体の部分間の構造と関係性を理解させることを強制します。

結果：より賢く、より小さなモデル

チームは、新しい「穴埋め」教師（RadJEPA）を 3 つの困難なタスクでテストしました。

疾患の診断： 患者が肺炎や心肥大を持っているかどうかを判断できるか？
境界線の描画： 肺や肋骨を体の残りの部分から区別するために、輪郭を描けるか？
所見の作成： 画像に基づいて言語モデルが医療所見を作成するのを助けられるか？

驚くべき発見： RadJEPA は、これらのすべてのタスクにおいて、現在の「チャンピオン」（既存の最良のモデル）を凌駕しました。

さらに印象的なのは、RadJEPA が競合他社よりもはるかに小さい規模でこの成果を達成したことです。これは、巨大で動きの遅い官僚機構よりも、小さく高度に訓練された探偵が事件をよりよく解決するようなものです。他のモデルが学習するために膨大な計算資源とデータを必要としたのに対し、RadJEPA は「穴埋め」手法が正しいものを見る方法を教えたため、より効率的に学習しました。

結論

この論文は、賢い医療 AI を構築するために X 線写真とテキストを組み合わせる必要はないと主張しています。単に AI に画像の欠けた部分を予測させることで、テキストで訓練されたモデルよりも人体の視覚言語をよりよく理解する「放射線学エンコーダ」を作成できます。著者らは、コードと訓練済みモデルを公開し、他の人が利用・検証できるようにしています。

技術的サマリー：RadJEPA

問題定義

近年の医療用視覚・言語モデルの進歩は、テキストによる教師あり学習を通じて視覚表現の学習を推進してきた。しかし、このパラダイムは、画像とテキストの対になったデータの入手可能性によって制約されており、また、放射線レポートが視覚的内容の完全かつ偏りのない記述を提供するという仮定に依存している。実際には、臨床レポートは意思決定のための選択的な所見を強調し、微妙な変化や欠如した観察事項をしばしば省略する。その結果、画像とテキストの整合性を取るように訓練されたエンコーダはバイアスを継承し、医療画像の完全な意味構造を保持できない可能性がある。

さらに、DINO スタイルの自己蒸留のような既存の教師なし代替手法は、複数の拡張されたビュー間でのグローバル表現の整合を取ることで不変性を学習する。胸部 X 線写真の文脈では、微細な解剖学的差異や微妙な病理学的手がかりが診断上決定的であるため、複数のビュー間でグローバルな一致を強制することは、意味的な完全性よりも外観レベルの一貫性を優先させる可能性がある。これらの手法は、しばしば潜在空間における意味表現の予測ではなく、ピクセル空間の一貫性を強調する。

手法：RadJEPA

これらの限界に対処するため、著者らは言語による教師信号なしで学習する教師なしフレームワークであるRadJEPA（Joint Embedding Predictive Architecture による胸部 X 線写真用放射線エンコーダ）を導入する。

中核アーキテクチャ

RadJEPA は、Joint Embedding Predictive Architecture（JEPA）に基づいている。ピクセルの再構成やグローバルなビュー表現の整合を取る手法とは異なり、RadJEPA は明示的に潜在空間での予測をモデル化する：

入力分割：入力となる胸部 X 線写真 $x$ を、可視領域 ( $x_v$ ) とマスクされた領域 ( $x_m$ ) に分割する。
符号化：視覚エンコーダ $f_\theta$ がこれらの領域を潜在表現 $z_v = f_\theta(x_v)$ および $z_m = f_\theta(x_m)$ にマッピングする。
予測：予測ネットワーク $g_\phi$ は、可視コンテキストの潜在表現 ( $z_v$ ) のみに基づいて、マスクされた領域の潜在表現 ( $\hat{z}_m$ ) を予測するように訓練される。
目的関数：モデルは、予測された潜在表現と、マスク領域の実際の（ストップグラディエント付き）潜在表現との間の二乗誤差を最小化する：
$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$
訓練ダイナミクス：ターゲットエンコーダのパラメータは、教師 - 生徒形式と同様にオンラインエンコーダの指数移動平均（EMA）を通じて更新されるが、この目的関数はピクセル再構成、対照的ネガティブ、明示的なデータ拡張なしに、完全に表現空間で動作する。

下流タスクへの適応

ラベルなしの胸部 X 線写真で事前学習した後、視覚エンコーダ $f$ は凍結される。タスク固有のヘッドは以下に対して独立して訓練される：

疾患分類：凍結されたグローバル埋め込みに対する線形分類器。
意味セグメンテーション：凍結されたエンコーダからのマルチスケール特徴を集約する UPerNet デコーダ。
レポート生成：凍結された視覚埋め込みを言語埋め込み空間に投影し、言語モデル（Vicuna-7B）に入力する、LLaVA スタイルのマルチモーダル設定。

主要な貢献

既存パラダイムの限界：本論文は、放射線表現学習において、言語による教師信号および DINO スタイルの自己蒸留の両方に限界があり、特に意味的な完全性と微細な解剖学的詳細に関して問題があることを実証する。
RadJEPA フレームワーク：著者らは、ラベルなしの胸部 X 線写真から直接学習する予測型教師なしアーキテクチャを導入する。これは、DINOv2（11 億パラメータ）や I-JEPA（6 億パラメータ）のような大規模モデルと比較して、より小さなバックボーン（ViT-B/14、8600 万パラメータ）を使用しているにもかかわらず、839,000 枚以上の胸部 X 線写真で訓練された最先端（SoTA）モデルと同等かそれ以上の性能を達成する。
包括的評価：この研究は、疾患分類、意味セグメンテーション、レポート生成という 3 つの異なる下流タスクにわたる実証的評価を提供し、より大きな容量を持つアーキテクチャを含む多様なベースラインとのベンチマークを行う。

実験結果

モデルは、オープンソースデータセット（BRAX、CheXpert、MIMIC-CXR、ChestX-ray14、PadChest）から提供される 839,364 枚の胸部 X 線写真で事前学習された。

画像分類：VinDr-CXR および RSNA-Pneumonia ベンチマークにおいて、RadJEPA は画像のみのベースラインおよび視覚・言語ベースラインを一貫して上回った。
- VinDr-CXR では、平均 AUPRC が55.2に達し、RAD-DINO（52.8）および I-JEPA（50.0）を上回った。
- 肺線維症（RAD-DINO より +4.5 AUPRC）や大動脈拡大など、微妙で多様な所見において顕著な改善が観察された。
- RSNA-Pneumonia では、最高の AUPRC（72.7）および AUROC（89.2）を達成した。
意味セグメンテーション：UPerNet デコーダを使用し、RadJEPA は肺（98.3）、肺野（93.7）、肋骨（89.6）のセグメンテーションタスクにおいて、最高の Dice スコアを達成した。肋骨（RAD-DINO より +4.8 Dice）のような構造的に複雑なターゲットにおいて特に大きな改善を示した。
レポート生成：MIMIC-CXR および分布外データセット IU-Xray において、RadJEPA は画像のみのエンコーダおよび予測型エンコーダの中で、すべての指標（ROUGE-L、BLEU-4、RGER、Macro-F1-14）において最強の性能を達成した。
- MIMIC-CXR では、ROUGE-L が26.1、Macro-F1-14 が32.6を達成した。
- IU-Xray では、最強の非 JEPA ベースラインに対して ROUGE-L を +1.7 改善した。
統計的有意性：片側仮説検定により、評価された 19 のケースのうち 16 が、ベースラインに対して統計的に有意な改善（ $p < 0.05$ ）を示すことが確認された。

意義

本論文は、胸部 X 線写真が本質的にビュー中心ではなく、意味中心であることを主張する。臨床的解釈は、グローバルな解剖学的文脈および空間的関係に依存しており、ピクセル空間で直接表現を学習するか、またはビューレベルの不変性を強制することは最適ではないことを示唆している。RadJEPA は、予測的潜在モデル化が、対になった画像・テキストデータや従来の蒸留型アーキテクチャへの依存なしに、堅牢で汎用性の高い放射線エンコーダの学習を可能にすることを示している。

結果は、医療画像における性能向上が単にモデルの規模やデータセットのサイズによってのみ駆動されるものではなく、学習された表現の質によって駆動されることを示している。大規模モデルと比較してより少ないパラメータ数（ViT-B/14）で優れた下流性能を達成することにより、RadJEPA は医療分野における JEPA スタイルのアーキテクチャのサンプル効率と表現の質を浮き彫りにしている。著者らは、強力な放射線エンコーダが言語による教師信号なしに効果的に学習可能であり、コードと重みの公開を通じて再現可能な道筋を提供すると結論づけている。