技術要約: ImageCLEFmedical 2026 における DS@GT ARC

問題定義

本論文は、更新された ROCOv2 データセットに基づいたベンチマークである ImageCLEFmedical Caption 2026 チャレンジに取り組んでいる。このチャレンジは、2つの明確なトラックで構成されている：

1. コンセプト検出 (タスク 1): 放射線画像に対して、統一医学用語体系 (UMLS) の概念固有識別子 (CUI) を割り当てる。このタスクは極端なロングテール分布を特徴としており、少数の概念がデータを支配する一方で、数千の希少な概念が頻繁にしか出現しないため、閾値最適化における深刻な過学習のリスクを伴う。
2. キャプション予測 (タスク 2): 臨床的に意味のある自然言語による記述を生成する。このタスクには、特に大規模視覚言語モデル (VLM) を利用する場合、臨床的な事実性（医学的所見の正確性）と自然言語の流暢さの間のトレードオフが存在する。

手法

タスク 1: コンセプト検出

チームは、重厚なファインチューニング済みアンサンブルと、軽量なトレーニングフリーの検索パイプラインを組み合わせた二段構えのアプローチを採用した。

1. 「Honest Threshold Tuning」を用いた3ウェイ・レイトフュージョン・アンサンブル

• アーキテクチャ: 主要な提出物は、3つの異なるアーキテクチャを持つビジョンエンコーダからの予測を融合させている：
  • ConvNeXt-V2-Base: ラベルの不均衡を処理するために非対称損失 (Asymmetric Loss; ASL) を用いてファインチューニング。
  • BiomedCLIP ViT-B/16: 強力な医学的視覚バイアスを活用するため、PubMed Central での事前学習を利用。
  • DenseNet-169: 低いパラメータ数でアーキテクチャの多様性を提供。
• 融合戦略: 検証セットに対する座標上昇法 (coordinate ascent) によって決定された加重レイトフュージョン・アンサンブル（重み：0.60, 0.20, 0.20）。
• Honest Threshold Tuning: 希少な概念に対する過学習（ロングテール分布における一般的な失敗モード）を軽減するため、正則化された閾値設定パイプラインを導入した：
  • 決定論的分割: 検証セットを50/50に分割し、閾値最適化（座標上昇法）は厳密にチューニング用の半分のみで行われた。
  • ロングテール・フォールバック: チューニング用分割において出現回数が50回未満の概念については、最適化された閾値を破棄し、安全なグローバル・ベースライン ($\tau_{global} = 0.490$) を採用した。
  • 閾値ブレンディング: 残りの閾値は、極端な値になるのを防ぐためにブレンディングされた ($\tau_{final} = 0.7 \tau_{coord} + 0.3 \tau_{global}$)。
• ラベル・プルーニング: 学習信号を安定させるため、ラベル空間を出現頻度の高い上位1,000個の CUI に制限した（これにより出現の92.64%をカバー）。

2. トレーニングフリー KNN 検索パイプライン

• アプローチ: 凍結された BiomedCLIP エンベディングを用いた検索ベースのシステム。
• メカニズム: クエリ画像に対し、コサイン類似度によって訓練データのトップ-$K$ 近傍を検索する。CUI は加重比率戦略（コサイン類似度の合計が最大可能値の35%を超えること）に基づいて集計される。
• 最適化: セカンダリ指標を最適化するために、手動で選定された15個のセカンダリ CUI を特に対象とした第2パスを実施。

タスク 2: キャプション予測

著者らは、大規模なファインチューニング済みモデルからゼロショット推論に至るまで、モデルスケールと学習パラダイムのスペクトラムを探索した。

1. ファインチューニング済み Gemma-3 27B

• アーキテクチャ: 4ビット量子化を用いた 量子化低ランク適応 (QLoRA) を用いてファインチューニングされた 27B パラメータの VLM。
• 学習: トークナイザーを拡張し、UMLS CUI を特殊トークンとして含めた。モデル（ビジョンエンコーダ、コネクタ、言語モデル）をエンドツーエンドで 2 エポック学習させた。
• 推論: 事実性と流暢さのバランスをとるため 3-beam search を使用し、最大トークン長は 150 とした。医学用語を保持するため反復ペナルティは適用していない。

2. コンセプト・アンカリングとアーキテクチャのアブレーション

• 戦略: 予測された UMLS コンセプト（タスク1から得られたもの）を、構造化テキスト（モダリティ、解剖学的部位、所見）としてプロンプトに注入し、生成をガイドする。
• テストされたモデル:
  • InstructBLIP (Flan-T5-XL): アンカリングによる大幅な改善を示した。
  • LLaVA-Med (Mistral-7B): 中程度の改善を示した。
  • BLIP-base: 事実性と関連性のトレードオフにより、アンカリング単体では純粋な全体的利得が得られなかった。
• Vizwins マージング: BLIP において、コンセプトのヒット数に基づいて「視覚のみ」と「コンセプト・アンカー付き」のキャプションを選択するカスタムアルゴリズムを用い、アンカリングによる性能低下を回復させた。

3. ゼロショット MedGemma-4B

• アプローチ: PubMed Central で事前学習された 4B パラメータのモデルを、ファインチューニングなしで使用。
• プロンプティング: モダリティ、解剖学的部位、所見を求める "PMC-legend" スタイルのプロンプトを利用。
• 知見: Gemma-3 27B モデルよりも 7 倍小さく、ファインチューニングも行われていないにもかかわらず、競争力のある結果を達成した。これは、事前学習の分布一致が極めて重要なレバーであることを示唆している。

主な結果

タスク 1: コンセプト検出

• 主要な提出物: 3ウェイ・アンサンブルと Honest Threshold Tuning により、プライマリ $F_1$ 0.5790、セカンダリ $F_1$ 0.9657 を達成し、1位となった。
• 検索パイプライン: トレーニングフリーの BiomedCLIP KNN パイプラインは、プライマリ $F_1$ 0.5780、セカンダリ $F_1$ 0.9597 を達成し、計算コストを大幅に抑えつつ、プライマリ・トラックにおいてファインチューニング済みアンサンブルとほぼ同等の性能を示した。
• 比較: アンサンブルが生の座標上昇法ベースライン (0.5763) を上回ったことは、正則化された閾値設定戦略がロングテールの過学習を効果的に抑制したことを裏付けている。

タスク 2: キャプション予測

• トップパフォーマンス: ファインチューニングされた Gemma-3 27B モデル（3-beam search, 2 epochs）は、総合スコア 0.3571 を達成し、公式リーダーボードで 3位となった。特筆すべきは、全チームの中で最高の事実性スコア (0.1777) を記録した点である。
• アブレーションの洞察:
  • コンセプト・アンカリングはすべてのモデルにおいて事実性を向上させたが、アーキテクチャに応じて総合スコアへの影響は異なった。
  • マージされた BLIP パイプライン（視覚のみ + アンカー付き）は 0.3564 に達し、27B モデルに肉薄した。
  • ゼロショット MedGemma-4B は 0.3186 を記録し、事前学習分布が適切であれば、ファインチューニングなしでも強力な結果が得られることを示した。
  • 4B モデルのファインチューニングは、ゼロショットと比較して性能（特に BLEURT スコア）を低下させた。これは、ROCOv2 による追加の教師あり学習が、既存のスタイル流暢さを上書きしてしまったことを示唆している。

意義と主張

本論文は、カスタマイズされたアーキテクチャおよび正則化戦略を通じて、医学的なマルチラベル分類とキャプション生成の特定課題に対処した点に主たる貢献があると主張している：

1. 閾値の正則化は不可欠である: 「Honest Threshold Tuning」戦略は、ロングテールな医学分布に対する必須の解決策として提示されている。著者らは、標準的な閾値最適化は検証セット上で人工的なスコアのインフレを引き起こし、テストセットへの汎化に失敗すると主張しており、彼らの正則化されたアプローチはこのギャップを埋めるものである。
2. アーキテクチャの多様性 vs 結合ファインチューニング: コンセプト検出において、多様なバックボーン（CNN と Transformer）のレイトフュージョン・アンサンブルは、複雑なマルチモーダル結合ファインチューニング（例：クロスアテンションモデル）よりも優れた性能を示すことが示唆された。これは、より安定した収束と補完的なエラー空間によるものと考えられる。
3. 規模と事前学習分布が支配的なレバーである: キャプション生成において、論文は基盤モデルのスケール（27B パラメータ）と事前学習分布の一致（PubMed Central）が、性能の主要な駆動要因であると結論付けている。これらの要因が、事実性と流暢さのトレードオフを自然に解決する。
4. リソース制約に対する補完的戦略: スケーリングが不可能な小規模モデルの場合、コンセプト・アンカリングと出力マージ（Vizwins）が、大規模モデルの性能に近似するための効果的な補完戦略となることを実証した。
5. 検索の実行可能性: トレーニングフリーの KNN 検索パイプラインがプライマリ指標においてファインチューニング済みアンサンブルとほぼ同等の性能を示したことは、特定の医学的タスクにおいて、強力なドメイン事前学習済みエンコーダがあれば、フルファインチューニングのコストをかけずに問題を解決できる可能性を示唆している。

著者らは、自らの手法がトップランクを獲得したとしつつも、謙虚な姿勢を維持しており、今後の研究は、プルーニングなしでロングテールの希少概念を扱う方法や、パイプラインを簡素化するための混合プロンプト学習に焦点を当てるべきであるとしている。