技術要約：放射線科レポート生成のための集合距離報酬（Set-Distance Rewards: SDR）

問題提起

視覚言語モデル（VLM）を用いた胸部X線レポートの生成は、強化学習（RL）の事後学習において、特に報酬関数の設計に関する特有の課題を提示している。推論タスクにおける標準的なRLアプローチは、因果関係の連鎖における中間ステップを検証する「プロセス報酬モデル」に依存することが多い。しかし、放射線科のレポートは、逐次的または因果的な推論構造に従うものではない。代わりに、これらは順序のない、かつ直交する所見（例：「心拡大の可能性がある」と「右肺はクリアである」は独立した観察事項である）で構成されている。

その結果、標準的な一致精度に基づく離散的な報酬は、このドメインには適合しない。それらは、正しい所見を含んでいても、順序が異なっていたり言い回しがわずかに異なっていたりする場合にペナルティを課すことでノイズを誘発し、「シーケンス（順序）」よりも「セット（集合）」としての所見が重要であるという臨床的実態を捉え損ねる。さらに、プロセス報酬に必要なステップレベルのアノテーションは利用できないことが多く、外部ソースを通じて各ステップを検証することは計算コストが高すぎる。

手法

著者らは、放射型レポートを逐次的なテキストとしてではなく、文埋め込みの順序のない集合として扱う**集合距離報酬（Set-Distance Rewards: SDR）**というフレームワークを提案している。この手法は、事後学習（GRPO）と推論時のスケーリングの2つのフェーズで動作する。

1. 文レベルの表現

胸部X線レポート $y$ は、所見（Findings） ($y_F$) と印象（Impression） ($y_I$) の2つのセクションに分割される。各セクションは個々の文に分割される。凍結された事前学習済みの文トランスフォーマー（具体的には all-mpnet-base-v2）が、各文 $s$ を固定次元のベクトル $e \in \mathbb{R}^d$ に埋め込む。これにより、レポートは2つの順序のない埋め込み集合として表現される：
$$E_F(y) = \{E_\phi(s^F_i) \mid 1 \le i \le n_F\}, \quad E_I(y) = \{E_\phi(s^I_j) \mid 1 \le j \le n_I\}$$
この表現は置換不変（permutation-invariant）であり、所見の順序が診断的な意味を持たないという臨床的な直感と一致している。

2. 集合対集合距離報酬（事後学習）

Group Relative Policy Optimization (GRPO) 中、モデルはレポート $\hat{y}$ を生成する。意味的な報酬は、生成された埋め込みの集合と参照（グラウンドトゥルース）の埋め込みの集合の間の距離を計算することによって算出される。

• 距離指標: 著者らは、単位ノルムの埋め込み間のコサイン距離に基づいた、対称的な集合対集合距離である**チャムフェル距離（Chamfer distance）およびハウスドルフ距離（Hausdorff distance）**を利用し、これらを $[0, 1]$ に正規化して用いる。
  • チャムフェル: 最近傍コストの平均をとり、「ソフトなカバレッジ」報酬として機能する。
  • ハウスドルフ: 最大の最近傍コストを取り、重要な所見の見落としに対する「ワーストケース」のペナルティとして機能する。
• 報酬の定式化: 総報酬 $R(\hat{y}, y)$ は、バイナリのフォーマット報酬（出力が構造化されたテンプレートに従っていることを保証する）と、集合距離から導出される連続的な意味的報酬の加重和である：
  $$R(\hat{y}, y) = \lambda_{fmt} R_{fmt}(\hat{y}) + \lambda_{sem} (1 - D(E_S(\hat{y}), E_S(y)))$$
  ここで $D$ は集合距離である。これは、部分的な正当性に報酬を与え、順序のない所見を扱う、連続的で微分可能な信号を提供する。

3. 推論時のスケーリングとプルーニング

同じ集合距離指標が、勾配更新なしで推論時にも適用される：

• Best-of-N 選択: 与えられた画像に対して、モデルは $K$ 個の候補レポートを生成する。各候補の埋め込み集合は、訓練コーパスの事前計算された埋め込み集合と比較される。訓練分布への距離が最小となる候補が選択される。これは、臨床的に妥当な出力を得るための、勾配フリーな事前知識として機能する。
• ストリーミング・プルーニング: 計算コストを削減するため、システムはデコーディング中の部分的な生成の実行時集合距離を計算する。部分的な距離が閾値を超えた候補は早期に排除（プルーニング）される。この「プルーンド・ゼン・デコード（除去してからデコードする）」ループにより、品質をフルBest-of-N選択と同等に維持しながら、トークン生成を50%以上削減できる。

主な貢献

1. GRPOのための集合距離報酬関数: 本論文は、レポートを順序のない集合として扱うことで、放射線科におけるプロセス報酬モデリングの実行不可能性に対処している。チャムフェル距離とハウスドルフ距離を連続的な報酬として使用することで、3つのVLMバックボーン（Qwen3-VL-2B/4B, Gemma3-4B）および2つのデータセット（MIMIC-CXR, ReXGradient）において、一貫して教師あり微調整（SFT）および離散的な完全一致GRPOを上回る性能を示した。
2. 集合距離ガイド付きテスト時選択: 著者らは、同じ集合距離指標が、微調整されたモデルだけでなく、クローズドソースの汎用LLM（Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini, GPT-5 mini）に対しても選択基準として機能することを実証した。このアプローチは、モデルの勾配やドメイン固有の微調整を必要とせずに、ランダム選択よりも高い性能を実現する。
3. 距離ベースのオンザフライ・プルーニング: 生成の途中で低スコアの候補を排除する手法を導入した。これにより、最終的な選択の品質を維持しながら、生成される総トークン数を50%以上削減できる。これは、より効率的なテスト時スケーリングの形態を提供している。

実験結果

評価は、BERTScore、RadGraph F1、および CheXbert F1 を含む主要な指標をカバーしている。

• 事後学習のパフォーマンス:
  • ReXGradient データセットにおいて、チャムフェルベースの報酬がすべてのモデルと指標で最高の性能を達成した。
  • MIMIC-CXR においては、チャムフェルおよびハウスドルフの両方の報酬が最高の平均性能に達した。
  • SFTおよび完全一致GRPOに対する相対的な改善は顕著であり、平均して 6.80% (BERTScore)、7.82% (RadGraph F1)、4.45% (CheXbert F1) の向上となった。
• 推論時選択:
  • 集合距離選択をクローズドソースLLMに適用したところ、ランダム選択に対して大幅な利得が得られた。例えば、BERTScoreにおいて、モデルやプロンプトテンプレートに応じて +11.2% から +18.7% の範囲の向上が見られた。
  • この手法は、特定の医学ドメイン向けに微調整されていない汎用モデル（GPT-4o mini, Geminiなど）の性能を向上させることに成功した。
• プルーニングの効率性:
  • プルーニング戦略により、生成トークンを 42.1% から 60.1% 削減できた。
  • プルーニングされた生成は、フルBest-of-N選択と同等の品質を維持しており、ランダム選択に対する平均相対改善率は、+12.7% (BS-F1)、+17.1% (RG-F1)、+6.2% (CXB-F1) であった。

意義と主張

本論文は、集合距離報酬を、事後学習とテスト時スケーリングの両方における統一された信号として確立することを主張している。

• 統一された信号: 同一の数学的定式化（集合対集合距離）が、RL事後学習プロセスを効果的に駆動すると同時に、推論時における堅牢な勾配フリーの選択基準としても機能する。
• ドメイン適応: 放射線科の所見の順序のない性質を認めることで、本手法は逐次的な制約によって生じるノイズを回避しており、所見がしばしば独立している放射線科のレポート生成に特化して適している。
• 効率性: 高品質なレポート生成には、必ずしもすべての候補に対してすべてのトークンを生成する必要はないことを示しており、距離に基づく早期プルーニングは、推論コストを削減するための実行可能な道筋を提供する。
• 汎用性: これらの選択ルールをクローズドソースLLMに適用できることは、高価なドメイン特化型の微調整やモデルウェイトへのアクセスを必要とせずに、臨床AIの出力を向上させる経路を示唆している。

著者らは、彼らのアプローチが、放射線科レポートの臨床的構造と一致する実用的かつ連続的な報酬信号を提供し、従来の離散的または逐次的な報酬メカニズムを凌駕すると結論付けている。