Riepilogo Tecnico: Set-Distance Rewards per la Generazione di Referti Radiologici (SDR)

Definizione del Problema

La generazione di referti per radiografie del torace utilizzando modelli visione-linguaggio (VLM) presenta una sfida unica per il post-addestramento tramite Reinforcement Learning (RL), specificamente per quanto riguarda la progettazione delle funzioni di ricompensa (reward functions). Gli approoli standard di RL per compiti di ragionamento si basano spesso su modelli di ricompensa di processo (process reward models) che verificano i passaggi intermedi in una catena causale. Tuttavia, i referti radiologici non seguono una struttura di ragionamento sequenziale o causale; al contrario, consistono in risultati non ordinati e ortogonali (ad esempio, "le dimensioni del cuore potrebbero essere aumentate" e "il polmone destro è libero" sono osservazioni indipendenti).

Di conseguenza, le ricompense discrete standard basate sull'accuratezza di corrispondenza esatta (exact-match) sono incompatibili con questo dominio. Esse inducono rumore penalizzando i referti che contengono risultati corretti ma in un ordine diverso o con lievi variazioni nella formulazione, fallendo nel catturare la realtà clinica secondo cui l'insieme (set) dei risultati conta più della loro sequenza. Inoltre, le annotazioni a livello di passaggio richieste per le ricompense di processo sono spesso non disponibili, e la verifica di ogni passaggio tramite fonti esterne è computazionalmente costosa.

Metodologia

Gli autori propongono i Set-Distance Rewards (SDR), un framework che tratta i referti radiologici come insiemi non ordinati di embedding di frasi piuttosto che come testo sequenziale. La metodologia opera in due fasi: post-addestramento (GRPO) e scaling al tempo di inferenza.

1. Rappresentazione a livello di frase

Un referto di una radiografia del torace $y$ viene diviso in due sezioni: Findings ($y_F$, Risultati) e Impression ($y_I$, Impressione). Ogni sezione viene segmentata in singole frasi. Un transformer di frasi pre-addestrato e congelato (specificamente all-mpnet-base-v2) trasforma ogni frase $s$ in un vettore a dimensionalità fissa $e \in \mathbb{R}^d$. Il referto è quindi rappresentato come due insiemi non ordinati di embedding:
$$E_F(y) = \{E_\phi(s^F_i) \mid 1 \le i \le n_F\}, \quad E_I(y) = \{E_\phi(s^I_j) \mid 1 \le j \le n_I\}$$
Questa rappresentazione è invariante alla permutazione, allineandosi con l'intuizione clinica secondo cui l'ordine dei risultati non ha significato diagnostico.

2. Set-to-Set Distance Rewards (Post-Training)

Durante il Group Relative Policy Optimization (GRPO), il modello genera un referto $\hat{y}$. La ricompensa semantica viene calcolata computando la distanza tra l'insieme degli embedding generati e l'insieme degli embedding di riferimento (ground truth).

• Metriche di Distanza: Gli autori utilizzano distanze simmetriche da set a set normalizzate nell'intervallo $[0, 1]$, specificamente la distanza di Chamfer e la distanza di Hausdorff, basate sulla distanza del coseno tra embedding a norma unitaria.
  • Chamfer: Media i costi dei vicini più prossimi, agendo come una ricompensa di "copertura morbida" (soft coverage).
  • Hausdorff: Prende il costo massimo dei vicini più prossimi, agendo come una penalità per il "caso peggiore" in caso di mancanza di risultati critici.
• Formulazione della Ricompensa: La ricompensa totale $R(\hat{y}, y)$ è una somma pesata di una ricompensa di formato binaria (per garantire che l'output segua un template strutturato) e di una ricompensa semantica continua derivata dalla distanza tra i set:
  $$R(\hat{y}, y) = \lambda_{fmt} R_{fmt}(\hat{y}) + \lambda_{sem} (1 - D(E_S(\hat{y}), E_S(y)))$$
  dove $D$ è la distanza tra i set. Ciò fornisce un segnale continuo e differenziabile che premia la correttezza parziale e gestisce i risultati non ordinati.

3. Scaling al tempo di Inferenza e Pruning

Le stesse metriche di distanza tra set vengono applicate al tempo di inferenza senza aggiornamenti del gradiente:

• Selezione Best-of-N: Per una data immagine, il modello genera $K$ referti candidati. L'insieme di embedding di ogni candidato viene confrontato con gli insiemi di embedding pre-calcolati del corpus di addestramento. Il candidato con la distanza minima rispetto alla distribuzione di addestramento viene selezionato. Questo funge da prior privo di gradienti per output clinicamente plausibili.
• Pruning in Streaming: Per ridurre il costo computazionale, il sistema calcola la distanza del set corrente durante la generazione parziale durante il decoding. I candidati la cui distanza parziale supera una soglia vengono eliminati (pruning) precocemente. Questo ciclo "prune-then-decode" riduce la generazione di token di oltre il 50% mantenendo una qualità comparabile alla selezione completa Best-of-N.

Contributi Chiave

1. Funzioni di Ricompensa Set-Distance per GRPO: Il documento affronta l'infeasibilità della modellazione della ricompensa di processo per la radiologia trattando i referti come insiemi non ordinati. Utilizzando le distanze di Chamfer e Hausdorff come ricompense continue, il metodo supera costantemente il Supervised Fine-Tuning (SFT) e il GRPO a corrispondenza esatta su tre backbone VLM (Qwen3-VL-2B/4B, Gemma3-4B) e due dataset (MIMIC-CXR, ReXGradient).
2. Selezione Guidata dalla Distanza tra Set al Tempo di Test: Gli autori dimostrano che le stesse metriche di distanza possono servire come criterio di selezione sia per i modelli fine-tuned che per LLM generalisti a codice chiuso (Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini, GPT-5 mini). Questo approccio migliora le prestazioni rispetto alla selezione casuale senza richiedere l'accesso ai gradienti del modello o al fine-tuning specifico del dominio.
3. Pruning Basato sulla Distanza On-the-Fly: Il documento introduce un metodo per eliminare i candidati con punteggio basso durante la generazione. Ciò riduce il numero totale di token generati di oltre il 50% preservando la qualità della selezione finale, offrendo una forma più efficiente di scaling al tempo di test.

Risultati Sperimentali

La valutazione copre metriche principali tra cui BERTScore, RadGraph F1 e CheXbert F1.

• Performance Post-Training:
  • Sul dataset ReXGradient, la ricompensa basata su Chamfer ha ottenuto la performance più alta in tutti i modelli e le metriche.
  • Su MIMIC-CXR, sia le ricompense Chamfer che Hausdorff hanno raggiunto la performance media più elevata.
  • I miglioramenti relativi rispetto a SFT e al GRPO a corrispondenza esatta sono stati significativi: miglioramenti medi del 6,80% (BERTScore), 7,82% (RadGraph F1) e 4,45% (CheXbert F1).
• Selezione al Tempo di Inferenza:
  • L'applicazione della selezione basata sulla distanza tra set agli LLM a codice chiuso ha prodotto guadagni sostanziali rispetto alla selezione casuale. Ad esempio, su BERTScore, i miglioramenti sono variati da +11,2% a +18,7% a seconda del modello e del template del prompt.
  • Il metodo ha migliorato con successo le performance di modelli generalisti (es. GPT-4o mini, Gemini) che non sono stati sottoposti a fine-tuning sul dominio medico specifico.
• Efficienza del Pruning:
  • La strategia di pruning ha risparmiato dal 42,1% al 60,1% dei token generati.
  • Le generazioni sottoposte a pruning hanno mantenuto una qualità comparabile alla selezione completa Best-of-N, con miglioramenti relativi medi rispetto alla selezione casuale di +12,7% (BS-F1), +17,1% (RG-F1) e +6,2% (CXB-F1).

Significato e Rivendicazioni

Il documento afferma di aver stabilito le ricompense di distanza tra set come un segnale unificato sia per il post-addestramento che per lo scaling al tempo di test nella generazione di referti per radiografie del torace.

• Segnale Unificato: La stessa formulazione matematica (distanza tra set) guida efficacemente il processo di post-addestramento RL e funge da robusto criterio di selezione privo di gradienti al tempo di inferenza.
• Adattamento al Dominio: Riconoscendo la natura non ordinata dei risultati radiologici, il metodo evita il rumore introdotto dai vincoli sequenziali, rendendolo specificamente adatto alla generazione di referti medici dove i risultati sono spesso indipendenti.
• Efficienza: Il lavoro dimostra che la generazione di referti di alta qualità non richiede necessariamente la generazione di tutti i token per tutti i candidati; il pruning precoce basato sulla distanza tra set offre una via percorribile per ridurre i costi di inferenza.
• Generalizzabilità: La capacità di applicare queste regole di selezione agli LLM a codice chiuso suggerisce una strada per migliorare gli output dell'IA clinica senza la necessità di costosi fine-tuning specifici del dominio o l'accesso ai pesi del modello.

Gli autori concludono che il loro approccio fornisce un segnale di ricompensa continuo e pratico che si allinea con la struttura clinica dei referti radiologici, superando i meccanismi tradizionali di ricompensa discreti o sequenziali.