Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

Sintesi Tecnica: Il Fine-tuning Supervisionato con Dati di Razionale Sintetici Danneggia la Predizione di Malattie nel Mondo Reale

Problematica
Il documento investiga un'ipotesi prevalente nell'IA medica: che il Fine-tuning Supervisionato (SFT) con dati di razionale sintetico migliori le prestazioni dei modelli linguistici nei compiti di predizione clinica, insegnando ai modelli non solo cosa predire, ma anche il perché. Sebbene lavori precedenti suggeriscano che l'apprendimento di catene di ragionamento migliori la generalizzazione, l'interpretabilità e l'auditabilità, questo studio mette in discussione se tale intuizione sia valida in contesti di predizione reali e ad alto rischio, caratterizzati da segnali sparsi ed eterogenei. Gli autori si concentrano sulla predizione a cinque anni della Malattia di Alzheimer e delle Demenze Correlate (ADRD) a partire da storie cliniche longitudinali, un compito in cui il rischio si accumula attraverso percorsi diversi e deboli, piuttosto che attraverso un singolo precursore determinante.

Metodologia
Gli autori hanno condotto un esperimento controllato su larga scala coinvolgendo 504 configurazioni per testare l'impatto del SFT basato su razionali.

• Dataset: Lo studio ha utilizzato una coorte di 42.566 partecipanti (8.802 casi di ADRD e 33.764 controlli appaiati) derivata dai dati del UK Biobank. Gli input consistevano in storie mediche con timestamp dell'età (codici ICD-10, test cognitivi, fattori di stile di vita) con una media di soli 17,7 caratteristiche osservate per record, creando un ambiente di segnale sparso.
• Disegno Sperimentale: I modelli sono stati sottoposti a fine-tuning sullo stesso compito di predizione ADRD utilizzando tre distinti formati di target di addestramento:
  1. Nessun Razionale: Il modello produce solo l'etichetta binaria (0 o 1).
  2. Razionale Libero: Il modello produce una narrazione testuale libera e medicalmente plausibile che spiega la predizione, seguita dall'etichetta.
  3. Razionale Stepwise: Il modello produce un processo di ragionamento strutturato in tre fasi, seguito dall'etichetta.
     I razionali sono stati generati da un LLM prima del SFT, con l'istruzione di utilizzare solo le evidenze presenti nella cartella clinica del paziente.
• Modelli e Iperparametri: Gli esperimenti hanno incrociato tre formati di target, tre dimensioni del campione di addestramento (1,5K, 3,8K, 15,3K), quattro tassi di apprendimento (learning rate), due modelli base (Qwen2.5-7B-Instruct e il modello orientato al ragionamento Qwen3-8B) e sette impostazioni di decoding (greedy, top-k, top-p a varie temperature).
• Valutazione: Le prestazioni sono state misurate tramite ROC-AUC, PR-AUC, punteggio F1 e recall su un set di test tenuto separato di 853 individui. La significatività statistica è stata valutata tramite t-test accoppiati e il test di DeLong accoppiato.
• Controlli di Qualità: Per escludere che la scarsa qualità dei dati fosse la causa del fallimento, gli autori hanno eseguito l'annotazione dei razionali generati da esperti umani e hanno condotto esperimenti di inferenza few-shot in cui gli stessi razionali venivano utilizzati come dimostrazioni anziché come target di addestramento.

Risultati Chiave
Lo studio ha rilevato che il SFT basato su razionali degrada costantemente e sostanzialmente le prestazioni di predizione rispetto al fine-tuning con sola etichetta.

• Degradazione delle Prestazioni: In tutte le 504 configurazioni, i modelli addestrati con target di sola etichetta hanno raggiunto un ROC-AUC medio di 0,734. Al contrario, i modelli addestrati con razionali a testo libero hanno ottenuto 0,604, e quelli con razionali stepwise hanno ottenuto 0,592. Questa degradazione è persistita in tutte le dimensioni del set di addestramento e in tutti i modelli base.
• Modelli Orientati al Ragionamento: Il passaggio a un modello base orientato al ragionamento (Qwen3-8B) non ha mitigato la degradazione; anzi, il Qwen3-8B è stato leggermente peggiore del Qwen2.5-7B-Instruct quando addestrato con i razionali.
• La Qualità del Razionale non è il Problema:
  • Annotazione Umana: Gli esperti clinici hanno valutato i razionali generati come medicalmente accurati e fedeli alle evidenze del paziente (punteggi elevati per logica, correttezza biomedica e fedeltà).
  • Dimostrazioni Few-Shot: Quando lo stesso stile di razionale è stato utilizzato come dimostrazione durante l'inferenza (few-shot learning) invece che come target di addestramento, le prestazioni sono migliorate significativamente (il ROC-AUC è salito da ~0,56 a 0,65). Ciò conferma che i razionali contengono un segnale discriminativo reale, ma falliscono quando usati come target di SFT.
• Analisi degli Errori: I modelli con sola etichetta hanno imparato a concentrarsi su caratteristiche discriminanti specifiche e ad alto valore (es. delirio, Parkinson, malattie cerebrovascolari). I modelli basati su razionali, tuttavia, hanno imparato a dare priorità a marcatori di morbilità ampi ma meno discriminanti (es. disturbi della retina, ulcere duodenali), portando a tassi più elevati di falsi positivi sui controlli e falsi negativi sui casi.

Analisi della Causa Radice
Gli autori identificano un conflitto strutturale tra plausibilità narrativa e ottimizzazione discriminativa.

• Plausibilità vs. Discriminazione: Un razionale medicalmente plausibile deve raccontare una storia coerente con i percorsi di rischio noti, enfatizzando spesso marcatori ampi comuni sia nei casi che nei controlli. L'ottimizzazione discriminativa, tuttavia, richiede l'apprendimento delle combinazioni specifiche e spesso sparse di caratteristiche che distinguono i futi casi dai controlli appaiati in una specifica coorte.
• Budget di Ottimizzazione: Nel SFT basato su razionale, la perdita (loss) è dominata dal testo generato (50–150 token), mentre il token dell'etichetta rappresenta meno del 2% della completazione. Di conseguenza, il modello ottimizza la riproduzione della struttura narrativa piuttosto che l'apprendimento del confine decisionale. Ciò reindirizza il budget di ottimizzazione lontano dal segnale discriminativo necessario per una predizione accurata.

Significatività e Rivendicazioni
Il documento sostiene di fornire una comprensione precisa dei limiti della supervisione basata su razionali nella predizione clinica.

• Limitazione Contestuale: I risultati suggeriscono che, sebbene i razionali sintetici siano preziosi per la guida al momento dell'inferenza (dimostrazioni), sono controproducenti come target di addestramento in contesti in cui i segnali discriminativi sono sparsi ed eterogenei.
• Sviluppo Responsabile: Il lavoro mette in guardia contro l'uso di razionali sintetici come scorciatoia per una spiegazione affidabile in domini ad alto rischio. Argomenta che il fine-tuning con sola etichetta non è un approccio "più debole" in questi contesti, ma è in realtà superiore perché mantiene l'obiettivo di ottimizzazione direttamente allineato con il compito di predizione.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrebbe esplorare il filtraggio dei razionali discriminanti, funzioni di perdita pesate sull'etichetta o obiettivi ibridi per recuperare i benefici del ragionamento senza sacrificare la prestazione discriminativa. Dichiarano esplicitamente che i loro risultati non implicano che il ragionamento clinico sia privo di informazioni, ma piuttosto che l'attuale metodo di utilizzare i razionali generati come target di SFT è inaffidabile per questo specifico setting di predizione.