Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

Technische Samenvatting: Supervised Fine-tuning met synthetische rationale-data schaadt real-world ziektevoorspelling

Probleemstelling
Het onderzoek onderzoekt een gangbare aanname in de medische AI: dat Supervised Fine-Tuning (SFT) met synthetische rationale-data de prestaties van taalmodellen op klinische voorspellingsopdrachten verbetert door modellen niet alleen te leren wat ze moeten voorspellen, maar ook waarom. Hoewel eerder werk suggereert dat het leren van redeneerketens de generalisatie, interpreteerbaarheid en controleerbaarheid bevordert, daagt deze studie de vraag uit of deze intuïtie standhoudt in real-world, hoog-risico voorspellingsomgevingen die worden gekenmerkt door ijle en heterogene signalen. De auteurs richten zich op de vijfjaarlijkse voorspelling van de ziekte van Alzheimer en gerelateerde dementieën (ADRD) vanuit longitudinale gezondheidsgeschiedenissen, een taak waarbij risico zich ophoopt via diverse, zwakke paden in plaats van via één enkele, bepalende precursor.

Methodologie
De auteurs voerden een grootschalig gecontroleerd experiment uit met 504 configuraties om de impact van rationale-gebaseerde SFT te testen.

• Dataset: De studie maakte gebruik van een cohort van 42.566 deelnemers (8.802 ADRD-gevallen en 33.764 gematchte controles) afkomstig uit de UK Biobank. De inputs bestonden uit leeftijd-gestempelde medische geschiedenissen (ICD-10 codes, cognitieve tests, levensstijlfactoren) met gemiddeld slechts 17,7 geobserveerde kenmerken per record, wat een omgeving met een ijle signaalsterkte creëert.
• Experimenteel Ontwerp: Modellen werden gefinetuned op dezelfde ADRD-voorspellingsopdracht met drie verschillende trainingsdoelformaten:
  1. Geen Rationale: Het model geeft alleen de binaire label (0 of 1) weer.
  2. Vrije Rationale: Het model geeft een vrij vormgegeven, medisch plausibel narratief weer dat de voorspelling uitlegt, gevolgd door het label.
  3. Stapsgewijze Rationale: Het model geeft een gestructureerd, driestaps redeneerproces weer, gevolgd door het label.
     De rationales werden vooraf aan de SFT door een LLM gegenereerd, waarbij de instructie was om alleen gebruik te maken van bewijs dat aanwezig is in het patiëntendossier.
• Modellen en Hyperparameters: De experimenten kruisten drie doelformaten, drie trainingssteekproefgroottes (1,5K, 3,8K, 15,3K), vier leersnelheden, twee basismodellen (Qwen2.5-7B-Instruct en de redeneergerichte Qwen3-8B) en zeven decoding-instellingen (greedy, top-k, top-p bij verschillende temperaturen).
• Evaluatie: Prestaties werden gemeten via ROC-AUC, PR-AUC, F1-score en recall op een onafhankelijke testset van 853 individuen. Statistische significantie werd beoordeeld via gepaarde t-testen en de gepaarde DeLong-test.
• Kwaliteitscontroles: Om uit te sluiten dat een slechte datakwaliteit de oorzaak van het falen was, voerden de auteurs menselijke expert-annotaties uit op de gegenereerde rationales en voerden zij few-shot inference-experimenten uit waarbij dezelfde rationales als demonstraties werden gebruikt in plaats van als trainingsdoelen.

Belangrijkste Resultaten
De studie vond dat rationale-gebaseerde SFT consequent en substantieel de voorspellingsprestaties verslechtert vergeleken met label-alleen fine-tuning.

• Prestatievermindering: Over de 504 configuraties behaalden modellen getraind met label-alleen targets een gemiddelde ROC-AUC van 0,734. In tegen plaats behaalden modellen getraind met vrije vorm rationales 0,604, en die met stapsgewijze rationales 0,592. Deze degradatie bleef persistent over alle trainingssetgroottes en basismodellen.
• Redeneergerichte Modellen: De overstap naar een redeneergericht basismodel (Qwen3-8B) mitigeerde de degradatie niet; sterker nog, Qwen3-8B presteerde iets slechter dan Qwen2.5-7B-Instruct wanneer getraind met rationales.
• Rationale Kwaliteit is Niet het Probleem:
  • Menselijke Annotatie: Klinische experts beoordeelden de gegenereerde rationales als medisch accuraat en getrouw aan de patiëntbewijslast (hoge scores voor logica, biomedische correctheid en getrouwheid).
  • Few-Shot Demonstraties: Wanneer dezelfde stijl van rationale werd gebruikt als demonstratie tijdens inferentie (few-shot learning) in plaats van als trainingsdoel, verbeterde de prestatie aanzienlijk (ROC-AUC steeg van ~0,56 naar 0,65). Dit bevestigt dat de rationales werkelijke discriminerende signalen bevatten, maar falen wanneer ze als SFT-targets worden gebruikt.
• Foutanalyse: Label-alleen modellen leerden zich te concentreren op specifieke, hoogwaardige discriminerende kenmerken (bijv. delirium, Parkinson, cerebrovasculaire ziekte). Rationale-gebaseerde modellen leerden echter prioriteit te geven aan "plausibele" maar minder discriminerende brede morbiditeitsmarkers (bijv. retinaal defecten, duodenale ulcera), wat leidde tot hogere fout-positieveven in controles en fout-negatieven in gevallen.

Oorzaakanalyse
De auteurs identificeren een structureel conflict tussen narratieve plausibiliteit en discriminatieve optimalisatie.

• Plausibiliteit versus Discriminatie: Een medisch plausibele rationale moet een coherent verhaal vertellen dat consistent is met bekende risicopaden, waarbij vaak nadruk wordt gelegd op brede markers die zowel in gevallen als in controles voorkomen. Discriminatieve optimalisatie vereist echter het leren van de specifieelijke, vaak ijle combinatie van kenmerken die toekomstige gevallen onderscheiden van gematchte controles in een specifieke cohort.
• Optimalisatiebudget: In rationale-gebaseerde SFT wordt de loss gedomineerd door de gegenereerde tekst (50–150 tokens), terwijl het label-token minder dan 2% van de voltooiing beslaat. Bij consequentie optimaliseert het model voor het reproduceren van de narratieve structuur in plaats van het leren van de beslissingsgrens. Dit leidt de optimalisatiebudget weg van het discriminatieve signaal dat nodig is voor accurate voorspelling.

Significantie en Claims
Het artikel claimt een nauwkeurig begrip te bieden van de beperkingen van rationale-gebaseerde supervisie in klinische voorspelling.

• Contextuele Beperking: De bevindingen suggereren dat hoewel synthetische rationales waardevol zijn voor guidance tijdens de inferentie (demonstraties), ze contraproductief zijn als trainingsdoelen in settings waar discriminatieve signalen ijl en heterogeen zijn.
• Verantwoorde Ontwikkeling: Het werk waarschuwt tegen het gebruik van synthetische rationales als een shortcut voor betrouwbare verklaring in hoog-risico domeinen. Het beargumenteert dat label-alleen fine-tuning in deze contexten geen "zwakkere" aanpak is, maar juist superieur omdat het de optimalisatiedoelstelling direct afstemt op de voorspellingsopdracht.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk de discriminatieve rationale-filtering, label-gewogen loss-functies of hybride doelstellingen moet verkennen om de voordelen van redeneren te herstellen zonder het discriminatieve vermogen op te offeren. Ze stellen expliciet dat hun resultaten niet impliceren dat klinisch redeneren niet-informatief is, maar dat de huidige methode van het gebruiken van gegenereerde rationales als SFT-targets onbetrouwbaar is voor deze specifieke voorspellingssetting.