Using Relative Risk Rankings to Understand Information Differences in Multimodal Prediction Models

De studie concludeert dat het vervangen van thoraxfoto's door expertgeschriften de prognostische informatie beperkt, aangezien modellen die de originele beelden gebruiken betere voorspellingen doen voor 30-dagen mortaliteit en dat het vervangen van beelden door teksten leidt tot significante verschillen in risicorangschikking.

De kern

Stel je voor dat je een dokter bent die moet voorspellen of een patiënt na ontslag uit het ziekenhuis nog lang gezond blijft. Om dit te doen, heb je twee soorten informatie nodig: een foto van de longen (een röntgenfoto) en een verslag dat een specialist over die foto heeft geschreven.

In de praktijk kiezen ziekenhuizen vaak voor het gemak: ze gebruiken alleen het geschreven verslag en laten de foto weg. De vraag is: verlies je hierdoor belangrijke informatie? Alsof je een boek leest dat is samengevat door iemand anders, in plaats van het originele verhaal zelf te lezen.

De onderzoekers van dit paper hebben dit onderzocht met een slimme vergelijking:

1. De Drie Teams

Ze hebben drie verschillende "teams" (computers) getraind om het risico op overlijden binnen 30 dagen te voorspellen:

• Team A (Alleen samenvatting): Kijkt alleen naar het ontslagbriefje en het geschreven verslag van de longarts.
• Team B (Foto + Samenvatting): Kijkt naar het ontslagbriefje én de originele röntgenfoto.
• Team C (Verslag + Samenvatting): Kijkt naar het ontslagbriefje én het geschreven verslag van de longarts (in plaats van de foto).

2. Het Resultaat: De Foto wint

Het verrassende nieuws is dat Team B (met de foto) het beste presteerde.

• Team B had een nauwkeurigheid van 86,4%.
• Team A (alleen tekst) zat op 83,1%.
• Team C (verslag in plaats van foto) deed het zelfs iets slechter, met 81,3%.

Dit betekent dat het vervangen van de foto door het verslag de voorspelling minder goed maakt. De foto bevat dus geheime hints die niet in het verslag staan.

3. De "Rangschikking" (De Belangrijkste Les)

Maar hier komt het creatieve deel. De onderzoekers keken niet alleen naar wie er het beste scoorde, maar ook naar wie ze als gevaarlijkst zagen.

Stel je voor dat je een lijst maakt van 100 patiënten, van "minst gevaarlijk" tot "meest gevaarlijk".

• Als Team A en Team B naar dezelfde lijst kijken, zien ze dat de foto de patiënten op de lijst in een andere volgorde zet dan het verslag.
• Het is niet zo dat het verslag gewoon "een beetje minder goed" is; het verslag verkeert de volgorde. Het zegt misschien: "Patiënt X is veilig", terwijl de foto zegt: "Patiënt X is in gevaar".

Dit is als een gids die een stad beschrijft.

• De foto is alsof je zelf door de straten loopt en ziet dat er een gat in de weg zit en een donkere hoek is.
• Het verslag is alsof je een toeristenfolder leest. Die zegt: "De stad is mooi en veilig." Maar de folder vergeten misschien te melden dat er op hoek X een gevaarlijk gat ligt, omdat de schrijver daar niet naar keek of het niet belangrijk vond.

4. Waarom gebeurt dit?

Toen een echte longarts de resultaten bekeek, merkte hij op dat artsen in hun verslagen vaak alleen schrijven wat ze belangrijk vinden voor de behandeling. Ze schrijven niet alles op wat ze zien.

• Een foto toont alles: elke vlek, elke schaduw, elke onregelmatigheid.
• Een verslag is een samenvatting gericht op de menselijke lezer. Hierdoor gaan subtiele, maar levensreddende details verloren.

Conclusie in het kort

Je kunt een röntgenfoto niet zomaar vervangen door het verslag erover, net zoals je een origineel schilderij niet kunt vervangen door een beschrijving ervan.

Als je wilt weten wie het grootste risico loopt, moet je naar de originele foto kijken. Als je alleen naar het verslag kijkt, mis je details die de volgorde van wie "veilig" is en wie "in gevaar" is, volledig kunnen verdraaien. Voor de beste voorspelling heb je dus beide nodig: de foto én de tekst.

Technische samenvatting

Probleemstelling

Moderne multimodale modellen in de gezondheidszorg combineren steeds vaker heterogene klinische data. In de praktijk worden ruwe modaliteiten (zoals medische beelden) echter vaak vervangen door door experts geschreven samenvattingen (zoals radiologieverslagen) omwille van het gemak. Een cruciale, maar tot nu toe niet systematisch onderzochte vraag is of deze representatieve substitutie – bijvoorbeeld het vervangen van een röntgenfoto van de longen (CXR) door het bijbehorende tekstverslag – de prognostische informatie behoudt. Het kwantificeren van deze informatieverschillen is essentieel om te bepalen welke representatie het meest informatief is voor het voorspellen van patiëntuitkomsten.

Methodologie

De auteurs onderzochten deze vraag door de voorspellende waarde van thoraxröntgenfoto's (CXR) te vergelijken met die van de bijbehorende radiologieverslagen voor het voorspellen van mortaliteit binnen 30 dagen na ontslag.

• Data: Het onderzoek gebruikte een gelinkte subset van de MIMIC-IV en MIMIC-CXR databases met gekoppelde inputs ($n = 1.360$).
• Modellen: Er werden Vision-Language Models (VLMs) ingezet. Als globale klinische context werd het ontslagverslag (discharge note) gebruikt. Dit werd aangevuld met één van de volgende modaliteiten:
  1. De meest recente CXR voor ontslag.
  2. Het bijbehorende radiologieverslag.
  3. Alleen het ontslagverslag (baseline).
• Analyse van Rangschikkingen: Om het effect van modale substitutie op het voorspellende gedrag te kwantificeren, maten de auteurs de afstanden tussen de voorspelde risicorangschikkingen met behulp van Kendall's tau. Dit meet niet alleen de algemene discriminatie, maar specifiek of de volgorde van risico's voor individuele patiënten verandert.
• Validatie: Een post-hoc review door een radioloog werd uitgevoerd om de bevindingen te interpreteren.

Belangrijkste Resultaten

De experimentele resultaten tonen duidelijke verschillen in prestaties tussen de modellen:

1. Prestatieverschillen (AUROC):

   • Het model met ontslagverslag + CXR behaalde de beste prestatie met een AUROC van 0,864.
   • Het model met alleen ontslagverslag behaalde een AUROC van 0,831.
   • Het model met ontslagverslag + radiologieverslag behaalde de laagste prestatie met een AUROC van 0,813.
   • Conclusie: Het gebruik van de ruwe afbeelding (CXR) leverde een significant betere voorspelling op dan het gebruik van het tekstverslag, zelfs wanneer beide werden gecombineerd met dezelfde klinische context.

2. Risicorangschikkingen (Kendall's tau):

   • De afstanden tussen de risicorangschikkingen tussen verschillende modaliteiten (inter-modale afstanden) waren groter dan de afstanden binnen dezelfde modaliteit (intra-modale afstanden).
   • Dit impliceert dat het vervangen van CXR's door verslagen niet alleen de algehele discriminatie vermindert, maar ook de prioritering van risico's voor individuele patiënten verandert. Het model "ziet" andere patiënten als risicovoller dan het verslag suggereert.

3. Klinische Interpretatie:

   • De radioloog gaf aan dat verslagen, als klinisch georiënteerde samenvattingen, mogelijk niet exhaustief zijn in het documenteren van visueel beschikbare prognostische aanwijzingen die voor het model relevant zijn voor risicostratificatie.

Belangrijkste Bijdragen

• Systematische Karakterisering: Het paper biedt een van de eerste systematische analyses van het informatieverlies bij het vervangen van ruwe medische beelden door expert-verslagen in multimodale voorspellende modellen.
• Nieuwe Evaluatiemethode: De auteurs introduceren het gebruik van relatieve risicorangschikkingen (via Kendall's tau) als een kritieke metriek naast de traditionele AUROC. Dit maakt het mogelijk om te onderscheiden of een model alleen minder nauwkeurig is, of dat het de volgorde van patiënten in het risicoprofiel fundamenteel verandert.
• Empirisch Bewijs: Het levert kwantitatief bewijs dat expert-verslagen imperfecte proxies zijn voor ruwe beelden in de context van sterftevoorspelling.

Significantie

De bevindingen hebben belangrijke implicaties voor de ontwikkeling en implementatie van AI in de zorg:

1. Representatiekeuze: Het vervangen van beelden door tekst voor het gemak kan leiden tot suboptimale modellen die patiënten met een hoog risico over het hoofd zien of verkeerd rangschikken.
2. Validatie: Representatieve substitutie moet niet alleen worden getest op discriminatie (AUROC), maar ook op overeenkomst in rangschikking. Een model dat een lagere AUROC heeft, kan nog steeds nuttig zijn, maar als de rangschikking verschuift, kan dit leiden tot andere klinische beslissingen.
3. Toekomstige Richting: Het benadrukt de noodzaak van multimodale modellen die zowel visuele als tekstuele data integraal verwerken, in plaats van te vertrouwen op samenvattingen die mogelijk visuele nuances verliezen.