Multimodal domain adaptation under label shift and blockwise missing modalities

Het Raadsel van de Verwarrende Medische Aanwijzingen

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de aanwijzingen die je hebt zijn verspreid over verschillende plaatsdelicten, geschreven in verschillende talen, en sommige ontbreken volledig. Dit is de dagelijkse realiteit voor moderne medische onderzoekers die ziekten zoals kanker proberen te voorspellen. Ze hebben toegang tot een schatkist aan gegevens: elektronische patiëntendossiers, artsennotities, MRI-scans en genetische tests. Dit wordt "multimodale" data genoemd omdat het in veel verschillende vormen of "modi" voorkomt.

Er is echter een addertje onder het gras. Het ene ziekenhuis heeft misschien geweldige röntgenfoto's maar geen genetische data, terwijl een ander ziekenhuis wel genetica heeft maar geen röntgenfoto's. Bovendien kunnen de patiënten in de "oude" ziekenhuizen (de bronnen) verschillen van de patiënten in het "nieuwe" ziekenhuis (het doel) waar de voorspelling eigenlijk nodig is. Misschien ziet het nieuwe ziekenhuis ziekere patiënten, of gedraagt de ziekte zich daar iets anders. Dit verschil wordt "label shift" genoemd. Als je probeert al deze rommelige, incomplete en verschillende gegevensbronnen zonder plan samen te voegen, zullen je voorspellingen even verward zijn als een detective die een zaak probeert op te lossen met een kaart uit een ander land. Het doel van dit onderzoek is om uit te vogelen hoe je deze verspreide, imperfecte aanwijzingen kunt combineren om nauwkeurige voorspellingen te doen voor een nieuwe groep mensen, zelfs wanneer de regels van het spel zijn veranderd.

De "Reference Anchor" Oplossing

In dit artikel stellen de auteurs een slimme nieuwe methode voor om dit raadsel op te lossen, die zij "reference-anchored domain adaptation" noemen. Denk hierbij aan het proberen te vertalen van een verhaal dat in verschillende dialecten is geschreven, waarbij sommige pagina's uit sommige exemplaren ontbreken.

Ten eerste beseffen de auteurs dat je de data niet zomaar op één hoop kunt gooien. Als je probeert de "röntgen"-aanwijzingen van Ziekenhuis A direct af te stemmen op de "genetische" aanwijzingen van Ziekenhuis B, kun je het fout doen omdat de patiënten in die ziekenhuizen verschillend zijn. Het is alsof je de lengte van basketbalspelers van het ene team probeert te vergelijken met het gewicht van zwemmers van een ander team, zonder rekening te houden met de sport. De auteurs stellen dat je eerst moet uitzoeken hoe de "uitkomst" (zoals of een patiënt ziek wordt) verdeeld is in de nieuwe doelgroep, en dat je vervolgens de oude data moet aanpassen om overeen te stemmen met die nieuwe realiteit voordat je de aanwijzingen probeert te combineren.

Om dit te doen, gebruiken ze een "referentie-modaliteit". Stel je voor dat elk ziekenhuis, oud en nieuw, een standaard ID-kaart heeft met basisinformatie zoals leeftijd en geslacht. Dit is de "referentie". De auteurs gebruiken deze gemeenschappelijke ID-kaart om te schatten hoe de ziektecijfers eruitzien in de nieuwe doelgroep. Zodra ze de "vibe" van de doelgroep kennen, wegen ze de oude data opnieuw af zodat deze lijkt alsof ze uit de nieuwe groep komen.

Vervolgens komt het lastige deel: de ontbrekende stukjes. Sommige ziekenhuizen hebben röntgenfoto's, andere hebben bloedtests, maar niemand heeft beide. De auteurs gebruiken een wiskundig hulpmiddel genaamd Canonical Correlation Analysis (CCA) om de verborgen verbanden tussen de referentie-ID-kaart en de andere aanwijzingen (zoals röntgenfoto's of bloedtests) in de doelgroep te vinden. Dit creëert een "gemeenschappelijke taal" of een gedeelde kaart. Vervolgens gebruiken ze een techniek genaamd "ridge regression" om de aanwijzingen van de bronziekenhuizen te vertalen naar deze nieuwe gemeenschappelijke taal. Het is als het hebben van een vertaler die het dialect van de doelgroep perfect kent en de verspreide aantekeningen van de oude ziekenhuizen kan nemen en ze herschrijven zodat ze in de nieuwe kaart passen.

Ten slotte gebruiken ze deze afgestemde aanwijzingen om de uitkomst te voorspellen. Het artikel introduceert ook een "surrogaat"-truc voor situaties waarin de oude ziekenhuizen niet over perfecte labels beschikken (zoals een bevestigde diagnose). Ze gebruiken een ruwer, gemakkelijker verkrijgbaar signaal (zoals een computergok) om de brug te helpen bouwen, en verfijnen dit vervolgens met de weinige perfecte labels die ze wel hebben.

Wat Ze Vonden

De auteurs testten dit idee op twee manieren: met computersimulaties en met echte data van patiënten met niercelcarcinoom (een type nierkanker).

In hun simulaties creëerden ze fictieve werelden waar data in blokken ontbrak en de ziektecijfers verschilden tussen groepen. Ze vonden dat hun methode veel beter was in het voorspellen van uitkomsten dan simpelweg alle data in een standaard machine learning-model gooien. Specifiek verbeterde hun methode de nauwkeurigheid van de voorspellingen met ongeveer 20% en verminderde het de fout in de schattingen van de waarschijnlijkheid met bijna 52% vergeleken met een populair model genaamd XGBoost dat hun speciale afstemmingstechnieken niet gebruikte. Ze toonden ook aan dat zelfs wanneer ze slechts een paar perfecte labels hadden en voornamelijk ruwe "surrogaat"-labels, hun methode nog steeds heel dicht bij de prestaties van het hebben van alle perfecte labels kon komen.

In de test met de echte wereld keken ze naar 7.713 patiënten met nierkanker. Ze gebruikten gegevens van patiënten die tussen 2000 en 2016 werden behandeld als de "bron" en patiënten van 2017 tot 2022 als het "doel". De data waren rommelig: sommige patiënten hadden alleen basisgegevens, anderen hadden CT-scans, en sommigen hadden beide. Ook de recidivecijfers van de ziekte waren in de loop der tijd verschoven. Hun methode voorspelde succesvol welke patiënten een terugkeer van de ziekte zouden hebben binnen 12 maanden. Het was de meest nauwkeurige methode voor het voorspellen van de waarschijnlijkheid van recidive (gemeten met een score genaamd BSS) en was het beste in het matchen van het werkelijke ziektecijfer in de nieuwe groep (kalibratie). Terwijl andere methoden oké waren in het rangschikken van patiënten (wie is zieker dan wie), kregen ze de werkelijke risiconummers vaak fout. De methode van de auteurs kreeg echter zowel de rangschikking als de risiconummers goed.

Het artikel sluit expliciet de gedachte uit dat je alle data gewoon kunt samenvoegen of dat je de data kunt afstemmen zonder eerst te corrigeren voor het verschil in ziektecijfers. Ze toonden aan dat het doen op de "oude manier" leidt tot slecht gekalibreerde voorspellingen. Ze demonstreerden ook dat hun methode werkt, zelfs wanneer de data van verschillende bronnen volledig verschillend zijn (bloksgewijs ontbrekend) en wanneer de labels schaars zijn.

Kortom, de auteurs suggereren dat door een gemeenschappelijk referentiepunt te gebruiken om eerst de doelgroep te begrijpen, en vervolgens de verspreide aanwijzingen van andere groepen zorgvuldig naar die context te vertalen, we veel betrouwbaardere medische voorspellingen kunnen doen. Deze aanpak gokt niet alleen; het bouwt een stevige brug tussen verschillende werelden van data, waardoor de voorspellingen voor de toekomst geworteld zijn in de realiteit van het heden.