MedicalRec: Medical recommender system for image classification without retraining

Technische Samenvatting: MedicalRec: Een medisch aanbevelingssysteem voor beeldclassificatie zonder hertraining

Probleemstelling
De snelle adoptie van deep learning (DL) in medische beeldclassificatie heeft aanzienlijke milieu- en computationele uitdagingen geïntroduceerd. Het trainen van state-of-the-art modellen vereist een enorme hoeveelheid energie, wat leidt tot hoge koolstofemissies en elektronisch afval. Een primaire inefficiëntie in huidige workflows is het "trial and error"-proces dat onderzoekers en praktijkbeoefenaars ondergaan bij het selecteren van het optimale model voor een specifieke medische beelddataset. Dit proces omvat het trainen en evalueren van tientallen modellen om de beste presteerder te identificeren, een praktijk die de CO2-voetafdruk vergroot en excessief veel tijd en middelen consumeert. Bovsamen zorgt het gebrek aan een gestandaardiseerde benchmark of protocol voor het aanbevelen van modellen op basis van datasetkenmerken voor deze repetitieve en hulpbronnenintensieve cyclus.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs MedicalRec voor, een op Transformers gebaseerd aanbevelingssysteem dat ontworpen is om het meest geschikte machine learning-model te voorspellen voor een specifieke medische beeldclassificatietaak zonder dat hertraining vereist is.

1. Dataset Constructie (MedicalRec-Bench):
   De basis van het onderzoek is een nieuwe dataset, MedicalRec-Bench, samengesteld uit 3.000 wetenschappelijke artikelen op het gebied van medische beeldclassificatie. Deze dataset bevat meer dan 5.000 records van modellen die zijn getest over diverse taken, waaronder classificatie van huidkanker, tumoren, wonden, borstkanker en MRI.

   • Kenmerken: De dataset bevat metadata zoals titels, abstracts, trefwoorden en statistische kenmerken (bijv. steekproefomvang, beeldafmetingen, aantal klassen) naast prestatie-indicatoren (Nauwkeurigheid, Precisie, Recall, F1, AUC).
   • Versies: Vanwege de uitdaging van niet-gerapporteerde gegevens door de oorspronkelijke auteurs (wat resulteerde in aanzienlijke ontbrekende waarden), is de dataset uitgebracht in vier versies met variërende aantallen kenmerken: MedicalRec I (5 kenmerken), II (9 kenmerken), III (11 kenmerken) en IV (18 kenmerken).
   • Data Preprocessing: Ontbrekende waarden (gerepresenteerd als 0.0) werden geïmputeerd met behulp van kolomgemiddelden. Tekstuele gegevens (Modelnamen) werden geëmbed via BERT, terwijl numerieke kenmerken direct werden gebruikt.

2. Modelarchitectuur:
   MedicalRec wordt geformuleerd als een sequentieel aanbevelingsprobleem waarbij:

   • Gebruiker/Scenario: Een specifieke classificatietaak gedefinieerd door datasetkenmerken (bijv. beeldgrootte, aantal klassen).
   • Item: Een specifieke modelarchitectuur (bijv. ResNet-50, VGG-16).
   • Score: De prestatie-indicator (voornamelijk Nauwkeurigheid).

   Het model maakt gebruik van een Transformer-architectuur geïnspireerd door BERT4Rec. Het maakt gebruik van:

   • Embedding Layer: Zet inputkenmerken om in continue vectoren.
   • Transformer Encoder: Bestaat uit 12 lagen, elk met 12 self-attention heads, om afhankelijkheden tussen inputkenmerken en modelprestaties vast te leggen.
   • Positional Embeddings: Toegevoegd om temporele/sequentiële informatie te behouden.
   • Output Layer: Een Softmax-functie rangschikt potentiële modelaanbevelingen probabilistisch.
   • Trainingsdoel: Het model wordt getraind met een masked item prediction task (Cloze task), waarbij een proportie van de input-items wordt gemaskeerd, en het model deze voorspelt met behulp van een twee-laagse feed-forward netwerk met GELU-activatie.

Belangrijkste Bijdragen

• MedicalRec-Bench: De creatie van de eerste publiekelijk beschikbare dataset die specifiek is ontworpen voor modelaanbeveling in medische beeldclassificatie, waarbij gegevens van 3.000 artikelen zijn samengevoegd.
• MedicalRec Model: De ontwikkeling van een op Transformers gebaseerd aanbevelingssysteem dat datasetkenmerken in kaart brengt naar optimale modelarchitecturen, waardoor de noodzaak voor uitputtende hertraining wordt geëlimineerd.
• Uitgebreide Evaluatie: Een rigoureuze evaluatie van het voorgestelde model tegenover 12 baseline-modellen (inclusief Collaborative Filtering, Content-Based, SVD, LSTM, GRU, IndRNN, LLM en Fairness-aware modellen) over vier datasetconfiguraties.

Resultaten
De studie evalueerde de modellen met behulp van Precision@K, Recall@K, F1@K, Discounted Cumulative Gain (DCG) en HitRate@K.

• Prestaties: Het voorgestelde MedicalRec-model behaalde superieure prestaties over alle datasetversies (I–IV). In de meest uitgebreide configuratie (MedicalRec IV) behaalde het een HitRate@100 van 75,50%, een Recall van 9,80% en een Precisie van 10,50%.
• Vergelijking: MedicalRec presteerde consequent beter dan klassieke methoden (Collaborative Filtering, SVD) en deep learning baselines (LSTM, GRU, IndRNN). Hoewel "Fair" en "Multi-modal" modellen competitieve resultaten lieten zien in specifieke metrieken (bijv. DCG@5), behield MedicalRec de hoogste algemene scores, met name in langere aanbevelingslijsten (D@50 tot D@100).
• Ablatie-studies:
  • Activatie-functies: ReLU bleek de hoogste F1@100 scores te leveren over alle datasetversies.
  • Dropout: Optimale dropout-percentages varieerden per datasetcomplexiteit (0,7 voor MedicalRec I; 0,5 voor II, III en IV).
• Statistische Significantie: K-fold cross-validatie (5-fold) op MedicalRec IV bevestigde de stabiliteit van het model, met een HitRate@100 variërend tussen 75,22% en 76,50%. T-testen (P-waarden) gaven aan dat het prestatieverschil tussen MedicalRec en alle andere modellen statistisch significant was (P < 0,05).

Betekenis en Claims
Het artikel claimt dat MedicalRec een praktische oplossing biedt om de milieu-impact van medische AI-ontwikkeling te verminderen. Door het optimale model aan te bevelen op basis van datasetkenmerken, beoogt het systeem de noodzaak voor onderzoekers om meerdere kandidaat-modellen te trainen te elimineren, waardoor energie wordt bespaard en koolstofemissies worden verminderd. De auteurs benadrukken dat dit het eerste werk is dat statistische kenmerken uit bestaande literatuur gebruikt om een modelaanbevelingssysteem voor medische beeldvorming op te bouwen. De dataset en implementatie worden publiekelijk beschikbaar gesteld om toekomstig onderzoek te faciliteren, waarbij de auteurs opmerken dat toekomstig werk uitdagingen kan aanpakken zoals zero-starting waarden, imputatie van ontbrekende gegevens en klasse-onbalans.