MedicalRec: Medical recommender system for image classification without retraining

Technische Zusammenfassung: MedicalRec: Ein Empfehlungssystem für die medizinische Bildklassifizierung ohne erneutes Training

Problemstellung
Die schnelle Verbreitung von Deep Learning (DL) in der medizinischen Bildklassifizierung hat erhebliche ökologische und rechnerische Herausforderungen mit sich gebracht. Das Training modernster Modelle erfordert beträchtliche Energiemengen, was zu hohen Kohlenstoffemissionen und Elektronikschrott führt. Eine primäre Ineffizienz in aktuellen Arbeitsabläufen ist der „Trial-and-Error“-Prozess, den Forscher und Praktiker durchlaufen, um das optimale Modell für einen spezifischen medizinischen Bilddatensatz auszuwählen. Dieser Prozess beinhaltet das Trainieren und Evaluieren von Dutzenden von Modellen, um den besten Performer zu identifizieren – eine Praxis, die den CO2-Fußabdruck verschlimmert und übermäßige Zeit sowie Ressourcen verbraucht. Darüber hinaus erzwingt das Fehlen eines standardisierten Benchmarks oder Protokolls zur Empfehlung von Modellen basierend auf Datensatzcharakteristika diesen repetitiven und ressourcenintensiven Zyklus.

Methodik
Um diese Herausforderungen anzugehen, schlagen die Autoren MedicalRec vor, ein Transformer-basiertes Empfehlungssystem, das darauf ausgelegt ist, das am besten geeignete Machine-Learning-Modell für eine gegebene medizinische Bildklassifizierungsaufgabe vorherzusagen, ohne dass ein erneutes Training erforderlich ist.

1. Datensatzkonstruktion (MedicalRec-Bench):
   Die Grundlage der Studie ist ein neuer Datensatz, MedicalRec-Bench, der aus 3.000 wissenschaftlichen Artikaten im Bereich der medizinischen Bildklassifizierung zusammengestellt wurde. Dieser Datensatz enthält über 5.000 Datensätze von Modellen, die über verschiedene Aufgaben hinweg getestet wurden, darunter Hautkrebs-, Tumor-, Wund-, Brustkrebs- und MRT-Klassifizierung.

• Merkmale: Der Datensatz umfasst Metadaten wie Titel, Abstracts, Schlüsselwörter und statistische Merkmale (z. B. Stichprobengröße, Bilddimensionen, Anzahl der Klassen) neben Leistungsmetriken (Genauigkeit, Präzision, Recall, F1, AUC).
• Versionen: Aufgrund der Herausforderung der Nicht-Berichterstattung durch die ursprünglichen Autoren (was zu signifikanten fehlenden Werten führt), wurde der Datensatz in vier Versionen mit variierenden Merkmalsanzahlen veröffentlicht: MedicalRec I (5 Merkmale), II (9 Merkmale), III (11 Merkmale) und IV (18 Merkmale).
• Datenvorverarbeitung: Fehlende Werte (dargestellt als 0,0) wurden mittels Spaltenmittelwerten imputiert. Textuelle Daten (Modellnamen) wurden mittels BERT eingebettet, während numerische Merkmale direkt verwendet wurden.

2. Modellarchitektur:
   MedicalRec wird als sequenzielles Empfehlungsproblem formuliert, bei dem:

• User/Szenario: Eine spezifische Klassifizierungsaufgabe, definiert durch Datensatzcharakteristika (z. B. Bildgröße, Anzahl der Klassen).
• Item: Eine spezifische Modellarchitektur (z. B. ResNet-50, VGG-16).
• Score: Die Leistungsmetrik (primär Genauigkeit/Accuracy).

Das Modell nutzt eine Transformer-Architektur, die von BERT4Rec inspiriert ist. Es verwendet:

• Embedding-Layer: Wandelt Eingangsmerkmale in kontinuierliche Vektoren um.
• Transformer-Encoder: Besteht aus 12 Schichten, die jeweils 12 Self-Attention-Heads besitzen, um Abhängigkeiten zwischen Eingangsmerkmalen und Modellleistung zu erfassen.
• Positional Embeddings: Werden hinzugefügt, um temporale/sequenzielle Informationen zu bewahren.
• Output-Layer: Eine Softmax-Funktion rankt potenzielle Modellempfehlungen probabilistisch.
• Trainingsziel: Das Modell wird mittels einer Masked-Item-Prediction-Aufgabe (Cloze-Task) trainiert, bei der ein Anteil der Eingangs-Items maskiert wird und das Modell diese mithilfe eines zwei-schichtigen Feed-Forward-Netzwerks mit GELU-Aktivierung vorhersagt.

Zentrale Beiträge

• MedicalRec-Bench: Die Erstellung des ersten öffentlich verfügbaren Datensatzes, der speziell für die Modellempfehlung in der medizinischen Bildklassifizierung konzipiert ist und Daten aus 3.000 Artikeln aggregiert.
• MedicalRec-Modell: Die Entwicklung eines Transformer-basierten Empfehlungssystems, das Datensatzcharakteristika auf optimale Modellarchitekturen abbildet und somit das Notwendigsein eines erschöpfenden erneuten Trainings eliminiert.
• Umfassende Evaluierung: Eine rigorose Evaluierung des vorgeschlagenen Modells gegenüber 12 Baseline-Modellen (einschließlich Collaborative Filtering, Content-Based, SVD, LSTM, GRU, IndRNN, LLM und Fairness-bewussten Modellen) über vier Datensatzkonfigurationen hinweg.

Ergebnisse
Die Modelle wurden unter Verwendung von Precision@K, Recall@K, F1@K, Discounted Cumulative Gain (DCG) und HitRate@K evaluiert.

• Leistung: Das vorgeschlagene MedicalRec-Modell erzielte eine überlegene Leistung über alle Datensatzversionen (I–IV) hinweg. In der umfassendsten Konfiguration (MedicalRec IV) erreichte es eine HitRate@100 von 75,50 %, einen Recall von 9,80 % und eine Präzision von 10,50 %.
• Vergleich: MedicalRec übertraf konsistent klassische Methoden (Collaborative Filtering, SVD) sowie Deep-Learning-Baselines (LSTM, GRU, IndRNN). Während „Fair“- und „Multi-modal“-Modelle in spezifischen Metriken (z. B. DCG@5) konkurrenzfähige Ergebnisse zeigten, behielt MedicalRec die höchsten Gesamtwerte bei, insbesondere in längeren Empfehlungslisten (D@50 bis D@100).
• Ablationsstudien:
• Aktivierungsfunktionen: Es wurde festgestellt, dass ReLU die höchsten F1@100-Werte über alle Datensatzversionen hinweg lieferte.
• Dropout: Optimale Dropout-Raten variierten je nach Komplexität des Datensatzes (0,7 für MedicalRec I; 0,5 für II, III und IV).
• Statistische Signifikanz: Eine K-Fold-Kreuzvalidierung (5-Fold) auf MedicalRec IV bestätigte die Stabilität des Modells, wobei die HitRate@100 zwischen 75,22 % und 76,50 % lag. T-Tests (P-Werte) zeigten an, dass der Leistungsunterschied zwischen MedicalRec und allen anderen Modellen statistisch signifikant war (P < 0,05).

Bedeutung und Ansprüche
Das Paper behauptet, dass MedicalRec eine praktische Lösung bietet, um die ökologischen Auswirkungen der Entwicklung medizinischer KI zu reduzieren. Durch die Empfehlung des optimalen Modells basierend auf Datensatzmerkmalen zielt das System darauf ab, die Notwendigkeit für Forscher zu eliminieren, mehrere Kandidatenmodelle zu trainieren, wodurch Energie gespart und Kohlenstoffemissionen reduziert werden. Die Autoren betonen, dass dies die erste Arbeit ist, die statistische Merkmale aus bestehender Literatur nutzt, um ein Modell-Empfehlungssystem für die medizinische Bildgebung aufzubauen. Der Datensatz und die Implementierung werden öffentlich zur Verfügung gestellt, um zukünftige Forschung zu erleichtern, wobei die Autoren anmerken, dass zukünftige Arbeiten Herausforderungen wie Zero-Starting-Werte, Imputation fehlender Daten und Klassenimbalance angehen könnten.