⚡ electrical engineering

MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification

Das Paper stellt MoPET vor, ein parametereffizientes Mixture-of-Experts-Framework, das einen spärlichen Router nutzt, um innerhalb eines eingefrorenen Foundation-Modells dynamisch Low-Rank-Adapter auszuwählen, wodurch mehrere heterogene medizinische Bildgebungsaufgaben effektiv in einem einzigen Netzwerk konsolidiert werden, während gleichzeitig negativer Transfer gemildert wird und sowohl das vollständige Fine-Tuning als auch isolierte Adapter-Ansätze übertroffen werden.

Ursprüngliche Autoren: Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

Veröffentlicht 2026-08-03

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, verschiedene Dinge in der Welt zu erkennen, wie zum Beispiel eine Katze, ein Auto oder eine Wolke. Sie besitzen ein massives, vortrainiertes Robotergehirn, das bereits viel über die Welt weiß, aber es muss spezifische medizinische Fähigkeiten erlernen, wie etwa das Erkennen eines Tumors in einer Röntgenaufnahme oder das Zählen von Blutzellen unter einem Mikroskop. Dies ist die Welt der medizinischen Bildklassifizierung, in der Computer Ärzten helfen, Krankheiten zu diagnostizieren, indem sie Bilder betrachten.

Der schwierige Teil ist, dass medizinische Daten unordentlich und oft spärlich sind. Sie haben vielleicht tausende Röntgenbilder, aber nur ein paar hundert Bilder einer bestimmten Art von Hauterkrankung. Wenn Sie versuchen, das gesamte massive Robotergehirn für jede neue Krankheit von Grund auf neu zu trainieren, ist das so, als würde man versuchen, eine ganze Bibliothek umzubauen, nur um ein einziges neues Buch hinzuzufügen; es dauert ewig, kostet ein Vermögen und der Roboter wird oft verwirrt und vergisst, was er bereits wusste. Um dies zu lösen, nutzen Wissenschaftler einen Trick namens Parameter-Efficient Fine-Tuning (PEFT). Betrachten Sie dies als das Geben eines kleinen, maßgeschneiderten „Adapters“ oder einer speziellen Brille für jede spezifische Aufgabe. Diese Adapter sind winzig und kostengünstig zu trainieren, wodurch der Roboter den neuen Job lernen kann, ohne sein altes Wissen zu durcheinanderzubringen.

Es gibt jedoch einen Haken. Wenn Sie zehn verschiedene medizinische Aufgaben haben, enden Sie mit zehn verschiedenen Brillen und zehn verschiedenen winzigen Adaptern. Das Verwalten all dieser Teile ist ein Albtraum für Krankenhäuser mit begrenzter Computerleistung. Sie möchten ein einziges Supergehirn haben, das die richtige „Brille“ für den richtigen Job sofort tragen kann. Aber wenn Sie versuchen, all diese Adapter in einem einzigen großen Gehirn zusammenzufassen, kämpfen sie oft gegeneinander, was den Roboter verwirrt – ein Problem, das Wissenschaftler „negativen Transfer“ nennen. Dieses Paper, MoPET, stellt die Frage: Können wir ein einziges, einheitliches Robotergehirn bauen, das viele verschiedene medizinische Aufgaben gleichzeitig bewältigen kann, ohne dass die Adapter miteinander kämpfen, während es gleichzeitig klein und effizient bleibt?

Das Problem: Zu viele Brillen, ein Gehirn

Stellen Sie sich ein Krankenhaus vor, in dem Ärzte alles Mögliche diagnostizieren müssen, von Knochenbrüchen über Hautausschläge bis hin zu Bluterkrankungen. In der Vergangenheit hätte ein Computer, wenn er helfen wollte, für jeden Job einen separaten, isolierten „Experten“ benötigt haben. Einen Experten für Röntgenbilder, einen andere für Hautfotos, einen weiteren für Blutproben. Das funktioniert zwar, ist aber so, als hätte man für jede einzelne Sache, die man betrachtet, eine andere Brille. Es ist klobig, nimmt viel Platz ein, und wenn man einen neuen Job hinzufügen möchte, muss man eine völlig neue Brille von Grund auf neu bauen.

Das Paper erklärt, dass diese „Brillen“ (genannt Adapter) zwar großartig sind, weil sie klein sind und man nicht das ganze Gehirn neu trainieren muss, aber das Vorhalten einer separaten Brille für jede Aufgabe ineffizient ist. Man endet mit einem „Zoo“ aus unverbundenen Modellen. Die Autoren wollten sehen, ob sie all diese Experten in ein einziges, einheitliches Modell kombinieren können, das zwischen Aufgaben im Handumdrehen wechseln kann.

Die Lösung: MoPET, die intelligente Vermittlungsstelle

Die Autoren führen MoPET (Mixture of Parameter-Efficient Experts) ein. Betrachten Sie das Computermodell als eine riesige, eingefrorene Bibliothek (das „Foundation Model“), die allgemeine Fakten über die Welt kennt. Anstatt in dieser Bibliothek für jedes Thema ein separates Zimmer zu haben, haben sie eine intelligente Vermittlungsstelle (einen Router) und einen Pool von spezialisierten, Low-Rank-Experten installiert.

So funktioniert es in einfacher Sprache:

Die eingefrorene Bibliothek: Das Hauptgehirn ist eingefroren. Es verändert sich nicht. Es ist das solide Fundament.
Die Experten: Anstatt die ganze Bibliothek neu zu trainieren, injizieren sie winzige, spezialisierte Module (Experten) in das Gehirn. Dies sind wie „hochintelligente Praktikanten“, die sehr gut in bestimmten Dingen sind, aber nur sehr wenig Platz beanspruchen. Einige Praktikanten sind gut darin, Blutzellen anzusehen, andere auf Haut, andere auf Organe.
Die intelligente Vermittlungsstelle: Wenn ein neues Bild eingeht (sagen wir, ein Bild einer Lunge), schaut die Vermittlungsstelle darauf und entscheidet sofort: „Ah, das braucht den Lungen-Experten!“ Sie leitet das Bild nur an diesen spezifischen Experten (oder eine kleine Gruppe von ihnen) weiter, anstatt die ganze Bibliothek aufzuwecken.
Kein Kampf: Da die Vermittlungsstelle jedes Bild an den richtigen Experten leitet, müssen sich der „Lungen-Experte“ und der „Haut-Experte“ nicht um denselben Platz im Gehirn streiten. Sie arbeiten parallel, ohne sich gegenseitig in die Quere zu kommen.

Was sie herausgefunden haben

Die Forscher testeten diese Idee mit 12 verschiedenen medizinischen Datensätzen aus der MedMNIST-Kollektion, die Bilder von Blutzellen, Brustultraschall, Thorax-Röntgenaufnahmen, Hautläsionen und mehr umfasst.

1. Klein ist besser als groß:
Zuerst bestätigten sie, dass die Verwendung dieser winzigen „Adapter“ (PEFT) viel besser ist, als das gesamte Gehirn neu zu trainieren. Als sie die winzigen Adapter mit dem vollständigen Retraining verglichen, gewannen die Adapter. Im Durchschnitt verbesserten die Adapter die Genauigkeit von 86,50 % auf 88,97 %. Dies bewies, dass man nicht die ganze Bibliothek zerstören muss, um ein neues Buch hinzuzufügen; ein kleiner, smarter Adapter reicht aus.

2. Ein Gehirn, um alle zu regieren:
Als Nächstes versuchten sie, vier sehr unterschiedliche medizinische Aufgaben (Blut, Brust, Haut und Pathologie) in ein einziges MoPET-Modell zu kombinieren. Sie verglichen dieses „einheitliche“ Modell mit der alten Methode, vier separate, isolierte Modelle zu verwenden.

Das beste isolierte Modell (unter Verwendung nur eines Typs von Adapter) erreichte 92,83 % Genauigkeit.
Das neue MoPET-Modell, das alle vier Aufgaben in einem Durchgang bewältigte, erreichte 93,46 % Genauigkeit.
Dies deutet darauf an, dass das einheitliche Modell die isolierten Modelle nicht nur kopiert, sondern tatsächlich gelernt hat, Wissen zwischen den Aufgaben zu teilen, was die Gesamtpunktzahl verbesserte.

3. Die Kraft der „Nebenjobs“:
Schließlich entdeckten sie etwas Interessantes über „Hilfsdaten“ (auxiliary data). Manchmal hat ein Krankenhaus sehr wenige Daten für eine bestimmte Krankheit (wie zum Beispiel nur 546 Bilder für Brustultraschall). Die Autoren fanden heraus, dass, wenn sie das Modell auf diesem kleinen Datensatz zusammen mit anderen, größeren Datensätzen (wie Blut- oder Hautbildern) trainierten, das Modell bei der kleinen Aufgabe sogar noch besser wurde.

Bei dem Brust-Datensatz sprang die Genauigkeit von 81,58 % (unter Verwendung des isolierten Adapters) auf 83,58 %, wenn er mit Hilfe anderer Daten trainiert wurde.
Dies deutet darauf hin, dass das Modell den „Nebenjob“, aus anderen medizinischen Bildern zu lernen, nutzen kann, um seine Leistung bei den schwierigen, datenarmen Aufgaben zu steigern.

Das Urteil

Das Paper zeigt, dass MoPET ein vielversprechender Weg ist, um ein einziges, einheitliches medizinisches KI-System zu bauen, das viele verschiedene Arten von Bildern verarbeiten kann, ohne dass für jede Aufgabe ein separates Modell benötigt wird. Es nutzt einen „Mixture of Experts“-Ansatz, um dem Modell zu ermöglichen, das richtige Werkzeug für die jeweilige Aufgabe zu wählen, und vermeidet so die Verwirrung, die normalerweise entsteht, wenn man versucht, verschiedene medizinische Aufgaben zu mischen.

Die Autoren merken vorsichtig an, dass dies zwar bei ihren Testdatensätzen gut funktioniert, aber noch Fragen offen sind, wie genau das Modell entscheidet, welchen Experten es verwendet und ob dies für jedes mögliche medizinische Bild perfekt funktioniert. Aber für den Moment haben sie gezeigt, dass man viele medizinische Aufgaben in einem effizienten, leistungsstarken Modell bündeln kann, was die Bereitstellung von KI in realen Krankenhäusern, in denen Computerkapazitäten begrenzt sein können, erleichtert. Der Code für diese „intelligente Vermittlungsstelle“ steht nun anderen zur Verfügung, um ihn auszuprobieren.

Technisches Resümee: MoPET – Parameter-effiziente Mixture-of-Experts für die vereinheitlichte medizinische Bildklassifizierung

Problemstellung

Die Anpassung von Deep-Learning-Foundation-Modellen an die tiefgreifende anatomische und modalitätsspezifische Heterogenität klinischer Daten stellt ein strukturelles Dilemma dar. Während Generalist-Foundation-Modelle (z. B. CLIP, DINOv3) robuste visuelle Repräsentationen bieten, ist ein vollständiges End-to-End-Fine-Tuning rechentechnisch prohibitiv und anfällig für schwerwiegendes Overfitting in datenarmen medizinischen Szenarien. Umgekehrt milden Techniken des parameter-effizienten Fine-Tunings (PEFT) wie die Low-Rank Adaptation (LoRA) das Overfitting erfolgreich ab, indem sie die Gewichte des Backbones einfrieren und nur injizierte Low-Rank-Matrizen aktualisieren. Herkömmliche PEFT-Verfahren erfordern jedoch das Training eines separaten, isolierten Adapters für jede spezifische diagnostische Aufgabe oder Modalität. Dieser fragmentierte Ansatz erschwert den Einsatz in ressourcenbeschränkten klinischen Umgebungen.

Darüber hinaus birgt die Konsolidierung dieser isolierten Adapter in ein einziges „Generalisten“-Netzwerk das Risiko des negativen Transfers. Wenn Optimierungsgradienten aus konkurrierenden visuellen Domänen (z. B. hochfrequente Histopathologie-Texturen gegenüber niederfrequenten Ultraschallmustern) innerhalb eines gemeinsamen Parameterraums interferieren, verschlechtert sich die Modellleistung. Bestehende Mixture-of-Experts (MoE)-Frameworks verlassen sich oft auf vordefinierte Modalitätslabels oder homogene Expertengruppen, welche die nuancierte, datengesteuerte Spezialisierung, die für eine vereinheitlichte medizinische Bildklassifizierung erforderlich ist, möglicherweise nicht erfassen können.

Methodik: MoPET

Die Autoren schlagen MoPET (Mixture of Parameter-Efficient Fine-Tuned Experts) vor, ein Framework, das distinkte medizinische Bildklassifizierungsaufgaben durch die Kopplung eines gelernten spärlichen Routers mit einem heterogenen Pool von Low-Rank-PEFT-Experten in einem einzigen Modell vereinigt.

Kernarchitektur

MoPET integriert das MoE-Paradigma mit PEFT unter Verwendung der folgenden Komponenten:

Frozen Backbone: Ein vortrainiertes Foundation-Modell (speziell DINOv3 Base) bleibt eingefroren, um generalistische Repräsentationen zu bewahren.
Heterogener Expertengpool: Anstatt eines einzelnen Adapter-Typs injiziert MoPET einen Pool von $K=32$ $K = 32$ trainierbaren Experten in die Query-, Key- und Value-Projektionsschichten der Self-Attention-Blöcke. Dieser Pool ist hybrid und besteht aus:
- 20 LoRA-Experten: Low-Rank Adaptation Module ( $r=8, \alpha=8$ ).
- 12 BOFT-Experten: Butterfly Orthogonal Fine-Tuning Module (Blockgröße 8, Butterfly-Faktor 1).
- Shared Path: Die ursprüngliche eingefrorene Gewichtmatrix fungiert als ein „immer aktiver“ gemeinsamer Pfad.
Merkmalsbewusster Spärlicher Router (Feature-Aware Sparse Routing): Ein lernbares Gating-Netzwerk ( $R$ ) berechnet die Routing-Scores für jeden Input-Token. Eine Top-K Operation wählt die $k=12$ relevantesten Experten für den aktuellen Input aus. Die finale Repräsentation $z$ wird wie folgt berechnet:
$z = Wx + \sum_{i=1}^{K} \text{softmax}(\text{TopK}(R(x), k))_i e_i(x)$
Dieser Mechanismus leitet diverse anatomische Inputs dynamisch durch spezialisierte Low-Rank-Pfade und isoliert so konkurrierende Gradienten-Updates, um negativen Transfer zu verhindern.
Lastverteilung (Load Balancing): Um einen „Expert Collapse“ (bei dem der Router die meisten Experten ignoriert) zu verhindern, wird ein differenzierbarer Load-Balancing-Loss ( $L_{load}$ ) minimiert, um eine gleichmäßige Verteilung der Tokens über den Expertengpool zu fördern.
Dynamische Multi-Domänen-Sampling: Um die massiven volumetrischen Disparitäten zwischen Datensätzen (z. B. 546 Bilder gegenüber 165.000) zu adressieren, stellt ein dynamisches Sliding-Window-Protokoll sicher, dass jeder Epoche eine balancierte Batch-Größe ( $d_{min}$ ) aus der kleinsten Domäne verarbeitet wird, wodurch verhindert wird, dass größere Datensätze die Gradienten-Updates dominieren.
Aufgabenspezifische Heads: Da die Datensätze disjunkte Label-Räume besitzen, sind $D$ unabhängige lineare Klassifizierungs-Heads am Backbone angebracht. Ein Datensatz-Router nutzt explizit Domänitäts-Identifikatoren, um die gemeinsamen terminalen Repräsentationen ihren entsprechenden semantischen Räumen zuzuordnen.

Zentrale Beiträge

Validierung von PEFT gegenüber Full Fine-Tuning: Die Autoren stellen über 12 verschiedene medizinische Datensätze hinweg fest, dass parameter-effiziente Methoden (insbesondere LoRA und BOFT) Full End-to-End-Netzwerk-Updates signifikant übertreffen und die durchschnittliche Genauigkeit von 86,50 % auf 88,97 % steigern. Dies validiert die Designentscheidung, vereinheitlichte Architekturen aus Low-Rank-Adaptern aufzubauen.
Vereinheitlichtes MoPET-Framework: MoPET konsolidiert vier heterogene Datensätze (Blut, Brust, Dermato, Pathologie) in einem einzigen Netzwerk. Es übertrifft den besten isolierten PEFT-Adapter, der einzeln auf diesen Domänen trainiert wurde, mit einer durchschnittlichen Genauigkeit von 93,46 % im Vergleich zu 92,83 % für den stärksten isolierten Adapter.
Domänenübergreifende Merkmalseinteilung (Auxiliary Boosting): Die Arbeit demonstriert eine neuartige Trainingsdynamik, bei der das Co-Training mit Hilfsdatensätzen als Leistungs-Booster für datenarme Zielsetzungen wirkt. Das gemeinsame Training mit Hilfspools verbesserte die durchschnittliche Zielgenauigkeit von 81,58 % (stärkster isolierter Adapter) auf 83,58 %, wobei die signifikantesten Gewinne bei den kleinsten Datensätzen (Brust und Retina) beobachtet wurden.

Experimentelle Ergebnisse

Benchmark: Die Experimente wurden auf der MedMNIST+-Kollektion durchgeführt, die 12 Datensätze über 8 Bildgebungsmodalitäten (Mikroskopie, Ultraschall, Röntgen, Dermatoskopie, OCT, CT usw.) abdeckt.
Backbone-Vergleich: Statistische Analysen (Friedman-Test) zeigten keinen signifikanten Unterschied zwischen den Foundation-Modellen (CLIP, DINO, DINOv3) unter PEFT-Einstellungen, was darauf hindeutet, dass die Fine-Tuning-Methode die Leistung stärker bestimmt als die Wahl des Backbones.
MoPET-Leistung:
- In einem 4-Datensatz-Subset erreichte MoPET bei drei der vier Aufgaben die Leistung oder übertraf die des jeweils besten pro-Datensatz-Adapters.
- In der „Booster“-Konfiguration steigerte MoPET die Leistung in drei klinischen Domänen (Brust, Retina, Dermato) durch die Nutzung von Hilfsdaten und bewies damit, dass gemeinsames semantisches Schließen ohne negativen Transfer den datenarmen Zielsetzungen zugutekommen kann.
Effizienz: MoPET trainiert 7,4 Mio. Parameter (ca. 8,7 % der 86 Mio. des Backbones). Während ein einzelner isolierter LoRA-Adapter leichter ist (~0,3 Mio.), ersetzt MoPET die Notwendigkeit einer Sammlung von Adaptern pro Aufgabe und eines „Modell-Zoos“ und bietet eine vereinheitlichte Lösung.

Bedeutung und Behauptungen

Das Paper behauptet, dass MoPET erfolgreich den Kompromiss zwischen der Recheneffizienz von PEFT und der Komplexität der Bereitstellung mehrerer isolierter Modelle löst. Durch das Erlernen der Zuweisung von Experten direkt aus den Daten, ohne auf vordefinierte Modalitätslabels angewiesen zu sein, ermöglicht MoPET, dass domänenspezifische Anpassung und geteiltes semantisches Schließen koexistieren können, ohne um dieselben Parameter zu konkurrieren.

Die Autoren merken bescheiden an, dass das aktuelle Setup zwar handverlesene Datensatz-Subsets für das Auxiliary Boosting verwendet, eine systematische Untersuchung über Kombinationen hinweg jedoch erforderlich wäre, um den semantisch getriebenen Transfer vollständig von den Effekten eines bloßen Hinzufügens von mehr Daten zu trennen. Zudem muss die spezifische gelernte Routing-Struktur (z. B. ob Experten strikt nach Modalität oder Anatomie spezialisiert sind) noch explizit verifiziert werden. Dennoch zeigt die Arbeit, dass ein einziges vereinheitlichtes Modell effektiv über tiefgreifende anatomische Heterogenität hinweg argumentieren kann, was einen skalierbaren Weg zur Bereitstellung generalistischer medizinischer KI eröffnet.