⚡ electrical engineering

MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification

Het artikel introduceert MoPET, een parameter-efficiënt mixture-of-experts-framework dat een sparse router gebruikt om dynamisch low-rank adapters te selecteren binnen een bevroren foundation model, waardoor meerdere heterogene medische beeldvormingstaken effectief worden geconsolideerd in een enkel netwerk terwijl negatieve transfer wordt gemitigeerd en zowel full fine-tuning als geïsoleerde adapter-benaderingen worden overtroffen.

Oorspronkelijke auteurs: Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om verschillende dingen in de wereld te herkennen, zoals een kat, een auto of een wolk. Je hebt een enorme, vooraf getrainde robotbrein die al veel weet over de wereld, maar het moet specifieke medische vaardigheden leren, zoals het opsporen van een tumor in een röntgenfoto of het tellen van bloedcellen onder een microscoop. Dit is de wereld van medische beeldclassificatie, waarbij computers artsen helpen bij het diagnosticeren van ziekten door naar plaatjes te kijken.

Het lastige deel is dat medische data rommelig en vaak schaars is. Je hebt misschien duizenden röntgenfoto's, maar slechts een paar honderd afbeeldingen van een specifief type huidaandoening. Als je probeert de hele enorme robotbrein vanaf nul opnieuw te trainen voor elke nieuwe ziekte, is dat alsof je een hele bibliotheek probeert te herbouwen om slechts één nieuw boek toe te voegen; het duurt eeuwen, kost een fortuin, en de robot raakt vaak in de war of vergeet wat hij al wist. Om dit op te lossen, gebruiken wetenschappers een truc die Parameter-Efficient Fine-Tuning (PEFT) wordt genoemd. Denk hierbij aan het geven van een kleine, op maat gemaakte "adapter" of een speciale bril voor elke specifieke taak. Deze adapters zijn klein en goedkoop om te trainen, waardoor de robot zijn nieuwe taak kan leren zonder zijn oude kennis te verstoren.

Maar er is een addertje onder het gras. Als je tien verschillende medische taken hebt, eindig je met tien verschillende brillen en tien verschillende kleine adapters. Het beheren van al die zaken is een nachtmerrie voor ziekenhuizen met beperkte computers. Je wilt één superbrein dat direct de juiste "bril" kan dragen voor de juiste klus. Maar als je probeert al die adapters samen te smelten tot één grote brein, gaan ze vaak met elkaar vechten, wat de robot in de war brengt—een probleem dat wetenschappers "negatieve transfer" noemen. Dit paper, MoPET, vraagt zich af: Kunnen we één enkel, verenigd robotbrein bouwen dat vele verschillende medische taken tegelijkertijd kan afhandelen, zonder dat de adapters met elkaar vechten, terwijl het nog steeds klein en efficiënt blijft?

Het Probleem: Te Veel Brillen, Eén Brein

Stel je een ziekenhuis voor waar artsen alles moeten kunnen diagnosticeren, van botbreuken tot huiduitslag of bloedziekten. In het verleden, als een computer wilde helpen, had deze misschien een aparte, geïsoleerde "expert" nodig voor elke baan. Eén expert voor röntgenfoto's, een andere voor huidfoto's, een andere voor bloedmonsters. Dit werkt, maar het is alsof je voor alles wat je bekijkt een andere bril nodig hebt. Het is onhandig, neemt veel ruimte in beslag, en als je een nieuwe taak wilt toevoegen, moet je een hele nieuwe bril vanaf nul ontwerpen.

Het paper legt uit dat hoewel deze "brillen" (genoemd adapters) geweldig zijn omdat ze klein zijn en geen volledige hertraining van het brein vereisen, het hebben van een aparte bril voor elke taak inefficiënt is. Je eindigt met een "dierentuin" van losgekoppelde modellen. De auteurs wilden kijken of ze al deze experts konden combineren in één enkel, verenigd model dat razendsnel tussen taken kan schakelen.

De Oplossing: MoPET, de Slimme Schakelcentrale

De auteurs introduceren MoPET (Mixture of Parameter-Efficient Experts). Denk aan het computermodel als een gigantische, bevroren bibliotheek (het "foundation model") die algemene feiten over de wereld kent. In plaats van in deze bibliotheek voor elk onderwerp een aparte kamer te hebben, hebben ze een slimme schakelcentrale (een router) en een pool van gespecialiseerde, low-rank experts geïnstalleerd.

Zo werkt het in gewone mensentaal:

De Bevroren Bibliotheek: Het hoofdbrein is bevroren. Het verandert niet. Het is het solide fundament.
De Experts: In plaats van de hele bibliotheek opnieuw te trainen, injecteren ze kleine, gespecialiseerde modules (experts) in het brein. Dit zijn als "slimme stagiairs" die erg goed zijn in specifieke dingen, maar heel weinig ruimte innemen. Sommige stagiairs zijn goed in het bekijken van bloedcellen, anderen van de huid, anderen van organen.
De Slimme Schakelcentrale: Wanneer er een nieuwe afbeelding binnenkomt (bijvoorbeeld een foto van een long), kijkt de schakelcentrale ernaar en besluit direct: "Ah, dit heeft de long-expert nodig!" Het stuurt de afbeelding alleen naar die specifieke expert (of een kleine groep experts), in plaats van de hele bibliotheek wakker te maken.
Geen Geknok: Omdat de schakelcentrale elke afbeelding naar de juiste expert stuurt, hoeven de "long-expert" en de "huid-expert" niet te discussiëren over dezelfde hersenruimte. Ze werken parallel zonder elkaar in de weg te zitten.

Wat Ze Vonden

De onderzoekers testten dit idee met behulp van 12 verschillende medische datasets uit de MedMNIST-collectie, die afbeeldingen bevat van onder andere bloedcellen, borstecho's, röntgenfoto's van de borstkas, huidlaesies en meer.

1. Klein is Beter dan Groot:
Eerst bevestigden ze dat het gebruik van deze kleine "adapters" (PEFT) veel beter is dan het proberen te hertrainen van het hele brein. Wanneer ze de kleine adapters vergeleken met volledige hertraining, wonnen de adapters. Gemiddeld verbeterden de adapters de nauwkeurigheid van 86,50% naar 88,97%. Dit bewees dat je niet de hele bibliotheek hoeft af te breken om een nieuw boek toe te voegen; een kleine, slimme adapter is voldoende.

2. Eén Brein om Alleen te Heersen:
Vervolgens probeerden ze vier zeer verschillende medische taken (bloed, borst, huid en pathologie) te combineren in één enkel MoPET-model. Ze vergeleken dit "verenigde" model met de oude methode van het hebben van vier aparte, geïsoleerde modellen.

Het beste geïsoleerde model (met gebruik van slechts één type adapter) behaalde 92,83% nauwkeurigheid.
Het nieuwe MoPET-model, dat alle vier de taken in één keer afhandelde, behaalde 93,46% nauwkeurigheid.
Dit suggereert dat het verenigde model niet alleen de geïsoleerde modellen kopieerde, maar ook daadwerkelijk leerde om kennis tussen taken te delen, wat de algemene score verbeterde.

3. De Kracht van "Bijbanen":
Ten slotte ontdekten ze iets interessants over "auxiliaire" (aanvullende) data. Soms heeft een ziekenhuis heel weinig data voor een specifieke ziekte (zoals slechts 546 afbeeldingen voor een borstecho). De auteurs ontdekten dat als ze het model op die kleine dataset trainden samen met andere, grotere datasets (zoals bloed- of huidafbeeldingen), het model nog beter werd in de kleine taak.

Voor de borst-dataset sprong de nauwkeurigheid van 81,58% (met alleen de geïsoleerde adapter) naar 83,58% wanneer deze met behulp van andere data werd getraind.
Dit suggereert dat het model de "bijbaan" van het leren van andere medische beelden kan gebruiken om de prestaties op de moeilijke, data-arme taken te verbeteren.

Het Oordeel

Het paper laat zien dat MoPET een veelbelovende manier is om een enkel, verenigd medisch AI-systeem te bouwen dat veel verschillende soorten afbeeldingen kan afhandelen zonder dat er voor elke afbeelding een apart model nodig is. Het gebruikt een "mixture of experts"-aanpak om het model de juiste tool voor de klus te laten kiezen, waardoor de verwarring die meestal optreedt bij het mengen van verschillende medische taken, wordt vermeden.

De auteurs merken er voorzichtig bij op dat hoewel dit goed werkt op hun testdatasets, er nog steeds vragen zijn over de exacte manier waarop het model beslist welke expert het gebruikt en of dit perfect werkt voor elke mogelijke medische afbeelding. Maar voor nu hebben ze aangetoond dat je veel medische taken kunt samenvoegen in één efficiënt, hoogwaardig model, wat het makkelijker maakt om AI in te zetten in echte ziekenhuizen waar computers beperkt zijn. De code voor deze "slimme schakelcentrale" is nu beschikbaar voor anderen om uit te proberen.

Technische Samenvatting: MoPET – Parameter-efficiënte Mixture-of-Experts voor Uniforme Medische Beeldclassificatie

Probleemstelling

Het aanpassen van deep learning foundation models aan de diepe anatomische en modaliteit-heterogeniteit van klinische data presenteert een structureel dilemma. Hoewel generalistische foundation models (bijv. CLIP, DINOv3) robuuste visuele representaties bieden, is volledige end-to-end fine-tuning computationeel prohibitief en gevoelig voor ernstige overfitting in data-beperkte medische scenario's. Daartegenover staat dat parameter-efficiënte fine-tuning (PEFT) technieken zoals Low-Rank Adaptation (LoRA) succesvol overfitting mitigeren door de gewichten van de backbone te bevriezen en alleen geïnjecteerde low-rank matrices bij te werken. Echter, standaard PEFT vereist het trainen van een aparte, geïsoleerde adapter voor elke specifieke diagnostische taak of modaliteit. Deze gefragmenteerde aanpak bemoeilijkt de implementatie in klinische omgevingen met beperkte middelen.

Bovendien brengt het consolideren van deze geïsoleerde adapters in één enkel "generalist" netwerk het risico op negative transfer met zich mee. Wanneer optimalisatiegradiënten van conflicterende visuele domeinen (bijv. hoogfrequente histopathologische texturen versus laagfrequente echografiepatronen) interfereren binnen een gedeelde parameterruimte, degradeert de modelprestatie. Bestaande Mixture-of-Experts (MoE) frameworks vertrouwen vaak op vooraf gedefinieerde modaliteitslabels of homogene expert-pools, die mogelijk niet de genuanceerde, data-gestuurde specialisatie vangen die vereist is voor uniforme medische beeldclassificatie.

Methodologie: MoPET

De auteurs stellen MoPET (Mixture of Parameter-Efficient Fine-Tuned Experts) voor, een framework dat verschillende medische beeldclassificatietaken verenigt in één enkel model door een geleerd sparse router te koppelen aan een heterogene pool van low-rank PEFT experts.

Kernarchitectuur

MoPET integreert het MoE-paradigma met PEFT met behulp van de volgende componenten:

Frozen Backbone: Een vooraf getraind foundation model (specifiek DINOv3 Base) blijft bevroren om generalistische representaties te behouden.
Heterogene Expert Pool: In plaats van één enkel adaptertype, injecteert MoPET een pool van $K=32$ $K = 32$ trainbare experts in de query-, key- en value-projectielagen van de self-attention blokken. Deze pool is hybride, bestaande uit:
- 20 LoRA experts: Low-Rank Adaptation modules ( $r=8, \alpha=8$ ).
- 12 BOFT experts: Butterfly Orthogonal Fine-Tuning modules (block size 8, butterfly factor 1).
- Shared Path: De originele bevroren gewichtsmatrix fungeert als een "altijd aan"-gedeeld pad.
Feature-Aware Sparse Routing: Een leerbaar gating netwerk ( $R$ ) berekent routing scores voor elk input-token. Een Top-K operatie selecteert de $k=12$ meest relevante experts voor de huidige input. De uiteindelijke representatie $z$ wordt berekend als:
$z = Wx + \sum_{i=1}^{K} \text{softmax}(\text{TopK}(R(x), k))_i e_i(x)$
Dit mechanisme routeert diverse anatomische inputs dynamisch door gespecialiseerde low-rank paden, waardoor concurrerende gradiënt-updates worden geïsoleerd om negative transfer te voorkomen.
Load Balancing: Om "expert collapse" te voorkomen (waarbij de router de meeste experts negeert), wordt een differentiable load-balancing loss ( $L_{load}$ ) geminimaliseerd om een uniforme distributie van tokens over de expert pool aan te moedigen.
Dynamic Multi-Domain Sampling: Om de ernstige volumetrische verschillen tussen datasets (bijv. 546 afbeeldingen versus 165.000) aan te pakken, zorgt een dynamisch sliding window protocol ervoor dat elke epoch een gebalanceerde batch grootte ( $d_{min}$ ) verwerkt van het kleinste domein, zodat grotere datasets de gradiënt-updates niet domineren.
Task-Specific Heads: Omdat datasets disjuncte labelruimtes hebben, zijn er $D$ onafhankelijke lineaire classificatiekoppen aan de backbone bevestigd. Een dataset router gebruikt expliciet domein-identificatoren om gedeelde terminal representaties naar hun respectievelijke semantische ruimtes te mappen.

Belangrijkste Bijdragen

Validatie van PEFT boven Full Fine-Tuning: De auteurs stellen vast dat over 12 verschillende medische datasets heen, parameter-efficiënte methoden (specifiek LoRA en BOFT) significant beter presteren dan volledige end-to-end netwerk-updates, waarbij de gemiddelde nauwkeurigheid verbeterde van 86,50% naar 88,97%. Dit valideert de ontwerpkeuze om uniforme architecturen te bouwen vanuit low-rank adapters.
Unified MoPET Framework: MoPET consolideert vier heterogene datasets (Blood, Breast, Derma, Path) in één enkel netwerk. Het presteert beter dan de beste geïsoleerde PEFT adapters die individueel op deze domeinen zijn getraind, met een gemiddelde nauwkeurigheid van 93,46% vergeleken met 92,83% voor de sterkste geïsoleerde adapter.
Cross-Domain Feature Sharing (Auxiliary Boosting): Het paper demonstreert een nieuwe trainingsdynamiek waarbij co-training met hulp-datasets (auxiliary datasets) fungeert als een prestatie-booster voor data-beperkte doelwitten. Gezamenlijke training met hulp-pools verbeterde de gemiddelde target-nauwkeurigheid van 81,58% (sterkste geïsoleerde adapter) naar 83,58%, waarbij de grootste winsten werden waargenomen bij de kleinste datasets (Breast en Retina).

Experimentele Resultaten

Benchmark: Experimenten werden uitgevoerd op de MedMNIST+ collectie, die 12 datasets beslaat over 8 beeldmodaliteiten (microscopie, echografie, röntgen, dermoscopie, OCT, CT, etc.).
Backbone Vergelijking: Statistische analyse (Friedman test) toonde aan dat er geen significant verschil was tussen foundation models (CLIP, DINO, DINOv3) onder PEFT-instellingen, wat suggereert dat de fine-tuning methode de prestaties meer bepaalt dan de keuze van de backbone.
MoPET Prestaties:
- Op een subset van 4 datasets presteerde MoPET gelijk aan of beter dan de beste per-dataset adapter op drie van de vier taken.
- In de "booster" configuratie verhoogde MoPET de prestaties op drie verschillende klinische domeinen (Breast, Retina, Derma) door gebruik te maken van hulp-data, waarmee bewezen werd dat gedeelde semantische redenering zonder negative transfer de doelwitten met weinig data kan ondersteunen.
Efficiëntie: MoPET traint 7,4M parameters (ongeveer 8,7% van de 86M backbone). Hoewel een enkele geïsoleerde LoRA adapter lichter is (~0,3M), vervangt MoPET de noodzaak voor een per-taak verzameling van adapters en een "model zoo", en biedt het een uniforme oplossing.

Betekenis en Claims

Het paper claimt dat MoPET er succesvol in slaagt de trade-off tussen de computationele efficiëntie van PEFT en de complexiteit van de implementatie van meerdere geïsoleerde modellen op te lossen. Door expert-toewijzingen direct van data te leren zonder te vertrouwen op vooraf gedefinieerde modaliteitslabels, stelt MoPET toe dat domeinspecifieke adaptatie en gedeelde semantische redenering naast elkaar kunnen bestaan zonder te concurreren voor dezelfde parameters.

De auteurs merken bescheiden op dat hoewel de huidige opzet gebruik maakt van handgeselecteerde dataset-subsets voor auxiliary boosting, een systematische sweep over combinaties vereist is om de semantisch gedreven transfer volledig te scheiden van de effecten van simpelweg het toevoegen van meer data. Daarnaast moet de specifieke geleerde routing-patronen (bijv. of experts strikt specialiseren naar modaliteit of anatomie) nog expliciet worden geverifieerd. Desalniettemin demonstreert het werk dat een enkel uniform model effectief kan redeneren over diepe anatomische heterogeniteit, wat een schaalbaar pad biedt naar de inzet van generalistische medische AI.