pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation

Dit paper introduceert pMoE, een nieuwe parameter-efficiënte fine-tuning-methode die diverse domeinkennis combineert via gespecialiseerde prompt-tokens en een dynamische dispatcher, wat resulteert in superieure prestaties op 47 visuele adaptatietaken met een optimale balans tussen rekenkosten en effectiviteit.

De kern

Stel je voor dat je een zeer slimme, maar specifieke robot hebt die al jaren is getraind om foto's van katten en honden te herkennen. Deze robot is een expert in "algemene dieren". Nu wil je diezelfde robot ook laten werken in een ziekenhuis, waar hij poliepen in de darmen of huidkanker moet herkennen.

Als je de robot gewoon een beetje aanpast (zoals andere methoden doen), blijft hij vastlopen. Hij probeert de medische beelden te analyseren met de kennis van een dierenliefhebber. Dat werkt niet goed.

pMoE is de oplossing die de auteurs van dit paper voorstellen. Het is als het bouwen van een super-team in plaats van het huren van één enkele werknemer.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Alles-kunner" bestaat niet

Tot nu toe probeerden mensen één model (één robot) aan te passen aan alles.

• Situatie: Je hebt een model dat goed is in algemene foto's (zoals een landschap) en een ander model dat gespecialiseerd is in medische scans.
• De oude aanpak: Je neemt één van deze modellen en probeert het met een paar kleine aanpassingen (zogenaamde "prompt tokens") te laten werken op een nieuwe taak.
• Het nadeel: Het is alsof je een chef-kok uit Frankrijk vraagt om sushi te maken. Hij kan het misschien, maar hij mist de specifieke kennis van een Japanse sushi-meester. Je mist de synergie.

2. De Oplossing: pMoE (De "Diverse Experten Groep")

De auteurs noemen hun methode pMoE (Prompting Mixture-of-Experts).
Stel je dit voor als een medische raad of een superheldenteam:

• De Experts: In plaats van één robot, heb je nu meerdere robots die elk hun eigen specialisme hebben.
  • Expert 1: Een robot getraind op algemene foto's (goed voor vormen en kleuren).
  • Expert 2: Een robot getraind op medische beelden (goed voor subtiele details in weefsels).
  • Expert 3: Een robot getraind op specifieke ziektes.
• De Prompts (De "Notitiebriefjes"): Elke expert heeft zijn eigen setje "notitiebriefjes" (de Expert Prompt Tokens). Dit zijn kleine geheime instructies die de robot vertellen: "Kijk nu vooral naar de randen" of "Let op de textuur van de huid".

3. De Magische Schakelaar: De "Dispatcher"

Dit is het slimste deel van de uitvinding. Als je een nieuwe foto krijgt (bijvoorbeeld een röntgenfoto van een long), hoe weet je nu welke expert er moet werken?

• De Dispatcher: Dit is een slimme regisseur of chef die bij de ingang staat.
• Hoe werkt hij? Hij kijkt naar de foto en vraagt aan elke expert: "Wat denk jij dat er aan de hand is?"
• Dynamische keuze: De regisseur beslist niet statisch. Hij zegt: "Voor deze foto heb ik 70% van de kennis van de medische expert nodig, maar 30% van de algemene expert om de schaduwen te begrijpen."
• Samenwerking: Hij pakt de notitiebriefjes van de experts, mengt ze op de juiste manier en geeft het gemengde pakket door aan het hoofd van het team.

Waarom is dit zo goed?

1. Flexibiliteit: Als de taak verandert (van een bloemfoto naar een hersenscan), verandert de regisseur direct zijn strategie. Hij schakelt over van de "bloemen-expert" naar de "hersenen-expert".
2. Efficiëntie: Je hoeft niet het hele brein van elke expert te huren. Je gebruikt alleen de slimste delen van hen die op dat moment nodig zijn. Het kost weinig extra rekenkracht, maar levert veel meer kennis op.
3. Resultaat: In de tests (op 47 verschillende taken, van het tellen van vogels tot het vinden van kanker) bleek dit team veel slimmer te zijn dan elke individuele expert alleen. Ze scoorden beter dan alle vorige methoden.

Samenvattend in één zin:

pMoE is als het hebben van een slimme regisseur die een team van gespecialiseerde experts bij elkaar brengt, zodat ze samenwerken en elkaars sterke punten gebruiken om elk nieuw visueel probleem (van vogels tot kanker) perfect op te lossen, zonder dat je een heel nieuw brein hoeft te bouwen.

Het is de overgang van "één persoon die alles probeert te weten" naar "een slim team dat samenwerkt".

Technische samenvatting

Probleemstelling

Parameter-efficiënte fijne afstemming (parameter-efficient fine-tuning), en met name prompt tuning, heeft zich bewezen als een krachtige methode om vooraf getrainde visuele modellen (zoals Vision Transformers of ViT) aan te passen aan nieuwe taken. Echter, de bestaande methoden hebben een fundamentele beperking: ze vertrouwen doorgaans op de kennis van één enkel vooraf getraind model (bijvoorbeeld een algemeen model of een gespecialiseerd medisch model).

Dit benaderingsvorm negeert het potentieel voor synergie door kennis uit diverse domeinen te integreren. Een model dat is getraind op algemene visuele taken kan worstelen met gespecialiseerde medische taken, terwijl een enkel medisch model mogelijk niet over de juiste semantische begrippen beschikt voor complexe real-world taken die zowel laag-niveau feature-capturing als hoog-niveau semantisch inzicht vereisen. De uitdaging ligt in het effectief coördineren van kennis van meerdere, vaak verschillende, domeinexperts zonder de computationele kosten te verhogen of conflicten/redundanties tussen de experts te creëren.

Methodologie: pMoE

De auteurs stellen pMoE (Mixture-of-Experts Prompt Tuning) voor, een nieuw raamwerk dat de sterktes van meerdere expert-domeinen combineert binnen een uniek modelkader. De kern van de methode bestaat uit twee hoofdcomponenten:

1. Expert Prompt Tokens (EPTs):
   In plaats van één set leerbare prompt-tokens te gebruiken, introduceert pMoE specifieke sets van prompt-tokens voor elke beschikbare vooraf getrainde expert (bijv. één set voor een DINO-model en een andere set voor een medisch vision-encoder zoals LVM-Med). Deze tokens worden geïnjecteerd in de input van het model, vergelijkbaar met standaard Visual Prompt Tuning (VPT), maar dan gescheiden per expert.

2. Dynamische Dispatcher Module:
   Om de kennis van deze diverse experts te integreren en conflicten te vermijden, introduceert het framework een leerbare dispatcher.

   • Functie: De dispatcher neemt de state van de huidige expert (bestaande uit de huidige expert-prompt tokens, geaccumuleerde prompt-tokens uit vorige lagen en de patch-tokens) als input.
   • Dynamische Selectie: Op basis van deze state berekent de dispatcher dynamische gewichten (dispatching weights) voor elke expert.
   • Token Fusie: De dispatcher gebruikt deze gewichten om de prompt-tokens van alle experts te combineren tot geïntegreerde prompt-tokens (Integrated Prompt Tokens - IPTs). Deze IPTs worden vervolgens gebruikt voor de volgende transformer-laag van de specifieke expert.
   • Efficiëntie: De dispatcher is een lichtgewicht module (vaak gerealiseerd als een MLP) die wordt gedeeld over alle experts. Hierdoor blijft het aantal extra trainbare parameters laag, terwijl er wel een dynamische uitwisseling van informatie plaatsvindt tussen de experts.

Het proces verloopt laag voor laag (layer-wise), waarbij de dispatcher op elk niveau beslist welke kennis van welke experts het meest relevant is voor de huidige taak en context.

Belangrijkste Bijdragen

1. Nieuw Framework: pMoE is het eerste framework dat het Mixture-of-Experts (MoE) mechanisme toepast op prompt tuning voor visuele taken, waardoor diverse experts gezamenlijk kunnen worden geprompt.
2. Dynamische Dispatcher: Ontwerp van een leerbare dispatcher-module die flexibel expert-specifieke prompt-tokens selecteert en fuseert, waardoor tokens dynamisch worden toegewezen op basis van de complexiteit en aard van de visuele taak.
3. Uitgebreide Validatie: Uitgebreide experimenten op 47 aanpassingstaken, inclusief classificatie en segmentatie in zowel algemene als medische domeinen, wat de veelzijdigheid van de methode aantoont.

Resultaten

De auteurs hebben pMoE getest op een breed scala aan benchmarks, waaronder VTAB-1K, FGVC (fine-grained classificatie), diverse medische datasets (poliepen, huidlaesies, röntgenfoto's, MRI/CT) en segmentatietaken (ADE20K, Kvasir-seg).

• Prestaties: pMoE behaalt state-of-the-art resultaten. Op de ImageNet-21K classificatie op VTAB-1K verbetert het de vorige beste methode (LSPT) met 2,36% in nauwkeurigheid.
• Medische Domeinen: In medische taken toont pMoE aanzienlijke verbeteringen. Bijvoorbeeld, bij poliep-detectie (Kvasir) een verbetering van 4,15% en bij huidlaesies een verbetering van 1,88% ten opzichte van LSPT.
• Algemene Domeinen: Op fine-grained classificatie (zoals CUB-200 en Flowers) en segmentatie (ADE20K) overtreft pMoE bestaande methoden zoals VPT, GaPT en LSPT consistent.
• Efficiëntie: Ondanks het gebruik van meerdere experts, behoudt pMoE een uitstekende balans tussen computationele efficiëntie en aanpassingseffectiviteit. De toename in parameters is minimaal omdat de dispatcher gedeeld wordt en de experts deels gedeelde backbones kunnen zijn.
• Ablatie-studies: Experimenten tonen aan dat zowel de Expert Prompt Tokens als de Dispatcher essentieel zijn; het verwijderen van een van beide componenten leidt tot een merkbare daling in prestaties. Ook wordt aangetoond dat het framework schaalbaar is naar grotere backbones (van ViT-B naar ViT-L).

Betekenis en Impact

De paper introduceert een paradigmaverschuiving in visuele aanpassing. In plaats van te zoeken naar het "beste" enkele vooraf getrainde model, demonstreert pMoE dat het integreren van diverse expertisebronnen via een dynamisch prompt-tuning mechanisme superieure resultaten oplevert.

Dit is vooral significant voor domeinen waar data schaars is of waar taken complex zijn (zoals de medische beeldvorming), waar één enkel model vaak tekortschiet. pMoE biedt een flexibele, schaalbare en parameter-efficiënte oplossing die de generalisatievermogen van visuele modellen aanzienlijk verbetert zonder de noodzaak tot volledige hertraining van zware backbones. Het stelt een nieuwe standaard voor efficiënte en flexibele visuele aanpassing.