pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation

Die Arbeit stellt pMoE vor, eine neuartige Prompt-Tuning-Methode, die durch die dynamische Kombination von Expertengruppen mit spezialisierten Prompt-Token und einem lernbaren Dispatcher die Leistung bei visuellen Anpassungsaufgaben in allgemeinen und medizinischen Domänen signifikant verbessert.

Das Wesentliche

Stell dir vor, du möchtest ein sehr kluges, aber stures Auto (ein künstliches Intelligenz-Modell) dazu bringen, nicht nur auf der Autobahn zu fahren, sondern auch durch enge Gassen, über schneebedeckte Pisten und durch dichten Regen.

Bisher hat man versucht, dieses Auto zu trainieren, indem man ihm einen speziellen Fahrlehrer gab. Wenn der Fahrlehrer ein Autobahn-Profi war, konnte das Auto toll auf der Straße fahren, scheiterte aber an der Schneepiste. Wenn der Fahrlehrer ein Skilehrer war, war es genau umgekehrt. Man hat also immer nur eine Perspektive genutzt, selbst wenn das Problem komplexer war.

Die Forscher in diesem Papier (Shentong Mo, Xufang Luo und Dongsheng Li) haben eine brillante Idee gehabt: Warum nicht mehrere Fahrlehrer gleichzeitig einstellen?

Hier ist die Erklärung ihrer Methode, pMoE, in einfachen Worten:

1. Das Problem: Ein Lehrer reicht nicht

Stell dir vor, du musst ein medizinisches Röntgenbild analysieren. Ein normales KI-Modell, das auf allgemeinen Fotos trainiert wurde (wie Katzen oder Autos), versteht vielleicht die Formen, aber nicht die feinen Details von Knochenbrüchen. Ein medizinisches Modell versteht die Knochen, aber vielleicht nicht die allgemeinen Kontexte.
Bisherige Methoden haben versucht, das Modell mit nur einem dieser Lehrer anzupassen. Das ist wie zu versuchen, ein komplexes Puzzle mit nur einer Hand zu lösen.

2. Die Lösung: pMoE – Das Team aus Experten

Die Autoren nennen ihre Methode pMoE (Prompting Mixture of Experts). Das klingt kompliziert, ist aber im Kern wie ein Rundfunk-Studio mit mehreren Moderatoren.

• Die Experten (Die Moderatoren): Statt eines Lehrers haben sie mehrere. Einer ist ein Experte für allgemeine Bilder (wie ein Fotograf), einer für medizinische Bilder (wie ein Arzt) und vielleicht noch einer für spezielle Details. Jeder dieser "Experten" hat seine eigene kleine Notizkarte (im Fachjargon: Prompt Tokens), auf der steht, worauf er beim Ansehen eines Bildes achten soll.
• Der Dispatcher (Der Regisseur): Das ist das Herzstück der neuen Methode. Stell dir einen Regisseur vor, der im Studio sitzt. Wenn ein neues Bild hereinkommt, schaut der Regisseur nicht nur auf das Bild, sondern fragt sich: "Was brauchen wir gerade?"
  • Ist es ein Röntgenbild? Dann schaltet der Regisseur den Arzt-Experten laut frei und blendet den Fotografen etwas ab.
  • Ist es ein Bild von einem Vogel? Dann holt er den Fotografen an die erste Stelle.
  • Ist es ein kompliziertes Bild, das beides braucht? Dann mischt er die Stimmen beider Experten perfekt zusammen.

3. Wie es funktioniert (Die Magie)

Normalerweise würde man alle Experten gleichzeitig laut schreien lassen, was zu Chaos führt. Oder man würde nur einen hören.
Bei pMoE passiert etwas Cleveres:

1. Jeder Experte bringt seine eigene "Notiz" mit.
2. Der Regisseur (Dispatcher) entscheidet dynamisch und in Echtzeit, wie viel Gewicht jede Notiz hat. Er berechnet: "Für dieses spezielle Bild ist die Notiz des Arztes zu 70 % wichtig, die des Fotografen zu 30 %."
3. Diese Mischung wird dann an das KI-Modell weitergegeben, das daraufhin das Bild analysiert.

Warum ist das so genial?

• Effizienz: Man muss das ganze riesige KI-Modell nicht neu trainieren (was extrem teuer und langsam wäre). Man fügt nur diese kleinen "Notizkarten" und den "Regisseur" hinzu. Das ist wie ein kleines Upgrade für ein bestehendes Auto, statt ein neues zu kaufen.
• Vielseitigkeit: Das System wird nicht starr. Es passt sich jedem neuen Job an. In der Medizin hilft es, Krankheiten besser zu erkennen. Bei allgemeinen Aufgaben (wie das Zählen von Vögeln oder das Erkennen von Blumen) ist es genauso stark.
• Bessere Ergebnisse: In ihren Tests haben die Forscher gezeigt, dass dieses Team aus Experten deutlich besser abschneidet als alle bisherigen Methoden, die nur mit einem Lehrer gearbeitet haben. Sie haben 47 verschiedene Aufgaben getestet – von der Erkennung von Hautkrebs bis zum Zählen von Vögeln – und waren überall vorne dabei.

Zusammenfassung

Stell dir pMoE wie ein Schweizer Taschenmesser vor, das sich automatisch umschaltet.

• Früher: Du hattest ein Messer mit nur einer Klinge. Wenn du ein Schraubenzieher gebraucht hast, warst du verloren.
• Heute (mit pMoE): Du hast ein Messer mit vielen Werkzeugen. Ein kleiner, intelligenter Mechanismus (der Dispatcher) schaltet genau das Werkzeug ein, das du gerade brauchst, ohne dass du das ganze Messer neu bauen musst.

Das Ergebnis: Ein KI-Modell, das nicht nur "einen" Weg kennt, sondern flexibel und klug auf jede Herausforderung reagiert – sei es in der Medizin, bei der Naturfotografie oder im Alltag.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen bei der parametereffizienten Feinabstimmung (Parameter-Efficient Fine-Tuning, PEFT) von visuellen Modellen, insbesondere im Kontext der Prompt-Tuning-Techniken.

• Aktueller Stand: Bisherige Ansätze (wie VPT, GaPT, LSPT) nutzen typischerweise das Wissen eines einzigen vortrainierten Modells (entweder allgemein oder spezialisiert, z. B. für medizinische Bilder).
• Limitierung: Dieser Ansatz ignoriert das Potenzial synergetischer Effekte, die durch die Integration von Wissen aus diversen Domänen (z. B. Kombination aus allgemeinen visuellen Fähigkeiten und spezialisiertem medizinischem Wissen) entstehen könnten.
• Herausforderung: Die Koordination von Wissen aus mehreren, oft unterschiedlichen „Experten"-Modellen ist schwierig. Es besteht die Gefahr von Konflikten oder Redundanzen, und es ist unklar, wie der Beitrag jedes Experten dynamisch optimiert werden kann, ohne die Rechenkosten signifikant zu erhöhen.

2. Methodik: pMoE (Mixture-of-Experts Prompt Tuning)

Die Autoren schlagen pMoE vor, ein neues Framework, das das Prinzip des Mixture-of-Experts (MoE) auf das visuelle Prompt-Tuning überträgt. Das Ziel ist es, mehrere vortrainierte Vision-Transformer (ViT) als „Experten" zu nutzen und deren Wissen dynamisch zu kombinieren.

Die Architektur besteht aus zwei Hauptkomponenten:

A. Experten-spezifische Prompt-Tokens (EPTs)

• Statt eines einzigen Satzes von lernbaren Prompt-Tokens erhält jeder vortrainierte Experten-Modell (z. B. ein auf DINO vortrainiertes Modell und ein auf medizinischen Daten vortrainiertes Modell) einen eigenen, dedizierten Satz von Expert Prompt Tokens (EPTs).
• Diese Tokens werden in die Eingabesequenz injiziert (ähnlich wie bei VPT-deep, aber layer-spezifisch), um domänenspezifisches Wissen zu kodieren.

B. Der lernbare Dispatcher (Dispatcher Module)

• Dies ist das Kernstück des Frameworks. Ein Dispatcher-Layer wird vor jedem Transformer-Layer eingefügt.
• Funktion: Der Dispatcher nimmt die aktuellen Zustände aller Experten (EPTs, akkumulierte Prompt-Tokens und Patch-Tokens) entgegen.
• Dynamische Gewichtung: Basierend auf diesen Eingaben berechnet der Dispatcher (mittels MLPs und Softmax) dynamische Dispatching-Gewichte. Diese Gewichte bestimmen, wie stark die Prompt-Tokens der verschiedenen Experten für den nächsten Layer jedes spezifischen Experten gewichtet und fusioniert werden.
• Ergebnis: Es entstehen Integrierte Prompt-Tokens (IPTs), die eine adaptive Mischung des Wissens aller Experten darstellen. Dies ermöglicht eine feingranulare Steuerung, welche Experten-Kenntnisse für eine bestimmte Aufgabe oder einen bestimmten Bildbereich relevant sind.

Besonderheit: Der Dispatcher ist leichtgewichtig und teilt sich über alle Experten, was die Anzahl der trainierbaren Parameter gering hält, während die Interaktion zwischen den Experten maximiert wird.

3. Wichtige Beiträge

1. Neues Framework (pMoE): Einführung des ersten Mixture-of-Experts-Ansatzes für das visuelle Prompt-Tuning, der es erlaubt, mehrere vortrainierte Experten-Modelle in einem einheitlichen Rahmen zu kombinieren.
2. Dynamischer Dispatcher: Entwicklung eines lernbaren Moduls, das basierend auf der Komplexität der visuellen Aufgabe und dem Zustand des aktuellen Experten dynamisch entscheidet, welche Expert-Tokens fusioniert werden sollen. Dies löst das Problem der statischen oder manuellen Gewichtung von Expertenwissen.
3. Umfassende Validierung: Das Framework wurde auf 47 Anpassungsaufgaben getestet, einschließlich Klassifizierung und Segmentierung in allgemeinen und medizinischen Domänen.

4. Ergebnisse

Die Experimente belegen die Überlegenheit von pMoE gegenüber dem State-of-the-Art (SOTA):

• Allgemeine Domäne (Klassifizierung):
  • Auf dem VTAB-1K-Benchmark (19 Aufgaben) erzielte pMoE (kombiniert mit LSPT) einen Durchschnitt von 80,31, was eine deutliche Steigerung gegenüber dem vorherigen besten Ergebnis (LSPT: 77,95) darstellt.
  • Auf FGVC-Datensätzen (feingranulare Klassifizierung wie CUB, Flowers, Cars) zeigte pMoE konsistente Verbesserungen (z. B. +1,22 auf CUB gegenüber LSPT).
  • Auf ImageNet-21K basierten Modellen wurde eine Genauigkeitssteigerung von 2,36 % gegenüber vorherigen Methoden erreicht.
• Medizinische Domäne:
  • In Aufgaben wie der Polypen-Erkennung (Kvasir) und Hautläsions-Segmentierung (ISIC) übertraf pMoE SOTA-Methoden signifikant (z. B. +4,15 Punkte bei Kvasir-Polypen).
  • Die Methode zeigte sich besonders effektiv bei der Unterscheidung subtiler Merkmale in Röntgen-, CT- und MRT-Bildern.
• Segmentierung:
  • Auf ADE20K (allgemeine Segmentierung) und medizinischen Segmentierungsaufgaben erzielte pMoE die besten mIoU-Werte (z. B. 42,87 mIoU auf Kvasir-seg mit MAE-ViT, verglichen mit 45,81 bei LSPT allein).
• Effizienz: Trotz der Nutzung mehrerer Experten bleibt der Anstieg der trainierbaren Parameter minimal, da nur die Prompt-Tokens und der Dispatcher angepasst werden, während die Backbone-Modelle eingefroren bleiben.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Kombination von Wissen aus diversen Experten durch dynamisches Prompt-Tuning die Anpassungsfähigkeit von visuellen Modellen erheblich verbessert.

• Flexibilität: pMoE ist kompatibel mit verschiedenen vortrainierten Architekturen (ViT, MAE, DINO, CLIP) und kann sowohl für allgemeine als auch hochspezialisierte medizinische Aufgaben eingesetzt werden.
• Skalierbarkeit: Die Methode funktioniert effektiv sowohl bei kleineren (ViT-B) als auch bei größeren Backbone-Modellen (ViT-L).
• Zukunftsausblick: pMoE setzt einen neuen Standard für effiziente visuelle Anpassung, indem es zeigt, dass die intelligente Fusion von Expertenwissen nicht nur die Leistung steigert, sondern auch die Generalisierungsfähigkeit über verschiedene Domänen hinweg verbessert, ohne die Rechenkosten exponentiell zu erhöhen.

Zusammenfassend beweist pMoE, dass „mehrere Köpfe" (Experten) durch intelligente Koordination (Dispatcher) in der visuellen KI mehr erreichen als ein einzelner, noch so gut vortrainierter Experte.