💻 computer science

Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing

Das Papier stellt ParaX vor, eine parameter-effiziente Feinabstimmungsmethode für Vision-Modelle, die einen dynamischen Parameter-Routing-Mechanismus einsetzt, um input-abhängige Low-Rank-Gewichtsmatrizen aus gemeinsamen Expertenzentren zu generieren und dadurch die Feature-Vielfalt sowie die Leistung bei komplexen dichten Vorhersageaufgaben zu verbessern.

Ursprüngliche Autoren: Meng Lou, Stanley Yu, Yizhou Yu

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Meng Lou, Stanley Yu, Yizhou Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, hochqualifizierte Bibliothek von Büchern vor (ein vortrainiertes KI-Modell), die viel über die Welt weiß. Sie möchten dieser Bibliothek eine neue, spezifische Fähigkeit beibringen, wie zum Beispiel das Erkennen verschiedener Vogelarten oder das Finden von Objekten in einem unordentlichen Raum.

Traditionell gibt es zwei Möglichkeiten, dies zu tun:

Vollständiges Fine-Tuning: Sie schreiben die gesamte Bibliothek um. Dies funktioniert hervorragend, ist jedoch teuer, langsam, und Sie erhalten für jede einzelne neue Fähigkeit, die Sie erlernen möchten, eine massive neue Version der Bibliothek.
Parameter-effizientes Fine-Tuning (PEFT): Sie versuchen, die Bibliothek mit nur ein paar Haftnotizen oder kleinen Lesezeichen zu unterrichten. Dies ist günstig und schnell, aber oft lernt die Bibliothek die neue Fähigkeit nicht sehr gut, weil die „Lesezeichen" zu einfach sind.

Die Arbeit stellt eine neue Methode namens ParaX vor, die versucht, das Beste aus beiden Welten zu vereinen: die niedrigen Kosten von Haftnotizen mit der hohen Leistung des Umschreibens der gesamten Bibliothek.

Das Problem mit aktuellen „Haftnotizen"

Die Autoren argumentieren, dass aktuelle Methoden (wie LoRA oder AdaptFormer) zwei Hauptmängel aufweisen:

Sie sind „Einheitslösungen": Stellen Sie sich einen Lehrer vor, der dem Anfänger, dem Experten und dem Kind exakt denselben Vortrag hält. Aktuelle Methoden verwenden dieselben „Regeln" für jedes einzelne Bild, das sie sehen, unabhängig davon, was auf dem Bild zu sehen ist. Sie passen sich nicht an die spezifischen Details des Eingabematerials an.
Sie sind „isoliert": Wenn Sie ein Team von Arbeitern (Schichten in der KI) haben, lassen aktuelle Methoden jeden Arbeiter in einer Silo-Umgebung lernen. Sie sprechen nicht miteinander. Dies führt dazu, dass alle dasselbe tun (Redundanz), anstatt zusammenzuarbeiten, um ein komplexes Problem zu lösen.

Die ParaX-Lösung: Das „Gemeinsame Experten-Zentrum"

ParaX verändert das Spiel, indem es die Lernwerkzeuge der KI wie ein Mixture of Experts (MoE) behandelt.

Die Analogie: Der gemeinsame Werkzeugkeller
Stellen Sie sich vor, die KI verfügt über einen riesigen gemeinsamen Werkzeugkeller (das Experten-Zentrum), der mit Tausenden von spezialisierten Werkzeugen (trainierbaren Parameter-Matrizen) gefüllt ist.

Alte Methode: Jeder Arbeiter in der Fabrik erhält seine eigene winzige, feststehende Werkzeugkiste. Sie können ihre Werkzeuge nicht an die Aufgabe anpassen.
ParaX-Methode: Jeder Arbeiter hat einen intelligenten Router. Wenn eine neue Aufgabe eintrifft (ein Bild kommt herein), betrachtet der intelligente Router das Bild und sagt: „Oh, dies ist eine knifflige Szene mit vielen kleinen Details. Ich muss Werkzeug Nr. 4 und Werkzeug Nr. 12 aus dem Hauptkeller holen und sie kombinieren, um genau für diesen Moment einen maßgeschneiderten Schraubenschlüssel herzustellen."

Wie es funktioniert (Die magischen Schritte)

Dynamisches Routing: Anstatt einen festen Satz von Regeln zu verwenden, betrachtet ParaX das spezifische Bild und entscheidet dynamisch, welche „Werkzeuge" (Parameter-Matrizen) aus dem gemeinsamen Werkzeugkeller verwendet werden sollen. Es ist wie ein Koch, der eine Suppe probiert und sofort entscheidet, welche spezifischen Gewürze hinzugefügt werden sollen, anstatt ein starres Rezept zu befolgen.
Geteiltes Wissen: Da alle Arbeiter (Schichten im Netzwerk) aus demselben Haupt-Werkzeugkeller schöpfen, beginnen sie natürlich, voneinander zu lernen. Wenn eine Schicht eine großartige Werkzeugkombination für eine bestimmte Art von Kante herausfindet, steht dieses Wissen dem gesamten Team zur Verfügung. Dies reduziert die Redundanz und macht die KI schlauer beim Erkennen komplexer Szenen.
Multi-Scale-Mischung: ParaX fügt zudem eine Funktion hinzu, die es ermöglicht, Dinge gleichzeitig auf verschiedenen „Zoomstufen" zu betrachten (wie das Betrachten eines Baumes aus der Ferne, um die Form zu sehen, und aus der Nähe, um die Blätter zu sehen), was für Aufgaben wie das Finden von Objekten in einem Bild entscheidend ist.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten ParaX an schwierigen Aufgaben wie:

Semantische Segmentierung: Das Einfärben jedes Pixels in einem Bild, um anzugeben, was er ist (z. B. „Himmel", „Auto", „Person").
Objekterkennung: Das Finden und Umranden von Objekten in einem Bild.
Panoptische Segmentierung: Eine extrem schwierige Mischung aus den beiden oben genannten.

Die Behauptung:
ParaX erzielte bessere Ergebnisse als die bisherigen besten „Haftnotiz"-Methoden, und in einigen Fällen schlug es sogar die teure Methode des „Umschreibens der gesamten Bibliothek", und das alles bei Verwendung von weniger als 4 % der trainierbaren Parameter.

Einfach ausgedrückt: ParaX lehrte die KI, ein Meisterkoch zu sein, der ein Gourmetgericht mit einer winzigen, gemeinsamen Auswahl an Zutaten und einem intelligenten Plan zubereiten kann, während andere Methoden an vorgefertigten Mahlzeiten festhielten, die zwar okay schmeckten, aber nicht großartig waren.

Zusammenfassung

ParaX ist eine neue Art, KI-Modellen neue Fähigkeiten beizubringen. Anstatt der KI einen statischen, einheitlichen Satz von Anweisungen zu geben, erhält die KI ein dynamisches, gemeinsames Werkzeugset, das sie für jedes einzelne Bild, das sie sieht, in Echtzeit anpassen kann. Dies macht die KI viel besser im Verstehen komplexer Szenen, ohne dass sie von Grund auf neu trainiert werden muss.

Technische Zusammenfassung: ParaX - Anpassung von Vision-Modellen durch dynamisches Parameter-Routing

1. Problemstellung

Das parameter-effiziente Fine-Tuning (PEFT) zielt darauf ab, vortrainierte Vision-Modelle mit einer minimalen Anzahl trainierbarer Parameter an nachgelagerte Aufgaben anzupassen, wobei eine Leistung erhalten bleibt, die mit dem vollständigen Fine-Tuning vergleichbar ist. Obwohl PEFT-Methoden bei der Klassifizierung erfolgreich sind, haben bestehende Ansätze Schwierigkeiten mit komplexen dichten Vorhersageaufgaben (z. B. Objekterkennung, semantische Segmentierung). Das Paper identifiziert zwei Hauptbeschränkungen bei aktuellen adapterbasierten Ansätzen (z. B. AdaptFormer, Mona):

Repräsentationsdefizit: Bestehende Adapter verwenden häufig inputagnostische Low-Rank-Modellierung. Sie lernen statische Transformationen, die universell für alle Eingaben funktionieren müssen, und unterstützen damit keine eingabespezifischen Anpassungen, die für die Erfassung komplexer räumlicher Abhängigkeiten in dichten Vorhersagen notwendig sind. Dies führt zu einem kleineren effektiven rezeptiven Feld (ERF) im Vergleich zum vollständigen Fine-Tuning.
Feature-Redundanz: Adapter, die in verschiedenen Netzwerkschichten eingebettet sind, sind typischerweise isoliert und weisen keine Interaktion zwischen den Schichten auf. Dies führt zu redundanten Repräsentationen, bei denen verschiedene Schichten ähnliche Informationen erfassen, was durch eine hohe Centered Kernel Alignment (CKA)-Ähnlichkeit zwischen den Schichten in bestehenden Methoden belegt wird.

2. Methodik: ParaX

Die Autoren schlagen ParaX vor, eine neuartige adapterartige PEFT-Methode, die auf einer einfachen Mixture-of-Experts (MoE)-Architektur basiert. Anstatt isolierte Adaptergewichte für jede Schicht zu lernen, führt ParaX ein Shared Expert Center (gemeinsames Experten-Zentrum) und einen Mechanismus für dynamisches Parameter-Routing ein.

2.1 Shared Expert Center

ParaX konstruiert für jede Stufe des hierarchischen Vision-Netzwerks ein großes, geteiltes Repository trainierbarer Parametermatrizen (Experten).

Kanal-Transformationen: Das Zentrum enthält Paare von Matrizen ( $E_A, E_B$ ) für die Down-Projektion und Up-Projektion.
Räumliche Transformationen: Um die räumliche Modellierung zu verbessern, enthält das Zentrum Sätze von Matrizen ( $S_A, S_B, S_C$ ), die entwickelt wurden, um Multi-Kernel-Depthwise-Convolution-Kerne zu generieren.
Kapazität: Die Größe des Experten-Zentrums ( $M$ ) und die latente Dimension ( $\hat{C}$ ) sind Hyperparameter, die die Gesamtzahl der Parameter steuern.

2.2 Dynamisches Parameter-Routing

Während des Vorwärtsdurchlaufs generiert jedes ParaX-Modul dynamisch Gewichtsmatrizen, die auf die aktuelle Eingabe und die Modulposition zugeschnitten sind:

Routing-Mechanismus: Ein leichtgewichtiges Router-Netzwerk verarbeitet die Eingabe-Feature (via Global Average Pooling und lineare Schichten), um dynamische Gating-Vektoren ( $G$ ) zu erzeugen.
Dynamische Gewichtsgenerierung: Diese Gating-Vektoren aggregieren selektiv die Parametermatrizen aus dem Shared Expert Center.
- Für die Kanalprojektion: $W_1 = G_1 \times E_A$ und $W_2 = G_2 \times E_B$ .
- Für die räumliche Mischung: Der Router generiert dynamische Gating-Vektoren, um Expertenmatrizen zu dynamischen Depthwise-Convolution-Kernen ($D2Convs$) zu kombinieren.
Eingabeabhängigkeit: Im Gegensatz zu statischen Adaptern sind die resultierenden Gewichtsmatrizen eingabeabhängig, was es dem Modell ermöglicht, Feature-Repräsentationen basierend auf spezifischen Eingabevariationen anzupassen.

2.3 Dynamische Multi-Scale-Räumliche Mischung

ParaX integriert die Multi-Scale-Räumliche Modellierung durch sequentielles Stapeln dynamischer Depthwise-Convolutionen mit zunehmenden Kernelgrößen (z. B. 3, 5, 7). Diese Ausgaben werden über ein Spatially-varying Aggregation (SA)-Modul aggregiert, das räumliche Aufmerksamkeit verwendet, um Features über Skalen hinweg dynamisch neu zu kalibrieren. Dieses Design ist explizit eingabeabhängig und steht im Gegensatz zu den festen, eingabeunabhängigen Gewichten, die in Methoden wie Mona verwendet werden.

3. Hauptbeiträge

Dynamisches Parameter-Routing: Das Paper führt einen Mechanismus ein, bei dem trainierbare Parametermatrizen als „Experten" fungieren, die über Gating-Vektoren dynamisch aggregiert werden. Dies ermöglicht eine Low-Rank-Anpassung auf eingabeabhängige Weise und erzeugt leistungsfähigere und maßgeschneiderte Feature-Repräsentationen.
Shared Expert Center: Durch die gemeinsame Nutzung desselben Experten-Zentrums über mehrere Netzwerkschichten hinweg fördert ParaX implizite Interaktionen zwischen den Schichten. Dies diversifiziert den Informationsfluss und reduziert die Feature-Redundanz, ohne explizite Verbindungen zwischen den Schichten zu erfordern.
Eingabeabhängige Räumliche Modellierung: Die Methode erweitert das dynamische Routing auf räumliche Transformationen, indem sie eingabespezifische Multi-Scale-Convolution-Kerne generiert und damit das Repräsentationsdefizit statischer Adapter bei Aufgaben der dichten Vorhersage adressiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ParaX bei diversen visuellen Erkennungsaufgaben unter Verwendung von Swin- und ConvNeXt-Backbones und verglichen es mit vollständigem Fine-Tuning und den fortschrittlichsten PEFT-Methoden (VPT, LoRA, AdaptFormer, Mona usw.).

Semantische Segmentierung (ADE20K): Mit Swin-L erreichte ParaX 52,0 % mIoU und übertraf damit das vollständige Fine-Tuning (51,2 %) um 0,8 %, wobei weniger als 4 % der trainierbaren Parameter verwendet wurden. Es übertraf zudem die starke Baseline Mona um 0,4 %.
Objekterkennung & Instanzsegmentierung (COCO2017): Mit ConvNeXt-L verbesserte ParaX APb/APm um 1,4 %/1,6 % gegenüber dem vollständigen Fine-Tuning und um 0,6 %/0,4 % gegenüber Mona.
Panoptische Segmentierung (COCO2017): ParaX verbesserte PQ um 1,7 % bzw. 2,0 % gegenüber AdaptFormer, wenn es mit Swin-B bzw. ConvNeXt-B integriert wurde.
Bildklassifizierung: Auf ImageNet-R (ein Datensatz mit signifikanter Domänenverschiebung) übertraf ParaX Mona um 1,6 % in der Top-1-Genauigkeit und demonstrierte damit Robustheit gegenüber Domänenverschiebungen.
Generalisierung: Die Methode zeigte überlegene Leistung bei ViT-Architekturen, Mamba-basierten Modellen (VMamba), der Schätzung menschlicher Posen und der Segmentierung in der Fernerkundung.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ParaX die fundamentalen Beschränkungen der inputagnostischen Modellierung und der Feature-Redundanz in aktuellen PEFT-Methoden adressiert. Durch die Nutzung eines Shared Expert Center und dynamischen Routings erreicht ParaX:

Überlegene Repräsentationskapazität: Die eingabeabhängige Natur der Gewichte ermöglicht es dem Modell, langreichweitige Abhängigkeiten und komplexe räumliche Kontexte effektiver zu erfassen, was durch größere ERFs belegt wird, die mit dem vollständigen Fine-Tuning vergleichbar sind.
Erhöhte Feature-Diversität: Das Shared Expert Center ermöglicht implizite Interaktionen zwischen den Schichten, reduziert die Redundanz und erlaubt es den Schichten, repräsentativere Features zu extrahieren.
Effizienz: Trotz des dynamischen Routings und der Multi-Scale-Convolutionen behält ParaX eine wettbewerbsfähige Recheneffizienz bei und reduziert die Speicherkosten erheblich (Erfordernis von <4 % der trainierbaren Parameter) im Vergleich zur Aufrechterhaltung vollständig feinabgestimmter Modelle für mehrere Aufgaben.

Die Autoren kommen zu dem Schluss, dass ParaX einen neuen State-of-the-Art für die parameter-effiziente Anpassung bei Aufgaben der dichten Vorhersage setzt und demonstriert, dass die dynamische, eingabeabhängige Generierung von Parametern entscheidend ist, um die Leistungslücke zwischen PEFT und vollständigem Fine-Tuning zu schließen.