🤖 machine learning

Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers

Das Papier schlägt PEP-FedPT vor, ein einheitliches Framework für federiertes Lernen für Vision Transformer, das sowohl Generalisierung als auch Personalisierung erreicht, indem es einen klassenkontextualisierten gemischten Prompt (CCMP) einführt, der klassenspezifische Prompts adaptiv unter Verwendung globaler Prototypen und Client-Priors kombiniert, ohne clientabhängige trainierbare Parameter zu speichern.

Ursprüngliche Autoren: M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine massive, superschlaue Bibliothek von Büchern vor (ein vorab trainierter Vision Transformer), die ein wenig über alles weiß, aber in keinem einzelnen spezifischen Thema ein Experte ist. Sie möchten diese Bibliothek darin schulen, ein Experte für ein bestimmtes Fachgebiet zu werden, wie etwa die Identifizierung seltener Vögel oder die Erkennung von Krankheiten in Röntgenbildern, doch Sie können nicht alle Bücher an einen Ort verlegen. Stattdessen haben Sie Hunderte von kleinen, lokalen Filialen (Clients), die über die ganze Welt verstreut sind, wobei jede eine unterschiedliche, einzigartige Sammlung von Büchern besitzt.

Dies ist die Herausforderung des Federated Learning: Ein intelligentes globales Modell zu trainieren, ohne jemals die privaten Daten aus den lokalen Filialen zu bewegen.

Das Problem: Das Dilemma „Einheitslösung" versus „Zu persönlich"

Die Arbeit identifiziert einen frustrierenden Tauziehen-Kampf beim Versuch, diese Bibliothek zu unterrichten:

Der globale Ansatz (Zu starr): Wenn Sie jeder Filiale exakt dieselben Anweisungen geben (einen „globalen Prompt"), funktioniert die Bibliothek gut für die durchschnittliche Filiale, versagt aber kläglich bei denen mit seltsamen oder einzigartigen Daten. Es ist, als würde man einer Filiale, die nur Meeresfrüchte hat, ein generisches „Wie man kocht"-Handbuch gibt; die Anweisungen passen nicht zu ihren spezifischen Zutaten.
Der persönliche Ansatz (Zu eng): Wenn Sie jeder Filiale erlauben, ihre eigenen benutzerdefinierten Anweisungen zu schreiben, werden sie zu Experten für ihre spezifischen lokalen Daten, vergessen aber, wie sie mit dem Rest des Netzwerks kommunizieren sollen. Sie werden so spezialisiert, dass sie niemandem anderem helfen können, und wenn eine neue Filiale beitritt, wissen sie nicht, was zu tun ist.

Die Lösung: PEP-FedPT (Der „intelligente Mixologe")

Die Autoren schlagen eine neue Methode namens PEP-FedPT vor. Stellen Sie sich dies als einen „intelligenten Mixologen" vor, der für jede Filiale ein maßgeschneidertes Getränk kreiert, ohne jedoch ein geheimes Rezeptbuch in jeder Filiale speichern zu müssen.

So funktioniert es, anhand einer einfachen Analogie:

1. Die gemeinsamen Zutaten (Globale Prompts)

Der zentrale Server (der Bibliothekschef) sendet eine Reihe von Shared Prompts aus. Diese sind wie grundlegende, universelle Zutaten (Salz, Pfeffer, Wasser), über die sich alle einig sind. Sie helfen der Bibliothek, die Grundlagen zu verstehen.

2. Die speziellen Aromen (Klassenspezifische Prompts)

Der Server unterhält auch eine Reihe von Class-Specific Prompts. Stellen Sie sich diese als distincte Aroma-Konzentrate vor: eines für „Vögel", eines für „Autos", eines für „Bäume". Diese werden global geteilt, sodass jeder Zugriff auf dieselben Aroma-Flaschen hat.

3. Das magische Mischen (CCMP)

Dies ist die große Innovation der Arbeit. Anstatt einer Filiale nur ein einzelnes Aroma oder eine generische Mischung zu übergeben, erstellt das System einen Class-Contextualized Mixed Prompt (CCMP) für jedes einzelne Bild, das die Filiale sieht.

Wie entscheidet es die Mischung?

Der „Geruchs"-Test (Prototypen): Das System betrachtet das Bild und fragt: „Sieht dies mehr wie ein Vogel oder ein Auto aus?" Es verwendet eine „globale Karte" (Klassenprototypen), um die Wahrscheinlichkeit abzuschätzen.
Das „lokale Menü" (Klassenpriors): Es überprüft auch das lokale Menü der Filiale. Wenn eine Filiale hauptsächlich Vögel sieht, weiß das System, dass es stärker auf das „Vogel"-Aroma setzen sollte.

Das System mischt die „Vogel"- und „Auto"-Aromen in einem präzisen Verhältnis basierend auf diesen beiden Faktoren. Es ist, als würde ein Mixologe sagen: „Dieses Bild sieht zu 80 % wie ein Vogel und zu 20 % wie ein Auto aus, also mische ich 80 % Vogel-Aroma und 20 % Auto-Aroma für dieses spezifische Getränk."

Warum dies ein Game-Changer ist

Keine geheimen Rezeptbücher: Die Filialen müssen keine eigenen einzigartigen, schweren Anleitungsmanuale speichern. Sie verwenden einfach die geteilten globalen Aromen und mischen sie on the fly. Dies spart enorme Mengen an Speicherplatz und Kommunikationsraum.
Das Beste aus beiden Welten: Das resultierende „Getränk" ist personalisiert genug, um die seltsamen Daten der Filiale zu bewältigen (Generalisierung), bleibt aber dennoch mit dem globalen Netzwerk verbunden (Personalisierung).
Datenschutzfreundlich: Die Filialen senden nur winzige Zusammenfassungen (Prototypen) dessen zurück, was sie gelernt haben, nicht die tatsächlichen Bilder. Es ist, als würde man eine Beschreibung der verwendeten Aromen senden, nicht das eigentliche Essen.

Die Ergebnisse

Die Arbeit testete dies an mehreren „schwierigen" Datensätzen (wie CIFAR-100 und TinyImageNet), bei denen die Daten unordentlich und ungleichmäßig verteilt sind.

Der Gewinner: PEP-FedPT schlug konsistent alle anderen Methoden.
Der Beweis: Es erzielte nicht nur eine höhere Durchschnittspunktzahl; es half auch den am schlechtesten abschneidenden Filialen, sich signifikant zu verbessern. Es gelang ihm, gleichzeitig ein großartiger lokaler Experte und ein hilfreicher globaler Nachbar zu sein.

Kurz gesagt, präsentiert die Arbeit eine Möglichkeit, ein riesiges KI-Modell über viele verschiedene, unordentliche Datenquellen hinweg zu trainieren, indem das Modell seine eigenen Anweisungen on the fly „mischen und anpassen" lässt, unter Verwendung eines gemeinsamen Satz von Werkzeugen und ein wenig lokalen Kontexts. Es erreicht die perfekte Balance zwischen Generalist und Spezialist.

Technische Zusammenfassung: PEP-FedPT

Problemstellung

Federated Learning (FL) steht vor erheblichen Herausforderungen bei der Anpassung großer vortrainierter Vision Transformer (ViTs) an nachgelagerte Aufgaben unter Datenheterogenität. Während Visual Prompt Tuning (VPT) eine parameter-effiziente Lösung für das Fine-Tuning bietet, kämpfen bestehende Ansätze damit, Generalisierung und Personalisierung in Einklang zu bringen:

Globales Prompt Tuning: Methoden wie FedPR verwenden geteilte Prompts über alle Clients hinweg. Obwohl sie sich gut generalisieren lassen, gelingt es ihnen nicht, sich an stark heterogene Client-Datenverteilungen (nicht-iid) anzupassen, was zu „Client Drift" und suboptimaler Leistung führt.
Personalisiertes Prompt Tuning: Methoden wie pFedPG generieren client-spezifische Prompts. Obwohl sie sich gut an lokale Daten anpassen, neigen sie oft zu Überanpassung (Overfitting), was zu einer schlechten Generalisierung auf nicht teilnehmende oder unbekannte Clients führt. Darüber hinaus gehen viele personalisierte Ansätze von einer vollständigen Client-Teilnahme in jeder Runde aus, was in realen FL-Systemen unpraktikabel ist.
Bestehende Hybrid-Ansätze: Methoden wie SGPT versuchen, diese Lücke durch gruppenspezifische Prompts zu schließen, führen jedoch durch nicht-differenzierbare Selektionsmechanismen und zweistufige Trainingsprozesse zu einer Optimierungskomplexität.

Die zentrale Frage lautet: Können wir eine effektive Personalisierung erreichen, indem wir ausschließlich auf global geteilte Prompts zurückgreifen?

Methodik: PEP-FedPT

Die Autoren schlagen PEP-FedPT (Prompt Estimation from Prototypes for Federated Prompt Tuning) vor, ein einheitliches Framework, das Personalisierung erreicht, ohne client-abhängige trainierbare Parameter zu speichern. Die Kerninnovation ist der Class-Contextualized Mixed Prompt (CCMP).

1. Prompt-Architektur

Das Framework nutzt zwei Sätze trainierbarer Parameter, die global über alle Clients hinweg geteilt werden:

Geteilte Prompts ( $P_S$ ): Eingefügt in die allererste Schicht des ViT. Diese erfassen niedrigstufige, klassenagnostische Repräsentationen, die im gesamten Mannigfaltigkeitsraum gemeinsam sind.
Klassenspezifische Prompts ( $P_C$ ): Eine Menge von Prompts, die jeder Klasse entspricht und global geteilt wird.

2. Class-Contextualized Mixed Prompt (CCMP)

Anstatt einen einzelnen statischen Prompt einzufügen, generiert PEP-FedPT für jede Eingabeprobe dynamisch einen gemischten Prompt ( $m$ ) in mittleren Schichten (speziell in den Schichten 5, 6 und 7 in den Experimenten). Dieser gemischte Prompt ist eine weiche Kombination der globalen klassenspezifischen Prompts, gewichtet mit Scores, die abgeleitet werden aus:

Globalen Klassenprototypen ( $\mu$ ): Aggregierte Zentroiden von CLS-Token-Repräsentationen für jede Klasse, berechnet durch Mittelung der CLS-Tokens von Datenpunkten innerhalb einer Klasse über alle Clients hinweg. Diese werden periodisch via Federated Averaging mit Momentum aktualisiert.
Client-Klassenpriors ( $\delta$ ): Die empirische Labelverteilung (Häufigkeit der Klassen), die spezifisch für die lokalen Daten jedes Clients ist.

3. Prompt-Mischmechanismus

Für eine gegebene Eingabe $x$ am Client $k$ berechnet das System einen weichen Gewichtungsvektor $s$ für die klassenspezifischen Prompts:

Ähnlichkeits-Score: Die Kosinus-Ähnlichkeit zwischen der CLS-Token-Repräsentation ( $cls_{l-1}$ ) der Eingabe in Schicht $l$ und den globalen Klassenprototypen ( $\mu$ ) wird berechnet.
Gewichtete Bewertung: Diese Ähnlichkeiten werden mit den client-lokalen Klassenpriors ( $\delta$ ) und einem Temperaturparameter ( $\tau$ ) skaliert.
Normalisierung: Die Scores werden normalisiert, um eine Wahrscheinlichkeitsverteilung zu bilden.
Mischung: Der finale CCMP wird als gewichtete Summe der globalen klassenspezifischen Prompts berechnet: $m = P_C \times s$ .

Dies ermöglicht jedem Client, den Prompt dynamisch basierend auf ihrer lokalen Datenverteilung und der aktuellen Eingabe zu personalisieren, unter Verwendung nur globaler Informationen (Prompts und Prototypen) und lokaler Statistiken (Priors), ohne Rohdaten oder client-spezifische Modellgewichte zu übertragen.

4. Theoretische Grundlagen

Die Arbeit liefert zwei theoretische Begründungen für das CCMP-Design:

Minimierung einer quadratischen oberen Schranke: Die Autoren beweisen, dass der CCMP eine quadratische obere Schranke der globalen Verlustfunktion minimiert, unter der Annahme, dass der Verlust Lipschitz-stetig glatt ist und der Prompt-Raum kompakt ist. Die optimale Mischstrategie entspricht dem gewichteten Durchschnitt der Klassen-Prompts basierend auf den Klassenpriors.
MMSE-Optimalität: Es wird gezeigt, dass der CCMP der Minimum Mean Squared Error (MMSE)-Schätzer des wahren Klassen-Prompts unter Berücksichtigung der beobachteten CLS-Token-Repräsentation ist.

Hauptbeiträge

Einheitliches Framework: Einführung von PEP-FedPT, das gemeinsam geteilte und klassenspezifische Prompts optimiert, um Datenheterogenität im Federated Learning von ViTs zu adressieren und ein Gleichgewicht zwischen Generalisierbarkeit und Personalisierung zu finden.
Neuartige Mischstrategie: Entwicklung des CCMP, der pro-Probe-Prompts als Funktion globaler klassenspezifischer Prompts generiert, moduliert durch lokale Klassenpriors und globale Prototypen. Dies eliminiert die Notwendigkeit für lokale Prompt-Speicherung oder serverseitige Generierung client-spezifischer Prompts.
Theoretische Einsichten: Nachweis, dass CCMP eine quadratische obere Schranke des Verlusts minimiert und im Sinne des MMSE optimal ist.
Empirische Überlegenheit: Umfassende Validierung, die zeigt, dass die Methode State-of-the-Art-Baselines in diversen Heterogenitätsszenarien übertrifft.

Experimentelle Ergebnisse

Die Methode wurde auf CIFAR-100, TinyImageNet, DomainNet und iNaturalist unter verschiedenen nicht-iid-Einstellungen (pathologische Aufteilungen und Dirichlet-Verteilungen) evaluiert.

Leistung: PEP-FedPT übertraf Baselines (einschließlich FedVPT, FedPR, SGPT und pFedPG) konsistent sowohl in der mittleren Genauigkeit als auch in der schlechtesten lokalen Genauigkeit.
- Auf CIFAR-100 (pathologisch) erreichte es eine mittlere Genauigkeit von 95,46 % und übertraf damit pFedPG (92,96 %) und FedVPT-D (85,15 %).
- Auf TinyImageNet verbesserte es die mittlere Genauigkeit um 8,59 % gegenüber pFedPG.
Generalisierung: Bei zurückgehaltenen Evaluierungen (Testen auf Clients, die nicht am Training teilnahmen) behielt PEP-FedPT eine hohe Genauigkeit bei (93,71 % auf CIFAR-100), während personalisierte Methoden wie pFedPG keine Generalisierung zeigten (als NA markiert oder signifikant niedriger).
Effizienz: Die Methode benötigte deutlich weniger Kommunikationsrunden (12 Runden, um 83 % Genauigkeit auf CIFAR-100 zu erreichen) und einen geringeren Kommunikationsaufwand (4,6 Mio. übertragene Parameter) im Vergleich zu SGPT (13 Mio.) und FedVPT-D.
Ablationsstudien: Experimente bestätigten, dass die Kombination aus Geteilten Prompts mit CCMP signifikante Gewinne gegenüber der alleinigen Verwendung von Geteilten Prompts erzielt. Die Einbeziehung von Klassenpriors verbesserte die Leistung weiter, insbesondere in pathologischen Settings.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PEP-FedPT ein solides Fundament für effizientes und generalisierbares Federated Prompt Tuning von Vision Transformer legt. Ihre primäre Bedeutung liegt in der Auflösung des Zielkonflikts zwischen Personalisierung und Generalisierung im FL:

Es erreicht Personalisierung, indem es lokale Datenverteilungen (via Priors) nutzt, um Prompts dynamisch zu mischen.
Es bewahrt Generalisierung, indem es ausschließlich auf global geteilte Prompts und Prototypen zurückgreift und so die Überanpassungsprobleme vollständig personalisierter Modelle vermeidet.
Es bietet Skalierbarkeit, indem es keine client-spezifische Parameterspeicherung oder vollständige Client-Teilnahme erfordert, was es für ressourcenbeschränkte Edge-Geräte geeignet macht.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass die Methode auf empirischen Schätzungen von Klassenpriors und Zentroiden beruht, die in semi-überwachten oder unüberwachten Settings unzuverlässig sein können, und dass der Vorteil in strikt IID-Datenverteilungen schwindet, wo sich die Methode effektiv auf standard Fed-VPT reduziert. Innerhalb des Kontexts von nicht-IID-Federated Learning bietet der vorgeschlagene Ansatz jedoch eine robuste, theoretisch fundierte und empirisch überlegene Lösung.