⚡ electrical engineering

FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging

$\text{FedProIn}$ ist ein prototypenbasierter Federated-Learning-Framework, das Client Drift in der medizinischen Bildverarbeitung durch den Einsatz von Feature- und Prototypendivergenzverlusten sowie einer normalisierten Einflussaggregation mildert und dabei eine überlegene Leistung gegenüber bestehenden Baselines auf heterogenen Datensätzen erzielt.

Ursprüngliche Autoren: Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Ärzten aus verschiedenen Krankenhäusern vor, die versuchen, einer einzelnen KI beizubringen, Hautkrankheiten oder Blutzellen zu erkennen. Sie können ihre tatsächlichen Patientenfotos nicht teilen, da dies gegen Datenschutzgesetze (wie HIPAA) verstößt. Stattdessen verwenden sie eine Methode namens Federated Learning (Föderiertes Lernen).

Denken Sie an dies wie eine Gruppe von Köchen, die versuchen, ein einzelnes „Meisterrezept“ zu perfektionieren. Jeder Koch kocht in seiner eigenen Küche mit seinen eigenen lokalen Zutaten. Sie senden ihre Anweisungen, wie das Rezept zu verbessern ist, an einen zentralen Chefkoch, der diese kombiniert, um ein besseres „Meisterrezept“ für alle zu erstellen.

Das Problem: „Client Drift“ (Client-Abdrift)

In der realen Welt ist jedes Krankenhaus anders. Das eine nutzt vielleicht eine bestimmte Art von Kamera, ein anderes sieht hauptsächlich ältere Patienten und ein drittes sieht vor allem Kinder. Dies wird als statistische Heterogenität bezeichnet.

Weil diese Unterschiede bestehen, driften die lokalen Köche (Clients) vom Meisterrezept weg.

Feature Drift (Merkmalsdrift): Ein Koch beginnt, einen „roten Fleck“ als „leuchtendes Karminrot“ zu beschreiben, während ein anderer ihn als „tiefes Scharlachrot“ bezeichnet. Sie betrachten dasselbe, beschreiben es aber auf völlig unterschiedliche Weise.
Prototype Drift (Prototypen-Drift): Die Köche beginnen, ihre eigenen lokalen Eigenheiten auswendig zu lernen. Wenn ein Koch hauptsächlich seltene Krankheiten sieht, konzentriert er sich vielleicht zu sehr auf diese und ignoriert dabei häufige Erkrankungen.

Wenn der Chefkoch versucht, diese widersprüchlichen Anweisungen zu mischen, wird das fertige Rezept verwirrt, instabil und weniger genau. Dies ist das, was das Paper als Client Drift bezeichnet.

Die Lösung: FedProIn

Die Autoren schlagen ein neues System namens FedProIn (Federated Learning with Prototype aggregation with Influence) vor. Anstatt nur die Anweisungen der Köche zu mitteln, verwenden sie einen klügeren Ansatz mit drei Tricks:

1. Das Erlernen von „Archetypen“ (Learnable Prototypes)

Anstatt nur die Daten zu mitteln, erstellt das System lernbare Prototypen.

Die Analogie: Stellen Sie sich vor, anstatt nur „roter Fleck“ zu sagen, erstellt das System eine Reihe idealisierter „Archetyp-Karten“ für jede Krankheit. Es gibt nicht nur eine Karte für „Melanom“, sondern mehrere Karten, die verschiedene Arten von Melanomen repräsentieren.
Diese Karten sind nicht statisch; sie sind „lernbar“, was bedeutet, dass die KI die Karten aktiv anpassen kann, um die perfekte Darstellung einer Krankheit zu werden, anstatt nur einen verschwommenen Durchschnitt aller gesehenen Fotos zu nehmen.

2. Das „Doppelcheck“-System (Mitigation von Drift)

Um zu verhindern, dass die Köche auseinanderdriften, nutzt FedProIn zwei spezifische „Loss Functions“ (Verlustfunktionen – das sind im Grunde Strafpunkte für Fehler):

Feature Divergence Loss (Der „Übersetzungs“-Check): Dies zwingt die lokalen Köche dazu, Dinge so zu beschreiben, dass sie zum globalen „Wörterbuch“ passen. Wenn ein lokaler Koch einen Fleck als „karminrot“ beschreibt, stößt das System ihn sanft dazu an, sich mit der globalen Definition von „rot“ abzustimmen, damit alle dieselbe Sprache sprechen.
Prototype Contrastive Loss (Der „Gedächtnis“-Check): Dies stellt sicher, dass die „Archetyp-Karten“ der lokalen Köche nicht zu seltsam oder einseitig auf ihre eigene Küche fixiert werden. Es zieht ihre Karten näher an die globalen „Master-Karten“ heran und drückt sie von ihren eigenen, potenziell voreingenommenen Versionen weg.

3. Die „Kluge Abstimmung“ (Normalized Influence Aggregation)

Dies ist der einzigartigste Teil. In Standard-Systemen erhält jeder Koch eine Stimme basierend darauf, wie viele Fotos er hat. Aber was, wenn ein Koch 1.000 Fotos einer häufigen Krankheit hat, aber null Fotos einer seltenen? Seine Stimme könnte den Koch übertönen, der tatsächlich die seltenen Fotos besitzt.

FedProIn führt Normalized Influence Aggation (NIA) ein.

Die Analogie: Anstatt Köpfe zu zählen, zählt das System, wer die Archetyp-Karten tatsächlich benutzt hat.
Wenn eine bestimmte „Karte für eine seltene Krankheit“ häufig von einem spezifischen Koch verwendet wurde, um seine Patienten zu klassifizieren, erhält dieser Koch eine starke Stimme für genau diese Karte.
Wenn ein Koch eine Karte hat, die er nie benutzt hat (vielleicht weil er keine Patienten mit diesem Zustand hatte), wird seine Stimme für diese Karte stummgeschaltet. Dies verhindert, dass „Rauschen“ wichtige, seltene Informationen überlagert.

Die Ergebnisse

Die Autoren testeten dieses System an zwei echten medizinischen Datensätzen:

HAM10000: Bilder von Hautläsionen.
Matek-19: Bilder von Blutzellen.

Sie simulierten ein Szenario, in dem die Daten unordentlich und ungleichmäßig verteilt waren (Non-IID), so wie es in der Realität der Fall ist.

Das Ergebnis: FedProIn übertraf alle anderen Methoden. Es war besser darin, das „Meisterrezept“ genau zu halten, selbst wenn die lokalen Küchen sehr unterschiedlich waren.
Die Zahlen: Beim Hautdatensatz erreichte es eine Genauigkeit von 81,1 % im unordentlichen, realen Szenario (im Vergleich zu niedrigeren Werten bei anderen Methoden). Beim Blutzellendatensatz erreichte es 95,8 %.

Zusammenfassung

Kurz gesagt ist FedProIn eine intelligentere Art und Weise, wie KI-Modelle gemeinsam lernen können, ohne private Daten zu teilen. Es verhindert, dass sie durch lokale Unterschiede verwirrt werden, indem es:

Flexible „Archetyp-Karten“ für Krankheiten erstellt.
Erzwungenermaßen sicherstellt, dass alle die gleiche „Merkmals-Sprache“ sprechen.
Denjenigen eine lautere Stimme gibt, die tatsächlich die seltenen Krankheiten kennen, statt nur denjenigen, die die meisten Fotos haben.

Das Paper kommt zu dem Schluss, dass diese Methode das globale KI-Modell in der unordentlichen, vielfältigen Realität der medizinischen Bildgebung wesentlich robuster und genauer macht.

Technisches Resümee: FedProIn – Abschwächung von Client-Drift für lernbare Prototypen in der föderierten medizinischen Bildverarbeitung

Problemstellung

Das föderierte Lernen (Federated Learning, FL) in der medizinischen Bildverarbeitung wird erheblich durch statistische Heterogenität behindert, die aus Variationen in Scanner-Protokollen, Akquisitionseffizienzen und diversen Patientenpopulationen über verschiedene medizinische Zentren hinweg resultiert. Diese nicht-IID-Datenverteilung (nicht identisch und unabhängig verteilt) induziert Client-Drift, bei dem lokale Modelle während der Optimierung vom globalen Modell divergieren. Speziell werden identische Instanzen von verschiedenen Clients in unterschiedliche Regionen des Merkmalsraums abgebildet, und lokale Repräsentationen werden zugunsten klientenspezifischer Charakteristika verzerrt.

Bestehende Ansätze weisen Einschränkungen auf:

Beschränkungsbasierte Regularisierung (z. B. FedProx, MOON) hat Schwierigkeiten, semantische Repräsentationen in hochdimensionalen Räumen auszurichten.
Standardmäßige prototypenbasierte Methoden gehen oft von einem einzigen globalen Prototypen pro Klasse aus (via Mittelwert-Merkmalsvektoren), was für heterogene medizinische Daten unzureichend ist.
Multi-Prototypen-Methoden führen oft eine hohe Rechenkomplexität ein oder verlassen sich auf unimodale Repräsentationen, die Entscheidungsgrenzen nicht effektiv optimieren können.

Methodik: FedProIn

Die Autoren schlagen FedProIn (Federated Learning with Prototype aggregation with Influence) vor, ein Framework, das lernbare Prototypen (LPs) als optimierbare Modellparameter anstelle von statischen Mittelwertvektoren nutzt. Das globale Modell besteht aus einem Merkmals-Encoder $f_\theta$ und einer Menge von Prototypen $P \in \mathbb{R}^{C \times M \times d}$ , wobei $M$ die Anzahl der Prototypen pro Klasse ist.

1. Dekomposition von Client-Drift

FedProIn adressiert Client-Drift explizit durch die Zerlegung in zwei Komponenten und die Anwendung spezifischer Regularisierungsverluste:

Feature-Drift (Merkmalsdrift): Wird mittels eines Feature Divergence Loss (FDL) adressiert. Clients unterhalten eine eingefrorene Kopie des globalen Merkmalsextraktors ( $\theta^{t-1}$ ). Der lokale Encoder wird regularisiert, um den mittleren quadratischen Fehler zwischen lokalen Merkmals-Embeddings und den Referenz-Global-Features zu minimieren, wodurch die semantische Ausrichtung sichergestellt wird.
Prototype-Drift (Prototypendrift): Wird mittels eines Prototype Contrastive Loss (PCL) adressiert. Dieser Verlust zieht aktualisierte lokale Prototypen näher an die aktuellen globalen Prototypen heran und drückt sie gleichzeitig von ihren vorherigen lokalen Zuständen weg. Dies verhindert, dass Prototypen übermäßig durch lokale Datenshift verzerrt werden.

Das gesamte lokale Zielobjektiv kombiniert den primären Klassifikationsverlust ( $\ell_{Task}$ ) mit diesen Regularisierungstermen:
$\ell_{Total} = \ell_{Task} + \lambda_{FDL}\ell_{FDL} + \lambda_{PCL}\ell_{PCL}$

Um die Klassenimbalance in Long-Tailed-Datensätzen der Medizin zu handhaben, verwendet die Methode klassengestützte Stichprobenziehung (class-balanced sampling) und adaptive Augmentierung, um sicherzustellen, dass seltene Subtypen von Krankheiten während der Prototypen-Aktualisierung angemessen repräsentiert sind.

2. Normalisierte Einfluss-Aggregation (NIA)

Die Standard-Aggregation (z. B. FedAvg) ist für mehrere Prototypen unzureichend, da sie Updates ausschließlich nach der Datensatzgröße gewichtet, ohne die Prototypennutzung zu berücksichtigen. Dies kann Rauschen von untergenutzten Prototypen verstärken oder spezialisierte Repräsentationen für seltene Fälle unterdrücken.

FedProIn führt die Normalisierte Einfluss-Aggregation (NIA) ein:

Einflussmatrix ( $I_i$ ): Während des lokalen Trainings verfolgt jeder Client einen Einflusswert für jeden Prototypen, indem gezählt wird, wie oft ein spezifischer Prototyp als nächster Nachbar für lokale Stichproben diente.
Aggregation: Globale Prototypen werden aggregiert, indem sie proportional zu ihren Nutzungs-Scores ( $I_{k,c}^i$ ) gewichtet werden, anstatt nur nach der Datensatzgröße des jeweiligen Clients. Dies gewichtet verrauschte Updates von ungenutzten Protypen ab und bewahrt spezialisierte Prototypen, die für spezifische Client-Subsets relevant sind.

Kernbeiträge

Formulierung lernbarer Prototypen: Die Verwendung von Prototypen als optimierbare Parameter (gemeinsam mit dem Merkmalsextraktor) anstelle von statischen Mittelwertvektoren, um die Trennungsmargen der Klassen zu maximieren.
Duale Strategie der Regularisierung: Explizite Abschwächung von Client-Drift durch die Zerlegung in Feature- und Prototypendrift, adressiert durch FDL bzw. PCL.
Normalisierte Einfluss-Aggregation (NIA): Ein neuartiger Aggregationsmechanismus, der Client-Prototypen adaptiv basierend auf ihrem lokalen Nutzen gewichtet und so Probleme der heterogenen Nutzung und der spärlichen Aktivierung in Multi-Prototypen-Settings löst.
Empirische Validierung: Umfassende Evaluierung auf öffentlichen medizinischen Bilddatensätzen, die die Robustheit gegenüber statistischer Heterogenität demonstriert.

Experimentelle Ergebnisse

Das Framework wurde auf zwei öffentlichen Long-Tailed-Datensätzen der medizinischen Bildverarbeitung evaluiert: HAM10000 (dermatoskopische Bilder) und Matek-19 (periphere Blutzellenbilder). Die Experimente wurden sowohl unter IID- als auch unter Non-IID (Dirichlet $\alpha=0.5$ ) Bedingungen mit $K=10$ Clients durchgeführt.

Leistungshighlights:

HAM10000: FedProIn erreichte 83,5 % Genauigkeit (IID) und 81,1 % Genauigkeit (Non-IID) und übertraf damit alle Baselines einschließlich FedAvg, FedProx, MOON und anderer prototypenbasierter Methoden (FedProto, FedTGP, FedPLVM).
Matek-19: FedProIn erreichte 96,2 % Genauigkeit (IID) und 95,8 % Genauigkeit (Non-IID).
Robustheit: Unter Non-IID-Bedingungen litten bestehende Prototypen-Methoden unter signifikanten Leistungseinbußen (z. B. 6–7 % Genauigkeitsverlust bei HAM10000), während FedProIn die relativen Verluste auf lediglich 2,4 % und 0,4 % bei HAM10000 bzw. Matek-19 begrenzte.
Ablationsstudie: Die Ergebnisse bestätigten, dass sowohl FDL als auch PCL für eine optimale Leistung notwendig sind. Das Entfernen von FDL verursachte den stärksten Leistungsabfall, was darauf hindeutet, dass der Feature-Drift der dominante Ausfallmodus ist. Das vollständige Modell übertraf die Varianten mit einzelnen Komponenten und den degenerierten Fall (äquivalent zu FedAvg) signifikant.

Bedeutung und Ansprüche

Das Paper behauptet, dass FedProIn den Client-Drift in der föderierten medizinischen Bildverarbeitung durch die Nutzung lernbarer Prototypen und einer einflussbasierten Aggregation effektiv abschwächt. Die Autoren stellen fest, dass ihr Ansatz:

Eine überlegene Generalisierung im Vergleich zu bestehenden FL-Baselines und personalisierten Methoden erreicht, insbesondere in hochgradig heterogenen (Non-IID) Umgebungen.
Die Einschränkungen der Single-Prototyp-Annahmen und der ungewichteten Aggregation in Multi-Prototypen-Settings erfolgreich adressiert.
Eine robuste Lösung für die medizinische Bildverarbeitung bietet, in der Datenheterogenität und Klassenimbalance vorherrschend sind.

Die Autoren merken an, dass zukünftige Arbeiten die Anpassung von FedProIn für personalisiertes FL (Entfernung der Abhängigkeit vom globalen Modell) und die Erweiterung des Frameworks auf heterogene FL-Settings mit diversen Modellarchitekturen untersuchen werden. Der Code wird zur Unterstützung der Reproduzierbarkeit zur Verfügung gestellt.