🤖 machine learning

Enabling Federated Inference via Unsupervised Consensus Embedding

Dieser Artikel schlägt Consensus Embedding-based Federated Inference (CE-FI) vor, ein Framework, das heterogenen vortrainierten Modellen ermöglicht, während der Inferenz zusammenzuarbeiten, ohne Rohdaten, Modellparameter oder einen gemeinsamen Encoder zu teilen, indem es unüberwachte Konsensmechanismen und kooperative Ausgabeschichten nutzt, die ausschließlich auf gemeinsamen ungelabelten Daten trainiert werden.

Ursprüngliche Autoren: Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie befinden sich in einem Raum mit mehreren Experten, von denen jeder ein Meister eines anderen Fachgebiets ist. Einer ist ein brillanter Botaniker, ein anderer ein erstklassiger Mechaniker und ein dritter ein erfahrener Koch. Alle haben ihre eigenen privaten Notizbücher (ihre „Modelle"), die mit Jahren der Ausbildung gefüllt sind, aber es ist ihnen verboten, einander ihre Notizbücher zu zeigen, und sie können einander nicht einmal die rohen Fotos oder Objekte zeigen, die sie betrachten.

Stellen Sie sich nun vor, ein mysteriöses Objekt wird vor sie gestellt. Wie können sie zusammenarbeiten, um es zu identifizieren, ohne die Regeln zu brechen?

Dies ist das Problem, das die Arbeit „Enabling Federated Inference via Unsupervised Consensus Embedding" (oder kurz CE-FI) löst. Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte.

Das Problem: Der „Turm von Babel"

In der Welt der KI haben verschiedene Computer oft unterschiedliche „Sprachen".

Der alte Weg: Um zusammenzuarbeiten, mussten Computer normalerweise entweder ihre Rohdaten teilen (wie das Senden eines Fotos eines Patienten-Röntgenbildes an einen zentralen Server) oder ihr internes „Gehirn" (die Modellparameter) teilen.
Das Datenschutzproblem: Krankenhäuser, Banken und Unternehmen können dies nicht tun. Sie können keine privaten Fotos senden und können ihren Wettbewerbern keine geheimen Algorithmen zeigen.
Das Problem des „gemeinsamen Übersetzers": Einige vorherige Methoden versuchten, dies zu lösen, indem sie alle zwangen, denselben „Übersetzer" (einen gemeinsamen Encoder) zu verwenden. Aber was, wenn die Experten bereits eingestellt und mit verschiedenen Übersetzern trainiert wurden? Man kann sie nicht einfach feuern und sie alle denselben verwenden lassen.

Die Lösung: CE-FI (Der „universelle Händedruck")

Die Autoren schlagen ein neues System namens CE-FI vor. Stellen Sie es sich als einen magischen Händedruck vor, der es diesen Experten ermöglicht, einander zu verstehen, ohne jemals die Notizbücher des anderen oder das rohe Objekt zu sehen.

Hier ist der schrittweise Prozess:

1. Der „innere Gedanke" (Zwischenmerkmale)

Wenn ein Experte ein Objekt betrachtet (wie ein Bild), spuckt sein Gehirn nicht sofort eine endgültige Antwort aus. Zuerst bildet er einen „inneren Gedanken" oder eine mentale Skizze dessen, was er sieht. In KI-Terminologie wird dies als Zwischenmerkmal bezeichnet.

Die Regel: Die Experten können das rohe Foto nicht zeigen, aber sie können diese „mentale Skizze" mit der Gruppe teilen.

2. Die „Konsens-Einbettung" (Der universelle Übersetzer)

Hier wird es knifflig: Die mentale Skizze des Botanikers sieht anders aus als die des Mechanikers, selbst wenn sie dasselbe Auto betrachten. Sie sprechen verschiedene „Merkmals-Sprachen".

Die Innovation: CE-FI fügt eine spezielle Schicht hinzu, die Konsens-Einbettungsschicht (CE-Schicht) genannt wird.
Die Analogie: Stellen Sie sich vor, der Botaniker und der Mechaniker müssen ihre einzigartigen mentalen Skizzen in eine einzige, universelle Sprache übersetzen (wie „Universelle Emojis").
Wie sie lernen: Sie lernen diese Übersetzung mithilfe eines Stapels unbeschrifteter Fotos (Fotos ohne Antworten), die alle teilen. Sie spielen ein Spiel, bei dem sie versuchen, ihre „universellen Emoji"-Skizzen für dasselbe Objekt so ähnlich wie möglich zu gestalten. Sie müssen nicht wissen, was das Objekt ist (keine Labels erforderlich), sie müssen nur zustimmen, wie es beschrieben wird.

3. Der „kooperative Output" (Die endgültige Vermutung)

Sobald das „universelle Emoji" erstellt ist, erhält jeder Experte es.

Der Botaniker nimmt das Emoji und sagt: „Basierend auf meiner Ausbildung bedeutet dieses Emoji 'Blume'."
Der Mechaniker nimmt dasselbe Emoji und sagt: „Basierend auf meiner Ausbildung bedeutet dieses Emoji 'Auto'."
Die endgültige Entscheidung: Sie kombinieren ihre Vermutungen. Wenn der Botaniker sehr zuversichtlich ist und der Mechaniker verwirrt, hört das System dem Botaniker mehr zu. Dies wird als Ensemble bezeichnet.

Warum ist das eine große Sache?

Die Arbeit behauptet drei große Erfolge:

Datenschutz an erster Stelle: Keine Rohdaten (Fotos) verlassen das Gerät. Kein geheimes „Gehirn" (Modellparameter) wird geteilt. Nur das „universelle Emoji" (die Konsens-Einbettung) wird ausgetauscht.
Keine gemeinsame Sprache erforderlich: Es funktioniert sogar, wenn die Experten auf völlig verschiedenen Computern mit unterschiedlichen Architekturen trainiert wurden. Sie müssen sich nicht im Voraus auf einen gemeinsamen Übersetzer einigen; sie bauen einen gemeinsam in Echtzeit auf.
Keine Hausaufgaben erforderlich: Normalerweise benötigen Sie, damit KI zusammenarbeiten kann, einen riesigen Stapel beschrifteter Daten (Fotos mit Antworten wie „Das ist eine Katze"). CE-FI benötigt nur unbeschriftete Daten (nur Fotos). Es ermittelt die Kooperationsregeln selbst (Selbstüberwachtes Lernen).

Die Ergebnisse: Funktioniert es?

Die Autoren testeten dies an:

Bildern: Erkennung von Bildern von Tieren und Objekten (CIFAR-10 und CIFAR-100).
Text: Klassifizierung von Filmgenres.
Zeitreihen: Erkennung menschlicher Bewegungen (wie Gehen vs. Sitzen).

Die Erkenntnisse:

Besser allein: Die Zusammenarbeit (CE-FI) war fast immer besser als das alleinige Arbeiten (Solo-Inferenz), selbst wenn die Experten sehr unterschiedliches Wissen hatten (z. B. kannte einer nur Katzen, ein anderer nur Hunde).
Nahezu perfekt: Es funktionierte fast so gut wie Systeme, die tatsächlich Rohdaten teilten oder einen gemeinsamen Übersetzer hatten, aber ohne die Datenschutzrisiken.
Der Flaschenhals: Das Hauptproblem, das es daran hinderte, perfekt zu sein, war, wie gut die „universellen Emoji" (die Konsens-Einbettung) übereinstimmten. Wenn sich die Experten nicht ganz auf die Übersetzung einigen konnten, litt die endgültige Antwort darunter.

Ein Hinweis zum Datenschutz (Der „Rekonstruktionstest")

Die Autoren waren besorgt: „Wenn wir diese 'universellen Emoji'-Skizzen teilen, kann ein Hacker sie dann reverse-engineern, um das Originalfoto zu sehen?"

Der Test: Sie versuchten, die Originalbilder aus den geteilten Skizzen mithilfe eines KI-Angreifers wiederherzustellen.
Das Ergebnis: Die rekonstruierten Bilder waren verschwommen, verrauscht und nicht erkennbar. Es war wie der Versuch, ein Gesicht aus einer sehr abstrakten Kritzelei zu erraten. Obwohl es nicht zu 100 % unmöglich war, anzugreifen, war es sehr schwierig, was darauf hindeutet, dass die Methode angemessen sicher ist.

Zusammenfassung

CE-FI ist eine neue Möglichkeit für KI-Modelle, zusammenzuarbeiten. Es ist wie eine Gruppe von Experten, die ihre Notizen oder das Objekt, das sie untersuchen, nicht zeigen können, aber sich alle auf eine Reihe abstrakter Symbole einigen können, um das Objekt zu beschreiben. Indem sie lernen, sich auf diese Symbole zu einigen, indem sie nur einen Stapel zufälliger Fotos verwenden, können sie Probleme gemeinsam genauer lösen als jeder von ihnen allein, und zwar unter Wahrung ihrer Geheimnisse.

Technische Zusammenfassung: Konsens-Embedding-basierte Federated Inference (CE-FI)

1. Problemstellung

Die Arbeit adressiert die Herausforderung, eine kooperative Inferenz über mehrere unabhängig bereitgestellte maschinelle Lernmodelle in verteilten Umgebungen zu ermöglichen. Obwohl die Nachfrage wächst, mehrere Modelle zur Verbesserung der Inferenzleistung zu nutzen, stoßen bestehende Rahmenwerke in datenschutzsensiblen oder organisationsübergreifenden Szenarien auf erhebliche Grenzen:

Federated Learning (FL) erfordert typischerweise den Austausch von Modell-Updates oder Parametern, was das Risiko von Modell-Inversionsangriffen birgt und geistige Eigentumsrechte verletzt.
Standard-Federated Inference (FI) geht oft davon aus, dass alle Clients dieselben Rohdaten teilen oder eine gemeinsame Encoder-Architektur nutzen, um kompatible Zwischenrepräsentationen zu erzeugen.
Edge Ensemble-Ansätze verlassen sich auf einen gemeinsamen Encoder, was oft unpraktikabel ist, wenn Modelle heterogen (unterschiedliche Architekturen) sind oder wenn selbst eine teilweise Offenlegung des Modells untersagt ist.

Folglich existiert kein bestehendes Rahmenwerk, das heterogene, vortrainierte Modelle erlaubt, zur Inferenzzeit zu kooperieren, ohne Rohdaten, Modellparameter oder eine gemeinsame Encoder-Architektur zu teilen und ohne gelabelte Daten für die kooperative Phase zu benötigen.

2. Methodik: CE-FI-Rahmenwerk

Die Autoren schlagen Consensus Embedding-based Federated Inference (CE-FI) vor, ein Rahmenwerk, das darauf ausgelegt ist, heterogene Merkmalsräume unter Verwendung ausschließlich von Zwischenrepräsentationen und ungelabelten Daten zu überbrücken.

Systemmodell

Umgebung: Ein siloübergreifendes Setting mit $K$ Geräten, wobei jedes Gerät ein lokales vortrainiertes Modell $M_k$ besitzt (bestehend aus einem Head-Netzwerk $M^H_k$ und einem Tail-Netzwerk $M^T_k$ ).
Einschränkungen: Geräte können keine Rohdaten $x$ , Modellparameter oder Architekturen teilen. Sie können ausschließlich Zwischenmerkmale austauschen.
Datenvoraussetzung: Ein gemeinsamer ungelabelter Datensatz $D_{share}$ ist für alle Geräte zugänglich (z. B. öffentliche Protokolldaten oder Sensordaten), jedoch stehen keine gelabelten Daten für die kooperative Trainingsphase zur Verfügung.

Kernkomponenten

CE-FI führt pro Gerät zwei lernbare Schichten ein, die in einem selbstüberwachten Verfahren trainiert werden:

Consensus Embedding (CE)-Schicht ( $F_k$ ):
- Funktion: Abbildung des gerätespezifischen Zwischenmerkmals $z_k = M^H_k(x)$ in einen gemeinsamen, geräteunabhängigen Embedding-Raum $z'_k = F_k(z_k)$ .
- Training: Optimierung mittels kontrastivem Lernen (speziell einer Approximation der NT-Xent-Verlustfunktion) unter Verwendung der gemeinsamen ungelabelten Daten. Das Ziel ist die Ausrichtung von Embeddings verschiedener Geräte für dasselbe Eingabesample auf einen gemeinsamen Schwerpunkt, wodurch der Abstand zwischen $z'_i$ und $z'_j$ für dasselbe $x$ minimiert wird.
- Datenschutz: Nur die Konsens-Embeddings werden ausgetauscht; Rohdaten und ursprüngliche Zwischenmerkmale bleiben lokal.
Cooperative Output (CO)-Schicht ( $G_k$ ):
- Funktion: Abbildung des Konsens-Embeddings $z'_k$ zurück zu taskspezifischen Ausgabe-Logits $m'_k = G_k(z'_k)$ .
- Training: Optimierung mittels Knowledge Distillation unter Verwendung des lokalen vortrainierten Modells als „Lehrer". Die CO-Schicht minimiert die Kullback–Leibler-(KL)-Divergenz zwischen ihrer Ausgabe und den Logits, die vom Tail-Netzwerk ( $M^T_k$ ) des lokalen Modells auf den gemeinsamen ungelabelten Daten erzeugt werden.
- Ziel: Ermöglicht dem Gerät, ausschließlich auf Basis des gemeinsamen Konsens-Embeddings genaue Vorhersagen zu generieren.

Inferenz und Aggregation

Während der Inferenz verarbeitet ein Gerät ein Eingabesample $x$ durch sein Head- und CE-Modul, um ein Konsens-Embedding zu erzeugen, das mit anderen Geräten geteilt wird. Jedes empfangende Gerät verarbeitet dieses Embedding durch seine CO-Schicht, um Logits zu generieren.

Ensemble-Strategie: Die Arbeit evaluiert verschiedene Aggregationsmethoden. Sie hebt hervor, dass Minimum Energy (Auswahl des Geräts mit dem niedrigsten Energiewert, abgeleitet aus den Logits) effektiv ist, um Out-of-Distribution-(OOD)-Samples und schwere Label-Mismatches zu handhaben und oft einfache Mittelwertbildung oder Voting in stark nicht-IID-Settings übertrifft.

3. Hauptbeiträge

Die Arbeit umreißt vier primäre Beiträge:

Kooperative Inferenz ohne Input- oder Modellteilung: CE-FI erreicht Kooperation über heterogene vortrainierte Modelle hinweg, ohne Parameter, Rohdaten oder eine gemeinsame Encoder-Architektur zu teilen. Es verlässt sich ausschließlich auf den Austausch von Zwischenmerkmalen und selbstüberwachtes Lernen.
Selbstüberwachtes Training: Das Rahmenwerk führt eine auf kontrastivem Lernen basierende Embedding-Schicht und eine auf Knowledge Distillation basierende Vorhersageschicht ein, die beide ausschließlich auf ungelabelten Daten trainiert werden, was Annotationkosten reduziert.
Theoretische Charakterisierung: Die Autoren analysieren formal die Beziehung zwischen CE-FI und konventioneller Input-sharing-FI. Sie zeigen, dass CE-FI unter idealen Ausrichtungsbedingungen theoretisch äquivalent zu Input-sharing-FI ist, und leiten Grenzen her, die belegen, dass die Leistungsverschlechterung proportional zum Fehler bei der Konsens-Embedding-Ausrichtung ist.
Umfassende Evaluation: Zahlreiche Experimente über Bild (CIFAR-10/100), Text (IMDB) und Zeitreihen (UCI-HAR) Aufgaben unter diversen nicht-IID-Bedingungen (einschließlich disjunkter Label-Sets) validieren die Wirksamkeit des Rahmenwerks.

4. Experimentelle Ergebnisse

Leistung vs. Baselines: CE-FI übertrifft Solo Inference konsistent über alle Modalitäten und nicht-IID-Bedingungen hinweg. In vielen Szenarien nähert es sich der Leistung von Input-sharing FI und Edge Ensemble an, trotz strikterer Einschränkungen.
Heterogenität: Das Rahmenwerk bleibt effektiv, selbst wenn Geräte unterschiedliche Encoder-Architekturen (z. B. ViT, ResNet, ConvNeXt) und unterschiedliche Vortrainingsziele (Supervised, CLIP, DINOv3) verwenden.
Ensemble-Sensitivität: Die Wahl der Ensemble-Strategie ist entscheidend. Während weiches Voting in milden nicht-IID-Settings gut funktioniert, verbessert die Minimum Energy-Auswahl die Robustheit in schweren nicht-IID-(Schiefe/Disjunkt)-Bedingungen signifikant, indem sie unzuverlässige Vorhersagen von Geräten filtert, denen spezifische Klassen fehlen.
Scratch vs. Vortrainiert: CE-FI funktioniert auch, wenn Modelle von Grund auf trainiert werden, obwohl Leistungsgewinne mit vortrainierten Encodern ausgeprägter sind. Die Studie identifiziert, dass die Qualität der zugrundeliegenden semantischen Struktur in lokalen Merkmalsräumen die Leistung in Scratch-Settings begrenzt.
Bottleneck-Analyse: Ablationsstudien zeigen, dass die Repräsentationsausrichtung in der CE-Schicht der primäre Engpass ist. Das Erzwingen eines einheitlichen Konsens-Embedding-Raums verbessert die Genauigkeit signifikant, insbesondere in Scratch-Settings, wohingegen der Ausschluss von OOD-Daten aus dem Training vernachlässigbare Auswirkungen hat.
Datenschutz und Rekonstruktion: Rekonstruktionsangriffe (unter Verwendung von DCGAN) auf Konsens-Embeddings ergaben qualitativ minderwertige Rekonstruktionen (RMSE ~0,22, SSIM ~0,16), was darauf hindeutet, dass der Austausch von Konsens-Embeddings Rohdaten nicht trivial offenlegt, obwohl es nicht immun gegen alle Datenschutzrisiken ist.
Kommunikationskosten: Bei Bildklassifizierungsaufgaben war die Übertragung von 256-dimensionalen Konsens-Embeddings (2,1 KB) effizienter als die Übertragung von Rohbildern (4,6–6,2 KB).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CE-FI einen bedeutenden Schritt hin zu praktischer, datenschutzkonformer verteilter KI darstellt. Durch das Entfernen der Annahmen gemeinsamer Inputs und gemeinsamer Encoder ermöglicht es Kooperation in Szenarien, in denen traditionelle Federated Inference unpraktikabel ist (z. B. medizinische Diagnostik mit proprietären Modellen und strengen Datenschutzgesetzen).

Die Autoren bewahren einen bescheidenen Ton bezüglich der Ergebnisse:

Sie räumen ein, dass, obwohl CE-FI die Leistung konventioneller FI annähert, eine Lücke bleibt, die primär auf unvollkommene Repräsentationsausrichtung zurückzuführen ist.
Sie stellen fest, dass die optimale Ensemble-Strategie stark von der Modalität und dem Grad der Nicht-IIDheit abhängt, was nahelegt, dass eine „Allzweck"-Aggregationsmethode suboptimal ist.
Sie identifizieren die Repräsentationsausrichtung als die zentrale Herausforderung für zukünftige Verbesserungen, und nicht allein Datenfilterung oder Ensemble-Auswahl.

Letztendlich liefert die Arbeit einen Proof-of-Concept, dass kooperative Inferenz unter den strengsten Einschränkungen von Daten- und Modell-Datenschutz erreichbar ist, unter ausschließlicher Nutzung gemeinsamer ungelabelter Daten und Zwischenrepräsentationen.