Conformalized Neural Networks for Federated Uncertainty Quantification under Dual Heterogeneity

Die Arbeit stellt FedWQ-CP vor, einen effizienten Ansatz zur konformalen Vorhersage im federierten Lernen, der unter dualer Heterogenität von Daten und Modellen eine zuverlässige Unsicherheitsquantifizierung mit minimalen Vorhersagemengen durch eine einzige Kommunikationsrunde zwischen Agenten und Server ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie leiten ein riesiges Netzwerk von Krankenhäusern auf der ganzen Welt. Jedes Krankenhaus hat seine eigenen Patienten, seine eigenen Ärzte und sogar seine eigenen, unterschiedlich starken Diagnose-Computer. Das Ziel ist es, eine einzige, superkluge KI zu bauen, die allen hilft, Krankheiten zu erkennen, ohne dass die sensiblen Patientendaten die Häuser verlassen müssen. Das nennt man Federated Learning (verteiltes Lernen).

Das Problem ist jedoch: Wie können wir uns darauf verlassen, dass diese KI auch wirklich recht hat?

Stellen Sie sich vor, die KI sagt: „Ich bin mir zu 95 % sicher, dass dieser Patient gesund ist." Aber ist das wirklich so? Oder ist die KI nur selbstverliebt und irrt sich oft? In der Welt der KI nennen wir das Unsicherheitsquantifizierung (UQ). Ohne diese Fähigkeit könnte die KI in einem kleinen Krankenhaus mit wenig Daten völlig falsche, aber sehr selbstbewusste Diagnosen stellen – und niemand würde es merken, bis es zu spät ist.

Bisherige Methoden hatten ein großes Problem: Sie behandelten alle Krankenhäuser gleich, obwohl sie ganz unterschiedlich waren. Ein großes, gut ausgestattetes Krankenhaus (mit vielen Daten und starken Computern) lieferte gute Ergebnisse, während ein kleines, abgelegenes Krankenhaus (mit wenig Daten und schwachen Computern) oft unterversorgt wurde. Die Durchschnittswerte sahen gut aus, aber im Detail gab es stille Katastrophen.

Die Lösung: FedWQ-CP – Der „Schiedsrichter mit Waage"

Die Autoren dieses Papiers haben eine neue Methode namens FedWQ-CP entwickelt. Hier ist eine einfache Erklärung, wie sie funktioniert, mit ein paar kreativen Vergleichen:

1. Das Problem: Unterschiedliche Maßstäbe

Stellen Sie sich vor, jeder Arzt in jedem Krankenhaus hat einen eigenen Maßstab.

• Der starke Arzt (großes Krankenhaus) misst sehr präzise. Seine Unsicherheits-Skala ist fein justiert.
• Der schwache Arzt (kleines Krankenhaus) ist unsicherer. Seine Skala ist wackelig und ungenau.

Wenn man einfach alle Meinungen zusammenwirft, ohne nachzudenken, verliert der schwache Arzt seine Stimme, oder die Gruppe wird durch die Unsicherheit des Schwachen zu vorsichtig (und damit ineffizient).

2. Die Idee: Jeder kalibriert sich selbst

Anstatt dass alle Ärzte ihre Rohdaten (die Patientendaten) an einen zentralen Chef schicken (was verboten ist), macht jeder Arzt folgendes:

• Er nimmt seine eigenen, anonymisierten Testdaten.
• Er berechnet einen eigenen Grenzwert (einen „Schwellenwert"). Das ist wie ein persönlicher Kompass, der ihm sagt: „Ab hier bin ich mir sicher genug."
• Wichtig: Jeder Arzt passt diesen Grenzwert an seine eigene Unsicherheit an. Der starke Arzt bekommt einen anderen Wert als der schwache.

3. Der Clou: Die „Gewichtete Waage"

Jetzt kommt der Server (der Chef) ins Spiel. Er darf keine Daten sehen, aber er darf die Grenzwerte der Ärzte hören.

• Hier kommt der geniale Trick: Der Chef weiß, dass der große Arzt mit 10.000 Patienten eine viel verlässlichere Meinung hat als der kleine Arzt mit nur 50 Patienten.
• Also wägt er die Meinungen nicht einfach gleichmäßig ab (wie bei einer normalen Durchschnittsbildung). Stattdessen nutzt er eine gewichtete Waage.
• Die Meinung des großen, datenreichen Krankenhauses wiegt schwerer auf der Waage. Die des kleinen Krankenhauses wiegt weniger.

Die Analogie: Stellen Sie sich vor, Sie fragen 100 Menschen nach der Temperatur. 90 von ihnen stehen in einer warmen Küche, 10 stehen im kalten Keller. Wenn Sie den Durchschnitt nehmen, ist das Ergebnis falsch. Wenn Sie aber wissen, dass die 90 in der Küche die „richtige" Gruppe sind, gewichten Sie deren Antwort höher. FedWQ-CP macht genau das: Es gewichtet die Unsicherheits-Grenzwerte danach, wie viele Daten der Arzt hatte.

4. Das Ergebnis: Ein fairer, effizienter Welt-Standard

Der Chef berechnet einen globalen Grenzwert aus diesen gewichteten Meinungen und schickt ihn an alle zurück.

• Für die starken Ärzte: Die KI ist nicht zu vorsichtig. Sie macht präzise Vorhersagen.
• Für die schwachen Ärzte: Die KI wird nicht zu selbstverliebt. Sie sagt eher „Ich bin mir nicht sicher", wenn die Daten dünn sind, statt eine falsche Diagnose zu stellen.

Warum ist das so toll?

1. Fairness: Niemand wird übersehen. Selbst die kleinen, schwachen Krankenhäuser bekommen eine verlässliche Sicherheitshilfe, die auf ihre Situation zugeschnitten ist.
2. Effizienz: Die KI ist nicht unnötig vorsichtig. Sie gibt keine riesigen, nutzlosen Antwortmengen („Es könnte alles sein"), sondern präzise, kleine Bereiche („Es ist wahrscheinlich X").
3. Schnelligkeit & Datenschutz: Der ganze Prozess dauert nur einen einzigen Kommunikationsrunden. Die Ärzte senden nur zwei kleine Zahlen (ihren Grenzwert und ihre Datenmenge) an den Chef. Keine sensiblen Daten verlassen das Haus.

Zusammenfassung in einem Satz

FedWQ-CP ist wie ein kluger Moderator, der in einer Gruppe von Experten mit unterschiedlichem Wissen und unterschiedlicher Erfahrung die Meinungen so zusammenführt, dass jeder fair behandelt wird, die Gruppe insgesamt präzise bleibt und niemandes Daten dabei verraten werden. Es sorgt dafür, dass die KI nicht nur im Durchschnitt gut ist, sondern auch für den schwächsten Teilnehmer sicher.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) im Kontext von Federated Learning (FL). In hochkritischen Anwendungen (z. B. medizinische Diagnosen über mehrere Krankenhäuser hinweg) ist es entscheidend, dass Modelle nicht nur präzise, sondern auch zuverlässig in ihrer Unsicherheitsschätzung sind.

Das zentrale Problem liegt in der Dualen Heterogenität:

• Daten-Heterogenität: Die Datenverteilungen variieren stark zwischen den Agenten (z. B. durch Label-Shift oder Covariate-Shift), oft simuliert durch eine Dirichlet-Partitionierung. Zudem unterscheiden sich die Kalibrierungsdatensätze in ihrer Größe.
• Modell-Heterogenität: Die Agenten nutzen unterschiedliche Architekturen (z. B. flache CNNs vs. tiefe ResNets) und unterschiedliche Trainingsintensitäten. Dies führt zu unterschiedlichen Skalierungen und „Temperaturen" der Vorhersagescores (z. B. Softmax-Ausgaben), die nicht direkt vergleichbar sind.

Die Konsequenz: Herkömmliche Methoden führen dazu, dass gut ausgestattete Agenten (starke Modelle, viele Daten) eine Überabdeckung (Over-coverage) zeigen, während schwächere Agenten (wenige Daten, schwache Modelle) eine systematische Unterabdeckung (Under-coverage) erleiden. Ein globaler Durchschnittswert der Abdeckung kann diese lokalen „stille Ausfälle" verbergen, was zu ungleichen und riskanten Entscheidungen führt. Zudem verbieten Datenschutzbestimmungen den Austausch roher Daten oder Modellparameter.

2. Methodik: FedWQ-CP

Die Autoren stellen FedWQ-CP (Federated Weighted Quantile Conformal Prediction) vor. Es handelt sich um einen effizienten, ein-Schritt- (One-Shot) Ansatz zur kalibrierten Unsicherheitsquantifizierung, der die dualen Heterogenitäten adressiert, ohne die Privatsphäre zu verletzen.

Der Ablauf:

1. Lokale Kalibrierung: Jeder Agent $k$ berechnet auf seinem lokalen Kalibrierungsdatensatz $D_{cal}^k$ nicht-konforme Scores (Non-conformity scores) basierend auf seinem lokalen Modell.
2. Lokaler Quantil-Schwellenwert: Jeder Agent berechnet einen lokalen konformalen Quantil-Schwellenwert $q_k$ (basierend auf dem gewünschten Fehlerrate $\alpha$). Da Quantile auf Rangordnungen basieren, fungiert $q_k$ als normalisierender Faktor für die spezifische Architektur des Agents.
3. Kommunikation: Statt Scores oder Daten zu senden, übermittelt jeder Agent nur zwei Skalare an den Server:
   • Den lokalen Quantil-Schwellenwert $q_k$.
   • Die Größe des Kalibrierungsdatensatzes $n_k$.
4. Gewichtete Aggregation: Der Server berechnet einen globalen Schwellenwert $\hat{q}$ durch eine gewichtete Durchschnittsbildung der lokalen Quantile, wobei die Gewichte proportional zur Kalibrierungsstichprobengröße ($n_k/N$) sind:
   $$\hat{q} = \sum_{k=1}^{M} \frac{n_k}{N} q_k$$
   Diese Gewichtung stellt sicher, dass Agenten mit größeren, statistisch zuverlässigeren Datensätzen einen stärkeren Einfluss auf den globalen Schwellenwert haben, während kleine Datensätze nicht unverhältnismäßig stark verzerren.
5. Evaluation: Der globale Schwellenwert $\hat{q}$ wird an alle Agenten zurückgesendet, um dort die Vorhersagemengen (Prediction Sets) oder Intervalle zu konstruieren.

Theoretische Grundlage:
Das Paper liefert eine Zerlegung des Abdeckungsfehlers, der sich aus dem „Kalibrierung-zu-Test"-Shift und dem Aggregationsfehler zusammensetzt. Es wird gezeigt, dass unter bestimmten asymptotischen Bedingungen (wenn die Heterogenität abnimmt) die Abdeckung gegen das nominale Niveau konvergiert.

3. Wichtige Beiträge

• Neues Framework: Einführung von FedWQ-CP als erster einfacher, aber effektiver Ansatz, der empirische Abdeckung auf Agenten- und globaler Ebene unter dualer Heterogenität ausbalanciert.
• Effizienz: Das Verfahren erfordert nur eine einzige Kommunikationsrunde und überträgt pro Agent nur zwei Skalare. Dies ist deutlich effizienter als iterative Optimierungsverfahren oder Methoden, die große Mengen an Scores aggregieren.
• Keine strukturellen Annahmen: Im Gegensatz zu anderen Methoden (wie CPhet oder DP-FedCP) benötigt FedWQ-CP keine explizite Modellierung von Verteilungsverschiebungen (z. B. Dichteverhältnisse oder Label-Shift-Parameter). Es funktioniert direkt mit den lokalen Scores.
• Robustheit: Die Methode ist sowohl für Klassifikations- als auch für Regressionsaufgaben anwendbar und erfordert keine Anpassung des zugrunde liegenden konformalen Rahmens.

4. Ergebnisse

Die Evaluation erfolgte auf sieben öffentlichen Datensätzen (darunter MNIST, CIFAR-10 und vier medizinische Bilddatensätze) für Klassifikations- und Regressionsaufgaben.

• Abdeckung (Coverage): FedWQ-CP erreicht konsistent eine empirische Abdeckung nahe dem nominalen Niveau (z. B. 95%) sowohl auf globaler Ebene als auch auf der Ebene einzelner Agenten (sowohl für starke als auch schwache Modelle).
  • Vergleich: Andere Methoden wie DP-FedCP zeigen oft schwere Unterabdeckung bei schwachen Agenten, während SplitCP oder FedCP-QQ zu Überabdeckung neigen.
• Effizienz: FedWQ-CP erzeugt die kleinsten Vorhersagemengen (bei Klassifikation) oder Intervalllängen (bei Regression) im Vergleich zu allen Baselines. Dies bedeutet, dass die Unsicherheitsintervalle präziser sind, ohne die Sicherheitsgarantie zu verletzen.
• Laufzeit: Das Verfahren ist extrem schnell (One-Shot), mit Laufzeiten, die mit den effizientesten Baselines vergleichbar oder besser sind.
• Ablationsstudie: Ein Vergleich mit einer ungewichteten Aggregation (FEDAVGQ-CP) zeigte, dass ohne Gewichtung nach Stichprobengröße schwache Agenten systematisch unterabgedeckt werden. Die Gewichtung ist also essenziell für die Stabilität.

5. Bedeutung

Das Paper ist von großer Bedeutung für den Einsatz von Federated Learning in sicherheitskritischen Bereichen (wie der Medizin). Es löst das Problem, dass globale Metriken lokale Risiken verdecken können. Durch die Einführung einer gewichteten Quantil-Aggregation bietet FedWQ-CP eine skalierbare, datenschutzkonforme und recheneffiziente Lösung, um zuverlässige Unsicherheitsintervalle in extrem heterogenen Umgebungen zu gewährleisten. Es ermöglicht es, dass auch ressourcenarme Knoten (z. B. kleine Krankenhäuser) verlässliche Unsicherheitsschätzungen erhalten, ohne dass ihre Daten zentralisiert werden müssen.