🤖 machine learning

Federated Concept-Based Models: Interpretable models with distributed supervision

Dieser Beitrag stellt Federated Concept-based Models (F-CMs) vor, ein neuartiges Framework, das das Training interpretierbarer Deep-Learning-Modelle über verteilte Institutionen hinweg ermöglicht, indem es Konzeptinformationen aggregiert und die Architektur dynamisch an sich wandelnde Überwachungsdatensätze anpasst, wobei die Datenschutzintegrität gewahrt bleibt.

Ursprüngliche Autoren: Dario Fenoglio, Arianna Casanova, Francesco De Santis, Gabriele Dominici, Johannes Schneider, Pietro Barbiero, Giovanni De Felice, Marc Langheinrich, Martin Gjoreski

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dario Fenoglio, Arianna Casanova, Francesco De Santis, Gabriele Dominici, Johannes Schneider, Pietro Barbiero, Giovanni De Felice, Marc Langheinrich, Martin Gjoreski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer Gruppe von Ärzten aus verschiedenen Krankenhäusern beizubringen, wie man eine komplexe Krankheit diagnostiziert. Jeder Arzt hat unterschiedliche Patienten gesehen und kennt unterschiedliche Symptome (Konzepte). Es gibt jedoch zwei große Probleme:

Datenschutz: Sie können ihre Patientenakten nicht miteinander teilen.
Unvollständiges Wissen: Kein einzelner Arzt kennt alle Symptome. Einer kennt vielleicht „Fieber", ein anderer „Hautausschlag" und ein dritter „Husten".

Normalerweise benötigen Sie, um eine intelligente KI zu erstellen, die erklärt, warum sie eine Diagnose stellt (ein „interpretierbares" Modell), eine riesige Liste aller möglichen Symptome und wie sie miteinander zusammenhängen. Doch diese Liste zu erhalten, ist teuer und in nur einem Krankenhaus schwer zu finden.

Dieser Artikel stellt eine neue Methode namens Federated Concept-based Models (F-CMs) vor. Denken Sie daran als an ein „Smart Team-Up", das die Datenschutz- und Wissenslücken löst, ohne dass jemals jemand die rohen Patientendaten sieht.

So funktioniert es, anhand einer einfachen Analogie:

Das Problem: Die Falle des „festen Bauplans"

Stellen Sie sich vor, die Ärzte versuchen, eine riesige, gemeinsame Maschine zum Diagnostizieren von Patienten zu bauen.

Alter Weg (Standard-Federated-Learning): Sie einigen sich vor dem Start auf einen festen Bauplan für die Maschine. Wenn später ein neuer Arzt dazukommt, der ein Symptom kennt, das der Bauplan nicht enthält (wie „geschwollene Lymphknoten"), kann die Maschine dies nicht lernen. Es ist, als würde man versuchen, ein neues Zimmer zu einem Haus hinzuzufügen, das mit einem starren, unveränderlichen Grundriss gebaut wurde.
Das Problem: In der realen Welt kommen und gehen Ärzte (Klienten), und sie entdecken im Laufe der Zeit neue Symptome. Ein fester Bauplan scheitert hier.

Die Lösung: Die „Lego"-Maschine (F-CMs)

Die Autoren schlagen eine Maschine vor, die wie Lego-Steine gebaut ist. Anstelle eines festen Bauplans besteht die Maschine aus austauschbaren Modulen, wobei jeder Block ein spezifisches Symptom (Konzept) oder die endgültige Diagnose darstellt.

Hier sind die drei magischen Schritte, die das System jedes Mal unternimmt, wenn ein neuer Arzt dazukommt:

1. Die „Konsens-Karte" (Graphen-Aggregation)

Jeder Arzt zeichnet eine grobe Skizze, wie die Symptome, die er kennt, miteinander zusammenhängen. Manche Skizzen sind vielleicht unordentlich oder falsch, weil sie nur wenige Patienten gesehen haben.

Was passiert: Der zentrale Server (der „Teamleiter") sammelt all diese Skizzen ein. Anstatt eine auszuwählen, sucht er nach den häufigsten Verbindungen. Wenn 9 von 10 Ärzten sagen „Fieber führt zu Hautausschlag", zeichnet der Server diese Linie. Wenn ein Arzt sagt „Fieber führt zu Regen", ignoriert der Server dies, weil niemand sonst zustimmt.
Ergebnis: Eine einzige, hochwertige „Master-Karte" darüber, wie Symptome verbunden sind, aufgebaut aus dem partiellen Wissen aller.

2. Die „Modulare Erweiterung" (Dynamische Architektur-Anpassung)

Dies ist die größte Innovation des Artikels.

Szenario: Ein neuer Arzt kommt hinzu, der ein Symptom namens „geschwollene Lymphknoten" kennt, das niemand sonst kannte.
Alter Weg: Man müsste die ganze Maschine abreißen und von Grund auf neu bauen, um diesen neuen Teil hinzuzufügen. Das ist langsam und verschwendet das gesamte bereits gelernte Wissen.
F-CM-Weg: Das System betrachtet die Master-Karte, sieht den neuen Block „geschwollene Lymphknoten" und schnappt einen neuen Lego-Block auf die Maschine. Es baut nur den spezifischen Teil, der für dieses neue Symptom benötigt wird. Der Rest der Maschine (die Teile für „Fieber" und „Hautausschlag") bleibt genau so, wie er war, und bewahrt das gesamte vorherige Lernen.
Vorteil: Die Maschine wächst organisch, ohne dass ein kompletter Neustart erforderlich ist.

3. Die „Spezialisierte Schulung" (Modulspezifische Optimierung)

Nun beginnen die Ärzte, die Maschine zu trainieren.

Die Regel: Ein Arzt darf nur die Lego-Blöcke anfassen, die er versteht. Wenn ein Arzt „Fieber" kennt, aber nicht „geschwollene Lymphknoten", kann er nur den Block „Fieber" aktualisieren. Der Block „geschwollene Lymphknoten" bleibt für diesen Arzt eingefroren (unverändert).
Ergebnis: Der Server sammelt nur Updates für die Blöcke, die berührt wurden. Er mittelt sie, um diesen spezifischen Block intelligenter zu machen. Dies stellt sicher, dass Ärzte versehentlich keine Teile der Maschine „zerstören", die sie nicht verstehen.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren haben dies an medizinischen Bildern (wie Röntgenaufnahmen) und simulierten medizinischen Daten getestet. Sie stellten fest:

Es ist genauso genau, als wären alle Daten an einem Ort: Obwohl die Daten aufgeteilt und privat waren, funktionierte die finale Maschine genauso gut, als hätten sie alle Daten zusammengeführt.
Es bewältigt neue Informationen: Wenn neue Ärzte mit neuen Symptomen dazukamen, passte sich das F-CM-System schnell an und lernte weiter. Die alten „festen Bauplan"-Systeme blieben stecken und performten schlecht.
Es ist effizient: Da es nur die spezifischen Blöcke aktualisiert, die geändert werden müssen, spart es im Vergleich zum ständigen Neuaufbau des gesamten Modells eine enorme Menge an Rechenleistung.
Es funktioniert bei „unsichtbaren" Konzepten: Selbst wenn ein bestimmtes Krankenhaus ein bestimmtes Symptom nie gesehen hat, kann das System dennoch Vorhersagen darüber treffen, da es das Konzept von anderen Krankenhäusern gelernt hat.

In Kürze

F-CMs ist wie ein lebendiges, atmendes Team von Experten, das eine gemeinsame Wissensbasis aufbaut. Anstatt alle zu zwingen, sich vor dem Start auf einen starren Plan zu einigen, erlaubt es dem Plan, sich weiterzuentwickeln. Wenn neue Experten mit neuen Ideen dazukommen, fügt das System einfach neue Teile zum Puzzle hinzu, behält die alten Teile intakt und hält dabei gleichzeitig die privaten Daten aller in ihren eigenen Tresoren verschlossen.

Technischer Überblick: Federated Concept-Based Models (F-CMs)

Problemstellung

Concept-Based Models (CMs) verbessern die Interpretierbarkeit des Deep Learnings, indem sie Vorhersagen auf menschlich verständliche Konzepte stützen. Ihre praktische Einsatzfähigkeit wird jedoch durch die hohen Kosten und die Knappheit von Konzept-Annotationen innerhalb einzelner Datenquellen behindert. Während Federated Learning (FL) ein Paradigma für das kollaborative Training über verteilte Datenbesitzer hinweg ohne Austausch roher Daten bietet, sind bestehende FL-Frameworks für CMs ungeeignet. Standard-FL geht von einer festen, gemeinsamen Modellarchitektur aus, wohingegen CMs auf einer Architektur beruhen, die explizit an einen spezifischen Satz von Konzepten und deren Abhängigkeiten gebunden ist. In realistischen FL-Szenarien, die durch statistische Heterogenität und zeitliche Nicht-Stationarität gekennzeichnet sind (z. B. wenn Clients hinzukommen oder wegfallen oder Daten-Drift auftritt), kann sich der Satz verfügbarer Konzepte und ihre strukturellen Beziehungen verändern. Dies erzeugt eine fundamentale Diskrepanz: Standard-FL kann die erforderlichen architektonischen Anpassungen nicht bewältigen, wenn neue Konzepte oder Abhängigkeiten entstehen, was zu einem Verlust der Interpretierbarkeit oder zur Notwendigkeit kostspieliger vollständiger Neutrainings führt.

Methodik: Federated Concept-Based Models (F-CMs)

Die Autoren schlagen Federated Concept-Based Models (F-CMs) vor, ein Framework, das entwickelt wurde, um CMs in sich entwickelnden federierten Umgebungen einzusetzen. F-CMs adressieren die Diskrepanz zwischen statischen FL-Annahmen und dynamischen Konzepträumen durch drei Kernmechanismen:

Graphenaggregation:
Anstatt eine vordefinierte globale Struktur anzunehmen, aggregiert der Server strukturelle Informationen (gerichtete azyklische Graphen oder DAGs), die von den Clients bereitgestellt werden. Jeder Client $k$ übermittelt eine gewichtete Adjazenzmatrix $A^{(k)}$ , die sein lokales Vertrauen in Kanten zwischen überwachten Variablen darstellt. Der Server konstruiert einen gemeinsamen globalen DAG $G_t$ , indem er diese Vertrauenswerte summiert und eine Maximum-Konsens-Regel anwendet, um das Bestehen und die Richtung von Kanten zu bestimmen. Dieser Prozess behandelt verrauschte oder konfliktreiche lokale Strukturen und stellt sicher, dass das globale Modell das kollektive Wissen der Föderation widerspiegelt.
Dynamische Architektur-Anpassung:
Der gemeinsame CM wird in modulare Komponenten zerlegt: einen latenten Encoder, konzeptspezifische Encoder und einen Task-Decoder. Wenn neue Clients hinzukommen oder sich Datenverteilungen verschieben und dabei bisher unbekannte Konzepte oder Abhängigkeiten einführen, passt sich die Architektur modular an:
- Erweiterung: Für neue Konzepte werden neue Module instanziiert.
- Umverdrahtung: Wenn sich Abhängigkeiten ändern (z. B. eine neue Kante $C_i \to C_j$ ), wird der Eingang des entsprechenden Moduls aktualisiert.
- Warm-Start: Vorhandene Parameter für unbeeinflusste Module werden beibehalten, während neue Parameter initialisiert werden (z. B. mit Null oder zufällig). Dies vermeidet vollständige Neutrainings und bewahrt zuvor gelerntes Wissen.
Modulspezifische Optimierung und Aggregation:
Um partielle Überwachung zu bewältigen (wo ein Client möglicherweise nur eine Teilmenge von Konzepten annotiert), setzen F-CMs eine maskierte Optimierungsstrategie ein. Während des lokalen Trainings frieren Clients Module für Variablen ein, die sie nicht überwachen. Folglich werden Updates nur für überwachte Komponenten generiert. Der Server führt dann eine modulweise Aggregation durch und mittelt die Parameter für jedes spezifische Modul nur über die Teilmenge der Clients, die eine Überwachung für diese Variable bereitgestellt haben. Dies stellt sicher, dass das globale Modell heterogene Überwachung integriert, ohne Clients zu zwingen, für Konzepte zu optimieren, die sie nicht beobachten können.

Hauptbeiträge

Die Arbeit stellt F-CMs als erste Methodik vor, die sich mit sich entwickelnden Konzepträumen unter zeitlicher Nicht-Stationarität in FL befasst, indem sie die Modellstruktur anpasst, anstatt von einer festen Architektur auszugehen. Die spezifischen Beiträge sind:

Neuartige Methodik: Ein systematischer Ansatz zum Einsatz von konzeptbasierten Architekturen in realistischen federierten Umgebungen, der heterogene, partielle Konzeptüberwachung und zeitliche Nicht-Stationarität bewältigt.
Architektonische Flexibilität: Über die Annahme einer festen Architektur im Standard-FL hinaus ermöglichen F-CMs, dass sich die Struktur des gemeinsamen Modells während des Trainings anpasst, was die Integration architektonischer Interpretierbarkeit ermöglicht.
Datenschutzkonformer Wissensaustausch: Verringerung der Annotationlast an einzelnen Institutionen durch die Ermöglichung der Aggregation von Konzeptwissen über Entitäten hinweg ohne Austausch roher Daten.
Empirische Validierung: Implementierung von F-CMs mit vier verschiedenen CM-Architekturen (CBM, CEM, CGM, C2BM) und Validierung an synthetischen Bayesian-Netzwerk-Benchmarks sowie zwei realen medizinischen Bilddatensätzen (SIIM-Pneumothorax und CheXpert).

Experimentelle Ergebnisse

Die Autoren bewerteten F-CMs im Vergleich zu zentralen Obergrenzen, lokalem Training, statischen federierten Varianten (S-F-CMs) und fortschrittlichsten federierten Konzeptlern-Baselines (FedCBM, FCL).

Genauigkeit und Abdeckung: F-CMs erreichten eine Aufgaben-Genauigkeit und Konzeptabdeckung, die mit zentralem Training mit vollständiger Konzeptüberwachung vergleichbar waren. Im Gegensatz dazu erlitten statische federierte Baselines und lokale Modelle signifikante Leistungseinbußen und konnten Konzepte, die von später hinzukommenden Clients eingeführt wurden, nicht abdecken.
Wirksamkeit von Interventionen: F-CMs ermöglichten interpretierbare Inferenz und effektive Interventionen an Konzepten, die an bestimmten Institutionen lokal nicht annotiert waren. Wenn Ground-Truth-Konzepte interveniert wurden, behielten F-CMs eine hohe Label-Genauigkeit bei, was zeigt, dass das Modell die gebündelte Überwachung erfolgreich nutzt, um über Konzepte zu reasoning, die es während des lokalen Trainings nicht direkt beobachtet hat.
Effizienz unter Nicht-Stationarität: In Szenarien, in denen neue Clients unbekannte Konzepte einführten, konvergierten F-CMs schneller und zu einem niedrigeren Verlust als statische Baselines. Entscheidend war, dass F-CMs nur einen kleinen Anteil der Parameter aktualisieren mussten (z. B. 8 %–61 %, je nach Setting) im Vergleich zu 100 % für eine vollständige Neutrainings-Baseline (S-F-CMs Reinit), was eine hohe Anpassungseffizienz demonstriert.
Robustheit: Das Framework zeigte Robustheit gegenüber semantischen Meinungsverschiedenheiten zwischen Clients und Graphenstörungen (Rauschen in clientbereitgestellten DAGs). Die vorgeschlagene Graphenaggregationsstrategie effektivisierte die Entrauschung inkonsistenter lokaler Vorschläge.
Multimodale Erweiterung: Eine Proof-of-Concept-Erweiterung zeigte, dass F-CMs heterogene Eingangsmodalitäten (z. B. Bilder und Text) bewältigen können, während sie einen gemeinsamen semantischen Konzeptraum teilen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass F-CMs einen bedeutenden Schritt zur Skalierung interpretierbarer Modelle darstellen, während sie realweltlichen Einschränkungen wie Datenschutz, Knappheit von Annotationen und dynamischen Einsatzumgebungen entsprechen. Durch die Überbrückung der Lücke zwischen der statischen Natur des Standard-FL und den strukturellen Anforderungen von CMs ermöglichen F-CMs:

Interpretierbare Inferenz bei unbekannten Konzepten: Die Fähigkeit, interpretierbare Vorhersagen für Konzepte zu treffen, die an einem bestimmten Client nicht annotiert sind, eine Fähigkeit, die in bestehenden statischen federierten Ansätzen nicht vorhanden ist.
Nachhaltiges Föderationswachstum: Ein Mechanismus, um neue Datenquellen und Überwachungsarten zu integrieren, ohne zuvor gelerntes Wissen zu verwerfen oder die Rechenkosten eines vollständigen Neutrainings zu verursachen.
Datenschutzkonforme Interpretierbarkeit: Ein Weg, hochrangiges semantisches Wissen über Institutionen hinweg zu aggregieren und so die Notwendigkeit teurer, zentralisierter Konzept-Annotationen zu verringern.

Die Autoren erkennen Einschränkungen an und stellen fest, dass aktuelle CM-Architekturen ursprünglich nicht für sich entwickelnde Räume konzipiert wurden, und dass zukünftige Arbeiten sich auf die Entwicklung von Föderations-bewussten CMs mit größerer Modularität konzentrieren könnten. Sie heben zudem die Notwendigkeit weiterer Datenschutzanalysen hinsichtlich potenzieller Angriffsflächen, die spezifisch für konzeptbasierte federierte Modelle sind, hervor.