🤖 AI

A Coopetitive-Compatible Data Generation Framework for Cross-silo Federated Learning

Dieses Paper schlägt CoCoGen vor, ein Framework, das generative KI und potenzielle Spieltheorie nutzt, um Cross-Silo-Federated-Learning durch die Modellierung von interorganisatorischer Konkurrenz und statistischer Heterogenität zur Maximierung der sozialen Wohlfahrt zu optimieren.

Ursprüngliche Autoren: Thanh Linh Nguyen, Quoc-Viet Pham

Veröffentlicht 2026-06-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Thanh Linh Nguyen, Quoc-Viet Pham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von konkurrierenden Bäckereien in einer Stadt vor. Jede Bäckerei besitzt ihr eigenes geheimes Rezeptbuch (lokale Daten) und möchte den bestmöglichen Kuchen backen. Sie dürfen jedoch gesetzlich nicht ihre eigentlichen Rezeptbücher untereinander teilen.

Um dieses Problem zu lösen, beschließen sie, in einem „Cross-Silo Federated Learning“ (CFL)-Club zusammenzuarbeiten. Anstatt die Rezepte zu teilen, backen sie jeweils eine kleine Charge Kuchen mit ihren eigenen geheimen Zutaten, senden die Ergebnisse (wie der Kuchen geworden ist) an einen zentralen Richter und der Richter kombiniert diese Ergebnisse, um ein einziges „Meister-Kuchenrezept“ zu erstellen, das alle verwenden können.

Das Problem: Rivalität und ungleiche Fähigkeiten
Das Paper identifiziert zwei große Probleme bei diesem Aufbau:

Die Rivalität (Wettbewerb): Obwohl sie zusammenarbeiten, sind diese Bäckereien immer noch Konkurrenten. Sie sind besorgt, dass sie zu viel helfen könnten und dadurch ihren Vorsprung gegenüber den anderen Bäckereien verlieren. Sie sind „Koopetitoren“ – sie kooperieren, um zu lernen, aber sie konkurrieren, um zu gewinnen.
Die Ungleichmäßigkeit (Heterogenität): Einige Bäckereien haben riesige, vielfältige Rezeptbücher (viele Daten), während andere sehr kleine oder seltsame haben (z. B. nur Schokoladenkuchen, kein Obst). Dies macht es schwierig, ein Meisterrezept zu backen, das für alle gut schmeckt.

Wenn die Bäckereien zu viel Angst haben, beizutragen, oder wenn ihre Daten zu unterschiedlich sind, wird das Meisterrezept schrecklich sein. Alle verlieren Geld und das gesamte System scheitert.

Die Lösung: CoCoGen (Der „Magische Zutaten“-Generator)
Die Autoren, Thanh Linh Nguyen und Quoc-Viet Pham, schlagen einen neuen Rahmen namens CoCoGen vor. Betrachten Sie dies als ein intelligentes System, das den Bäckereien hilft, mithilfe von Generativer KI (GenAI) „falsche“, aber realistische Übungszutaten zu erstellen.

So funktioniert CoCoGen in einfachen Worten:

Die magische Zutat (GenAI): Anstatt nur ihre begrenzten echten Rezepte zu verwenden, nutzen die Bäckereien KI, um zusätzlichen „Übungsteig“ zu generieren. Dies hilft den Bäckereien mit kleinen oder seltsamen Rezeptbüchern, aufzuholen. Es füllt die Lücken aus, damit das Meisterrezept ordnungsgemäß gebacken werden kann.
Das Spiel aus Geben und Nehmen (Spieltheorie): Die Autoren haben erkannt, dass die Bäckereien, da sie Rivalen sind, eine faire Methode benötigen, um zu entscheiden, wie viel „Übungsteig“ sie herstellen sollen. Sie haben dies als ein Weighted Potential Game modelliert.
- Stellen Sie sich eine Wippe vor. Wenn eine Bäckerei zu wenig Teig herstellt, kippt die Wippe und das Meisterrezept leidet. Wenn sie zu viel herstellt, verschwendet sie Energie.
- CoCoGen berechnet das perfekte Gleichgewicht. Es sagt jeder Bäckerei genau, wie viel KI-generierte Daten sie erstellen soll, damit alle profitieren, selbst die Rivalen.
Der faire Gehaltsscheck (Payoff Redistribution): Um sicherzustellen, dass sich die Rivalen nicht betrogen fühlen, enthält das System eine Regel: Wenn eine Bäckerei härter arbeitet (mehr Daten erstellt), um der Gruppe zu helfen, stellt das System sicher, dass sie später einen größeren Anteil an den Belohnungen erhält. Dies verhindert das „Trittbrettfahrer-Problem“, bei dem einige versuchen, sich zu drücken, während andere die Arbeit erledigen.

Was sie herausgefunden haben (Die Ergebnisse)
Die Forscher testeten diese Idee mit einem digitalen Datensatz namens Fashion-MNIST (was wie eine Sammlung von Bildern von Kleidung ist, die verwendet wird, um eine KI beim Erkennen von Gegenständen zu trainieren).

Je mehr Rivalität, desto mehr Arbeit ist nötig: Sie fanden heraus, dass die Bäckereien, wenn sie sehr wettbewerbsorientiert waren (hohe Rivalität), mehr KI-Daten generieren mussten, um das System am Laufen zu halten. Wenn sie dies nicht taten, sank der Gesamterfolg des Systems (Social Welfare).
Je unterschiedlicher, desto mehr Arbeit ist nötig: Wenn die Bäckereien sehr unterschiedliche Arten von Daten hatten (hohe Heterogenität), mussten sie ebenfalls mehr KI-Daten generieren, um das Ungleichgewicht zu beheben.
CoCoGen gewinnt: Im Vergleich zu anderen Methoden (wie gar nichts zu tun oder einfach zufällig Daten zu generieren) lieferte CoCoGen konsistent die besten Ergebnisse. Es gelang dem System, das „Meisterrezept“ qualitativ hochwertig zu halten und sicherzustellen, dass die Bäckereien zufrieden und profitabel blieben, selbst wenn sie erbitterte Konkurrenten waren.

Zusammenfassend
CoCoGen ist ein intelligentes Regelwerk, das rivalisierenden Organisationen hilft, zusammenzuarbeiten. Es nutzt KI, um Datenlücken zu füllen, und nutzt Mathematik, um sicherzustellen, dass jeder einen fairen Deal bekommt. Auf diese Weise können selbst Wettbewerber ein besseres gemeinsames KI-Modell aufbauen, ohne sich Sorgen zu machen, ihren Wettbewerbsvorteil zu verlieren oder Ressourcen zu verschwenden.

Technisches Resümee: CoCoGen – Ein kooperativ-kompetitiver kompatibler Datengenerierungsrahmen für Cross-Silo Federated Learning

1. Problemstellung

Cross-Silo Federated Learning (CFL) ermöglicht es Organisationen (z. B. Krankenhäusern, Banken), gemeinsam KI-Modelle zu trainieren und dabei die Datenschutzintegrität zu wahren. Bestehende Ansätze vernachlässigen jedoch häufig die duale Herausforderung der statistischen Heterogenität (nicht-IID-Datenverteilungen über Silos hinweg) und des ökonomischen Wettbewerbs (Koopetition).

In realen Szenarien sind teilnehmende Organisationen oft Marktrivalen. Dies schafft eine „Koopetition“-Dynamik, bei der:

Wettbewerb: Organisationen zögern, Ressourcen beizusteuern, aus Angst vor der Offenlegung von Wettbewerbsvorteilen oder dem Risiko eines Nutzenverlusts (reduzierter Nettovorteil), falls das globale Modell ihren Rivalen zugutekommt.
Heterogenität: Statistische Unterschiede in den lokalen Daten können dazu führen, dass das globale Modell von den Optima abweicht, was zu einer schlechten Generalisierung und geringem individuellem Nutzen führt.
Die Lücke: Vorherige Arbeiten haben entweder Wettbewerb oder Heterogenität isoliert analysiert. Es mangelt an Frameworks, die das Zusammenspiel dieser Faktoren und deren Auswirkungen auf die organisatorische Entscheidungsfindung und den systemweiten sozialen Wohlstand explizit modellieren. Zudem bietet Generative KI (GenAI) zwar eine Lösung zur Datenaugmentation, es gibt jedoch keinen etablierten Mechanismus, um GenAI-basierte Datengenerierungsstrategien in kompetitiven, heterogenen CFL-Umgebungen zu optimieren, um den kollektiven Wohlstand zu maximieren.

2. Methodik: Das CoCoGen-Framework

Die Autoren schlagen CoCoGen vor, ein Framework, das ökonomische Koopetitionskonzepte mit der Potenzialspieltheorie integriert, um CFL unter diesen Randbedingungen zu modellieren und zu optimieren.

A. Systemmodell und Definitionen

CFL Koopetition: Definiert als duale Strategie, bei der Organisationen zusammenarbeiten, um ein gemeinsames globales Modell zu trainieren, aber miteinander konkurrieren, um ihren eigenen nachgeschalteten Markterlös zu maximieren.
Datenstrategie: Jede Organisation $n$ verwendet einen gemischten Datensatz $D^{mix}_n = D^{loc}_n \cup D^{gen}_n$ , wobei $D^{gen}_n$ durch GenAI generierte Daten sind. Das Strategieprofil ist der Vektor der generierten Datenmengen $\mathbf{d}^{gen}$ .
Kosten: Das Framework berücksichtigt Rechenkosten (Energieverbrauch für Datengenerierung und Training) sowie Servergebühren. Kommunikationskosten werden vernachlässigt.

B. Nutzen- und Erlösformulierung

Der Nutzen $U_n$ für eine Organisation ergibt sich aus einem Gleichgewicht von Gewinnen und Verlusten:

Gewinn aus Kooperation: Der Erlös ist proportional zur Verbesserung der globalen Modellleistung ( $\epsilon_0 - \epsilon(\mathbf{d}^{gen})$ ), wobei die Leistung als inverser Potenzgesetz-Funktion der Gesamtdatenmenge modelliert wird.
Erlös-Umverteilung: Um Fairness zu gewährleisten, erhalten Organisationen mit geringeren Beiträgen Kompensationen von jenen mit höheren Beiträgen. Dies ist proportional zum marginalen Beitragsunterschied und der kompetitiven Intensität ( $\gamma_{n,n'}$ ).
Koopetitionsverlust: Organisationen erleiden einen Verlust, der den Erlös repräsentiert, den ihre Konkurrenten durch deren Beiträge erzielen, skaliert durch die kompetitive Intensität.
Nebenbedingungen: Das System operiert unter individueller Rationalität (Nutzen $\ge 0$ ) und Budgetbalance (die Summe der monetären Transfers ist Null).

C. Spieltheoretische Analyse

Die Interaktion wird als gewichtetes Potenzialspiel modelliert:

Spieler: Rationale, eigeninteressierte Organisationen.
Strategien: Die Menge der mittels GenAI zu generierenden Daten.
Potenzialfunktion: Die Autoren beweisen, dass das Spiel eine gewichtete Potenzialfunktion $F(\mathbf{d}^{gen})$ besitzt. Das Nash-Gleichgewicht (NE) des Spiels entspricht der Minimierung dieser Funktion.
Lösungsmechanismus: Da das Optimierungsproblem nicht konvex ist, relaxieren die Autoren die ganzzahligen Beschränkungen der Datengröße zu einem kontinuierlichen Intervall. Sie leiten die NE-Bedingungen mittels Karush–Kuhn–Tucker (KKT)-Bedingungen ab und lösen die optimale Datengenerierungsstrategie mittels eines Fixed-Point-Iteration (FPI)-Algorithmus (Algorithmus 1).

3. Kernbeiträge

Kooperativ-kompetitives kompatibles Framework: CoCoGen ist das erste Framework, das statistische Heterogenität und interorganisationalen Wettbewerb in CFL unter Verwendung von Lernleistung und nutzenbasierten Formulierungen gemeinsam modelliert.
Potentialspiel-basierter Mechanismus: Die Autoren beweisen, dass jede Trainingsrunde ein gewichtetes Potenzialspiel darstellt. Sie leiten eine geschlossene Lösung für das Nash-Gleichgewicht ab, die es Organisationen ermöglicht, optimale GenAI-Datengenerierungsstrategien zu bestimmen, die den sozialen Wohlstand maximieren.
Empirische Validierung: Umfangreiche Experimente mit dem Fashion-MNIST-Datensatz demonstrieren die Wirksamkeit des Frameworks unter variierenden Ebenen von Heterogenität und Wettbewerb.

4. Experimentelle Ergebnisse

Die Experimente wurden mit $N=10$ Organisationen unter Verwendung des Fashion-MNIST-Datensatzes durchgeführt. Die wichtigsten Erkenntnisse sind:

Einfluss von Heterogenität und Wettbewerb: Steigende Ebenen statistischer Heterogenität (niedrigerer Dirichlet-Parameter $\alpha_D$ ) und kompetitiver Intensität (höheres $\bar{\gamma}$ ) reduzieren den sozialen Wohlstand signifikant. Diese Bedingungen erfordern ein größeres Volumen an GenAI-generierten Daten, um die Modellkonvergenz aufrechtzuerhalten.
Leistung im Vergleich zu Baselines: CoCoGen schneidet konsistent besser ab als drei Baselines:
- Vanilla CFL (VCFL): Keine GenAI-Augmentation.
- Ohne Wettbewerb (WCO): Ignoriert kompetitive Faktoren.
- Zufällige Datengenerierung (RaDG): Wählt die Mengen der Datengenerierung zufällig aus.
Quantitative Gewinne: Unter hoher Heterogenität ( $\alpha_D = 0,1$ ) verbesserte CoCoGen den sozialen Wohlstand um etwa 50 % gegenüber VCFL, um 25,93 % gegenüber WCO und um 16,89 % gegenüber RaDG.
Effektivität des Mechanismus: Der eingebettete Mechanismus zur Erlös-Umverteilung kompensiert effektiv hochbeitragende Organisationen, mildert Koopetitionsverluste ab und erhält die Partizipationsanreize selbst in hochkompetitiven Umgebungen aufrecht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CoCoGen eine praktische theoretische und algorithmische Lösung bietet, um die CFL-Kooperation in realistischen, kompetitiven Märkten aufrechtzuerhalten.

Theoretische Einsicht: Es verdeutlicht, wie das Nebeneinander von Heterogenität und Wettbewerb das Organisationsverhalten beeinflusst, und zeigt auf, dass ohne spezifische Anreize (wie Erlös-Umverteilung und optimierte Datengenerierung) der soziale Wohlstand erheblich sinkt.
Praktischer Nutzen: Durch die Nutzung von GenAI, um die Lücken in den Datenverteilungen zu schließen, und durch die Verwendung der Spieltheorie, um individuelle Anreize mit dem kollektiven Wohlstand in Einklang zu bringen, ermöglicht CoCoGen es Organisationen, trotz ihrer Rolle als Marktrivalen von der Zusammenarbeit zu profitieren.
Skalierbarkeit: Der vorgeschlagene FPI-Algorithmus bietet eine recheneffiziente Methode zur Ableitung optimaler Strategien, was das Framework für reale CFL-Einsätze anwendbar macht.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit die kritische Notwendigkeit adressiert, ein Gleichgewicht zwischen Datenschutz, Wettbewerb und Datenheterogenität zu finden, und damit einen Weg zu robusteren und sozial optimaleren Federated-Learning-Systemen ebnet.