🤖 machine learning

TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems

TL++ ist ein neuartiges Zwei-Modi-Traversierungs-Lernframework für verteilte intelligente Systeme, das durch die Konstruktion virtueller Batches das zentralisierte Mini-Batch-Gradientenverhalten wiederherstellt, während es die Kommunikationseffizienz und Privatsphäre durch Secret-Sharing von Cut-Layer-Aktivierungen und -Gradienten ausbalanciert.

Ursprüngliche Autoren: Erdenebileg Batbaatar, Young Yoon

Veröffentlicht 2026-06-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Erdenebileg Batbaatar, Young Yoon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Ärzten, Ingenieuren oder Wissenschaftlern vor, die alle über wertvolle Daten (wie Patientenakten oder Sensormesswerte) verfügen und diese nutzen möchten, um eine intelligente KI zu trainieren. Sie können die eigentlichen Daten jedoch nicht teilen, da Datenschutzgesetze oder Geschäftsgeheimnisse dies verhindern. Sie müssen gemeinsam ein „Gehirn“ aufbauen, ohne jemals ihre privaten Notizbücher weiterzugeben.

Dieses Paper stellt eine neue Methode namens TL++ (Traversal Learning++) vor, um dieses Problem zu lösen. Es ist wie eine clevere Art für diese entfernten Experten, gemeinsam ein riesiges Puzzle zu lösen, ohne jemals die einzelnen Teile zeigen zu müssen.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Die „Silos“ und die „unordentliche Küche“

Normalerweise, wenn eine KI trainiert wird, werden alle Daten in eine einzige riesige zentrale Küche (einen zentralen Server) geschüttet. Das ist schnell und genau, aber ein Albtraum für die Privatsphäre.

Federated Learning (Der alte Weg): Stellen Sie sich vor, jeder Koch bewahrt seine Zutaten in seiner eigenen Küche auf. Er kocht ein wenig, schickt sein fertiges Gericht an einen zentralen Richter, der sie alle zusammenmischt. Das Problem ist, dass, wenn die Köche unterschiedliche Stile haben (unterschiedliche Daten), das fertige Gericht seltsam schmeckt, und das Versenden des ganzen Gerichts jedes Mal ist schwerfällig und langsam.
Split Learning (Der Mittelweg): Stellen Sie sich vor, die Köche senden nur das teilweise gekochte Essen an die zentrale Küche. Die zentrale Küche vollendet das Kochen. Das ist leichter, aber die zentrale Küche kann das halb gekochte Essen immer noch sehen, was Geheimnisse über die Zutaten verraten könnte. Außerdem kochen sie meistens das Essen eines Kochs nach dem anderen, was langsam ist.

2. Die Lösung: TL++ (Der „Virtuelle Topf“)

TL++ führt eine neue Art des Kochens ein. Anstatt das Essen eines Kochs nach dem anderen zu kochen, wird ein „Virtueller Topf“ erstellt.

Der Virtuelle Topf: Der zentrale Organisator wählt ein paar Zutaten von Koch A, ein paar von Koch B und ein paar von Koch C aus und mischt sie zu einem großen Batch zusammen, bevor gekocht wird.
Warum das großartig ist: Dies ahmt die „Zentrale Küche“ perfekt nach. Die KI lernt genauso gut, als ob alle Daten an einem Ort wären, obwohl die Daten die Häuser der Köche nie verlassen haben. Dies löst das Genauigkeitsproblem.

3. Die zwei Modi: „Vertrauenswürstig“ vs. „Geheim“

TL++ hat zwei Einstellungen, wie ein Auto mit „Normal“- und „Stealth“-Modus.

Modus A: Base Mode (Das vertrauenswürdige Team)

Wie es funktioniert: Die Köche senden ihr halb gekochtes Essen (Aktivierungen) an die zentrale Küche. Die Küche vollendet es und sendet die Anweisungen zurück, wie man das Rezept verbessert.
Der Vorteil: Es ist sehr schnell und leichtgewichtig. Es werden viel weniger Daten gesendet als bei den alten Methoden (bis zu 13-mal weniger!).
Der Haken: Die zentrale Küche kann das halb gekochte Essen immer noch sehen. Wenn die Küche vertrauenswürdig ist, ist das in Ordnung.

Modus B: Secure Mode (Der geheime Handschlag)

Das Problem: Was, wenn die zentrale Küche neugierig ist? Was, wenn sie versucht, die Zutaten aus dem halb gekochten Essen zu erraten?
Die Lösung: TL++ fügt einen Geheimen Helfer hinzu (einen zweiten Server, der nicht mit der zentralen Küche spricht).
Der Magie-Trick (Secret Sharing):
- Stellen Sie sich eine geheime Zahl (die Daten) vor.
- Koch A teilt diese Zahl in zwei zufällige Teile auf: Teil 1 und Teil 2.
- Teil 1 geht an die Zentrale Küche. Teil 2 geht an den Geheimen Helfer.
- Keiner der Teile sieht für sich allein nach etwas aus. Es ist nur zufälliges Rauschen.
- Die Zentrale Küche und der Helfer führen ihre Berechnungen auf ihren jeweiligen Teilen durch.
- Am Ende kombinieren sie die Ergebnisse. Da die Mathematik (additive Secret Sharing) magisch ist, ist das Endergebnis exakt dasselbe, als hätten sie die echte Zahl gehabt, aber weder der Server noch der Helfer haben jemals die echte Zahl gesehen.
Der Haken: Dies funktioniert nur perfekt, wenn die Mathematik, die die Server durchführen, einfach ist (linear). Wenn die Mathematik komplex ist (wie eine „scharfe“ nicht-lineare Wendung hinzuzufügen), wird das Secret Sharing ungenau, und sie müssen komplexere (langsamere) Sicherheitstools verwenden.

4. Die Ergebnisse: Was haben sie herausgefunden?

Die Autoren haben dies an zwei Dingen getestet:

Bilderkennung (CIFAR-10): Wie das Identifizieren von Katzen, Hunden und Autos.
Beantwortung medizinischer Fragen (PubMedQA): Verwendung eines Sprachmodells, um Fragen zu medizinischer Forschung zu beantworten.

Die Erkenntnisse:

Genauigkeit: TL++ ist fast so gut wie die Nutzung aller Daten an einem Ort. Im Bildtest erreichte es eine Genauigkeit von etwa 91 %, während die alten „Federated Learning“-Methoden bei etwa 74 % kämpften.
Geschwindigkeit/Daten: Es sendet viel weniger Daten als die alten Methoden. Im „Trusted“-Modus reduzierte es den Datenverkehr um mehr als das 13-fache im Vergleich zum Hin- und Hersenden des gesamten KI-Modells.
Sicherheit: Der „Secure Mode“ konnte die Zwischen-Daten erfolgreich vor den Servern verbergen, sofern die Mathematik einfach genug war.

5. Der Kompromiss (Das „Kleingedruckte“)

Das Paper ist ehrlich über die Grenzen:

Die „Lineare“ Regel: Damit der Geheimmodus zu 100 % perfekt ist, muss der Teil der KI, den die Server handhaben, einfache Mathematik sein. Wenn er komplex ist, handelt es sich um eine Annäherung.
Labels sind sichtbar: Der zentrale Organisator muss die „Antworten“ (Labels) immer noch kennen, um den Score zu berechnen. Das System verbirgt die Input-Daten, aber nicht die Antworten oder die Tatsache, dass eine bestimmte Person teilgenommen hat.
Keine Kollusion: Das System setzt voraus, dass die Zentrale Küche und der Geheime Helfer nicht zusammenarbeiten, um zu betrügen. Wenn sie das tun, ist das Geheimnis gelüftet.

Zusammenfassung

TL++ ist eine neue Art, KI über verschiedene Computer hinweg zu trainieren, ohne private Daten zu teilen.

Es mischt Daten aus verschiedenen Quellen in einen „virtuellen Batch“, um eine hohe Genauigkeit zu erreichen.
Es sendet nur kleine Datenstücke (Aktivierungen) anstatt des gesamten Modells, um die Bandbreite zu sparen.
Es nutzt einen Zwei-Server-Geheimen-Handschlag, um Daten vor neugierigen Servern zu verbergen und so die Privatsphäre zu gewährleisten.

Es ist wie eine Gruppe von Spionen, die gemeinsam ein Rätsel lösen: Sie teilen Hinweise, ohne ihre Identitäten preiszugeben, und sie lösen den Fall schneller und genauer, als wenn sie versuchen würden, alleine zu arbeiten.

Technisches Resümee: TL++: Genauigkeits- und privatsphärenwahrendes Traversal-Learning für verteilte intelligente Systeme

1. Problemstellung

Verteilte intelligente Systeme (z. B. klinische Monitore, autonome Flotten) stehen vor einem Trilemma: Sie benötigen zentralisierte Gradienten-Äquivalenz (um den Umgang mit non-IID-Daten ohne Konvergenzverschlechterung zu bewältigen), Kommunikationseffizienz (um den Austausch des vollständigen Modells zu vermeiden) und die Sicherheit von Zwischenberechnungen (um das Abfließen von Aktivierungen und Gradienten zu verhindern).

Bestehende Paradigmen scheitern daran, alle drei Anforderungen gleichzeitig zu erfüllen:

Federated Learning (FL): Hält Daten lokal, leidet aber unter Gradientendivergenz bei non-IID-Daten und verursacht hohe Kommunikationskosten durch den Austausch des vollständigen Modells. Secure Aggregation schützt Updates, aber nicht die Berechnungen des Split-Learnings auf Zwischenebene.
Split Learning (SL): Reduziert die Kommunikation durch die Übertragung nur von Cut-Layer-Aktivierungen, verarbeitet Samples jedoch sequenziell (was die Gradientenaggregation zwischen Teilnehmern verhindert) und überträgt Aktivierungen/Gradienten im Klartext, was sie anfällig für Inversionsangriffe macht.
Traversal Learning (TL): Löst die Genauigkeits- und Kommunikationsprobleme durch die Konstruktion virtueller Batches über Knoten hinweg, um ein zentralisiertes Training nachzubilden. Standardmäßiges TL überträgt jedoch Zwischenwerte im Klartext und bietet keine Garantien für die Privatsphäre gegenüber halbwegs ehrlichen (semi-honest) Servern.

2. Methodik: Das TL++ Framework

Die Autoren schlagen TL++ vor, ein zwei-modales Traversal-Learning-Framework, das TL durch die Einbeziehung von Fähigkeiten zur Wahrung der Privatsphäre mittels additiver Geheimteilung erweitert.

Systemarchitektur

Das System besteht aus $N$ Client-Knoten, einem Orchestrator (Server) und einem Helper-Server.

Knoten: Halten lokale Datensätze und den „unteren“ Teil des neuronalen Netzwerks ( $f_{node}$ ).
Orchestrator: Hält den „oberen“ Teil des Netzwerks ( $f_{server}$ ), konstruiert virtuelle Batches und koordiniert das Training.
Helper: Eine nicht kolludierende dritte Partei, die den zweiten Anteil der sensiblen Daten hält, um sicherzustellen, dass der Orchestrator die Plaintext-Tensoren nicht allein rekonstruieren kann.

Zwei Betriebsmodi

Base Mode (Vertrauenswürdig):
- Funktioniert identisch mit Standard-Traversal-Learning.
- Knoten übertragen Plaintext-Aktivierungen des Cut-Layers an den Orchestrator.
- Der Orchestrator führt den Forward-Pass, die Verlustberechnung und die Backpropagation der Gradienten durch.
- Ziel: Erzielung von zentralisierter Gradienten-Äquivalenz bei reduzierter Kommunikation (Aktivierungen statt voller Modelle).
Secure Mode (Privatsphärenwahrend):
- Additive Geheimteilung: Knoten teilen jede Cut-Layer-Aktivierung $a$ in zwei Anteile auf: $a^{(1)}$ (an den Orchestrator gesendet) und $a^{(2)} = a - a^{(1)}$ (an den Helper gesendet).
- Unabhängige Verarbeitung: Beide Server verarbeiten ihre jeweiligen Anteile unabhängig durch das Server-Modell $f_{server}$ .
- Rekonstruktion: Der Orchestrator rekonstruiert den Output $\hat{y} = \hat{y}^{(1)} + \hat{y}^{(2)}$ , um den Verlust unter Verwendung der Labels zu berechnen.
- Gradienten-Dekomposition: Der Cut-Layer-Gradient wird additiv dekomponiert ( $G = G^{(1)} + G^{(2)}$ ). Keiner der Server sieht den vollständigen Plaintext-Gradienten.

Theoretische Einschränkungen und Exaktheit

Ein entscheidender Beitrag der Arbeit ist die Formalisierung der Bedingungen, unter denen der Secure Mode exakt ist (mathematisch identisch mit zentralisiertem Training):

Linearitätsbedingung: Das sichere Protokoll ist nur dann exakt, wenn die auf den Anteilen durchgeführten Operationen linear oder affin sind.
Umgang mit Nichtlinearität: Wenn $f_{server}$ nichtlineare Operationen (z. B. ReLU, Pooling, Softmax) enthält, die direkt auf die Anteile angewendet werden, ohne dass sichere nichtlineare Protokolle (wie Garbled Circuits) verwendet werden, ist das Ergebnis eine Approximation.
Implikation: In der evaluierten CNN-Architektur erlaubt Cut 3 (nach der ersten Fully Connected Layer, vor der finalen Klassifizierung) eine exakte sichere Evaluierung, da der Pfad des Servers linear ist. Die Cuts 1 und 2 beinhalten nichtlineare Schichten oberhalb des Cuts, was die Ergebnisse im Secure Mode zu Approximationen macht, sofern keine zusätzlichen sicheren nichtlinearen Protokolle eingesetzt werden.

3. Kernbeiträge

Zwei-Modales Framework: TL++ unterstützt einen Base Mode für vertrauenswürdige Umgebungen und einen Secure Mode unter Verwendung eines nicht-kolludierenden Helpers und additiver Geheimteilung, um die Zwischenaktivierungen und -gradienten zu schützen.
Exaktheitsbedingung: Die Autoren beweisen, dass die virtuellen Batch-Forward- und Backward-Passes von TL++ über additive Anteile genau dann exakt sind, wenn der anteilsweise Serverpfad linear oder affin ist. Dies unterscheidet zwischen architektonischen Entscheidungen (nichtlinearer $f_{server}$ ist im Base Mode gültig) und Protokollbeschränkungen (Secure Mode erfordert Linearität für Exaktheit).
Begrenzte Privatsphäre: Das System bietet Privatsphäre auf Aktivitätsebene, wobei keiner der Server die Plaintext-Zwischenwerte sieht, räumt jedoch ein, dass Labels und Output-Werte für die Verlustberechnung für den Orchestrator sichtbar bleiben.
Kommunikationsanalyse: Die Arbeit analysiert den Trade-off zwischen Cut-Tiefe, Payload-Größe und Synchronisationskosten und zeigt, dass tiefere Cuts die Größe der Aktivierungen reduzieren, aber den Synchronisationsaufwand auf der Knotenseite erhöhen können.

4. Experimentelle Ergebnisse

Das Framework wurde auf CIFAR-10 (Bildklassifizierung) und BioGPT/PubMedQA (biomedizinisches NLP mit LoRA) evaluiert.

Genauigkeit (CIFAR-10)

Zentralisierte Baseline: 92,03 % Genauigkeit.
TL++ Base (Cut 1): 91,41 % (0,62 % Differenz).
TL++ Secure (Cut 3 - Exakt): 90,93 % (1,10 % Differenz).
Vergleich: TL++ übertrifft die FL-Baselines (z. B. FedAvg mit 74,56 %) und das Standard-Split-Learning (78,88 %) deutlich, was zeigt, dass die Konstruktion virtueller Batches die zentrale Nützlichkeit selbst unter non-IID-Bedingungen wiederherstellt.
Secure vs. Base: Die exakte sichere Konfiguration (Cut 3) behält eine hohe Genauigkeit bei, während die approximativen sicheren Konfigurationen (Cuts 1 & 2) aufgrund der nichtlinearen Approximationen etwas größere Differenzen aufweisen.

Kommunikationseffizienz

Payload-Reduktion: TL++ Base Cut 1 reduziert die Payload pro Schritt im Vergleich zur vollständigen Modell-Synchronisation (FedAvg) um den Faktor 13,1.
Secure Overhead: Der Secure Mode verdoppelt den Traffic des Cut-Pfads etwa durch die Aufteilung der Anteile, bleibt aber signifikant effizienter als das vollständige Modell-FL (z. B. ist Secure Cut 1 4,2-mal kleiner als FedAvg).
Latenz: Während die Payload reduziert wird, führt der Secure Mode eine Inter-Server-Koordination ein. Die parallele Berechnung hält jedoch die kritischen Rechenzeiten niedrig (~120 ms), obwohl die Netzwerkzeit für sichere Konfigurationen steigt.

BioGPT/PubMedQA

TL++ Base und Secure Modi erreichten eine Genauigkeit, die vergleichbar mit dem zentralisierten Fine-Tuning ist (ca. 81–83 %), und übertrafen die FL- und Standard-SL-Baselines signifikant, was den Ansatz für NLP-Aufgaben mit parametereffizientem Tuning (LoRA) validiert.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass TL++ einen Mittelweg zwischen Federated Learning und Split Learning für verteilte KI darstellt:

Nützlichkeit: Es nähert sich der zentralisierten Nützlichkeit an, indem es das exakte Mini-Batch-Gradientenverhalten durch virtuelle Batches wiederherstellt und so die Genauigkeitsverschlechterung behebt, die unter non-IID-Daten bei FL auftritt.
Effizienz: Es reduziert die Kommunikationskosten, indem es nur Cut-Layer-Aktivierungen/Gradienten anstatt der vollständigen Modellparameter überträgt.
Privatsphäre: Es führt eine konfigurierbare Privatsphäre-Schicht ein, bei der Zwischen-Tensoren mittels Geheimteilung geschützt werden, was sie vor einem einzelnen halbwegs ehrlichen Server schützt, sofern ein nicht-kolludierender Helper verfügbar ist.

Einschränkungen und Umfang:
Die Autoren äußern sich bescheiden über den Umfang ihrer Privatsphäre-Garantien:

Bedrohungsmodell: Die Sicherheit ist auf ein semi-honest, nicht-kolludierendes Zwei-Server-Szenario beschränkt. Sie schützt nicht gegen kolludierende Server, bösartige Abweichungen oder Side-Channel-Angriffe (Timing, Metadaten).
Offenlegung von Labels: Das aktuelle Protokoll erfordert, dass der Orchestrator Labels und Output-Werte für die Verlustberechnung sieht.
Exaktheit: Exaktes sicheres Training erfordert lineare Serverpfade; nichtlineare Operationen erfordern zusätzliche sichere MPC-Protokolle oder führen zu Approximationen.
Einsatz: Das System ist am effektivsten, wenn die Kommunikation der Flaschenhals ist und die Datenheterogenität ein Standard-FL unzuverlässig macht.

Zusammenfassend lässt sich sagen, dass TL++ demonstriert, dass es möglich ist, Genauigkeitsverlustfreiheit, Kommunikationseffizienz und gezielte Privatsphäre für Zwischenwerte in verteiltem Training zu kombinieren, sofern spezifische architektonische und Vertrauensannahmen (Nicht-Kollusion, lineare Anteile für Exaktheit) erfüllt sind.