Technische Zusammenfassung: Nicht extrahierbare Protokollmodelle (UPMs)

1. Problemstellung

Die Arbeit behandelt die wirtschaftlichen und sicherheitstechnischen Herausforderungen des dezentralen Trainings großer Fundamentmodelle. Während dezentrale Systeme die Bündelung verteilter Rechenressourcen zum Training massiver Modelle ermöglichen, stehen sie vor einem kritischen „Aneignungsproblem": Wenn die vollständigen Modellgewichte für die Teilnehmer zugänglich sind, können die Beitragsleistenden ihre Trainingskosten nicht wiederhereinholen, da das Modell extrahiert und außerhalb des Protokolls genutzt werden kann.

Gängige dezentrale Ansätze (z. B. Datenparallelismus oder standardisierter Pipeline-Parallelismus) erfordern oft, dass die Teilnehmer vollständige Modellkopien vorhalten oder die Rekonstruktion der gesamten Gewichte im Zeitverlauf zulassen. Dies führt zur Gewichtsmaterialisierung, bei der ein Angreifer (oder eine Koalition) schließlich alle Modellfragmente über verschiedene Zeitpunkte hinweg zugreifen kann, um ein funktionales, extrahierbares Modell zu rekonstruieren. Die Arbeit argumentiert, dass dezentrales Training wirtschaftlich tragfähig sein muss, das Modell nicht extrahierbar ist – sicherzustellen, dass kein einzelner Teilnehmer jemals den vollständigen Gewichtssatz besitzt und dass Gewichte, die zu unterschiedlichen Zeitpunkten gesammelt wurden, nicht zu einem kohärenten Modell zusammengesetzt werden können.

2. Methodik: Nicht extrahierbare Protokollmodelle (UPMs)

Die Autoren schlagen Nicht extrahierbare Protokollmodelle (UPMs) vor, ein Framework, das Pipeline-Parallelismus (PP) nutzt, um die Nicht-Extrahierbarkeit von Gewichten durchzusetzen, ohne auf schwere kryptografische Primitive zurückzugreifen.

Kernmechanismus: Zeitvariable invertierbare Transformationen

Die zentrale Innovation ist die periodische Einfügung zufälliger, invertierbarer Transformationen an den Grenzen zwischen Pipeline-Stufen.

• Einrichtung: Das Modell wird in $S$ sequenzielle Pipeline-Stufen zerlegt. Die Teilnehmer halten und verarbeiten jeweils nur eine Stufe.
• Verformung: Zu bestimmten Zeitpunkten führt das Protokoll eine Identitätsfunktion zwischen benachbarten Stufen $f_i$ und $f_{i+1}$ ein, zerlegt in eine zufällige Transformation $T$ und ihre Inverse $T^{-1}$.
  • Die Transformation $T$ wird in die Ausgangsgewichte der Stufe $i$ eingearbeitet ($V_i \leftarrow V_i T$).
  • Die Inverse $T^{-1}$ wird in die Eingangsgewichte der Stufe $i+1$ eingearbeitet ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Ephemeraler Charakter: Die Transformationen werden unmittelbar nach dem Einarbeiten verworfen. Sie existieren nur innerhalb der Gewichte.
• Inkompatibilität: Während die End-zu-End-Funktion des Netzwerks zu jedem einzelnen Zeitpunkt $t$ mathematisch identisch bleibt, werden zu unterschiedlichen Zeitpunkten ($t$ und $t'$) gesammelte Gewichte inkompatibel. Das Zusammenfügen von $f_i(t)$ mit $f_{i+1}(t')$ scheitert, da der Zwischenaktivierungsraum durch $T(t)$ transformiert wurde, die nachfolgende Stufe jedoch den durch $T(t')$ transformierten Raum erwartet. Die Rekonstruktion des Modells erfordert das Erraten der „Brückenmatrix" aller Zwischentransformationen, was rechnerisch nicht machbar ist.

Behandlung architektonischer Komponenten

Die Arbeit beschreibt, wie diese Transformationen auf verschiedene Komponenten neuronaler Netze angewendet werden können, wobei die Funktionalität erhalten bleibt:

• Gültige Teilfunktionen: Die Methode gilt für Teilfunktionen der Form $g(X) = \Phi(XU)V$. Transformationen werden auf $U$ und $V$ angewendet.
• Skip-Verbindungen: In Transformern erzwingen Skip-Verbindungen natürlicherweise volle Inkompatibilität. Die auf die Skip-Verbindung angewendete Transformation hängt sowohl von der ankommenden als auch von der ausgehenden Grenztransformation ab, was es einem Angreifer unmöglich macht, die Stufe in unabhängige Gewichtsmengen zu partitionieren.
• Normalisierungsschichten (RMSNorm): Da Normalisierung nichtlinear ist, ist das Standard-Einarbeiten schwierig. Die Autoren schlagen vor, eine Akkumulationsmatrix $Q$ in die Normalisierungsschicht einzuführen und die Skalierungsgewichte in die nachfolgende lineare Schicht aufzunehmen. Dies ermöglicht das Einarbeiten von Transformationen in $Q$ und die linearen Gewichte, wobei die RMSNorm-Eigenschaft aufgrund der Orthogonalität der initialen $Q$ erhalten bleibt.
• Transformationsklassen: Um numerische Stabilität und Resistenz gegen Brute-Force-Angriffe zu gewährleisten, nutzen die Autoren:
  • Haar-orthogonale Matrizen: Einheitliche Singulärwerte, minimale numerische Fehler und gleichmäßige Zufälligkeit.
  • Matrizen mit niedrigem Konditionszahl: Matrizen der Form $UDV^T$ mit kontrollierten Singulärwerten, um hochfrequente Störungen einzuführen, während der Gleitkommafehler begrenzt wird.

Anpassungen für Training und Inferenz

• Training: Das Framework erfordert eine spezifische Behandlung von Gradienten. Wenn sich Gewichte als $W(T) = WT$ transformieren, transformieren sich Gradienten als $G(T) = GT^{-T}$. Die Autoren verwenden den Muon-Optimierer, der nur auf dem ersten Moment der Gradienten basiert, sodass die Aktualisierungsschritte bei Verwendung orthogonaler Transformationen mit dem untransformierten Modell konsistent bleiben.
• Inferenz: Um die Akkumulation von Gleitkommafehlern durch wiederholtes Einarbeiten von Transformationen zu mildern, speichert das System Gewichte mit hoher Präzision (FP64) auf der Festplatte. Bei jedem Verformungsschritt werden Transformationen auf die Kopie mit hoher Präzision angewendet, in niedrige Präzision (z. B. FP16/BF16) umgewandelt und in den GPU-VRAM geladen.

3. Hauptbeiträge

1. Einführung des Frameworks: Der Vorschlag von UPMs, einem Trainings- und Inferenzframework, das kollaboratives Modellserving ermöglicht, ohne dass ein Teilnehmer den vollständigen Gewichtssatz extrahieren kann.
2. Theoretische Analyse: Eine gründliche Analyse, welche Architekturen (Transformer, MLPs, RNNs) UPMs unterstützen, der Anforderungen an Transformationen (Zufälligkeit, Invertierbarkeit, Konditionszahl) und der mathematische Beweis, wie diese Transformationen Zusammenstellungen über die Zeit hinweg inkohärent machen.
3. Widerstandsfähigkeit gegen Angriffe:
   • Direkte Extraktion: Es wurde gezeigt, dass die Wahrscheinlichkeit, dass ein Angreifer innerhalb eines kurzen Zeitfensters auf alle Stufen zugreift, vernachlässigbar ist, insbesondere bei „voller Inkompatibilität" (Skip-Verbindungen).
   • Stitching-Angriffe: Es wurde gezeigt, dass das Lösen von Brückenmatrizen über Zwischenaktivierungen aufgrund der Anforderung identischer Eingaben über Zeitpunkte hinweg unpraktisch ist, was sich leicht durch Verteilungsprüfungen abwehren lässt.
   • Lernbasierte Angriffe: Empirisch wurde gezeigt, dass das Feinabstimmen eines „gestitchten" Modells (Gewichte aus verschiedenen Zeitpunkten) mindestens 60 % der Rechenressourcen erfordert, die zum Training des Modells von Grund auf nötig wären, wodurch die wirtschaftliche Tragfähigkeit des Protokolls erhalten bleibt.
4. Empirische Validierung: Umfangreiche Experimente an den Modellen Qwen-2.5-0.5B und Llama-3.2-1B.

4. Ergebnisse

• Funktionale Äquivalenz: Bei Qwen-2.5-0.5B und Llama-3.2-1B führte die Anwendung von 10.000 Verformungsschritten mit orthogonalen Transformationen zu einer vernachlässigbaren Leistungsverschlechterung ($\Delta PPL < 0,01$; Jensen-Shannon-Drift $< 4 \times 10^{-5}$) in FP32. Mit der Workaround-Lösung mit hoher Präzision wurde die Stabilität über FP16 und BF16 hinweg aufrechterhalten.
• Overhead:
  • Inferenz: Das Anwenden einer Transformation alle 30 Sekunden fügt etwa 3 % Latenz, 0,1 % Bandbreite und 10 % GPU-Speicher-Overhead hinzu.
  • Training: Der Overhead ist minimal und fügt 1,6 % Zeit und <1 % Speicher-Overhead hinzu, da der Rückwärtspass die Kosten dominiert.
• Durchführbarkeit von Angriffen:
  • Stitching: Das Feinabstimmen eines gestitchten Llama-3.2-1B-Modells erforderte ungefähr 60 % der Tokens, die für das Training von Grund auf nötig waren, um die gleiche Perplexität zu erreichen.
  • Ausschlussverhältnis: Selbst mit Zugang zu allen inkompatiblen Gewichten bleibt das Ausschlussverhältnis (Rechenleistung erforderlich für den Angriff im Vergleich zum Training von Grund auf) hoch ($\ge 0,6$), was den Angriff für die meisten Koalitionen wirtschaftlich untragbar macht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass UPMs den Widerspruch zwischen kollaborativem Training und Gewichtsgeheimhaltung auflösen. Indem sie den Wert des Modells an das Protokoll binden und nicht an statische Gewichte, machen UPMs es praktikabel, programmierbare Anreizmechanismen in dezentrales, gemeinschaftsgetriebenes Training zu integrieren.

• Wirtschaftliche Tragfähigkeit: Das Framework stellt sicher, dass die „Ausschließbarkeit" des Modells aufrechterhalten wird, sodass Beitragsleistende für ihre Rechenleistung entschädigt werden können, ohne das Risiko, dass das Modell gestohlen und frei genutzt wird.
• Kompatibilität mit Open Source: UPMs ermöglichen es, dass Modellarchitekturen, Hyperparameter und Datensätze Open-Source bleiben, während die Gewichte nicht extrahierbar bleiben.
• Vertrauenslose Dezentralisierung: Das System bewegt sich hin zu vollständig vertrauenslosem, nicht extrahierbarem Training und positioniert UPMs als technische Säule für offenes, dezentrales KI.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Sicherheit auf einer ehrlichen Mehrheit der Teilnehmer beruht und dass die aktuellen Bewertungen auf Einzelmaschinen-Simulationen beschränkt sind, was reale Side-Channel-Angriffe (Timing, Cache) ausschließt. Sie weisen zudem darauf hin, dass die Unmöglichkeit, Gewichte zu inspizieren, Sicherheitsbewertungen behindern könnte, und schlagen vor, dass eine Überwachung durch diverse Interessengruppen notwendig ist, um dies zu mildern.