Technische Samenvatting: Niet-ontleedbare Protocolmodellen (UPMs)

1. Probleemstelling

Het artikel behandelt de economische en beveiligingsuitdagingen van gedecentraliseerde training voor grote fundamentele modellen. Hoewel gedecentraliseerde systemen het mogelijk maken om verspreide rekenkracht te bundelen voor het trainen van massale modellen, staan ze voor een kritiek "toepassingsprobleem": als de volledige modelgewichten toegankelijk zijn voor deelnemers, kunnen bijdragers hun trainingskosten niet terugverdienen omdat het model kan worden ontleed en buiten het protocol kan worden gebruikt.

Huidige gedecentraliseerde benaderingen (bijvoorbeeld Data Parallelism of standaard Pipeline Parallelism) vereisen vaak dat deelnemers volledige modelreplica's bezitten of toestaan dat volledige gewichten in de loop van de tijd worden gereconstrueerd. Dit leidt tot gewichtsmaterialisatie, waarbij een aanvaller (of coalitie) uiteindelijk toegang kan krijgen tot alle modelfragmenten over verschillende tijdstippen om een functioneel, ontleedbaar model te reconstrueren. Het artikel stelt dat voor gedecentraliseerde training economisch haalbaar te zijn, het model niet-ontleedbaar moet zijn; dit garandeert dat geen enkele deelnemer ooit de volledige gewichtenverzameling bezit en dat gewichten die op verschillende tijdstippen zijn verzameld, niet aan elkaar kunnen worden genaaid om een coherent model te vormen.

2. Methodologie: Niet-ontleedbare Protocolmodellen (UPMs)

De auteurs stellen Niet-ontleedbare Protocolmodellen (UPMs) voor, een raamwerk dat Pipeline Parallelism (PP) benut om niet-ontleedbaarheid van gewichten af te dwingen zonder zware cryptografische primitieven.

Kernmechanisme: Tijdsvariabele Inverteerbare Transformaties

De centrale innovatie is de periodieke injectie van willekeurige, inverteerbare transformaties op de grenzen tussen pijplijnstadia.

• Opzet: Het model wordt opgesplitst in $S$ opeenvolgende pijplijnstadia. Deelnemers bezitten en verwerken slechts één stadium per tijdstip.
• Vormgeving: Op specifieke tijdstappen introduceert het protocol een identiteitsfunctie tussen aangrenzende stadia $f_i$ en $f_{i+1}$, ontbonden in een willekeurige transformatie $T$ en zijn inverse $T^{-1}$.
  • De transformatie $T$ wordt opgenomen in de uitgangsgewichten van stadium $i$ ($V_i \leftarrow V_i T$).
  • De inverse $T^{-1}$ wordt opgenomen in de ingangsgewichten van stadium $i+1$ ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Ephemere Aard: De transformaties worden direct na opname verwijderd. Ze bestaan alleen binnen de gewichten.
• Incompatibiliteit: Hoewel de end-to-end netwerksfunctie wiskundig identiek blijft op elk enkel tijdstip $t$, worden gewichten die op verschillende tijdstippen ($t$ en $t'$) zijn verzameld, onverenigbaar. Het samenvoegen van $f_i(t)$ met $f_{i+1}(t')$ mislukt omdat de tussenliggende activatieruimte is getransformeerd door $T(t)$, maar het volgende stadium de ruimte verwacht die is getransformeerd door $T(t')$. Het reconstrueren van het model vereist het raden van de "brugmatrix" van alle tussenliggende transformaties, wat computationeel onuitvoerbaar is.

Behandeling van Architecturale Componenten

Het artikel beschrijft hoe deze transformaties op verschillende neurale netwerkkomponenten kunnen worden toegepast terwijl de functionaliteit behouden blijft:

• Geldige Subfuncties: De methode is van toepassing op subfuncties van de vorm $g(X) = \Phi(XU)V$. Transformaties worden toegepast op $U$ en $V$.
• Skip-verbindingen: In Transformers dwingen skip-verbindingen natuurlijk volledige incompatibiliteit af. De transformatie die op de skip-verbinding wordt toegepast, hangt af van zowel de inkomende als de uitgaande grenstransformaties, wat een aanvaller verhindert het stadium op te splitsen in onafhankelijke sets gewichten.
• Normalisatielagen (RMSNorm): Omdat normalisatie niet-lineair is, is standaard opname moeilijk. De auteurs stellen voor een accumulatiematrix $Q$ in de normalisatielaag in te voeren en de schalingsgewichten op te nemen in de daaropvolgende lineaire laag. Dit maakt het mogelijk transformaties op te nemen in $Q$ en de lineaire gewichten, terwijl de RMSNorm-eigenschap behouden blijft dankzij de orthogonaliteit van de initiële $Q$.
• Transformatieklassen: Om numerieke stabiliteit en weerstand tegen brute-force-aanvallen te waarborgen, maken de auteurs gebruik van:
  • Haar-orthogonale Matrices: Eén singuliere waarden, minimale numerieke fout en uniforme willekeurigheid.
  • Matrices met een Laag Conditiegetal: Matrices van de vorm $UDV^T$ met gecontroleerde singuliere waarden om hoogfrequente verstoringen in te brengen terwijl zwevendekommefouten worden begrensd.

Aanpassingen voor Training en Inferentie

• Training: Het raamwerk vereist specifieke afhandeling van gradiënten. Als gewichten transformeren als $W(T) = WT$, transformeren gradiënten als $G(T) = GT^{-T}$. De auteurs gebruiken de Muon-optimizer, die alleen afhankelijk is van het eerste moment van gradiënten, waardoor de update-stappen consistent blijven met het niet-getransformeerde model bij gebruik van orthogonale transformaties.
• Inferentie: Om accumulatie van zwevendekommefouten door herhaalde transformatie-opname te mitigeren, slaat het systeem gewichten met hoge precisie (FP64) op schijf op. Bij elke vormgevingstap worden transformaties toegepast op de kopie met hoge precisie, omgezet naar lage precisie (bijvoorbeeld FP16/BF16) en geladen in GPU-VRAM.

3. Belangrijkste Bijdragen

1. Introductie van het Raamwerk: Het voorstellen van UPMs, een trainings- en inferentieraamwerk dat collaboratief modelserveren mogelijk maakt zonder dat enige deelnemer de volledige gewichtenverzameling kan ontleeden.
2. Theoretische Analyse: Een grondige analyse van welke architecturen (Transformers, MLP's, RNN's) UPMs ondersteunen, de vereisten voor transformaties (willekeurigheid, inverteerbaarheid, conditiegetal) en het wiskundige bewijs hoe deze transformaties assemblages over tijd incoherent maken.
3. Weerstand tegen Aanvallen:
   • Directe Ontleding: Aangetoond dat de kans dat een aanvaller binnen een korte tijdsvenster toegang krijgt tot alle stadia verwaarloosbaar is, vooral met "volledige incompatibiliteit" (skip-verbindingen).
   • Samenvoegingsaanvallen: Aangetoond dat het oplossen voor brugmatrices via tussenliggende activaties onpraktisch is vanwege de vereiste van identieke invoer over tijdstippen, wat eenvoudig te verdedigen is via distributiecontroles.
   • Op Leren Gebaseerde Aanvallen: Empirisch aangetoond dat het fine-tunen van een "samengevoegd" model (gewichten van verschillende tijdstippen) $\ge 60\%$ van de rekenkracht vereist die nodig is om het model vanaf nul te trainen, waardoor de economische haalbaarheid van het protocol behouden blijft.
4. Empirische Validatie: Uitgebreide experimenten op Qwen-2.5-0.5B en Llama-3.2-1B-modellen.

4. Resultaten

• Functionele Equivalentie: Op Qwen-2.5-0.5B en Llama-3.2-1B resulteerde het toepassen van 10.000 vormgevingstappen met orthogonale transformaties in verwaarloosbare prestatiedegradatie ($\Delta PPL < 0,01$; Jensen–Shannon-drift $< 4 \times 10^{-5}$) in FP32. Met de oplossing met hoge precisie werd stabiliteit behouden in FP16 en BF16.
• Overhead:
  • Inferentie: Het toepassen van een transformatie elke 30 seconden voegt ongeveer 3% latentie, 0,1% bandbreedte en 10% GPU-geheugen overhead toe.
  • Training: De overhead is minimaal, met 1,6% tijd en <1% geheugen overhead, aangezien de terugwaartse doorgang de kosten domineert.
• Haalbaarheid van Aanvallen:
  • Samenvoegen: Het fine-tunen van een samengevoegd Llama 3.2-1B-model vereiste ongeveer 60% van de tokens die nodig waren om vanaf nul te trainen om dezelfde perplexiteit te bereiken.
  • Uitsluitingsratio: Zelfs met toegang tot alle incompatibele gewichten blijft de uitsluitingsratio (rekenkracht vereist voor een aanval versus trainen vanaf nul) hoog ($\ge 0,6$), wat de aanval economisch onhaalbaar maakt voor de meeste coalities.

5. Betekenis en Claims

Het artikel stelt dat UPMs de tegenstrijdigheid tussen collaboratieve training en geheimhouding van gewichten oplossen. Door de waarde van het model te binden aan het protocol in plaats van statische gewichten, maken UPMs het praktisch om programmatieve prikkelmechanismen in te bouwen in door de gemeenschap gedreven gedecentraliseerde training.

• Economische Haalbaarheid: Het raamwerk zorgt ervoor dat de "uitsluitbaarheid" van het model behouden blijft, waardoor bijdragers kunnen worden gecompenseerd voor hun rekenkracht zonder het risico dat het model wordt gestolen en vrijelijk wordt gebruikt.
• Compatibiliteit met Open Source: UPMs staan toe dat modelarchitecturen, hyperparameters en datasets open-source blijven, terwijl de gewichten niet-ontleedbaar blijven.
• Trustless Gedecentralisatie: Het systeem beweegt naar volledig trustless, niet-ontleedbare training, waarbij UPMs worden gepositioneerd als een technische pijler voor open, gedecentraliseerde AI.

De auteurs erkennen beperkingen, met de opmerking dat de beveiliging afhankelijk is van een eerlijke meerderheid van deelnemers en dat de huidige evaluaties beperkt zijn tot simulaties op één machine, waardoor echte side-channel-aanvallen (timing, cache) worden uitgesloten. Ze merken ook op dat het onvermogen om gewichten te inspecteren veiligheidsbeoordelingen kan hinderen, wat suggereert dat toezicht door diverse belanghebbenden noodzakelijk is om dit te mitigeren.