Riepilogo Tecnico: Modelli di Protocollo Non Estraibili (UPM)

1. Enunciato del Problema

Il documento affronta le sfide economiche e di sicurezza legate all'addestramento decentralizzato di grandi modelli fondazionali. Sebbene i sistemi decentralizzati consentano di aggregare risorse computazionali distribuite per addestrare modelli massivi, affrontano un critico "problema di appropriabilità": se i pesi completi del modello sono accessibili ai partecipanti, i contributori non possono recuperare i costi di addestramento poiché il modello può essere estratto e utilizzato al di fuori del protocollo.

Gli approcci decentralizzati attuali (ad esempio, Parallelismo dei Dati o Parallelismo della Pipeline standard) richiedono spesso ai partecipanti di detenere repliche complete del modello o permettono la ricostruzione dei pesi completi nel tempo. Ciò porta alla materializzazione dei pesi, in cui un attaccante (o una coalizione) può infine accedere a tutti i frammenti del modello in diversi istanti temporali per ricostruire un modello funzionale ed estraibile. Il documento sostiene che, affinché l'addestramento decentralizzato sia economicamente vitale, il modello deve essere non estraibile, garantendo che nessun singolo partecipante possieda mai l'insieme completo dei pesi e che i pesi raccolti in momenti diversi non possano essere assemblati per formare un modello coerente.

2. Metodologia: Modelli di Protocollo Non Estraibili (UPM)

Gli autori propongono i Modelli di Protocollo Non Estraibili (UPM), un framework che sfrutta il Parallelismo della Pipeline (PP) per imporre la non estraibilità dei pesi senza fare affidamento su primitive crittografiche pesanti.

Meccanismo Centrale: Trasformazioni Invertibili Variabili nel Tempo

L'innovazione centrale è l'iniezione periodica di trasformazioni casuali e invertibili ai confini tra le fasi della pipeline.

• Configurazione: Il modello è frammentato in $S$ fasi sequenziali della pipeline. I partecipanti detengono ed elaborano una sola fase alla volta.
• Morfismo: A specifici istanti temporali, il protocollo introduce una funzione identità tra fasi adiacenti $f_i$ e $f_{i+1}$, scomposta in una trasformazione casuale $T$ e la sua inversa $T^{-1}$.
  • La trasformazione $T$ viene incorporata nei pesi di uscita della fase $i$ ($V_i \leftarrow V_i T$).
  • L'inversa $T^{-1}$ viene incorporata nei pesi di ingresso della fase $i+1$ ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Natura Effimera: Le trasformazioni vengono scartate immediatamente dopo l'incorporazione. Esistono solo all'interno dei pesi.
• Incompatibilità: Sebbene la funzione di rete end-to-end rimanga matematicamente identica in un singolo istante temporale $t$, i pesi raccolti in istanti temporali diversi ($t$ e $t'$) diventano incompatibili. L'assemblaggio di $f_i(t)$ con $f_{i+1}(t')$ fallisce perché lo spazio di attivazione intermedio è stato trasformato da $T(t)$, mentre la fase successiva si aspetta lo spazio trasformato da $T(t')$. La ricostruzione del modello richiede di indovinare la "matrice ponte" di tutte le trasformazioni intermedie, il che è computazionalmente impraticabile.

Gestione dei Componenti Architettonici

Il documento dettaglia come applicare queste trasformazioni a vari componenti delle reti neurali preservando la funzionalità:

• Sotto-funzioni Valide: Il metodo si applica a sotto-funzioni della forma $g(X) = \Phi(XU)V$. Le trasformazioni vengono applicate a $U$ e $V$.
• Connessioni Residuali (Skip Connections): Nei Transformer, le connessioni residuali impongono naturalmente la piena incompatibilità. La trasformazione applicata alla connessione residua dipende sia dalle trasformazioni di confine in entrata che in uscita, impedendo a un attaccante di partizionare la fase in insiemi indipendenti di pesi.
• Livelli di Normalizzazione (RMSNorm): Poiché la normalizzazione è non lineare, l'incorporazione standard è difficile. Gli autori propongono di introdurre una matrice di accumulo $Q$ nel livello di normalizzazione e di assorbire i pesi di scalatura nel successivo livello lineare. Ciò permette di incorporare le trasformazioni in $Q$ e nei pesi lineari preservando la proprietà RMSNorm grazie all'ortogonalità della $Q$ iniziale.
• Classi di Trasformazione: Per garantire stabilità numerica e resistenza ad attacchi brute-force, gli autori utilizzano:
  • Matrici Ortogonali di Haar: Valori singolari unitari, errore numerico minimo e casualità uniforme.
  • Matrici a Numero di Condizionamento Basso: Matrici della forma $UDV^T$ con valori singolari controllati per introdurre perturbazioni ad alta frequenza limitando l'errore in virgola mobile.

Aggiustamenti per Addestramento e Inferenza

• Addestramento: Il framework richiede una gestione specifica dei gradienti. Se i pesi si trasformano come $W(T) = WT$, i gradienti si trasformano come $G(T) = GT^{-T}$. Gli autori utilizzano l'ottimizzatore Muon, che si basa solo sul primo momento dei gradienti, permettendo ai passi di aggiornamento di rimanere coerenti con il modello non trasformato quando si utilizzano trasformazioni ortogonali.
• Inferenza: Per mitigare l'accumulo di errori in virgola mobile derivante dall'incorporazione ripetuta di trasformazioni, il sistema memorizza pesi ad alta precisione (FP64) su disco. Ad ogni passo di morfismo, le trasformazioni vengono applicate alla copia ad alta precisione, convertite in bassa precisione (ad esempio FP16/BF16) e caricate nella VRAM della GPU.

3. Contributi Chiave

1. Introduzione del Framework: La proposta degli UPM, un framework di addestramento e inferenza che abilita il servizio collaborativo di modelli senza permettere a nessun partecipante di estrarre l'insieme completo dei pesi.
2. Analisi Teorica: Un'analisi approfondita di quali architetture (Transformer, MLP, RNN) supportano gli UPM, i requisiti per le trasformazioni (casualità, invertibilità, numero di condizionamento) e la prova matematica di come queste trasformazioni rendano incoerenti gli assemblaggi cross-temporali.
3. Resistenza agli Attacchi:
   • Estrazione Diretta: Dimostrato che la probabilità che un attaccante acceda a tutte le fasi entro una breve finestra temporale è trascurabile, specialmente con la "piena incompatibilità" (connessioni residuali).
   • Attacchi di Assemblaggio (Stitching): Mostrato che la risoluzione delle matrici ponte tramite attivazioni intermedie è impraticabile a causa della necessità di input identici in diversi istanti temporali, cosa facilmente difendibile tramite controlli di distribuzione.
   • Attacchi Basati sull'Apprendimento: Dimostrato empiricamente che il fine-tuning di un modello "assemblato" (pesi da diversi istanti temporali) richiede $\ge 60\%$ delle risorse computazionali necessarie per addestrare il modello da zero, preservando la vitalità economica del protocollo.
4. Validazione Empirica: Esperimenti estensivi sui modelli Qwen-2.5-0.5B e Llama-3.2-1B.

4. Risultati

• Equivalenza Funzionale: Su Qwen-2.5-0.5B e Llama-3.2-1B, l'applicazione di 10.000 passi di morfismo con trasformazioni ortogonali ha portato a un degrado delle prestazioni trascurabile ($\Delta PPL < 0.01$; deriva Jensen–Shannon $< 4 \times 10^{-5}$) in FP32. Con la soluzione alternativa ad alta precisione, la stabilità è stata mantenuta su FP16 e BF16.
• Sovraccarico:
  • Inferenza: L'applicazione di una trasformazione ogni 30 secondi aggiunge circa 3% di latenza, 0.1% di larghezza di banda e 10% di overhead di memoria GPU.
  • Addestramento: Il sovraccarico è minimo, aggiungendo 1.6% di tempo e <1% di overhead di memoria, poiché il passo inverso domina i costi.
• Fattibilità dell'Attacco:
  • Assemblaggio: Il fine-tuning di un modello Llama 3.2-1B assemblato ha richiesto circa il 60% dei token necessari per l'addestramento da zero per raggiungere la stessa perplessità.
  • Rapporto di Escludibilità: Anche con accesso a tutti i pesi incompatibili, il rapporto di escludibilità (calcolo richiesto per attaccare rispetto all'addestramento da zero) rimane alto ($\ge 0.6$), rendendo l'attacco economicamente non vitale per la maggior parte delle coalizioni.

5. Significato e Affermazioni

Il documento afferma che gli UPM risolvono la contraddizione tra addestramento collaborativo e segretezza dei pesi. Vincolando il valore del modello al protocollo piuttosto che ai pesi statici, gli UPM rendono pratico incorporare meccanismi di incentivo programmatici nell'addestramento decentralizzato guidato dalla comunità.

• Vitalità Economica: Il framework garantisce che l'"escludibilità" del modello sia mantenuta, permettendo di compensare i contributori per la loro potenza di calcolo senza il rischio che il modello venga rubato e utilizzato liberamente.
• Compatibilità Open Source: Gli UPM permettono alle architetture dei modelli, agli iperparametri e ai dataset di rimanere open source, mantenendo i pesi non estraibili.
• Decentralizzazione Senza Fiducia: Il sistema si muove verso un addestramento completamente senza fiducia e non estraibile, posizionando gli UPM come pilastro tecnico per un'AI aperta e decentralizzata.

Gli autori riconoscono le limitazioni, notando che la sicurezza si basa su una maggioranza onesta dei partecipanti e che le valutazioni attuali sono limitate a simulazioni su singola macchina, escludendo attacchi reali tramite canali laterali (tempistica, cache). Notano inoltre che l'impossibilità di ispezionare i pesi potrebbe ostacolare le valutazioni di sicurezza, suggerendo che un monitoraggio da parte di stakeholder diversificati sia necessario per mitigare questo aspetto.