🤖 AI

Does Distributed Training Undermine Compute Governance?

Questo articolo sostiene che i progressi negli algoritmi di addestramento distribuito potrebbero consentire agli sviluppatori di eludere le normative sulla governance del calcolo utilizzando agglomerati decentralizzati di hardware, rendendo necessarie nuove contromisure come il tracciamento dei chip, la contabilità forense e soglie di monitoraggio potenziate per rilevare e prevenire operazioni illecite.

Autori originali: Robi Rahman

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Robi Rahman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate che i modelli di intelligenza artificiale più potenti al mondo siano come enormi fabbriche super-avanzate. Attualmente, i governi stanno cercando di regolamentare queste fabbriche istituendo posti di blocco. La regola è semplice: "Se costruite una fabbrica più grande di una certa dimensione (misurata in base alla potenza di calcolo di cui dispone), dovete registrarla, permetterci di ispezionarla e dimostrare che siete sicuri."

La logica alla base è che le grandi fabbriche sono difficili da nascondere. Consumano enormi quantità di elettricità, occupano molto spazio e generano molto calore. Se provate a costruire una super-fabbrica segreta, i satelliti e le società elettriche probabilmente la individueranno.

Il Problema: La "Fessura" dei Mattoncini Lego
Questo documento sostiene che una nuova tecnologia chiamata Addestramento Distribuito cambia le carte in tavola. Invece di costruire un'unica fabbrica gigantesca, uno sviluppatore potrebbe suddividere il lavoro in migliaia di piccoli laboratori separati, sparsi in tutto il mondo.

Pensatela così:

Il Vecchio Metodo: Costruire un unico grattacielo massiccio di 50 piani. È impossibile nasconderlo; tutti vedono la gru da costruzione e le linee elettriche.
Il Nuovo Metodo: Invece di un grattacielo, costruite 1.000 piccoli capanni a un solo piano in diversi quartieri. Ogni capanno è abbastanza piccolo da non attivare l'allarme per "edificio grande". Tuttavia, se collegate tutti questi capanni tramite una rete digitale, possono lavorare insieme come se fossero un unico grattacielo gigantesco.

Il documento afferma che i recenti progressi nel software (in particolare algoritmi come DiLoCo) hanno reso possibile collegare questi piccoli capanni tramite connessioni internet normali. Anche se internet è molto più lento dei cavi super-veloci all'interno di un vero data center, il nuovo software è abbastanza intelligente da comprimere i dati inviati tra i capanni al punto tale che l'addestramento funzioni comunque.

La Scoperta Principale: Possono Eludere le Regole?
L'autore ha eseguito una simulazione per verificare se uno sviluppatore potesse costruire un'IA "d'avanguardia" (una intelligente quanto i migliori modelli attualmente esistenti) utilizzando solo questi piccoli capanni non registrati.

I risultati sono allarmanti per i regolatori:

Sì, è possibile. Uno sviluppatore potrebbe teoricamente addestrare un modello potente quanto lo stato dell'arte attuale (come Llama 3.1 o GPT-4) utilizzando solo cluster hardware al di sotto della soglia legale di segnalazione.
È costoso, ma fattibile. Per riuscirci, dovrebbero spendere milioni (o anche miliardi) di dollari in hardware. Tuttavia, se uno sviluppatore è determinato a bypassare le regole, potrebbe essere disposto a pagare quel prezzo.
La Trappola della "Velocità". Il documento presume che lo sviluppatore abbia circa due anni per completare il progetto. Se tentano di addestrare più velocemente, hanno bisogno di più hardware e più persone, il che li rende più facili da catturare. Se addestrano più lentamente, rischiano di essere superati da nuove tecnologie. Quindi, mirano a un "punto dolce" di circa due anni, abbastanza lungo per costruire un modello potente ma abbastanza breve per rimanere avanti rispetto ai progressi.

Perché è un problema?
Se uno sviluppatore può nascondere la propria operazione in migliaia di piccoli capanni non registrati, le attuali regole governative diventano inutili. Il governo non saprà che la fabbrica esiste perché nessun singolo capanno è abbastanza grande da attivare un allarme. Ciò significa che capacità AI pericolose potrebbero essere sviluppate nell'ombra senza alcun controllo di sicurezza.

Le Soluzioni Proposte: Come Chiudere la Fessura
Il documento suggerisce che non possiamo più basarci solo sui limiti di "dimensione". Abbiamo bisogno di nuovi modi per catturare queste operazioni "Lego":

Tracciare i Mattoni (Tracciamento dei Chip): Invece di contare solo quanto è grande la fabbrica, tracciate ogni singolo "mattoncino" (chip informatico) dal momento in cui viene prodotto. Se un chip viene utilizzato in un capanno segreto, il registro dovrebbe segnalarlo.
Il Sistema del "Spione" (Segnalazioni): Gestire 1.000 capanni richiede un enorme team di persone per installarli e mantenerli. Il documento suggerisce che più persone servono, maggiore è la probabilità che qualcuno parli. Offrire ricompense agli interni che segnalano operazioni segrete potrebbe essere molto efficace.
Controllare gli Scaffali di Archiviazione (Limiti di Memoria): Attualmente, le regole guardano solo alla velocità dei chip. Ma alcuni chip hanno una memoria (archiviazione) enorme rispetto alla loro velocità. Il documento suggerisce di stabilire una regola: "Se il tuo capanno ha più memoria di 16 chip standard, devi registrarlo", anche se la velocità è bassa. Questo costringe lo sviluppatore a utilizzare più capanni per ottenere lo stesso lavoro, rendendo l'operazione più grande, più costosa e più facile da catturare.
Ispezioni a Sorpresa: Proprio come gli ispettori nucleari, i governi dovrebbero avere il diritto di presentarsi senza preavviso in luoghi sospetti per verificare se fanno parte di una rete più ampia.

La Conclusione
Il documento conclude che, sebbene l'addestramento distribuito renda più difficile regolamentare l'IA, non lo rende impossibile. La "fessura" esiste, ma non è un trucco di magia. Richiede molti soldi, molte persone e molta coordinazione. Combinando il tracciamento dei chip, i limiti di memoria e l'intelligence umana (segnalazioni), i regolatori possono ancora far luce su queste operazioni nascoste e mantenere sicuro lo sviluppo dell'IA.

Sintesi Tecnica: L'Addestramento Distribuito Minaccia la Governance del Calcolo?

Enunciato del Problema

I quadri normativi attuali e proposti per la governance del calcolo (ad esempio, l'Ordine Esecutivo 14110 degli Stati Uniti, l'AI Act dell'UE, il SB 53 della California e la proposta di Scher et al. 2025) si basano sull'assunto che l'addestramento di modelli AI all'avanguardia richieda grandi cluster di datacenter centralizzati. Queste normative impongono tipicamente la segnalazione e il monitoraggio per cluster che superano specifiche soglie di calcolo (ad esempio, da $10^{24}$ a $10^{26}$ FLOPS) o configurazioni hardware (ad esempio, cluster più grandi di 16 equivalenti H100).

Il problema centrale identificato è che i recenti avanzamenti negli algoritmi di addestramento distribuito, in particolare la famiglia DiLoCo (Distributed Low-Communication), potrebbero consentire agli sviluppatori di eludere tali normative. Suddividendo un'esecuzione di addestramento su scala all'avanguardia tra migliaia di nodi più piccoli e geograficamente dispersi, ciascuno dei quali rientra al di sotto delle soglie di segnalazione normativa, gli sviluppatori potrebbero teoricamente condurre addestramenti su larga scala senza attivare i meccanismi di rilevamento basati sul consumo energetico, l'impronta fisica o la dimensione del cluster. Questo documento indaga se tale "addestramento distribuito illecito" sia fattibile sotto vincoli rigorosi (connessione internet di livello consumer, hardware sotto-soglia) e valuta l'efficacia delle contromisure attuali e proposte.

Metodologia

Gli autori hanno sviluppato un modello di efficienza e un simulatore interattivo completi per valutare la fattibilità dell'elusione tramite addestramento distribuito. La metodologia prevede:

Modello di Minaccia: La simulazione assume uno sviluppatore ben fornito di risorse che tenta di addestrare modelli comparabili a Llama 3.1-405B o DeepSeek-V3 in condizioni restrittive:
- Hardware: Nodi limitati a $\le$ 16 equivalenti H100 (la soglia proposta da Scher et al., 2025).
- Rete: Internet di livello consumer con larghezza di banda di 100 Mbps e latenza di 100 ms (ordini di grandezza più lenta delle interconnessioni dei datacenter).
- Tempo: Una durata massima di addestramento di due anni (740 giorni), derivata da assunzioni sui tassi di crescita in uno scenario di governance restrittivo.
- Rilevamento: L'ente governativo monitora attivamente l'alimentazione, il calore, le immagini satellitari e il traffico di rete.
Metriche di Efficienza: Il simulatore calcola due metriche principali:
- Calcolo Equivalente Locale ( $C_{local}$ ): Il throughput di calcolo nominale aggiustato per le inefficienze distribuite ( $\eta$ ).
- Calcolo Aggiustato per la Qualità ( $C_{quality}$ ): $C_{local}$ ulteriormente aggiustato da una penalità ottimale Chinchilla ( $\chi$ ) per tenere conto della dimensionamento subottimale del modello dovuto ai vincoli di memoria e al sovraddestramento.
Fattori di Inefficienza ( $\eta$ ): Il modello tiene conto di quattro penalità specifiche intrinseche all'addestramento distribuito:
- Penalità dell'Intervallo di Sincronizzazione ( $\eta_H$ ): Perdita derivante dal fatto che le repliche eseguono passi locali ( $H$ ) prima di sincronizzarsi, causando deriva dei gradienti.
- Qualità della Compressione ( $\eta_{comp}$ ): Perdita derivante dalla compressione dei gradienti per risparmiare larghezza di banda (modellata con una compressione di 150 $\times$ basata sui risultati di Covenant-72B).
- Divergenza delle Repliche ( $\eta_{rep}$ ): Perdita derivante dalla media dei gradienti tra repliche addestrate su sottoinsiemi di dati diversi.
- Penalità della Qualità delle Attivazioni ( $\eta_{act}$ ): Perdita derivante dalla compressione delle attivazioni quando si utilizza il parallelismo a pipeline tra nodi.
Selezione dell'Hardware: Il modello valuta varie configurazioni sotto-soglia, inclusi NVIDIA A100 80GB, GH200 e varie configurazioni TPU/Ascend, privilegiando hardware con alti rapporti memoria/calcolo per minimizzare l'overhead di comunicazione.

Contributi e Risultati Chiave

1. Fattibilità dell'Elusione

La simulazione dimostra che l'addestramento distribuito può raggiungere un calcolo su scala all'avanguardia ( $>10^{24}$ FLOPS) utilizzando configurazioni hardware che rimangono al di sotto delle soglie normative proposte.

Costo dell'Elusione: Il documento stima che uno sviluppatore potrebbe eludere:
- La soglia di Scher et al. (2025) ( $10^{24}$ FLOPS) per circa 1,6 milioni di dollari.
- La soglia dell'AI Act dell'UE ( $10^{25}$ FLOPS) per circa 31 milioni di dollari.
- La soglia del SB 53 della California ( $10^{26}$ FLOPS) per circa 3,8 miliardi di dollari.
Numero di Nodi: Raggiungere il livello di calcolo di GPT-4 ( $10^{25}$ FLOPS) richiede circa 101 nodi sotto-soglia, mentre Llama 3.1-405B ( $10^{25}$ FLOPS) richiede 625 nodi.
Vincoli di Rete: Anche con una bassa larghezza di banda (100 Mbps), l'addestramento distribuito rimane fattibile. Sebbene i costi aumentino di circa 3 volte rispetto all'addestramento centralizzato, questo non costituisce una barriera proibitiva per attori determinati.

2. Ottimizzazione Hardware e Architetturale

Lo studio identifica che il rapporto memoria/calcolo è un fattore critico per l'elusione. Nodi con alta memoria (ad esempio, 50 $\times$ A100 80GB) consentono modelli più grandi per nodo, riducendo la necessità di parallelismo a pipeline e le relative penalità di compressione delle attivazioni. Il simulatore mostra che l'uso di DiLoCo con Parallelismo a Pipeline (PP) diventa necessario a scale molto grandi per adattare i modelli alla memoria, sebbene ciò introduca penalità di efficienza.

3. Valutazione delle Contromisure

Il documento valuta varie contromisure per rilevare o prevenire l'elusione:

Misure Inefficaci:
- Limiti di Larghezza di Banda: Irrealizzabili da imporre a livello globale; il costo di internet ad alta velocità è trascurabile rispetto ai costi hardware.
- Monitoraggio del Traffico Internet: Il traffico DiLoCo è a basso volume (<40 Mbps) e facilmente mascherabile tramite jitter, streaming a velocità variabile e VPN.
Misure Efficaci:
- Tracciamento dei Chip e Registri: Segnalazione obbligatoria del possesso e del trasferimento dei chip. Poiché l'addestramento distribuito richiede più hardware totale rispetto all'addestramento centralizzato per ottenere lo stesso calcolo, un registro che traccia un'alta frazione di chip rende difficile l'elusione.
- Programmi di Segnalazione (Whistleblower): Le operazioni distribuite richiedono forze lavoro significativamente più grandi per l'approvvigionamento, l'installazione e la manutenzione in centinaia di località, aumentando la "superficie di attacco" per le segnalazioni interne.
- Soglie di Memoria: Il documento propone di modificare le definizioni di cluster per includere soglie di memoria degli acceleratori (ad esempio, 1.280 GB HBM) oltre alle soglie di calcolo. Questo costringe gli elusori a utilizzare modelli più piccoli (causando un grave sovraddestramento) o a frammentare i modelli su più nodi, aumentando costi e complessità operativa di circa il 50%.
- Ispezioni di Sfida e Intelligence: Le ispezioni finanziarie e fisiche convenzionali rimangono fattibili, in particolare se combinate con le suddette misure tecniche.

Significato e Affermazioni

Il documento afferma che l'addestramento distribuito mina fondamentalmente le attuali proposte di governance del calcolo che si basano esclusivamente sulla dimensione del cluster o sulle soglie di throughput di calcolo. Gli autori sostengono che, senza contromisure specifiche, le normative creeranno un "vuoto di applicazione" in cui i modelli all'avanguardia potranno essere sviluppati illecitamente.

Il significato del lavoro risiede in:

Identificazione della Vulnerabilità: Dimostrare che gli avanzamenti algoritmici (DiLoCo) hanno superato le assunzioni statiche dei quadri normativi attuali.
Quantificazione del Rischio: Fornire stime concrete dei costi e configurazioni hardware necessarie per aggirare normative specifiche e reali.
Proposta di Soluzioni Robuste: Sostenere che una combinazione di registri dei chip, soglie basate sulla memoria e programmi di segnalazione è necessaria per colmare la falla. Gli autori sottolineano che, sebbene nessuna singola misura sia perfetta, la loro combinazione alza il costo e la complessità dell'elusione a un livello che ripristina la monitorabilità.

Il documento conclude che, sebbene i costi aumentati dell'elusione distribuita siano attualmente "economicamente sgradevoli", potrebbero diventare accettabili se i colli di bottiglia normativi si stringono. Pertanto, gli standard di governance devono essere progettati per essere robusti contro tale elusione immediatamente, piuttosto che attendere che la minaccia si materializzi completamente.