Technische Samenvatting: Ondermijnt Gedistribueerde Training Compute-Governance?

Probleemstelling

Huidige en voorgestelde frameworks voor compute-governance (bijv. het Amerikaanse Uitvoeringsbevel 14110, de EU-wetgeving inzake AI, Californië SB 53, en het voorstel van Scher et al. 2025) rusten op de aanname dat het trainen van frontier-AI-modellen grote, gecentraliseerde datacenterclusters vereist. Deze regelgeving schrijft doorgaans rapportage en monitoring voor voor clusters die specifieke compute-drempels (bijv. $10^{24}$ tot $10^{26}$ FLOPs) of hardwareconfiguraties (bijv. clusters groter dan 16 H100-equivalenten) overschrijden.

Het kernprobleem dat wordt geïdentificeerd, is dat recente vooruitgang in gedistribueerde trainingsalgoritmen, specifiek de DiLoCo (Distributed Low-Communication)-familie, ontwikkelaars in staat zou kunnen stellen deze regelgeving te omzeilen. Door een training op frontier-schaal te splitsen over duizenden kleinere, geografisch verspreide knooppunten – waarbij elk onder de rapportagedrempels voor regelgeving valt – zouden ontwikkelaars theoretisch grootschalige training kunnen uitvoeren zonder detectiemechanismen op basis van energieverbruik, fysieke voetafdruk of clustergrootte te activeren. Dit paper onderzoekt of dergelijke "illiciete gedistribueerde training" haalbaar is onder strikte beperkingen (consumentenniveau-internet, hardware onder de drempel) en evalueert de doeltreffendheid van huidige en voorgestelde tegenmaatregelen.

Methodologie

De auteurs ontwikkelden een uitgebreid efficiëntiemodel en interactieve simulator om de haalbaarheid van het omzeilen van gedistribueerde training te evalueren. De methodologie omvat:

1. Bedreigingsmodel: De simulatie gaat uit van een goed gefinancierde ontwikkelaar die probeert modellen te trainen die vergelijkbaar zijn met Llama 3.1-405B of DeepSeek-V3 onder restrictieve omstandigheden:

   • Hardware: Knooppunten beperkt tot $\le$ 16 H100-equivalenten (de drempel voorgesteld door Scher et al., 2025).
   • Netwerk: Consumentenniveau-internet met 100 Mbps bandbreedte en 100 ms latentie (ordegrootte langzamer dan datacenter-interconnects).
   • Tijd: Een maximale trainingsduur van twee jaar (740 dagen), afgeleid van groeiveronderstellingen in een restrictief governance-scenario.
   • Detectie: De regelgevende instantie monitort actief energie, thermische gegevens, satellietbeelden en netwerkverkeer.

2. Efficiëntiemaatstaven: De simulator berekent twee primaire maatstaven:

   • Lokaal-equivalente Compute ($C_{local}$): De nominale computethroughput, aangepast voor inefficiënties in gedistribueerde systemen ($\eta$).
   • Kwaliteitsgecorrigeerde Compute ($C_{quality}$): $C_{local}$ verder aangepast met een Chinchilla-optimale penalty ($\chi$) om rekening te houden met suboptimale modelgrootte door geheugenbeperkingen en overtraining.

3. Inefficiëntiefactoren ($\eta$): Het model houdt rekening met vier specifieke straffen inherent aan gedistribueerde training:

   • Sync-Interval Penalty ($\eta_H$): Verlies doordat replica's lokale stappen ($H$) uitvoeren voordat ze synchroniseren, wat leidt tot gradiëntdrift.
   • Compressiekwaliteit ($\eta_{comp}$): Verlies door het comprimeren van gradiënten om bandbreedte te besparen (gemodelleerd op 150$\times$ compressie gebaseerd op Covenant-72B-resultaten).
   • Replica-divergentie ($\eta_{rep}$): Verlies door het middelen van gradiënten over replica's die op verschillende datasetsubsets zijn getraind.
   • Activatiekwaliteitspenalty ($\eta_{act}$): Verlies door het comprimeren van activaties bij gebruik van pipeline-parallelisme over knooppunten.

4. Hardwareselectie: Het model evalueert diverse configuraties onder de drempel, waaronder NVIDIA A100 80GB, GH200 en diverse TPU/Ascend-configuraties, met voorkeur voor hardware met een hoge geheugen-tot-computeratio om communicatie-overhead te minimaliseren.

Belangrijkste Bijdragen en Resultaten

1. Haalbaarheid van Omzeiling

De simulatie toont aan dat gedistribueerde training compute op frontier-schaal ($>10^{24}$ FLOPs) kan bereiken met hardwareconfiguraties die onder de voorgestelde regelgevende drempels blijven.

• Kosten van Omzeiling: Het paper schat dat een ontwikkelaar de volgende drempels zou kunnen omzeilen:
  • De drempel van Scher et al. (2025) ($10^{24}$ FLOPs) voor ongeveer $1,6 miljoen.
  • De EU-AI-wetgeving-drempel ($10^{25}$ FLOPs) voor ongeveer $31 miljoen.
  • De Californië SB 53-drempel ($10^{26}$ FLOPs) voor ongeveer $3,8 miljard.
• Aantal Knopen: Het bereiken van het computeniveau van GPT-4 ($10^{25}$ FLOPs) vereist ongeveer 101 knooppunten onder de drempel, terwijl Llama 3.1-405B ($10^{25}$ FLOPs) 625 knooppunten vereist.
• Netwerkbeperkingen: Zelfs met lage bandbreedte (100 Mbps) blijft gedistribueerde training haalbaar. Hoewel de kosten ongeveer 3$\times$ stijgen in vergelijking met gecentraliseerde training, vormt dit geen onoverkomelijke barrière voor vastberade actoren.

2. Hardware- en Architectuur-optimalisatie

De studie identificeert dat de ratio van geheugen tot compute een kritieke factor is voor omzeiling. Knopen met veel geheugen (bijv. 50 $\times$ A100 80GB) staan grotere modellen per knoop toe, wat de noodzaak van pipeline-parallelisme en de daarmee gepaard gaande straffen voor activatiecompressie vermindert. De simulator toont aan dat het gebruik van Pipeline-Parallel (PP) DiLoCo noodzakelijk wordt op zeer grote schaal om modellen in het geheugen te passen, hoewel dit efficiëntiestrafen introduceert.

3. Evaluatie van Tegenmaatregelen

Het paper beoordeelt diverse tegenmaatregelen om omzeiling te detecteren of te voorkomen:

• Ondoeltreffende Maatregelen:
  • Bandbreedtedekkels: Wereldwijd afdwingen is onhaalbaar; de kosten van high-speed internet zijn verwaarloosbaar in vergelijking met hardwarekosten.
  • Monitoring van Internetverkeer: DiLoCo-verkeer is laagvolume (<40 Mbps) en kan eenvoudig worden vermomd via jitter, variabele-rate streaming en VPN's.
• Doeltreffende Maatregelen:
  • Chip-tracking en Registers: Verplichte rapportage van chipbezit en -overdracht. Aangezien gedistribueerde training meer totale hardware vereist dan gecentraliseerde training om dezelfde compute te bereiken, maakt een register dat een groot deel van de chips bijhoudt omzeiling moeilijk.
  • Whistleblowerprogramma's: Gedistribueerde operaties vereisen aanzienlijk grotere werknemers voor inkoop, installatie en onderhoud op honderden locaties, wat het "aanvalsoppervlak" voor interne meldingen vergroot.
  • Geheugendrempels: Het paper stelt voor de definitie van clusters te wijzigen om accelerator-geheugendrempels (bijv. 1.280 GB HBM) toe te voegen naast compute-drempels. Dit dwingt omzeilers om ofwel kleinere modellen te gebruiken (wat leidt tot ernstige overtraining) of modellen over meer knopen te sharden, wat de kosten en operationele complexiteit met ongeveer 50% verhoogt.
  • Uitdaging-inspecties en Inlichtingen: Conventionele financiële en fysieke inspecties blijven levensvatbaar, vooral in combinatie met bovengenoemde technische maatregelen.

Betekenis en Aanspraken

Het paper stelt dat gedistribueerde training fundamenteel huidige voorstellen voor compute-governance ondermijnt die uitsluitend vertrouwen op clustergrootte of compute-throughput-drempels. De auteurs betogen dat zonder specifieke tegenmaatregelen regelgeving een "handhavingskloof" zal creëren waarin frontier-modellen illegaal kunnen worden ontwikkeld.

De betekenis van het werk ligt in:

1. Het Identificeren van de Kwetsbaarheid: Aantonen dat algoritmische vooruitgang (DiLoCo) de statische aannames van huidige governance-frameworks heeft ingehaald.
2. Het Kwantificeren van het Risico: Het leveren van concrete kostenschattingen en hardwareconfiguraties die nodig zijn om specifieke, real-world regelgeving te omzeilen.
3. Het Voorstellen van Robuuste Oplossingen: Betogen dat een combinatie van chipregisters, geheugen-gebaseerde drempels en whistleblowerprogramma's noodzakelijk is om de kous te dichten. De auteurs benadrukken dat hoewel geen enkele maatregel perfect is, hun combinatie de kosten en complexiteit van omzeiling verhoogt tot een niveau dat monitorbaarheid herstelt.

Het paper concludeert dat hoewel de verhoogde kosten van gedistribueerde omzeiling momenteel "economisch onaanvaardbaar" zijn, ze acceptabel kunnen worden als regelgevende knelpunten verscherpen. Daarom moeten governance-standaarden direct worden ontworpen om robuust te zijn tegen dergelijke omzeiling, in plaats van te wachten tot de bedreiging volledig is verwezenlijkt.