🤖 AI

Does Distributed Training Undermine Compute Governance?

Dieser Artikel argumentiert, dass Fortschritte bei verteilten Trainingsalgorithmen es Entwicklern ermöglichen könnten, Vorschriften zur Rechenleistungsgovernance durch den Einsatz dezentraler Hardwareagglomerationen zu umgehen, was neue Gegenmaßnahmen wie Chip-Tracking, forensische Buchhaltung und erhöhte Überwachungsschwellenwerte zur Aufdeckung und Verhinderung illegaler Operationen erforderlich macht.

Ursprüngliche Autoren: Robi Rahman

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Robi Rahman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, die leistungsstärksten KI-Modelle der Welt seien wie riesige, hochmoderne Fabriken. Derzeit versuchen Regierungen, diese Fabriken zu regulieren, indem sie Kontrollpunkte einrichten. Die Regel ist einfach: „Wenn Sie eine Fabrik bauen, die größer als eine bestimmte Größe ist (gemessen an ihrer Rechenleistung), müssen Sie sie registrieren, uns eine Inspektion ermöglichen und nachweisen, dass Sie sicher sind."

Die Logik dahinter ist, dass große Fabriken schwer zu verstecken sind. Sie verbrauchen enorme Mengen an Strom, nehmen viel Platz ein und erzeugen viel Wärme. Wenn Sie versuchen, eine geheime Superfabrik zu bauen, werden Satelliten und Energieversorger sie wahrscheinlich entdecken.

Das Problem: Die „Lego"-Lücke
Diese Arbeit argumentiert, dass eine neue Technologie namens verteiltes Training das Spiel verändert. Anstatt eine einzige riesige Fabrik zu bauen, könnte ein Entwickler die Arbeit in Tausende winziger, separater Werkstätten aufteilen, die über die ganze Welt verstreut sind.

Stellen Sie es sich so vor:

Der alte Weg: Den Bau eines massiven, 50-stöckigen Wolkenkratzers. Er ist unmöglich zu verstecken; jeder sieht den Baustellenkran und die Stromleitungen.
Der neue Weg: Anstatt eines Wolkenkratzers bauen Sie 1.000 kleine, einstöckige Schuppen in verschiedenen Vierteln. Jeder Schuppen ist klein genug, um den Alarm für „große Gebäude" nicht auszulösen. Aber wenn Sie all diese Schuppen über ein digitales Netzwerk verbinden, können sie zusammenarbeiten, als wären sie ein einziger riesiger Wolkenkratzer.

Die Arbeit behauptet, dass jüngste Fortschritte in der Software (insbesondere Algorithmen wie DiLoCo) es ermöglicht haben, diese winzigen Schuppen über normale Internetverbindungen zu vernetzen. Obwohl das Internet viel langsamer ist als die superschnellen Kabel in einem echten Rechenzentrum, ist die neue Software intelligent genug, um die zwischen den Schuppen gesendeten Daten so stark zu komprimieren, dass das Training dennoch funktioniert.

Die Kernfeststellung: Können sie die Regeln umgehen?
Der Autor führte eine Simulation durch, um zu sehen, ob ein Entwickler eine „Frontier"-KI (eine so intelligente wie die besten derzeit existierenden Modelle) ausschließlich mit diesen kleinen, nicht registrierten Schuppen trainieren könnte.

Die Ergebnisse sind für Regulierungsbehörden alarmierend:

Ja, es ist möglich. Ein Entwickler könnte theoretisch ein Modell trainieren, das so leistungsfähig ist wie der aktuelle Stand der Technik (wie Llama 3.1 oder GPT-4), und dabei nur Hardware-Cluster verwenden, die unter der gesetzlichen Meldegrenze liegen.
Es ist teuer, aber machbar. Um dies zu bewerkstelligen, müssten sie Millionen (oder sogar Milliarden) von Dollar für Hardware ausgeben. Wenn ein Entwickler jedoch entschlossen ist, die Regeln zu umgehen, könnte er bereit sein, diesen Preis zu zahlen.
Die „Geschwindigkeits"-Falle. Die Arbeit geht davon aus, dass der Entwickler etwa zwei Jahre Zeit hat, um das Projekt abzuschließen. Wenn er versucht, schneller zu trainieren, benötigt er mehr Hardware und mehr Personal, was ihn leichter auffindbar macht. Wenn er langsamer trainiert, riskiert er, von neuer Technologie überholt zu werden. Daher zielt er auf einen „Sweet Spot" von etwa zwei Jahren ab, der lang genug ist, um ein leistungsfähiges Modell zu bauen, aber kurz genug, um dem Fortschritt voraus zu bleiben.

Warum ist das ein Problem?
Wenn ein Entwickler seine Operation in Tausenden winziger, nicht registrierter Schuppen verstecken kann, werden die aktuellen Regeln der Regierung nutzlos. Die Regierung wird nicht wissen, dass die Fabrik existiert, weil kein einzelner Schuppen groß genug ist, um einen Alarm auszulösen. Dies bedeutet, dass gefährliche KI-Fähigkeiten im Schatten ohne Sicherheitskontrollen entwickelt werden könnten.

Die vorgeschlagenen Lösungen: Wie man die Lücke schließt
Die Arbeit schlägt vor, dass wir uns nicht mehr nur auf „Größen"-Grenzen verlassen können. Wir brauchen neue Wege, um diese „Lego"-Operationen zu fassen:

Die Steine verfolgen (Chip-Tracking): Anstatt nur zu zählen, wie groß die Fabrik ist, sollte jeder einzelne „Stein" (Computerchip) ab dem Moment seiner Herstellung verfolgt werden. Wenn ein Chip in einem geheimen Schuppen verwendet wird, sollte das Register dies markieren.
Das „Verräter"-System (Hinweisgeber): Der Betrieb von 1.000 Schuppen erfordert ein riesiges Team von Personen, die sie installieren und warten. Die Arbeit schlägt vor, dass je mehr Menschen Sie benötigen, desto höher die Wahrscheinlichkeit ist, dass jemand spricht. Die Auslobung von Belohnungen für Insider, die geheime Operationen melden, könnte sehr effektiv sein.
Die Lagerregale prüfen (Speichergrenzen): Derzeit prüfen Regeln nur, wie schnell die Chips sind. Aber einige Chips haben im Verhältnis zu ihrer Geschwindigkeit einen riesigen Speicher (Arbeitsspeicher). Die Arbeit schlägt eine Regel vor: „Wenn Ihr Schuppen mehr Speicher als 16 Standardchips hat, müssen Sie ihn registrieren", selbst wenn die Geschwindigkeit niedrig ist. Dies zwingt den Entwickler, mehr Schuppen zu verwenden, um die gleiche Arbeit zu erledigen, wodurch die Operation größer, teurer und leichter zu fassen wird.
Überraschungsinspektionen: Genau wie Atominspektoren sollten Regierungen das Recht haben, unvermittelt an verdächtigen Orten aufzutauchen, um zu prüfen, ob sie Teil eines größeren Netzwerks sind.

Das Fazit
Die Arbeit kommt zu dem Schluss, dass zwar verteiltes Training die Regulierung von KI erschwert, es sie aber nicht unmöglich macht. Die „Lücke" existiert, ist aber kein Zaubertrick. Sie erfordert viel Geld, viele Menschen und viel Koordination. Durch die Kombination von Chip-Tracking, Speichergrenzen und menschlicher Intelligenz (Hinweisgeber) können Regulierungsbehörden diese versteckten Operationen weiterhin beleuchten und die KI-Entwicklung sicher halten.

Technische Zusammenfassung: Untergräbt verteiltes Training die Rechen-Governance?

Problemstellung

Aktuelle und vorgeschlagene Rahmenwerke für die Rechen-Governance (z. B. US-Executive Order 14110, EU-KI-Gesetz, Kalifornien SB 53 und der Vorschlag von Scher et al. 2025) basieren auf der Annahme, dass das Training von KI-Grenzmodellen große, zentralisierte Rechenzentrums-Cluster erfordert. Diese Vorschriften schreiben typischerweise Meldepflichten und Überwachung für Cluster vor, die bestimmte Rechengrenzwerte (z. B. $10^{24}$ bis $10^{26}$ FLOPs) oder Hardware-Konfigurationen (z. B. Cluster größer als 16 H100-Äquivalente) überschreiten.

Das Kernproblem besteht darin, dass neuere Fortschritte bei Algorithmen für verteiltes Training, insbesondere die Familie DiLoCo (Distributed Low-Communication), Entwicklern ermöglichen könnten, diese Vorschriften zu umgehen. Indem ein Training auf Grenzmaßstab auf Tausende kleinerer, geografisch verteilter Knoten aufgeteilt wird – wobei jeder einzelne unter den regulatorischen Meldegrenzwerten bleibt –, könnten Entwickler theoretisch groß angelegtes Training durchführen, ohne dass Erkennungsmechanismen basierend auf Stromverbrauch, physischem Fußabdruck oder Clustergröße ausgelöst werden. Diese Arbeit untersucht, ob eine solche „illegale verteilte Training" unter strengen Bedingungen (Internet für Endverbraucher, Hardware unterhalb der Schwellenwerte) machbar ist, und bewertet die Wirksamkeit aktueller und vorgeschlagener Gegenmaßnahmen.

Methodik

Die Autoren entwickelten ein umfassendes Effizienzmodell und einen interaktiven Simulator, um die Machbarkeit der Umgehung durch verteiltes Training zu bewerten. Die Methodik umfasst:

Bedrohungsmodell: Die Simulation geht von einem gut ausgestatteten Entwickler aus, der unter restriktiven Bedingungen Modelle trainiert, die mit Llama 3.1-405B oder DeepSeek-V3 vergleichbar sind:
- Hardware: Knoten beschränkt auf $\le$ 16 H100-Äquivalente (der von Scher et al., 2025 vorgeschlagene Schwellenwert).
- Netzwerk: Internet für Endverbraucher mit 100 Mbps Bandbreite und 100 ms Latenz (um Größenordnungen langsamer als Rechenzentrum-Interconnects).
- Zeit: Eine maximale Trainingsdauer von zwei Jahren (740 Tage), abgeleitet aus Wachstumsannahmen in einem restriktiven Governance-Szenario.
- Erkennung: Die Aufsichtsbehörde überwacht aktiv Stromverbrauch, Wärmeentwicklung, Satellitenbilder und Netzwerkverkehr.
Effizienzkennzahlen: Der Simulator berechnet zwei Hauptkennzahlen:
- Lokales Äquivalent-Rechenleistung ( $C_{local}$ ): Die nominale Rechenleistung, angepasst um Ineffizienzen durch Verteilung ( $\eta$ ).
- Qualitätsbereinigte Rechenleistung ( $C_{quality}$ ): $C_{local}$ , weiter angepasst um einen Chinchilla-optimalen Strafzuschlag ( $\chi$ ), um suboptimale Modellgrößen aufgrund von Speicherbeschränkungen und Übertraining zu berücksichtigen.
Ineffizienzfaktoren ( $\eta$ ): Das Modell berücksichtigt vier spezifische Strafzuschläge, die inhärent für verteiltes Training sind:
- Synchronisationsintervall-Strafe ( $\eta_H$ ): Verlust durch Repliken, die lokale Schritte ( $H$ ) ausführen, bevor sie synchronisieren, was zu Gradienten-Drift führt.
- Kompressionsqualität ( $\eta_{comp}$ ): Verlust durch Komprimierung von Gradienten zur Bandbreiteneinsparung (modelliert bei 150-facher Kompression basierend auf Covenant-72B-Ergebnissen).
- Repliken-Divergenz ( $\eta_{rep}$ ): Verlust durch Mittelung von Gradienten über Repliken, die auf verschiedenen Daten-Teilmengen trainiert wurden.
- Aktivierungsqualitäts-Strafe ( $\eta_{act}$ ): Verlust durch Komprimierung von Aktivierungen bei Verwendung von Pipeline-Parallelität über Knoten hinweg.
Hardware-Auswahl: Das Modell bewertet verschiedene Konfigurationen unterhalb der Schwellenwerte, einschließlich NVIDIA A100 80GB, GH200 und verschiedener TPU/Ascend-Konfigurationen, wobei Hardware mit einem hohen Verhältnis von Speicher zu Rechenleistung bevorzugt wird, um Kommunikations-Overhead zu minimieren.

Wichtige Beiträge und Ergebnisse

1. Machbarkeit der Umgehung

Die Simulation zeigt, dass verteiltes Training Rechenleistung auf Grenzmaßstab ( $>10^{24}$ FLOPs) mit Hardware-Konfigurationen erreichen kann, die unter den vorgeschlagenen regulatorischen Schwellenwerten bleiben.

Kosten der Umgehung: Die Arbeit schätzt, dass ein Entwickler folgende Schwellenwerte umgehen könnte:
- Den Schwellenwert von Scher et al. (2025) ( $10^{24}$ FLOPs) für etwa 1,6 Millionen US-Dollar.
- Den Schwellenwert des EU-KI-Gesetzes ( $10^{25}$ FLOPs) für etwa 31 Millionen US-Dollar.
- Den Schwellenwert von Kalifornien SB 53 ( $10^{26}$ FLOPs) für etwa 3,8 Milliarden US-Dollar.
Anzahl der Knoten: Um das Rechenleistungsniveau von GPT-4 ( $10^{25}$ FLOPs) zu erreichen, sind etwa 101 Knoten unterhalb der Schwelle erforderlich, während Llama 3.1-405B ( $10^{25}$ FLOPs) 625 Knoten erfordert.
Netzwerkeinschränkungen: Selbst bei geringer Bandbreite (100 Mbps) bleibt verteiltes Training machbar. Zwar steigen die Kosten im Vergleich zum zentralisierten Training um das Dreifache, doch stellt dies für entschlossene Akteure kein unüberwindbares Hindernis dar.

2. Hardware- und Architektur-Optimierung

Die Studie identifiziert, dass das Verhältnis von Speicher zu Rechenleistung ein kritischer Faktor für die Umgehung ist. Knoten mit hohem Speicher (z. B. 50 $\times$ A100 80GB) ermöglichen größere Modelle pro Knoten, was den Bedarf an Pipeline-Parallelität und die damit verbundenen Aktivierungskompressions-Strafen reduziert. Der Simulator zeigt, dass die Verwendung von Pipeline-Parallel (PP) DiLoCo bei sehr großen Maßstäben notwendig wird, um Modelle in den Speicher zu bringen, obwohl dies Effizienzverluste mit sich bringt.

3. Bewertung von Gegenmaßnahmen

Die Arbeit bewertet verschiedene Gegenmaßnahmen zur Erkennung oder Verhinderung von Umgehungen:

Ineffektive Maßnahmen:
- Bandbreiten-Obergrenzen: Global durchsetzbar nicht machbar; die Kosten für Hochgeschwindigkeitsinternet sind im Vergleich zu Hardware-Kosten vernachlässigbar.
- Überwachung des Internetverkehrs: DiLoCo-Datenverkehr ist volumenarm (<40 Mbps) und lässt sich leicht durch Jitter, Streaming mit variabler Rate und VPNs tarnen.
Effektive Maßnahmen:
- Chip-Tracking und Register: Obligatorische Meldung des Chipbesitzes und -transfers. Da verteiltes Training zur Erreichung derselben Rechenleistung mehr Gesamthardware erfordert als zentralisiertes Training, macht ein Register, das einen hohen Anteil der Chips verfolgt, Umgehungen schwierig.
- Whistleblower-Programme: Verteilte Operationen erfordern deutlich größere Belegschaften für Beschaffung, Installation und Wartung an Hunderten von Standorten, was die „Angriffsfläche" für Insider-Meldungen vergrößert.
- Speicherschwellenwerte: Die Arbeit schlägt vor, die Definition von Clustern zu ändern, um Beschleuniger-Speicherschwellenwerte (z. B. 1.280 GB HBM) zusätzlich zu Rechengrenzwerten einzubeziehen. Dies zwingt Umgehungsversuche entweder zu kleineren Modellen (was zu schwerem Übertraining führt) oder zur Aufteilung von Modellen auf mehr Knoten, was die Kosten und operative Komplexität um etwa 50 % erhöht.
- Herausforderungs-Inspektionen und Geheimdienstinformationen: Herkömmliche finanzielle und physische Inspektionen bleiben machbar, insbesondere in Kombination mit den oben genannten technischen Maßnahmen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass verteiltes Training die aktuellen Vorschläge zur Rechen-Governance, die sich ausschließlich auf Clustergröße oder Rechenleistungsschwellenwerte stützen, fundamental untergräbt. Die Autoren argumentieren, dass ohne spezifische Gegenmaßnahmen Vorschriften eine „Durchsetzungs-Lücke" schaffen werden, in der Grenzmodelle illegal entwickelt werden können.

Die Bedeutung der Arbeit liegt in:

Identifizierung der Schwachstelle: Nachweis, dass algorithmische Fortschritte (DiLoCo) die statischen Annahmen aktueller Governance-Rahmenwerke überholt haben.
Quantifizierung des Risikos: Bereitstellung konkreter Kostenschätzungen und Hardware-Konfigurationen, die erforderlich sind, um spezifische, reale Vorschriften zu umgehen.
Vorschlag robuster Lösungen: Argumentation, dass eine Kombination aus Chip-Registern, speicherbasierten Schwellenwerten und Whistleblower-Programmen notwendig ist, um die Lücke zu schließen. Die Autoren betonen, dass zwar keine einzelne Maßnahme perfekt ist, ihre Kombination jedoch die Kosten und Komplexität der Umgehung auf ein Niveau hebt, das die Überwachbarkeit wiederherstellt.

Die Arbeit schließt, dass die erhöhten Kosten für verteilte Umgehungen derzeit zwar „ökonomisch unakzeptabel" sind, aber akzeptabel werden könnten, wenn regulatorische Engpässe verschärft werden. Daher müssen Governance-Standards so gestaltet werden, dass sie sofort gegen solche Umgehungen robust sind, anstatt zu warten, bis die Bedrohung vollständig realisiert ist.