Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Technische Zusammenfassung: „Sind wir zu einem KI-Wettlauf verdammt? Warum Eigeninteresse Länder zu einem Moratorium für Superintelligenz treiben könnte"

Problembeschreibung
Die vorherrschende Ansicht in der Debatte um Künstliche Superintelligenz (ASI) besagt, dass ein globales Moratorium für deren Entwicklung aufgrund strategischer Anreize undurchführbar ist. Kritiker argumentieren, dass selbst wenn gegenseitige Zurückhaltung kollektiv optimal wäre, einzelne Staaten eine dominante Strategie besitzen, von dieser abzuweichen und den Wettlauf um die geopolitische Vorherrschaft fortzusetzen. Diese Dynamik eines „Wettlaufs nach unten" legt nahe, dass die Angst, den Anschluss zu verlieren (der „Narrenlohn"), das gemeinsame Risiko eines katastrophalen Kontrollverlusts überwiegt, wodurch ein Moratorium dem Eigeninteresse eines Staates widerspricht. Dieser Beitrag stellt diese Annahme in Frage und untersucht, ob ein Moratorium jemals eine rationale, eigeninteressierte Strategie für geopolitische Supermächte sein kann.

Methodik
Die Autoren verwenden einen formalen spieltheoretischen Rahmen, um die strategische Interaktion zwischen zwei geopolitischen Supermächten (einem „Führer" und einem „Nachzügler") zu modellieren. Das Modell operationalisiert die Entscheidung, entweder zu „Wettlaufen" (Entwicklung mit Standard-Sicherheitsmaßnahmen fortzusetzen) oder zu „Pausieren" (ein Moratorium zur Maximierung der Sicherheit auferlegen).

Das Modell wird durch vier Schlüsselvariablen definiert:

1. Fähigkeitslücke ($\Delta$): Der relative Vorteil, den ein Spieler bei der Entwicklung von ASI besitzt, aggregiert Faktoren wie Rechenleistung und Forschungsfortschritt.
2. Vorteil des Gewinners ($W$): Der Wert des First-Mover-Vorteils, der von 0 (kooperativ) bis 1 (Gewinner nimmt alles) reicht und die geopolitische Unterordnung des Verlierers erfasst.
3. Kosten unkontrollierter ASI ($C$): Der Nutzenverlust, der aus einem Kontrollverlust resultiert, normalisiert relativ zum Nutzen eines sicheren Gewinns (auf 1 normalisiert). Entscheidend ist, dass das Modell $C > 1$ zulässt, was Szenarien widerspiegelt, in denen der Zusammenbruch der Zivilisation jeden strategischen Gewinn überwiegt.
4. Technologische Unsicherheit ($\sigma$): Die epistemische Unsicherheit hinsichtlich der Möglichkeit und des Zeitplans der ASI-Entwicklung.

Die politische Wahl ist binär: Pause ($s=1$, maximale Sicherheit) oder Wettlauf ($s=0,85$, repräsentiert ein 15-prozentiges katastrophales Risiko basierend auf Expertenbefragungen). Die Analyse identifiziert Nash-Gleichgewichte, indem sie die „katastrophalen Kosten" ($C$) gegen die „Fähigkeitslücke" ($\Delta$) abbildet, um zu bestimmen, unter welchen Bedingungen eine Pause die rationale beste Antwort für einen Staat wird.

Hauptbeiträge

1. Formalisierung des Moratoriums als eigeninteressierte Strategie: Im Gegensatz zu früheren Modellen, die den Wettlauf oft als Gefangenendilemma behandeln, bei dem Abweichen dominant ist, zeigt dieser Beitrag, dass unter spezifischen Parameterbedingungen ein Moratorium nicht nur ein kooperatives Ideal, sondern eine durch Eigeninteresse getriebene rationale Strategie ist.
2. Identifizierung von vier strategischen Welten: Durch Variation der Kosten einer Katastrophe relativ zur Fähigkeitslücke und zum Vorteil des Gewinners grenzen die Autoren vier unterschiedliche strategische Umgebungen ab:
   • Sichere Harmonie: Beide Staaten finden es rational zu pausieren, da die Kosten einer Katastrophe so hoch sind, dass ein Wettlauf keinen marginalen Gewinn bietet.
   • Präemption: Das eindeutige stabile Ergebnis ist ein Wettlauf. Die Angst vor dem First-Mover-Vorteil des Rivalen überwiegt die Angst vor einer Katastrophe, insbesondere wenn die Staaten nahe an der Parität sind.
   • Vertrauen: Ein Koordinierungsspiel, bei dem beide eine gegenseitige Pause bevorzugen, aber Angst haben, ausgenutzt zu werden, wenn der Rival wettläuft.
   • Subversion: Eine asymmetrische Welt, in der der Führer rational wählt, zu pausieren (aufgrund der hohen Wahrscheinlichkeit des Gewinns und der Angst vor einer Katastrophe), während der Nachzügler wettläuft, um die Lücke zu schließen.
3. Quantifizierung von Schwellenwerten: Das Modell quantifiziert die spezifischen „Kostenschwellen", bei denen sich der strategische Raum vom Wettlauf zur Pause verschiebt. Es zeigt, dass sich die rationale Strategie mit steigenden wahrgenommenen Kosten des Kontrollverlusts ($C$) relativ zum Vorteil des Gewinners ($W$) und der Unsicherheit ($\sigma$) hin zu einem Moratorium verschiebt.

Ergebnisse
Die Analyse zeigt, dass die Durchführbarkeit eines Moratoriums nicht statisch ist, sondern vom Zusammenspiel der Variablen abhängt:

• Die Rolle der katastrophalen Kosten: Wenn die wahrgenommenen Kosten einer unkontrollierten ASI die erwarteten Vorteile der geopolitischen Vorherrschaft übersteigen, wird ein stabiles Moratorium zu einer eigeninteressierten Wahl.
• Auswirkung der Unsicherheit: Moderate technologische Unsicherheit ($\sigma$) erweitert den strategischen Raum für ein Moratorium. Wenn Staaten unsicher über die Möglichkeit sind, den Wettlauf zu gewinnen, nimmt der Anreiz ab, Abkürzungen zu nehmen, was eine Pause rationaler macht.
• Auswirkung des Vorteils des Gewinners: Eine Verringerung des Vorteils des Gewinners ($W$) senkt die Schwelle für die Kosten des Kontrollverlusts, die erforderlich sind, um ein Moratorium rational zu machen.
• Empirische Entwicklung: Der Beitrag präsentiert empirische Belege, die darauf hindeuten, dass die globale Wahrnehmung des ASI-Risikos steigt. Unter Berufung auf Expertenerklärungen (z. B. der Offene Brief von 2023, die Bletchley-Erklärung), öffentliche Meinungsumfragen (z. B. Reuters/Ipsos) und die Einrichtung von KI-Sicherheitsinstituten argumentieren die Autoren, dass die wahrgenommenen Kosten des Kontrollverlusts ($C$) steigen. Diese Verschiebung deutet darauf hin, dass die Bedingungen, unter denen ein Moratorium im Eigeninteresse eines Staates liegt, im aktuellen geopolitischen Umfeld plausibler werden.

Bedeutung und Behauptungen
Der Beitrag behauptet, die Annahme zu widerlegen, dass ein Moratorium dem Eigeninteresse eines Staates inhärent widerspricht. Er argumentiert, dass der „Wettlauf" kein unvermeidbares Ergebnis rationalen staatlichen Verhaltens ist, sondern ein kontingentes Ergebnis spezifischer Parameterwerte – insbesondere eines geringen wahrgenommenen Kosten einer Katastrophe im Verhältnis zu den Vorteilen der Vorherrschaft.

Die Autoren kommen bescheiden zu dem Schluss, dass, obwohl die aktuelle geopolitische Realität noch von wettbewerbsorientierten Dynamiken dominiert wird, der strategische Raum für ein stabiles, rationales Moratorium sich erweitert. Sie gehen davon aus, dass mit wachsendem wissenschaftlichem Konsens über Kontrollprobleme und steigender wahrgenommener Schwere katastrophaler Ergebnisse die Bedingungen, unter denen ein Moratorium zur dominanten Strategie eigeninteressierter Staaten wird, „näher sind als allgemein angenommen". Der Beitrag behauptet nicht, dass ein Moratorium garantiert ist, sondern dass es unter sich wandelnden Bedingungen eine gangbare, rationale Option ist, was die fatalistische Sichtweise herausfordert, ein KI-Wettlauf sei unvermeidlich.