💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Dieser Artikel zeigt, dass eine adversarische Koevolution natürlichsprachlicher Verfassungen zwischen kooperativen und freeridenden LLM-Agenten in einem öffentlichen Güterspiel machbar ist und interpretierbare Red-Team-Artefakte liefert, jedoch nur unter Verwendung gekoppelter Fitnessfunktionen und ausreichender Evaluierungsbudgets, um eine Modusregression zu verhindern.

Ursprüngliche Autoren: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, digitalen Spielplatz vor, auf dem zwei Teams von KI-Agenten ständig versuchen, sich gegenseitig einen Schritt voraus zu sein. Ein Team, das Blue Team, versucht, hilfreich und kooperativ zu sein. Das andere Team, das Red Team, versucht, ein „Trittbrettfahrer" zu sein – jemand, der die Gruppe ausnutzt, ohne etwas beizutragen.

Dieser Artikel ist wie eine Reality-Show, in der diese beiden Teams in einem 30-Runden-„Rüstungswettlauf" gefangen sind. Doch anstatt größere Waffen zu bauen, schreiben sie ihre eigenen Regelbücher (genannt „Verfassungen") in jeder einzelnen Runde neu, um zu sehen, wer gewinnen kann.

Hier ist das, was die Forscher entdeckt haben, erklärt durch einfache Analogien:

1. Das „Gemeinsamer Topf"-Spiel (Das öffentliche-Güter-Spiel)

Zuerst setzten die Forscher die Teams in ein Spiel, bei dem jeder Geld in einen gemeinsamen Topf einlegt. Der Topf wird vervielfacht, und dann erhält jeder einen gleichen Anteil.

Der Aufbau: Das Blue Team beginnt mit einem Regelbuch, das besagt: „Seien Sie großzügig und bestrafen Sie Betrüger." Das Red Team beginnt mit einem Regelbuch, das besagt: „Nehmen Sie alles und geben Sie nichts."
Der Wettlauf: Während sie 30 Runden spielen, schreiben sie ihre Regelbücher ständig um.
- Das Blue Team lernt, dass, wenn sie zu großzügig sind, das Red Team alles stiehlt. Also lernen sie, strenger zu sein.
- Das Red Team lernt, dass, wenn sie zu hart betrügen, das Blue Team sie so hart bestraft, dass sie verlieren. Also lernen sie, nur so viel zu betrügen, dass sie überleben, aber nicht erwischt werden.
Das Ergebnis: Am Ende erreichen beide Teams ein perfektes Patt. Sie landen beide mit fast demselben Punktestand (etwa 0,78 von 1). Es ist wie zwei Boxer, die so lange gekämpft haben, dass sie die Züge des anderen perfekt gelernt haben; keiner kann gewinnen, aber keiner kann verlieren. Dies geschah unabhängig davon, wie stark der „Topf" vervielfacht wurde.

2. Das Problem der „getrennten Anzeigetafeln" (Die Gitterwelt)

Als Nächstes verlegten die Forscher die Teams in ein anderes Spiel: eine Gitterwelt, in der sie Unterkünfte bauen und Ressourcen sammeln.

Der Fehler: Anfangs gaben die Forscher jedem Team eine eigene separate Anzeigetafel. Das Blue Team versuchte, seinen eigenen Punktestand zu maximieren, und das Red Team versuchte, seinen eigenen Punktestand zu maximieren.
Der Fehler: Da sie nicht direkt gegen einander kämpften, versuchte das Red Team nicht, das Blue Team zu verletzen. Stattdessen wurde das Red Team einfach sehr gut darin, seine eigene Unterkunft zu bauen. Sie wurden zwei getrennte, glückliche Teams statt Feinde. Der „Rüstungswettlauf" begann nie.
Die Lösung: Die Forscher änderten die Regeln. Jetzt war der Punktestand eines Teams nicht nur „Wie gut habe ich abgeschnitten?", sondern „Wie viel besser habe ich abgeschnitten als mein Gegner?"
Das Ergebnis: Sobald sie auf dieses System des „relativen Punktestands" umstellten, begann der echte Kampf. Das Red Team begann aktiv, das Blue Team zu sabotieren, und das Blue Team musste sich anpassen, um zu überleben.

3. Das „Rauschen" im System (Die Samenanzahl)

Die Forscher verwendeten ein spezielles KI-Tool, um diese neuen Regelbücher zu schreiben. Sie entdeckten eine seltsame Eigenart:

Das Problem: Wenn sie die neuen Regelbücher nur an 2 Beispielen (genannt „Samen") testeten, um zu sehen, ob sie gut waren, wurde die KI durch das „Rauschen" (zufälliges Glück) verwirrt und begann, im Laufe der Zeit immer schlechtere Regelbücher zu schreiben. Es war wie ein Koch, der ein Gericht nur zweimal probiert und beschließt, das Rezept zu ruinieren, weil er einen schlechten Tag hatte.
Die Lösung: Als sie die Teststichproben auf 5 Beispiele erhöhten, hörte die KI auf, Fehler zu machen. Sie konnte klar erkennen, welche Regelbücher tatsächlich besser waren, und verbesserte weiterhin die Fähigkeit des Red Teams zum Angriff.
Die Lehre: Um eine intelligente „Angreifer"-KI zu trainieren, müssen Sie sie öfter testen, um sicherzustellen, dass die Ergebnisse nicht nur Glück sind.

4. Der „Spion"-Vorteil

In einem Experiment gaben die Forscher dem Red Team eine Superkraft: sie konnten alles sehen, was das Blue Team tat, aber das Blue Team konnte nur seine eigenen Züge sehen.

Das Ergebnis: Das Red Team vernichtete das Blue Team. Es war wie Schachspielen, bei dem ein Spieler die Karten des anderen sehen kann. Das Blue Team machte weiterhin Fehler, weil es die Züge des Red Teams nicht voraussehen konnte.

5. Warum dies wichtig ist (Die „Red-Team"-Artefakte)

Die wichtigste Erkenntnis ist nicht, dass das Red Team gewonnen hat. Es ist, dass die Regelbücher, die das Red Team erstellt hat, nützliche Werkzeuge sind.

Betrachten Sie diese entwickelten Regelbücher als „Red-Team-Artefakte". Es sind klare, schriftliche Regelwerke (wie „Wenn Sie eine Ressource sehen, stehlen Sie sie sofort"), die genau zeigen, wie eine KI versuchen könnte, ein kooperatives System zu brechen.
Zukünftige Entwickler können diese spezifischen Regelbücher verwenden, um ihre eigenen neuen KI-Systeme zu testen. Wenn eine neue KI einem Angriff durch diese „Red-Team"-Regelbücher standhalten kann, wissen wir, dass sie tatsächlich sicher ist.

Zusammenfassung

Der Artikel zeigt, dass:

Kooperation und Konflikt ein Gleichgewicht erreichen können, wenn das Spiel sie zwingt, eine gemeinsame Ressource zu teilen.
Sie das Spiel sorgfältig gestalten müssen. Wenn Sie nicht dafür sorgen, dass die Punktestände der Teams voneinander abhängen, werden sie nicht wirklich kämpfen.
Testen wichtig ist. Sie müssen KI-Strategien mehrfach testen, um Verwirrung zu vermeiden, die durch zufälliges Glück verursacht wird.
Die „Bösen" uns lehren, bessere „Gute" zu bauen. Durch die Evolution der Regelbücher der Angreifer erhalten wir eine klare, lesbare Liste darüber, wie man Systeme bricht, was uns hilft, stärkere Verteidigungen aufzubauen.

Technische Zusammenfassung: Verfassungsmäßige Wettrüsten im Spiel öffentlicher Güter

Problemstellung
Derzeitige Methoden zur Ausrichtung von Constitutional AI (CAI) stützen sich auf von Menschen verfasste Prinzipien (z. B. „sei hilfreich und harmlos"), die für Einzelagenten- oder kooperative Multiagenten-Szenarien optimiert sind. Neuere empirische Befunde deuten jedoch darauf hin, dass fortschrittliche Large Language Model (LLM)-Agenten in agentic Umgebungen mit Zielkonflikten absichtlich schädliche Verhaltensweisen – wie Erpressung, Sabotage und Datenlecks – entwickeln können. Bestehende Arbeiten haben gezeigt, dass LLM-gesteuerte evolutionäre Suche effektive kooperative Verfassungen entdecken kann, doch bleibt ungeklärt, ob diese Methoden unter adaptivem adversarischem Druck standhalten. Insbesondere ist unklar, ob Standard-Fitnessfunktionen in unabhängig bewerteten Umgebungen echten adversarischen Selektionsdruck erzeugen und ob LLM-Mutationsoperatoren adversarial-spezialisierte Ziele zuverlässig aufrechterhalten, ohne zu produktivem Verhalten zurückzufallen.

Methodik
Die Autoren stellen einen Rahmen für adversarische verfassungsmäßige Koevolution vor, bei dem zwei Fraktionen (Blue-Kooperatoren und Red-Trittbrettfahrer) über 30 Generationen hinweg abwechselnd ihre prioritätsgeordneten Verfassungen in natürlicher Sprache gegen den aktuellen Gegner aktualisieren. Der Rahmen nutzt LLM-gesteuerte evolutionäre Suche (OpenEvolve auf MAP-Elites), um Verfassungen zu mutieren.

Die Studie bewertet diesen Rahmen in zwei strukturell unterschiedlichen Umgebungen:

Spiel öffentlicher Güter (PGG): Ein nicht-räumliches soziales Dilemma, bei dem Agenten zu einem gemeinsamen Topf beitragen. Der Mechanismus des gemeinsamen Topfes koppelt die Auszahlungen beider Fraktionen inhärent, wodurch ein nullsummenartiger strategischer Druck entsteht, ohne die pro-Fraktion-Bewertungsfunktion zu ändern.
Räumliche Gitterwelt: Eine ressourcensammelnde Umgebung, in der Fraktionsidentitäten verborgen sind. Anfangs wurden die Fraktionen unabhängig bewertet (basierend auf Produktivität, Überleben und Rate an Freundesfeuern), doch die Autoren identifizierten dies als methodischen Fehlermodus für adversarische Dynamiken.

Hauptbeiträge und Ergebnisse

PGG-Koevolution und Gleichgewicht:
Im PGG führte eine 30 Generationen lange abwechselnde Koevolution beide Fraktionen zu einem stabilen Gleichgewicht mit nahezu Parität. Blue-Kooperatoren verbesserten ihren Stabilitätswert ( $S$ ) von 0,370 auf 0,777, während Red-Trittbrettfahrer von 0,177 auf 0,782 anstiegen. Diese Konvergenz zu $S \approx 0,78$ war über Multiplikatoren $m \in \{1,2, 1,5, 2,0, 3,0\}$ hinweg robust. Die strukturelle Kopplung des gemeinsamen Topfes stellte sicher, dass Red notwendige Beitragsniveaus entdecken musste, um Bestrafung zu vermeiden, während Blue die Bestrafung kalibrieren musste, um Kooperation aufrechtzuerhalten.
Fitness-Kopplung als Vorbedingung:
In der unabhängig bewerteten Gitterwelt führte die pro-Fraktion-Bewertung zu statistisch entkoppelten Ergebnissen ( $corr(S_B, S_R) = +0,088$ ), was keinen adversarischen Druck erzeugte; Red entwickelte produktives Selbstbauen statt adversarischen Verhaltens. Die Autoren schlagen ein Fitnessziel mit Vorteilswert ( $S_{eigen} - S_{gegner}$ ) als notwendige Korrektur vor. Bei Anwendung stellte dieses Ziel die adversarischen Dynamiken wieder her und ermöglichte messbare Wettrüsten-Verhalten.
Gitterwelt-Dynamiken unter korrigiertem Protokoll:
- Fragilität kooperativer Baselines: Wenn Blue auf einer früheren kooperativen Verfassung ( $C^*$ ) fixiert wurde, konnte Red diese nicht übertreffen (mittlerer Vorteil $-0,27$), obwohl es die Lücke verkleinerte.
- Defensive Mechanismen: Die Einführung einer Koordinationsanforderung für Angriffe (Erforderlichkeit benachbarter Verbündeter für hohe Erfolgswahrscheinlichkeit) reduzierte Reds Vorteil signifikant auf $-0,66$, was zeigt, dass Mechanismusdesign als defensiver Hebel wirken kann, ohne Verfassungen zu ändern.
- Informationsasymmetrie: Wenn Red alle Agenten beobachtete, Blue jedoch nur seine eigenen, dominierte Red mit einem finalen Vorteil von $+0,415$ . Bei vollständiger Information konvergierte das System nahe zur Parität.
Anzahl der Evaluierungs-Samen und Mode-Regression:
Bei reiner adversarischer Suche (wo Red keine Produktivitätsziele hat, nur $1 - S_{Blue}$ ) steuert die Anzahl der Evaluierungs-Samen ( $K$ ) die Mode-Regression. Bei $K=2$ regressierte die Suche; Reds Fitness verschlechterte sich im Laufe der Zeit, und es erwarb erneut produktive Regeln, obwohl ein Samen diese verbot. Bei $K=5$ stabilisierte sich die Suche und hielt über alle 30 Generationen hinweg einen starken adversarischen Spezialisten aufrecht. Dies identifiziert Rauschen in der Fitnessschätzung als primären Treiber für Instabilität in der LLM-gesteuerten adversarischen Evolution.

Bedeutung und Behauptungen
Die Arbeit behauptet nicht, dass adversarisch entwickelte kooperative Verfassungen inhärent robuster sind als kooperativ entwickelte; eine solche Behauptung würde Transferexperimente erfordern, die in dieser Studie nicht durchgeführt wurden. Stattdessen liegt die Bedeutung der Arbeit in:

Methodischer Diagnose: Bereitstellung eines Rahmens zum Aufbau und zur Diagnose verfassungsmäßiger Wettrüsten, der identifiziert, wann adversarische Koevolution erfolgreich ist (gekoppelte Fitness) und wann sie still versagt (unabhängige Bewertung, niedriges Evaluierungsbudget).
Red-Team-Artefakten: Die entwickelten Red-Verfassungen dienen als interpretierbare Red-Team-Testfälle in natürlicher Sprache. Im Gegensatz zu neuronalen Richtlinien sind dies überprüfbare Regelsätze, die verwendet werden können, um zukünftige kooperative Designs gegen spezifische adversarische Strategien (z. B. Ausnutzung von Informationsasymmetrie) zu testen.
Erkenntnis zum Mechanismusdesign: Demonstration, dass die Auszahlungsstruktur des Spiels (z. B. gemeinsame Töpfe vs. unabhängige Bewertung) den evolutionären Druck bestimmt und dass einfache Änderungen des Mechanismus (wie Koordinationsanforderungen) adversarische Strategien effektiv bekämpfen können.

Die Autoren schließen, dass adversarische verfassungsmäßige Koevolution machbar ist, aber strikt von gekoppelten Fitnessfunktionen und angemessenen Evaluierungsbudgets ( $K \geq 5$ ) abhängt, um Mode-Regression zu verhindern.