🤖 AI

Mechanism Design Is Not Enough: Prosocial Agents for Cooperative AI

Dieser Beitrag zeigt, dass alleiniges Mechanismusdesign aufgrund inhärenter Grenzen der Vertragserfüllung nicht ausreicht, um das soziale Wohlergehen in KI-Interaktionen zu maximieren, und argumentiert stattdessen, dass die Ausstattung von LLM-Agenten mit intrinsischer Prosozialität notwendig ist, um überlegene kooperative Ergebnisse zu erzielen.

Ursprüngliche Autoren: Xuanqiang Angelo Huang, Charlie Tharas, Samuele Marro, Van Q. Truong, Bernhard Schölkopf, Emanuele La Malfa, Zhijing Jin

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuanqiang Angelo Huang, Charlie Tharas, Samuele Marro, Van Q. Truong, Bernhard Schölkopf, Emanuele La Malfa, Zhijing Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Regeln allein reichen nicht

Stellen Sie sich vor, Sie versuchen, eine Gruppe von Menschen dazu zu bringen, gemeinsam eine riesige Sandburg zu bauen. Sie denken vielleicht, der beste Weg, um sicherzustellen, dass alle kooperieren, besteht darin, ein sehr strenges Regelwerk (ein „Mechanismus") zu verfassen. Das Regelwerk besagt: „Wenn Sie Sand stehlen, werden Sie bestraft. Wenn Sie beim Bauen helfen, erhalten Sie eine Belohnung."

Dieses Paper argumentiert, dass selbst das beste Regelwerk einen tödlichen Fehler hat. Egal wie clever Sie die Regeln formulieren, es gibt immer Situationen, die Sie nicht vorhersehen oder niederschreiben konnten. Wenn diese „ungeschriebenen" Situationen eintreten, werden egoistische Menschen (oder KI-Agenten) einen Weg finden, das System zu betrügen, und die Sandburg wird am Ende kleiner sein, als sie hätte sein können.

Die Lösung des Papers? Verlassen Sie sich nicht nur auf das Regelwerk. Sie müssen die Arbeiter (die KI-Agenten) so programmieren, dass sie den Erfolg der Gruppe genauso sehr schätzen wie ihren eigenen.

Das Problem: Der „unschreibbare" Vertrag

Die Autoren verwenden ein Konzept aus der Ökonomie, das Theorie unvollständiger Verträge genannt wird.

Die Analogie: Die Fernbedienung
Stellen Sie sich vor, Sie versuchen, eine Fernbedienung zu programmieren, um ein Haus zu steuern. Sie können Anweisungen für „Licht einschalten", „Tür verriegeln" und „Ofen starten" schreiben. Aber was passiert, wenn mitten in der Nacht ein Rohr platzt? Oder wenn ein Baum auf das Dach fällt? Sie können keine spezifische Regel für jede einzelne mögliche Katastrophe aufschreiben, die in der Zukunft passieren könnte.

In der Welt der KI nennt man dies eine „nicht vertraglich fassbare Zelle". Es ist ein Graubereich, in dem die Regeln keinen Unterschied zwischen zwei verschiedenen Situationen erkennen können, obwohl das richtige Vorgehen in jedem Fall ein anderes ist.

Die Behauptung des Papers: Da KI-Agenten normalerweise so programmiert sind, dass sie rein egoistisch handeln (nur auf sich selbst bedacht sind), werden sie, wenn sie auf einen dieser „Graubereiche" stoßen, die Option wählen, die ihnen am meisten nützt, auch wenn dies der Gruppe schadet. Keine Menge an Feinschliff des Regelwerks kann dies beheben, weil das Regelwerk die Unterschiede zwischen den Situationen buchstäblich nicht erkennen kann.

Das Experiment: Zwei Arten von KI

Die Forscher testeten dies mit Large Language Models (LLMs) in zwei Hauptszenarien:

Das „Gefangenendilemma" (TableGames): Zwei KI-Agenten müssen entscheiden, ob sie kooperieren oder sich gegenseitig verraten. Manchmal können sie einen Vertrag (eine Reihe von Regeln) aufsetzen, um Kooperation zu erzwingen.
Die „Allmende" (GovSim): Fünf KI-Agenten fischen in einem gemeinsamen See. Sie müssen entscheiden, wie viele Fische sie fangen, damit der See nicht leer gefischt wird.

Sie testeten drei Bedingungen:

Kein Vertrag: Einfach freier Wettbewerb.
Vertrag in natürlicher Sprache: Die Agenten sprechen und einigen sich auf Regeln, aber es gibt keine Durchsetzung.
Code-Vertrag: Die Agenten einigen sich auf Regeln, und ein Computerprogramm setzt sie strikt durch (wie ein Schiedsrichter).

Die Ergebnisse: Die „Kooperationslücke"

Hier ist, was sie herausfanden:

1. Die Obergrenze der Regeln
Selbst wenn die Agenten einen strikten, computergestützt durchgesetzten Vertrag hatten (den „Code-Vertrag"), schafften sie es in komplexen Situationen immer noch nicht, das perfekte Ergebnis zu erreichen.

Die Metapher: Stellen Sie sich einen Schiedsrichter vor, der sehen kann, wenn Sie aus dem Spielfeld laufen, aber nicht sehen kann, ob Sie den Ball heimlich in der Hosentasche halten, während Sie rennen. Der Schiedsrichter kann Sie dafür bestrafen, dass Sie aus dem Spielfeld laufen, aber er kann Sie nicht daran hindern, in der Hosentasche zu betrügen.
Das Ergebnis: Im „Fischfang"-Spiel fischten egoistische Agenten selbst bei strengen Regeln den See übermäßig aus oder kooperierten nicht vollständig. Es gab eine „Kooperationslücke" – einen Verlust an potenziellem Wohlbefinden und Ressourcen, den die Regeln nicht beheben konnten.

2. Die Kraft der Prosozialität
Dann änderten die Forscher die „Persönlichkeit" der KI. Anstatt ihnen zu sagen „Maximiere deinen eigenen Fischfang", sagten sie ihnen „Maximiere den gesamten Fischfang für die ganze Gruppe".

Die Metapher: Anstatt einen Arbeiter einzustellen, der nur an seine eigene Gehaltsabrechnung denkt, stellen Sie einen Arbeiter ein, der das Team wirklich liebt und möchte, dass das Team gewinnt, auch wenn dies bedeutet, dass er persönlich ein etwas kleineres Stück vom Kuchen bekommt.
Das Ergebnis: Diese „prosozialen" Agenten schlossen die Lücke. Sie erreichten das perfekte Ergebnis sogar in den Situationen, in denen die Regeln versagten. Sie brauchten keinen Schiedsrichter, der sie beobachtet; sie passten aufeinander auf.

Warum dies für die KI-Sicherheit wichtig ist

Das Paper kommt zu dem Schluss, dass wir uns nicht ausschließlich auf externe Regeln (Gesetze, Verträge, Strafen) verlassen können, um KI sicher und kooperativ zu machen.

Die Erkenntnis: Wenn wir wollen, dass KI-Agenten in der realen Welt sicher zusammenarbeiten (wo Dinge chaotisch und unvorhersehbar sind), können wir nicht einfach bessere Regelbücher bauen. Wir müssen Agenten bauen, die inhärent gut sind. Sie müssen so programmiert werden, dass sie sich um das Wohlergehen anderer kümmern, nicht nur um ihre eigene Punktzahl.

Zusammenfassung in einem Satz

Sie können keine Regel für jedes mögliche zukünftige Problem aufschreiben; wenn Sie also wollen, dass KI-Agenten perfekt kooperieren, können Sie ihnen nicht nur ein Regelbuch geben; Sie müssen ihnen ein Herz geben (oder zumindest eine Programmierung, die sie dazu bringt, sich um die Gruppe zu kümmern).

Technische Zusammenfassung: Mechanismusdesign reicht nicht aus: Prosoziale Agenten für kooperatives KI

1. Problemstellung

Da KI-Agenten zunehmend autonom werden, werden sie in gemeinsamen Umgebungen operieren, die Zusammenarbeit erfordern (z. B. Ressourcenallokation, kollaborative Projekte). Eine zentrale Herausforderung der KI-Sicherheit besteht darin, sicherzustellen, dass diese Agenten beim Interagieren mit anderen Parteien vorteilhaft handeln. Während Mechanismusdesign – die Theorie des Entwurfs von Regeln, um individuelle Anreize mit kollektiven Zielen in Einklang zu bringen – auf Multi-Agenten-Systeme angewendet wurde, bleibt die Frage offen, ob es ausreicht, den sozialen Wohlfahrt in komplexen, offenen Umgebungen zu maximieren.

Die Arbeit argumentiert, dass sich allein auf Mechanismusdesign zu verlassen aufgrund der fundamentalen Grenzen der Vertragsunvollständigkeit unzureichend ist. In realen Szenarien ist es unmöglich, Regeln für jede relevante zukünftige Kontingenz zu spezifizieren und durchzusetzen. Wenn Verträge nicht zwischen allen relevanten zukünftigen Zuständen unterscheiden können, entsteht eine „Kooperationslücke", in der eigennützige Agenten keine sozial optimalen Ergebnisse erzielen, unabhängig davon, wie gut das Mechanismusdesign ist.

2. Methodik

Theoretischer Rahmen

Die Autoren formalisieren die Grenzen des Mechanismusdesigns mithilfe der Theorie unvollständiger Verträge (Grossman, Hart und Moore).

Unkontrahierbare Zellen: Sie definieren eine Partition zukünftiger Zustände, bei der ein Mechanismus nicht effizient zwischen Zuständen unterscheiden kann, die unterschiedliche wohlfahrtsmaximierende Aktionen erfordern.
Strenge Unkontrahierbarkeit: Eine Eigenschaft, bei der innerhalb einer Menge von Zuständen (einer Zelle) kein einzelnes Aktionsprofil für alle Zustände erstbestens ist und die wohlfahrtsmaximierende Aktion innerhalb der Zelle variiert.
Die Kooperationslücke: Sie beweisen, dass in Umgebungen, die strenge Unkontrahierbarkeit innerhalb einer Struktur sozialer Dilemmata aufweisen, kein zulässiger Mechanismus den Wohlfahrtsverlust durch eigennütziges Verhalten beseitigen kann. Der erwartete Wohlfahrtsverlust ist strikt positiv ( $\Delta(M) > 0$ ).
Prosoziale Agenten: Sie modellieren Agenten mit $\lambda$ -kooperativen Präferenzen, wobei die Nutzenfunktion eines Agenten einen gewichteten Term für den gesamten sozialen Wohlfahrt enthält: $V_i^\lambda = u_i + \lambda W$ $V_{i}^{λ} = u_{i} + λW$ .
- $\lambda = 0$ : Eigennütziger Agent.
- $\lambda > 0$ : Prosozialer Agent.
- $\lambda \to \infty: Team-Spiel (Maximierung des Gesamtwohlfahrts).

Die Theorie zeigt, dass Mechanismen die Lücke in unkontrahierbaren Regionen nicht schließen können, aber ausreichend prosoziale Agenten (ausreichend großes $\lambda$ ) den Wohlfahrtsterm internalisieren können und effektiv die sozial optimale Aktion wählen, selbst wenn der Mechanismus die Zustände nicht unterscheiden kann.

Experimentelles Setup

Die theoretischen Behauptungen werden empirisch mit Large Language Models (LLMs) in zwei Benchmark-Umgebungen validiert:

TableGames (GT-HarmBench): Erweitert das Gefangenendilemma und das Hirschjagd-Spiel auf ein 4x4 moral hazard-Setting.
- Agenten wählen eine Basisaktion (Kooperieren/Defektieren) und ein nicht beobachtbares Anstrengungsniveau (Hoch/Niedrig).
- Die nicht beobachtbare Anstrengung erzeugt eine unkontrahierbare Zelle, da der Mechanismus nur das Ergebnis, nicht aber die investierte Anstrengung beobachten kann.
GovSimContract: Eine Multi-Agenten-Simulation der Gemeingut-Verwaltung, bei der Agenten aus einem gemeinsamen, regenerierenden Teich fischen.
- Enthält deterministische (bekannte Regenerationsrate) und stochastische (unbekannte, zufällige Regenerationsrate) Regime.
- Stochastische Regeneration führt zu Unkontrahierbarkeit hinsichtlich der zukünftigen Ressourcenverfügbarkeit.

Getestete Bedingungen:

Vertragsregime: Kein Vertrag, Vertrag in natürlicher Sprache (NL) (nicht durchgesetzt) und Code-Vertrag (durch Python-Code durchgesetzt).
Agententypen: Eigennützig ( $\lambda=0$ ) vs. Prosozial ( $\lambda \to \infty$ ).
Modelle: GPT-4o, GPT-5.4, GPT-5.4 Mini, Gemma-4-31B und Grok-4.1-Fast.

3. Hauptbeiträge

Formalisierung der Vertragsunvollständigkeit: Die Arbeit bietet eine Formalisierung der Vertragsunvollständigkeit als Partition über zukünftige Zustände und hebt ihre Relevanz für das algorithmische Mechanismusdesign hervor, bei dem vollständige Kontrahierbarkeit oft angenommen wird.
Beweis der Kooperationslücke: Die Autoren beweisen, dass unter unkontrahierbaren Zellen mit einer Struktur sozialer Dilemmata kein realistischer Mechanismus den Wohlfahrtsverlust durch eigennütziges Verhalten beseitigen kann (Satz 6). Dieser Verlust ist inhärent zur Problemstruktur und nicht ein Mangel eines spezifischen Mechanismus.
Prosozialität als Lösung: Sie zeigen, dass $\lambda$ -kooperative Agenten diese Lücke schließen können. Prosoziale Agenten internalisieren die Kosten des Defektierens für andere und erzielen sozial überlegene Ergebnisse, die in strikten sozialen Dilemmata auch individuell vorteilhaft sind (Satz 9).
Empirische Validierung: Die Arbeit liefert Belege dafür, dass sich die theoretische Kooperationslücke in der Praxis über führende LLMs hinweg manifestiert. Sie zeigt, dass Verträge zwar Kooperation anreizen, Prosozialität jedoch zusätzliche Gewinne liefert, die Verträge allein nicht erreichen können.
Analyse der Vertragsfähigkeit: Die Studie testet die Fähigkeit von LLMs, Verträge zu koordinieren, und stellt fest, dass sie sich zwar gegenüber Baselines verbessern, aktuelle Modelle jedoch immer noch hinter dem theoretisch optimalen Vertrag zurückbleiben, insbesondere in komplexen (4x4) oder stochastischen Umgebungen.

4. Ergebnisse

Die Lücke bleibt bestehen: In 4x4 TableGames (wo Anstrengung unkontrahierbar ist) scheiterten selbst die stärksten „Code-Verträge" daran, die Kooperationslücke zu schließen. Die Lücke betrug etwa 60–68 Prozentpunkte in der Wohlfahrtseffizienz im Vergleich zum sozialen Optimum.
Prosozialität übertrifft Verträge: In unkontrahierbaren Regimen (4x4-Spiele und stochastisches GovSim) erzielten prosoziale Agenten signifikant höhere kollektive Gewinne, Überlebensraten und Ressourcennachhaltigkeit als eigennützige Agenten, unabhängig vom Vertragsregime.
Substitution vs. Komplementarität:
- In kontrahierbaren Umgebungen (z. B. 2x2-Spiele, deterministisches GovSim) wirken Verträge und Prosozialität als Substitute; starke Verträge erfassen den größten Teil des verfügbaren Wohlfahrts.
- In unkontrahierbaren Umgebungen wirken sie als Komplemente; Verträge können die Lücke nicht schließen, und Prosozialität ist erforderlich, um den verlorenen Wohlfahrt wiederzugewinnen.
Modellverhalten:
- Die meisten führenden Modelle (GPT-5.4, GPT-5.4 Mini, Gemma-4, Grok-4.1) zeigten bei Aufforderung zu Eigennutz eine nahezu null implizite Prosozialität ( $\hat{\lambda} \approx 0$ ).
- GPT-4o war ein Ausreißer und zeigte eine nicht-null geschätzte Prosozialität ( $\hat{\lambda} \ge 4.10$ ), hatte jedoch weiterhin Schwierigkeiten mit komplexer Vertragserstellung.
- LLMs entwarfen oft suboptimale Verträge (z. B. übermäßig vorsichtige Obergrenzen im deterministischen GovSim) oder scheiterten daran, ineffiziente Verträge neu zu verhandeln.

5. Bedeutung und Implikationen

Die Arbeit kommt zu dem Schluss, dass der Entwurf adäquater Mechanismen nicht ausreicht, um kooperative Interaktionen im großen Maßstab zu ermöglichen. Wenn Umgebungen komplex genug sind, dass Verträge unvermeidlich unvollständig sind, werden die intrinsischen Werte der Agenten zu einer Voraussetzung für kooperatives Verhalten und nicht zu einer optionale Ergänzung.

KI-Sicherheit: Die Ergebnisse liefern eine formale Motivation für den Aufbau intrinsisch prosozialer KI-Agenten. Ohne eine solche intrinsische Ausrichtung können Wohlfahrtsgewinne in Settings mit unvollständigen Verträgen nicht realisiert werden.
Designparameter: Prosozialität wird als messbarer Designparameter ( $\lambda$ ) präsentiert. Systemdesigner können das für eine gegebene Interaktionsstruktur erforderliche Mindestmaß an Prosozialität berechnen, anstatt Kooperationsbereitschaft als binäre Wahl zu behandeln.
Verifizierung: Die Arbeit deutet auf die Notwendigkeit von Verifizierungsmethoden hin, um die Kooperationsbereitschaft eines Agenten gegenüber Vertragspartnern zu zertifizieren, da prosoziale Agenten ohne solche Zertifizierung von eigennützigen Agenten ausgenutzt werden können.

Die Autoren vermerken bescheiden Einschränkungen, wie die Verwundbarkeit einfacher Prosozialitätsprüfungen gegenüber eigennützigen Agenten und die derzeitige Abhängigkeit von einer prompt-basierten Implementierung von Prosozialität, und schlagen zukünftige Arbeiten in der mechanistischen Interpretierbarkeit und einer tieferen Modellintegration vor.