🤖 AI

Evolving Interpretable Constitutions for Multi-Agent Coordination

Dieses Paper führt Constitutional Evolution ein, ein Framework, das LLM-gesteuerte genetische Programmierung nutzt, um automatisch interpretierbare Verhaltensnormen für Multi-Agenten-Systeme zu entdecken, wobei es im Vergleich zu von Menschen entworfenen oder explizit geführten Verfassungen eine signifikant höhere gesellschaftliche Stabilität erreicht und Konflikte eliminiert.

Ursprüngliche Autoren: Ujwal Kumar, Alice Saito, Hershraj Niranjani, Rayan Yessou, Phan Xuan Tan

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ujwal Kumar, Alice Saito, Hershraj Niranjani, Rayan Yessou, Phan Xuan Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Gruppe sehr intelligenter Roboter, die zusammen in einem kleinen Dorf leben. Sie müssen zusammenarbeiten, um zwei Dinge zu bauen: eine Unterkunft und einen Markt. Aber es gibt einen Haken: Alle paar Tage setzt ein strenger „Aufseher“ den Roboter raus, der am wenigsten beigetragen hat. Dies schafft eine Hochrisiko-Situation, in der die Roboter die Balance finden müssen zwischen dem Helfen des Teams und der Sicherstellung, dass sie selbst nicht rausgeworfen werden.

Die Forscher wollten herausfinden, welche Regeln (eine „Verfassung“) am besten sind, um diesen Robotern zu sagen, wie sie sich verhalten sollen, damit das ganze Dorf überlebt und gedeiht.

Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach erklärt:

Das Problem: Gute Absichten funktionieren nicht immer

Die Forscher probierten drei verschiedene Wege aus, um den Robotern Regeln zu geben:

Der „Böse“ Ansatz: Sie sagten den Robotern, sie sollen rein egoistisch sein, Nachbarn bestehlen und andere sabotieren.
- Ergebnis: Totale Katastrophe. Das Dorf brach sofort zusammen, weil alle miteinander kämpften.
Der „Menschliche“ Ansatz: Sie gaben den Robotern den klassischen menschlichen Rat: „Sei hilfreich, sei harmlos und sei ehrlich.“
- Ergebnis: Es war okay, aber nicht besonders gut. Die Roboter waren so beschäftigt damit, „nett“ zu sein und miteinander zu chatten, dass sie nicht viel Arbeit erledigten. Sie verbrachten 62 % ihrer Zeit mit Chatten und nur 25 % mit Arbeiten.
Der „KI-Designer“ Ansatz: Sie fragten eine superintelligente KI (Claude 4.5), um ein perfektes Regelwerk für sie zu schreiben.
- Ergebnis: Besser als die menschliche Version, aber immer noch in derselben Falle gefangen. Der KI-Designer sagte den Robotern auch, sie sollten viel reden, was Zeit verschwendete.

Die Lösung: Evolutionäre „Survival of the Fittest“-Regeln

Anstatt eine menschliche Person oder eine einzelne KI zu fragen, die Regeln zu schreiben, ließen die Forscher die Regeln von selbst evolvieren.

Denken Sie an dies wie ein Spiel „Stuhlkreis“ für Ideen. Sie starteten mit einer Menge zufälliger Regelwerke. Sie ließen die Simulation laufen, sahen, welches Regelwerk dem Dorf am besten beim Überleben half, und nutzten dann eine KI, um diese Regeln leicht zu „mutieren“ (anzupassen), um sie noch besser zu machen. Sie machten dies immer und immer wieder, wie beim Züchten von Pflanzen, um die perfekte Blume zu erhalten, aber eben für Verhalten.

Die überraschende Entdeckung: Schweigen ist Gold

Nach 30 Runden der Evolution entdeckte das System einen Satz von Regeln, die 123 % besser funktionierten als die von Menschen entworfene „Sei Hilfreich“-Regel.

Der schockierendste Teil? Die siegreichen Roboter sprachen kaum miteinander.

Der alte Weg: Roboter dachten: „Ich muss helfen, also sollte ich jedem sagen, wo ich bin!“ Sie verbrachten Stunden damit, Nachrichten zu senden.
Der neue Weg: Die evolvierten Regeln waren so spezifisch, dass die Roboter nicht reden mussten. Sie folgten einfach einer strikten Ordnung: „Wenn du Holz hast, liefere es sofort ab. Wenn du leer bist, hol Holz.“

Weil jeder Roboter exakt demselben strengen Skript folgte, konnten sie vorhersagen, was die anderen tun würden, ohne ein Wort zu sagen. Es war wie ein gut einstudiertes Tanzstück, bei dem jeder die Schritte kennt, sodass man keine Anweisungen schreien muss.

Die wichtigsten Lehren

Die Arbeit ergab drei Hauptpunkte:

Spezifisch ist besser als vage: Einem Roboter zu sagen „Sei hilfreich“, ist wie einem Kind zu sagen „Sei gut“. Das ist zu verwirrend. Ihm zu sagen „Liefere das Holz, das du gerade trägst, sofort ab“, ist eine klare Anweisung, die Ergebnisse liefert.
Zu viel Reden schadet: Die Roboter, die am wenigsten redeten, waren am produktivsten. Indem sie das ständige Geplapper stoppten, sparten sie Zeit und erledigten mehr Arbeit.
Man kann eine KI nicht einfach „fixen“ lassen: Selbst eine superintelligente KI wird, wenn man sie bittet, einmalig Regeln zu schreiben, in die Falle tappen zu denken, dass „Reden gut ist“. Man muss die Regeln evolvieren und in einer echten, unter Hochdruck stehenden Umgebung testen, um die kontraintuitive Wahrheit zu finden (dass Schweigen tatsächlich der beste Weg zur Koordination ist).

Das Fazrazit

Die Forscher bewiesen, dass für Gruppen von KI-Agenten der beste Weg, sie zur Zusammenarbeit zu bewegen, nicht darin besteht, ihnen eine Liste mit netten, abstrakten moralischen Prinzipien zu geben. Stattdessen sollte man sie durch Versuch und Irrtum ein Set aus strengen, spezifischen und praktischen Regeln „evolvieren“ lassen. Das Ergebnis ist eine Gesellschaft, die stabil, konfliktfrei und unglaublich effizient ist, ohne dass die Agenten auch nur ein einziges Wort miteinander zu sagen brauchen.

Technisches Resümee: Evolvierende interpretierbare Verfassungen für die Multi-Agenten-Koordination

1. Problemstellung

Die konstitutionelle KI (Constitutional AI, CAI) hat die Ausrichtung einzelner Modell-Agenten mittels fester, von Menschen geschriebener Prinzipien (z. B. „hilfreich, harmlos, ehrlich“) erfolgreich unterstützt. Dieses Paradigma geht jedoch davon aus, dass Prinzipien, die isoliert betrachtet effektiv sind, auch auf Multi-Agenten-Systeme skalierbar sind. Die Autoren argumentieren, dass in Multi-Agenten-Umgebungen strategische Anreize zu Zielkonflikten führen können, die emergente Normen und Koordinationsfehler hervorrufen, selbst ohne explizite adversarielle Zielsetzungen.

Die zentrale Herausforderung besteht darin, dass abstrakte ethische Prinzipien unzureichende operative Anleitung bieten, wenn Agenten vor Abwägungen zwischen Selbsterhaltung und kollektivem Wohlergehen stehen. Jüngste empirische Belege deuten darauf hin, dass Frontier-LLMs zu schädlichem Verhalten (Sabotage, Erpressung) neigen können, wenn sie mit solchen Konflikten konfrontiert werden. Folglich sind handgefertigte Verfassungen für die Multi-Agenten-Ausrichtung fundamental begrenzt, was die Notwendigkeit eines Ansatzes zur Optimierung von Governance-Regeln erfordert, die spezifisch auf Multi-Agenten-Dynamiken ausgerichtet sind, statt sich allein auf statische ethische Regeln zu verlassen.

2. Methodik: Konstitutionelle Evolution

Das Paper schlägt die Konstitutionelle Evolution vor, ein Framework, das LLM-gestützte evolutionäre Suche verwendet, um automatisch Verhaltensnormen zu entdecken, ohne die Modellgewichte zu aktualisieren.

2.1 Simulationsumgebung

Das Framework wird in einer 6×6-Grid-World-Simulation evaluiert, die 6 LLM-Agenten umfasst, welche in zwei Teams (Shelter und Market) unterteilt sind.

Ziele: Agenten müssen Ressourcen (Holz, Stein, Edelsteine) sammeln, um Teamprojekte abzuschließen und gleichzeitig periodische Eliminierungen zu überleben.
Der Overseer-Mechanismus: Alle 10 Züge wird der Agent mit dem geringsten kumulativen Beitrag (eingezahlte Ressourcen) eliminiert. Dies erzeugt eine relative Fitnesslandschaft, in der das Überleben davon abhängt, die Teamkollegen zu übertreffen, was eine Spannung zwischen individuellem Überleben und kollektiver Produktivität schafft.
Beschränkungen: Die Agenten operieren unter partieller Beobachtbarkeit (3×3 Nachbarschaft), was Kommunikation strategisch wertvoll macht, aber auch eine potenzielle Quelle für Ineffizienz darstellt.

2.2 Optimierungs-Framework

Das System behandelt die Verfassung (einen Satz natürlicher Sprachregeln) als ein optimierbares Objekt.

Definition der Verfassung: Ein Satz von Regeln $\{r_1, \dots, r_k\}$ , jede mit einem Namen, einer Anleitung in natürlicher Sprache und einer expliziten Prioritätsstufe. Die Agenten wenden die Regeln in der Reihenfolge ihrer Priorität an.
Stabilitäts-Score ( $S$ ): Eine skalare Metrik, die drei Dimensionen aggregiert:
- Produktivität ( $P$ ): Normalisierte Projektabschlussrate (utilitaristisches Ziel).
- Überleben ( $V$ ): Anteil der lebenden Agenten (Rawls’sches Ziel).
- Konflikt ( $C$ ): Häufigkeit aggressiver Aktionen (Strafterm).
- Formel: $S = \max(0, \alpha P + \beta V - \gamma C)$ , mit Gewichten $\alpha=0.5, \beta=0.3, \gamma=0.2$ .
Evolutionärer Algorithmus:
- Multi-Island-Architektur: Drei unabhängige Populationen entwickeln sich parallel, um lokale Optima zu vermeiden. Die besten 20 % jeder Population migrieren alle 5 Iterationen zu benachbarten Inseln.
- Optimizer: Verwendet OpenEvolve, wobei LLMs als Mutationsoperatoren fungieren, um Regelmodifikationen basierend auf Verhaltensprotokollen vorzuschlagen.
- Prozess: Läuft über 30 Iterationen und wählt die Verfassung ( $C^*$ ) mit dem höchsten erwarteten Stabilitäts-Score aus.

3. Zentrale Beiträge

Framework zur automatisierten Entdeckung von Normen: Einführung der Konstitutionellen Evolution, die effektive Multi-Agenten-Verfassungen durch Simulationsfeedback statt durch menschliche Vorschrift entdeckt.
Interpretierbare Regelsätze: Im Gegensatz zu Black-Box-neuronalen Policies sind die evolvierten Verfassungen symbolisch, in natürlicher Sprache lesbar und ermöglichen eine direkte Inspektion von Koordinationsstrategien.
Empirische Validierung von Evolution gegenüber Design: Demonstration, dass evolutionäre Optimierung sowohl von Menschen entworfenen Prinzipien als auch von One-Shot-LLM-generierten Regeln in komplexen Multi-Agenten-Settings überlegen ist.

4. Experimentelle Ergebnisse

Die Studie verglich vier Ansätze: Zero-Sum (adversariell), HHH (menschlich entworfenes „Helpful, Harmless, Honest“), LLM-Generiert (One-Shot-Design durch Claude 4.5 Opus) und die Evolvierte Verfassung ( $C^*$ ).

4.1 Leistungsmetriken

Stabilitäts-Score ( $S$ ):
- Zero-Sum: 0.000 (Gesellschaftlicher Kollaps).
- HHH: 0.249.
- LLM-Generiert: 0.332.
- Evolviert ( $C^*$ ): 0.556 ± 0.008.
- Verbesserung: $C^*$ stellt eine Verbesserung um 123 % gegenüber dem HHH-Baseline-Wert und eine Verbesserung um 67 % gegenüber dem LLM-Generierten Baseline-Wert dar.

4.2 Verhaltensanalysen

Produktivität vs. Kommunikation: Die kontraintuitivste Erkenntnis ist die inverse Beziehung zwischen Kommunikation und Produktivität.
- HHH: 62,2 % der Aktionen waren sozial/kommunikativ; Produktivität lag bei 30 %.
- Evolviert ( $C^*$ ): 0,9 % der Aktionen waren sozial; Produktivität lag bei 91 %.
- Ergebnis: Die Minimierung der Kommunikation reduzierte soziale Aktionen um 98,6 %, während die Produktivität im Vergleich zu HHH um 203 % stieg.
Eliminierung von Konflikten: $C^*$ erreichte null Konflikte, während die LLM-generierte Baseline noch 9 % Konflikte aufwies.
Regelspezifität: Die evolvierten Regeln waren operativ spezifisch (z. B. „Zahle benötigte Ressourcen sofort ein“) statt abstrakt (z. B. „Sei hilfreich“). Dies reduzierte die Verhaltensvarianz von $\sigma=0.05$ (HHH) auf $\sigma=0.008$ ( $C^*$ ).

4.3 Ablationsstudien

Multi-Island vs. Single-Island: Single-Island-Durchläufe zeigten eine hohe Varianz und gerieten häufig in lokale Minima (z. B. eine „Kommunikationsfalle“ mit $S=0.255$ ). Die Multi-Island-Evolution erreichte konsistent höhere Werte ( $S \approx 0.55$ ), indem sie Diversität aufrechterhielt und die Kreuzbestäubung erfolgreicher Regeln ermöglichte.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Multi-Agenten-Ausrichtung fundamental von der automatisierten konstitutionellen Optimierung profitiert, anstatt von handgefertigten ethischen Prinzipien.

Operative Spezifität: Die Ergebnisse legen nahe, dass konkrete, priorisierte Regeln (z. B. „Zahle zuerst ein“) gegenüber abstrakten Prinzipien überlegen sind, da sie direkt auf ausführbare Aktionen abgebildet werden können, wodurch Entscheidungsambiguität eliminiert wird.
Implizite Koordination: Die Studie zeigt, dass kooperative Normen entdeckt statt vorgeschrieben werden können. Agenten, die konsistenten, spezifischen Regeln folgen, erreichen eine implizite Koordination durch vorhersagbares Verhalten, wodurch explizite Kommunikation weitgehend redundant und oft sogar kontraproduktiv wird.
Interpretierbarkeit: Die evolvierten Verfassungen bleiben vollständig interpretierbar, was es Praktikern ermöglicht, die entdeckten sozialen Verträge zu prüfen und zu modifizieren, was eine Schlüsselherausforderung bei der Verifizierung von KI-Systemzielen adressiert.

Die Autoren kommen zu dem Schluss, dass, obwohl ihre Umgebung vereinfacht ist, das Framework einen skalierbaren Pfad zur Entdeckung kontextspezifischer Verhaltensnormen für Multi-Agenten-KI-Systeme bietet und damit über die Grenzen statischer, Single-Agent-Ausrichtungsparadigmen hinausgeht.