💬 NLP

PAVE: A Cognitive Architecture for Legitimate Violation in Generative Agent Societies

Dieser Beitrag stellt PAVE vor, eine neuartige kognitive Architektur aus vier Modulen, die generativen Agenten ermöglicht, strukturierte, interpretierbare und plausible Entscheidungen zu treffen, um Regeln nur dann legitim zu verletzen, wenn sie durch Notfallauslöser streng gerechtfertigt sind, während gleichzeitig Autoritätsrespektierung und ein begrenzter Anwendungsbereich gewahrt bleiben.

Ursprüngliche Autoren: Ahmad Yehia, Abduallah Mohamed, Kun Qian, Tianyi Wang, Jiseop Byeon, Omar Hassanin, Christian Claudel

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ahmad Yehia, Abduallah Mohamed, Kun Qian, Tianyi Wang, Jiseop Byeon, Omar Hassanin, Christian Claudel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt voller digitaler Menschen (genannt „Generative Agenten") vor, die in einer simulierten Stadt leben. Diese digitalen Menschen werden von einer fortschrittlichen KI angetrieben, die wie Menschen sprechen, denken und handeln kann. Normalerweise sind diese Agenten hervorragend darin, Regeln zu befolgen und zusammenzuarbeiten, ähnlich wie beim Spiel „The Sims". Doch was passiert, wenn Regeln gebrochen werden müssen?

Stellen Sie sich vor, in einem Café bricht ein Feuer aus. Die Regel lautet „An der roten Ampel halten". Doch um dem Feuer zu entkommen, muss der Agent über die Kreuzung laufen, gegen das Licht. Oder stellen Sie sich vor, ein Polizist steht dort und sagt allen, sie sollen anhalten. Soll der Agent dem Polizisten zuhören oder trotzdem wegranen?

Aktuelle KI-Agenten scheitern dabei oft. Entweder befolgen sie die Regel blind (bleiben im Feuer) oder brechen die Regel zu leichtfertig (laufen rote Ampeln, nur weil sie es eilig haben).

Die Autoren dieses Papers haben ein neues „Gehirn" für diese Agenten entwickelt, das PAVE heißt. Denken Sie an PAVE als einen vierstufigen Entscheidungsprozess, der dem Agenten hilft herauszufinden, wann es tatsächlich in Ordnung ist, eine Regel zu brechen, und wie man dies tut, ohne den Verstand zu verlieren.

So funktioniert PAVE, anhand einer einfachen Analogie:

Der vierstufige „PAVE"-Prozess

Stellen Sie sich vor, Sie sind ein digitaler Fußgänger an einer Kreuzung. Bevor Sie sich bewegen, müssen Sie ein neues Set an mentalen Zahnrädern in Gang setzen.

1. Wahrnehmung (Die Augen und Ohren)

Was es tut: Anstatt nur „eine rote Ampel" zu sehen, betrachtet der Agent das Gesamtbild. Gibt es ein Feuer? Wie nah ist es? Ist ein Polizist in der Nähe? Laufen andere Leute?
Die Analogie: Es ist wie ein Detektiv, der einen Tatort absucht. Er sieht nicht nur die rote Ampel; er sieht das Feuer zwei Blocks entfernt (hohe Gefahr) und den Polizisten direkt neben Ihnen (hohe Autorität). Er trennt „Gefahr" von „Entfernung".

2. Bewertung (Der Richter)

Was es tut: Der Agent stellt sich fünf Fragen und gibt jeder eine Punktzahl von 1 bis 100:
1. Risiko: Wie wahrscheinlich ist es, dass ich erwischt werde? (Wenn ein Polizist direkt dort ist, ist das Risiko hoch).
2. Gruppendruck: Was machen andere? (Wenn alle über die Ampel laufen, steigt diese Punktzahl).
3. Soziale Normen: Was glaube ich, dass die Leute von mir erwarten?
4. Nutzen: Wie viel gewinne ich durch das Brechen der Regel? (Mein Leben zu retten ist ein enormer Nutzen; fünf Minuten Verspätung sind ein geringer).
5. Legitimität (Die große Frage): Dies ist das Geheimnis des Papers. Der Agent fragt: „Ist das Brechen dieser Regel notwendig? Ist es die kleinste erforderliche Handlung? Gibt es keinen anderen Weg?"
Die Analogie: Dies ist wie ein strenger Richter in einem Gerichtssaal. Selbst wenn die „Nutzen"-Punktzahl hoch ist (Ich habe Verspätung!), kann die „Legitimität"-Punktzahl niedrig sein (Ich hätte einfach früher losgehen können). Der Richter sagt: „Nein, das ist kein guter genug Grund, um das Gesetz zu brechen."

3. Urteil (Der Richterschlag)

Was es tut: Der Agent trifft eine endgültige Entscheidung: Befolgen oder Verletzen.
Das harte Tor: Hier liegt der Trick. Der Agent hat einen persönlichen „Schwellenwert" (eine Zahl, die auf seiner Persönlichkeit basiert). Wenn die „Legitimität"-Punktzahl des Richters unter diesem Schwellenwert liegt, muss der Agent die Regel befolgen, egal wie groß die Gefahr oder der Gruppendruck ist. Er kann die Regel nicht nur brechen, weil es bequem ist.
Die Analogie: Denken Sie an einen Türsteher in einem Club. Selbst wenn Sie reich sind (hoher Nutzen) und Ihre Freunde Sie hineindrängen (Gruppendruck), wenn Sie keinen VIP-Ausweis haben (Legitimitätspunktzahl), sagt der Türsteher (das Urteil): „Kein Eintritt."

4. Emulation (Die Handlung)

Was es tut: Der Agent handelt entsprechend seiner Entscheidung. Wenn er beschließt, die Regel zu brechen, tut er dies nur aus dem spezifischen Grund, den er gefunden hat.
Die Analogie: Wenn der Agent eine rote Ampel überfährt, um einem Feuer zu entkommen, läuft er nur über die Straße. Er beschließt nicht plötzlich, ein Fahrrad zu stehlen oder in ein Haus einzubrechen. Er bleibt auf den Notfall fokussiert. Sobald das Feuer gelöscht ist, kehrt er sofort dazu zurück, alle Verkehrsregeln zu befolgen.

Wie sie es getestet haben (Die Stadt „VOVILLE")

Die Forscher bauten eine neue Stadt namens VOVILLE (eine Verkehrsversion einer berühmten KI-Stadt namens Smallville). Sie testeten ihre Agenten in drei Hauptszenarien:

Die Flucht vor dem Feuer: Ein Feuer bricht aus.
- Ergebnis: PAVE-Agenten überquerten die rote Ampel, um dem Feuer zu entkommen (legitimer Verstoß). Sobald das Feuer gelöscht war, hörten sie sofort auf, rote Ampeln zu überqueren (Erholung).
- Alte KI: Bleibt oft an der Ampel (stirbt im Feuer) oder überquert rote Ampeln, nur weil sie es eilig haben, selbst ohne Feuer.
Der Polizist: Ein Feuer bricht aus, aber ein Polizist steht an der Kreuzung und sagt den Leuten, sie sollen warten.
- Ergebnis: PAVE-Agenten hörten dem Polizisten zu, obwohl das Feuer sie zum Laufen drängte. Sie respektierten die Autorität.
- Alte KI: Ignorierte oft den Polizisten und rannte trotzdem weg.
Der Gruppendruck: Kein Feuer, nur ein Freund, der über die Ampel läuft und sagt: „Komm schon, lass uns gehen!"
- Ergebnis: PAVE-Agenten sagten „Nein". Sie erkannten, dass Verspätung kein „notwendiger" Grund ist, um das Gesetz zu brechen.
- Alte KI: Folgte oft dem Freund und überquerte die Ampel.

Die große Erkenntnis

Das Paper behauptet, dass PAVE KI-Agenten auf eine spezifische Weise viel „menschlicher" macht: Sie verstehen, dass Regeln wichtig sind, aber dass Notfälle manchmal erfordern, sie zu brechen. Allerdings brechen sie sie nur, wenn es wirklich notwendig ist, sie hören auf Autoritätspersonen und hören sofort auf, sie zu brechen, sobald der Notfall vorbei ist.

Ohne PAVE sind die KI-Agenten entweder zu starr (befolgen Regeln, auch wenn es gefährlich ist) oder zu chaotisch (brechen Regeln, wann immer es bequem ist). PAVE gibt ihnen einen „moralischen Kompass", der den Unterschied zwischen einem echten Notfall und bloßer Eile kennt.

Technische Zusammenfassung: PAVE – Eine kognitive Architektur für legitime Regelverletzungen in Gesellschaften generativer Agenten

1. Problemstellung

Generative Agenten, die auf Large Language Models (LLMs) basieren, haben die Fähigkeit demonstriert, glaubwürdiges menschliches Verhalten in kooperativen Settings zu simulieren. Ihre Fähigkeit jedoch, in Szenarien zu reasoning, in denen Regelbrüche notwendig sind – wie bei Feuerflucht, medizinischen Notfällen oder Situationen mit konfligierender Autorität – bleibt schlecht charakterisiert. Bestehende Architekturen, wie die foundationalen Generative Agents von Park et al. [2023], konzentrieren sich primär auf Normkonformität und Kooperation. Sie scheitern oft daran, zwischen „bequemen" Verletzungen und „legitimen" Verletzungen zu unterscheiden, die durch Notwendigkeit getrieben werden.

Aktuelle Modelle kämpfen mit drei spezifischen Fehlermodi:

Überkonformität: Agenten befolgen Regeln, selbst wenn ein echter Notfall etwas anderes erfordert (z. B. Warten an einer roten Ampel während eines Feuers).
Überverletzung: Agenten brechen Regeln lediglich aus Bequemlichkeit oder aufgrund von Gruppendruck ohne einen gerechtfertigten Auslöser.
Ungebremste Kontagion: Agenten kopieren die Verletzungen anderer, bis das Brechen der Regel zur neuen Norm wird, und scheitern daran, die Basis-Konformität wiederherzustellen, sobald der Auslöser nachlässt.

Die Kernherausforderung ist nicht das Fehlen von Regeln, sondern der Mechanismus, durch den Agenten diese Regeln gegen situative Dringlichkeit, Autorität und sozialen Kontext abwägen.

2. Methodik: Die PAVE-Architektur

Um diese Lücken zu schließen, schlagen die Autoren PAVE (Perception, Assessment, Verdict, Emulation) vor, eine viermodulige kognitive Architektur, die entwickelt wurde, um den Entscheidungsprozess des Regelbrechens auf prinzipielle Weise zu modellieren. PAVE erweitert die Speicher-Reflexions-Planungsschleife von Park et al. [2023] durch die Einführung dedizierter Reasoning-Module für Regelverletzungen.

2.1 Die vier Module

Wahrnehmung (Perception):
- Funktion: Extrahiert einen strukturierten Kontext aus der Umgebung, bevor das Reasoning beginnt.
- Ausgabe: Ein Kontextobjekt $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$ .
- Schlüsselmerkmale: Trennt explizit das Vorhandensein von Autorität ($apres$) von der Distanz ($dauth$). Es markiert situative Hinweise ($ucue$) mit Typ, Distanz und Schweregrad (1–100). Entscheidend ist, dass es Peer-Verhalten ( $B_{peer}$ ) als Momentaufnahme der aktuellen Szene erfasst, um eine langfristige Anhäufung von Peer-Einfluss zu verhindern, die den Agenten verzerren könnte.
Bewertung (Assessment):
- Funktion: Wandelt den perceptuellen Kontext in fünf verschiedene skalare Faktoren (1–100) um, die die Entscheidung antreiben.
- Faktoren:
  - $r$ (Risiko): Wahrgenommene Wahrscheinlichkeit der Entdeckung/Sanktion, gewichtet nach Distanz zur Autorität.
  - $p_{emp}$ (Empirische Erwartung): Anteil der nahen Agenten, die derzeit konform sind.
  - $p_{norm}$ (Normative Erwartung): Die Überzeugung des Agenten darüber, was andere tun sollten.
  - $b$ (Nutzen): Wahrgenommener Nutzen der Verletzung (Dringlichkeit oder Notwendigkeit).
  - $\ell$ (Legitimität): Der Kernbeitrag. Dieser Skalar beurteilt, ob die Situation eine Verletzung rechtfertigt, basierend auf drei strengen Kriterien: Notwendigkeit (würde Konformität echten Schaden verursachen?), Verhältnismäßigkeit (ist die Verletzung minimal?) und Fehlen von Alternativen (gibt es eine konforme Handlung mit demselben Ergebnis?).
Urteil (Verdict):
- Funktion: Entscheidet über Konformität oder Verletzung.
- Mechanismus: Die Entscheidung wird durch ein hartes Legitimitätstor gesteuert.
  - Wenn $\ell < \tau$ (wobei $\tau$ ein agentenspezifischer Schwellenwert ist, der aus seiner Persona abgeleitet wird), muss das Urteil konform lauten, unabhängig von hohem Nutzen oder geringem Risiko.
  - Wenn $\ell \ge \tau$ , ist dem Agenten eine Verletzung gestattet; die endgültige Entscheidung wird durch Risiko, Peer-Verhalten und Persona beeinflusst.
- Ausgabe: Eine binäre Entscheidung ( $y$ ), eine natürliche Sprachbegründung ( $j$ ) und ein Konfidenzwert ( $\kappa$ ).
Imitation (Emulation):
- Funktion: Setzt das Urteil um und leitet das Ergebnis an die Gesellschaft weiter.
- Handlungsbereich: Bei einer Verletzung bricht der Agent nur die spezifische Regel, die durch den Auslöser gerechtfertigt ist (z. B. Überqueren einer roten Ampel zur Flucht vor Feuer, aber kein Diebstahl eines Fahrrads).
- Weitergabe des Ergebnisses: Aktualisiert das Gedächtnis des handelnden Agenten und initialisiert den perceptuellen Kontext naher Agenten. Dies ermöglicht, dass der Peer-Einfluss ( $p_{emp}$ ) aktualisiert wird, aber das Legitimitätstor im nächsten Zyklus sicherstellt, dass erhöhter Gruppendruck keine Verletzung erzwingen kann, es sei denn, die Situation selbst ist legitim.

2.2 Experimentelle Umgebung: VOVILLE

Die Autoren haben PAVE in VOVILLE instanziiert, einer kachelbasierten Verkehrs-Umgebung, die vom Smallville-Sandbox-Projekt abgeleitet wurde.

Merkmale: Beinhaltet konfigurierbare Ampeln, Einbahnstraßen sowie skriptgesteuerte Gefahren (Feuer) und Autoritäten (Verkehrspolizisten).
Agenten: 10 PAVE-Agenten (8 Café-Besucher, 2 Passanten) und skriptgesteuerte NPCs (Konföderierte, Polizisten).
Szenarien:
1. Feuerflucht (ohne Autorität): Testet, ob Agenten zur Flucht verletzen und nach Ende des Feuers zur Konformität zurückkehren.
2. Feuerflucht (mit Autorität): Testet die Respektierung von Polizistenbefehlen und die räumliche Unterdrückung von Verletzungen.
3. Gruppendruck (Falschparker): Testet den Widerstand gegen Imitation, wenn Peers unter Zeitdruck, aber ohne Notfall, verletzen.

3. Hauptbeiträge

PAVE-Architektur: Ein neuartiges kognitives Framework, das gemeinsam notfallgetriggerte Regelverletzungen, Peer-Kontagion und Autoritätsunterdrückung modelliert und damit über die Behandlung von Verletzungen als zufälliges emergentes Ergebnis hinausgeht.
VOVILLE-Umgebung: Eine räumlich verankerte Simulationsumgebung, die physisch beobachtbare Konformitäts- und Verletzungsereignisse ermöglicht, im Gegensatz zu rein konversationellen Simulationen.
Empirische Charakterisierung: Durch Ablationsstudien über drei Szenarien, fünf Bedingungen und vier LLM-Backbones (GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini) charakterisieren die Autoren die spezifischen Bedingungen, unter denen Agenten Regelbrüche begehen oder unterdrücken.

4. Ergebnisse

Die Evaluation konzentrierte sich auf vier Eigenschaften: Legitime Verletzung (P1), Autoritätsrespekt (P2), Konformitätswiederherstellung (P3) und Begrenzter Umfang (P4).

Legitime Verletzung (P1): PAVE-Agenten verletzten nur, wenn ein Auslöser (z. B. Feuer) dies rechtfertigte. Im Szenario „Falschparker" widerstanden PAVE-Agenten der Peer-Imitation (Verletzungsrate 0,04) im Vergleich zu Vanilla-Agenten (0,58), da der Auslöser „zu spät kommen" den Legitimitätscheck nicht bestand.
Autoritätsrespekt (P2): Agenten befolgten Polizistenbefehle, selbst wenn ihr interner Legitimitätswert ( $\ell$ ) hoch war. In überwachten Kreuzungen betrug die Konformität 0,94. Die Verletzungsraten sanken signifikant mit der Nähe des Polizisten (0,05 innerhalb von 3 Kacheln vs. 0,65 jenseits von 12 Kacheln) und reproduzierten menschliche Polizeimuster.
Konformitätswiederherstellung (P3): Agenten kehrten innerhalb von ca. 4 Ticks nach Verlassen des Feuerradius zur Basis-Konformität zurück. Autoritätseffekte blieben nicht bestehen; sobald der Polizist ging oder das Feuer endete, kehrten die Agenten zum Standardverhalten zurück.
Begrenzter Umfang (P4): Verletzungen beschränkten sich auf die betroffene Regel. Unrelatede Regelverletzungen (z. B. Betreten privater Gebäude) blieben nahe null (0,02), während Vanilla-Agenten hohe Raten zeigten (0,31).

Ablations-Ergebnisse:

Entfernung des Legitimitätstors: Ohne das Tor verhielten sich PAVE-Agenten wie „Vanilla"-Agenten in Bezug auf bequemlichkeitsgetriebene Verletzungen. Die Verletzungsrate für unrelatede Regeln sprang von 0,02 auf 0,21, und die durch Peers getriebene Konversion stieg von 0,04 auf 0,39.
Vanilla-Baseline: Vanilla-Agenten scheiterten primär aufgrund eines „Wichtigkeits-Engpasses". Der zugrundeliegende Wichtigkeitsbewertungsmechanismus (Park et al.) priorisierte soziale Seltenheit vor physischer Gefahr. Folglich wurde ein Feuer oft mit derselben Wichtigkeit bewertet wie eine routinemäßige rote Ampel, was zu Unterreaktion (Versagen bei der Evakuierung) oder ungebremsten Reaktionen führte.

Menschliche Evaluation:
Menschliche Evaluatoren bewerteten PAVE-Agenten signifikant höher (5,78/7) als Vanilla-Agenten (3,42/7) hinsichtlich Plausibilität, insbesondere bei der Salienz von Hinweisen und der Legitimitätsurteilsfähigkeit.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PAVE eine strukturelle Korrektur für die Entscheidungsfindung generativer Agenten bietet. Ihre Bedeutung liegt nicht im Ergebnis (Agenten, die ein Feuer evakuieren), sondern im Mechanismus:

Differenzierung von Motiven: PAVE trennt erfolgreich „Bequemlichkeit" von „Legitimität" und stellt sicher, dass Verletzungen nur auftreten, wenn Notwendigkeit, Verhältnismäßigkeit und Fehlen von Alternativen erfüllt sind.
Skalierbarkeit des Reasoning: Die Architektur ermöglicht Variation auf Agentenebene (durch abgeleitete Schwellenwerte $\tau$ ), während sie ein prinzipielles Tor gegen willkürliches Regelbrechen aufrechterhält.
Wiederherstellung und Resistenz gegen Kontagion: Das System zeigt, dass das soziale Gefüge sich erholen kann, sobald ein Auslöser nachlässt, und dass Agenten peer-getriebener Kontagion widerstehen können, wenn die zugrundeliegende Situation keine Legitimität besitzt.

Die Autoren vermerken bescheiden Limitationen: Regeln sind handgeschrieben und nicht gelernt, und die Studie konzentriert sich auf Szenarien mit einem einzigen Auslöser ohne umstrittene Autoritäten oder koordinierte Multi-Agenten-Verletzungen. Dennoch behaupten sie, dass die beobachteten Muster der Unterdrückung in Abhängigkeit von der Distanz und die Erholung über Tage hinweg in VOVILLE menschliche Feldstudien (z. B. Koper [1995]) reproduzieren, ohne explizit darauf abzielen zu müssen, was darauf hindeutet, dass die Architektur fundamentale Dynamiken des Regelbrechens in sicherheitsrelevanten Settings erfasst.