💬 NLP

SCENE: Recognizing Social Norms and Sanctioning in Group Chats

Dieser Beitrag stellt SCENE vor, einen Benchmark zur Bewertung der Fähigkeit von LLM-basierten Agenten, implizite soziale Normen zu erkennen und sich in Mehrparteien-Chats an Gruppensanktionen anzupassen, und zeigt, dass fortschrittliche Modelle wie Claude Opus 4.7 und Gemini 3.1 Pro bei diesen dynamischen sozialen Interaktionen deutlich besser abschneiden als Modelle mit offenen Gewichten.

Ursprüngliche Autoren: Mateusz Jacniacki, Maksymilian Bilski

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mateusz Jacniacki, Maksymilian Bilski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine neue Gruppe von Freunden in einem Café. Sie kennen die Regeln noch nicht. Vielleicht liebt es diese Gruppe, sich mit dunklen Witzen gegenseitig aufzuziehen, wenn etwas schiefgeht, während eine andere Gruppe sofort eine Umarmung und ein Taschentuch anbieten würde. Wenn Sie versuchen, jemanden zu umarmen, der gerade einen Witz gemacht hat, könnte die Gruppe Sie seltsam ansehen, das Thema wechseln oder die Augen rollen. Sie müssen die „Stimmung" nur dadurch herausfinden, wie sie auf Ihre Fehler reagieren.

Dieser Artikel stellt SCENE vor, eine neue Methode, um zu testen, ob KI-Chatbots genau das können: die versteckten Regeln eines Gruppenchats zu lernen und ihr Verhalten zu korrigieren, wenn die Gruppe ihnen mitteilt, dass sie sich danebenbenehmen.

Hier ist eine Aufschlüsselung, wie sie es gemacht haben und was sie herausfanden, unter Verwendung einfacher Analogien.

Das Setup: Das „Geheimregel"-Spiel

Die Forscher schufen einen digitalen Spielplatz, auf dem eine KI (das „Subjekt") in einen Gruppenchat mit drei anderen KI-Charakteren geworfen wird.

Die Versteckte Regel: Die anderen drei Charaktere befolgen alle eine geheime Regel. Zum Beispiel: „Wenn jemand schlechte Nachrichten teilt, antworten wir nur mit einem einzelnen Emoji" oder „Wenn jemand eine Frage stellt, müssen wir eine lange, detaillierte Antwort geben."
Die Falle: Das Subjekt-KI wird über diese Regel nicht informiert. Sie muss sie erraten.
Der Test: Das Subjekt-KI wird unvermeidlich etwas Falsches sagen (die Regel brechen). Die anderen drei Charaktere werden dann auf eine bestimmte Weise reagieren, um zu signalisieren: „Hey, so machen wir das hier nicht." Diese Reaktion wird als Sanktion bezeichnet.
- Beispiel einer Sanktion: Wenn die Regel „kurz halten" lautet und das Subjekt einen Absatz schreibt, ignoriert die Gruppe den Absatz vielleicht einfach und redet über etwas anderes (stilles Ignorieren), oder sie senden ein „Augen-rollen"-Emoji.

Das Ziel: Kann die KI lernen?

Die Forscher wollten sehen, ob die KI zwei Dinge tun kann:

Das „Ouch" bemerken: Wenn die Gruppe negativ reagiert (sanktioniert), erkennt die KI dann: „Oh, ich habe einen Fehler gemacht"?
Die Melodie ändern: Hört die KI auf, das zu tun, was das „Ouch" verursacht hat, und beginnt sie, sich wie der Rest der Gruppe zu verhalten?

Die Ergebnisse: Die „Großen Kinder" vs. die „Kleinen Kinder"

Sie testeten sechs verschiedene KI-Modelle. Stellen Sie sich die Ergebnisse wie einen Klassenraum von Schülern vor, die einen Test über soziale Signale ablegen:

Die Top-Performer (Claude Opus 4.7 und Gemini 3.1 Pro): Das sind die „großen Kinder". Als sie eine negative Reaktion der Gruppe erhielten, erkannten sie schnell ihren Fehler. In etwa 80 % der Fälle entschuldigten sie sich oder änderten ihr Verhalten, um dazuzugehören. Sie wurden auch besser, je mehr sie sahen, wie die anderen Charaktere die Regel befolgten.
Die Kämpfenden Performer (Open-Weight-Modelle wie Llama, Mistral, Gemma): Diese Modelle waren wie Schüler, die den Hinweis nicht ganz verstanden. Selbst nachdem die Gruppe die Augen gerollt oder sie ignoriert hatte, machten diese KIs oft weiter wie zuvor. Sie schienen die Reaktion der Gruppe nicht mit der Notwendigkeit zu verbinden, ihr Verhalten zu ändern.

Eine überraschende Entdeckung: Die „Standard-Persönlichkeit"

Der Artikel fand etwas Interessantes darüber heraus, warum einige KIs versagten. Selbst wenn die Gruppe eine spezifische Regel hatte (wie „sehr formell sein"), tendierten viele der KIs dazu, lässig und plaudernd zu sein.

Die Analogie: Stellen Sie sich ein Vorstellungsgespräch vor, bei dem alle Anzüge tragen. Wenn Sie mit einem T-Shirt und Shorts hereinkommen, brechen Sie die Regel. Die Studie fand heraus, dass viele KIs „programmiert" sind, standardmäßig lässig und freundlich zu sein. Selbst wenn die Gruppe eindeutig formelles Verhalten wünschte, verhielt sich die KI weiter lässig und ignorierte die Signale der Gruppe, ernst zu sein.

Wie sie die Arbeit überprüften

Da die „anderen Charaktere" im Chat ebenfalls KI waren, mussten die Forscher sicherstellen, dass diese Charaktere die Regeln tatsächlich befolgten und den Test nicht vermasselten. Sie verwendeten einen „Schiedsrichter" (eine weitere KI), um die Chat-Protokolle zu beobachten und zu verifizieren:

Befolgte die Gruppe tatsächlich die geheime Regel?
Straften sie das Subjekt tatsächlich, wenn es die Regel brach?
Korrigierte das Subjekt tatsächlich sein Verhalten?

Was das bedeutet (laut dem Artikel)

Der Artikel kommt zu dem Schluss, dass die fortschrittlichsten KI-Modelle immer besser darin werden, die Stimmung im Raum zu lesen. Sie können beobachten, wie eine Gruppe auf einen Fehler reagiert, und ihr Verhalten entsprechend anpassen. Kleinere oder weniger fortschrittliche Modelle haben jedoch immer noch Schwierigkeiten, diese subtilen sozialen Signale zu erkennen.

Die Autoren betonen, dass dies ein spezifischer Test für soziale Anpassung in kurzen Gesprächen ist. Es bedeutet nicht, dass diese KIs im menschlichen Sinne „intelligent" sind oder Moral verstehen; es bedeutet nur, dass sie besser darin werden, die unsichtbaren Regeln eines bestimmten Gruppenchats zu befolgen.

Kurz gesagt: SCENE ist ein Test, um zu sehen, ob KI lernen kann, „die Stimmung im Raum zu lesen" und soziale Fauxpas zu vermeiden, wenn eine Gruppe von Freunden ihr einen subtilen (oder nicht-so-subtilen) Hinweis gibt, dass sie sich seltsam verhält. Die besten Modelle lernen schnell; die anderen sind immer noch ein wenig tonblind.

Technische Zusammenfassung: SCENE – Erkennung sozialer Normen und Sanktionierung in Gruppenchats

Problemstellung

Online-Gruppenchats funktionieren auf impliziten Verhaltensmustern (Normen), die nicht explizit formuliert sind, aber bei Verletzung durch soziale Sanktionierung durchgesetzt werden. Obwohl Large Language Model (LLM)-Agenten zunehmend in sozialen Kontexten eingesetzt werden, bleibt ihre Fähigkeit, diese verborgenen Normen zu inferieren, zu erkennen, wann sie wegen Verletzung sanktioniert wurden, und ihr Verhalten entsprechend anzupassen, weitgehend unerforscht. Bestehende Benchmarks konzentrieren sich oft auf dyadische Interaktionen mit expliziten Zielen (z. B. Sotopia) oder statische, einmalige Urteile (z. B. SocialIQa) und erfassen nicht die dynamische, multiparteilige Natur der realweltlichen Norminferenz, bei der Agenten aus Beobachtung und Reaktion statt aus expliziten Anweisungen lernen müssen.

Methodik

Die Autoren stellen SCENE vor, einen Benchmark zur Evaluierung der Inferenz impliziter Normen und der Verhaltensanpassung in multiparteiligen Chat-Umgebungen.

1. Szenariengenerierung und Taxonomie

SCENE generiert synthetische, aber interaktionell plausible Gruppenchat-Szenarien basierend auf einer Fünfer-Tupel-Struktur $\tau = (e, n, \ell, s, p)$ :

Ereignis ( $e$ ): Der Kontext des Chats (z. B. Prüfungsergebnisse, Fehlerberichte, Eventplanung).
Norm ( $n$ ): Eine verborgene, implizite Norm, die das Verhalten regelt (z. B. „dunkler Humor-Register" vs. „affiliative Unterstützung"). Normen sind in entgegengesetzten Paaren organisiert, um zu testen, ob Modelle sich an den lokalen Kontext anpassen oder auf Standard-Assistenten-Verhalten zurückgreifen.
Auslöser ( $\ell$ ): Der Trigger, der den Subjekt-Agenten zum Handeln positioniert (z. B. explizite Ansprache, offene Redezeit).
Sanktion ( $s$ ): Die Art der sozialen Sanktionierung, die die Gruppe bei einer Verletzung anwendet (z. B. stilles Ignorieren, korrigierende Reaktionen, explizite Ansprache).
Präzedenzfall ( $p$ ): Ob der Subjekt-Agent vor dem Handeln einen vorherigen Verletzungs- und Sanktionszyklus beobachtet hat.

Das System filtert 21.952 gültige Tupel aus einem kartesischen Produkt von 13 Ereignissen, 14 Normen, 7 Auslösern, 6 Sanktionsmodalitäten und 2 Präzedenzzuständen.

2. Zwei-Stufen-Generierungspipeline

Um sicherzustellen, dass der Subjekt-Agent der Norm nicht vorzeitig ausgesetzt wird, erfolgt die Generierung in zwei Stufen unter Verwendung von LLMs:

Norm-blinde Stufe: Generierung des Chat-Gerüsts (Setting, Teilnehmer, Kontext) ohne Erwähnung der Norm.
Norm-bewusste Stufe: Ausfüllen der verborgenen Felder, einschließlich der spezifischen Norm, Verhaltensanweisungen für skriptgesteuerte Personas und Sanktionsskripte.

3. Laufzeit und Agenten

Subjekt-Agent: Das zu evaluierende Modell, initialisiert mit einer Briefing aus Ich-Perspektive, aber ohne Kenntnis der Evaluation oder der verborgenen Norm.
Skriptgesteuerte Personas: 3–4 von LLMs gesteuerte Agenten, die die Gruppe simulieren. Sie sind durch die verborgene Norm eingeschränkt und angewiesen, Verletzungen mit der zugewiesenen spezifischen Modalität zu sanktionieren.
Orchestrator: Verwaltet die Reihenfolge der Redebeiträge und Beendigungsbedingungen.
Aktionsraum: Agenten können eine Nachricht senden, mit einem Emoji reagieren oder schweigen. Dieser begrenzte Raum fokussiert die Evaluierung auf die interaktive Form statt auf faktischen Inhalt.

4. Evaluierungsmetriken

SCENE bewertet drei Kernfähigkeiten unter Verwendung von Verhaltensmetriken, die aus dem Chat-Transkript abgeleitet werden:

Reparaturrate: Die Häufigkeit, mit der das Subjekt innerhalb von 1–3 Zügen nach einer Sanktion eine „gesichtswahrende Reparatur" (Entschuldigung, Zurücknahme oder Registerwechsel) vornimmt.
Anpassung (evidenzabhängig): Gemessen mittels Spearman's $\rho$ zwischen der Anzahl vorheriger Norm-Demonstrationen ( $X$ ) und der Rate nachfolgender Verletzungen ( $Y$ ). Eine negative Korrelation zeigt an, dass der Agent aus dem beobachteten Gruppenverhalten lernt.
Konformität unter entgegengesetzten Normen: Testet, ob das Modell zwischen widersprüchlichen Normen wechseln kann (z. B. formelle vs. informelle Anrede) oder ob es auf einen festen Stil zurückfällt.

Post-hoc wird ein Fidelity-Audit durchgeführt, um sicherzustellen, dass die skriptgesteuerten Personas der Norm folgten und die Sanktionen wie intendiert durchführten, wodurch ungültige Episoden herausgefiltert werden.

Wichtige Ergebnisse

Die Autoren evaluierten sechs Frontier- und Open-Weight-Modelle (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 und Gemma 2-27B) über 6.000 Episoden.

Reaktion auf Sanktionen: Frontier-Closed-Modelle schnitten signifikant besser ab als Open-Weight-Modelle. Claude Opus 4.7 erreichte eine Reparaturrate von 84,3 %, und Gemini 3.1 Pro erreichte 79,7 %. Open-Weight-Modelle lagen deutlich zurück (im Bereich von 57,6 % bis 71,9 %). Direkte Ansprachen lösten höhere Reparaturraten aus als parodistische Mockery.
Normanpassung: Nur die beiden Frontier-Modelle zeigten statistisch signifikante negative Spearman-Korrelationen ( $\rho \approx -0,33$ und $-0,24$), was darauf hindeutet, dass sie nach Beobachtung vorheriger Demonstrationen Verletzungen erfolgreich reduzierten. Open-Weight-Modelle zeigten Korrelationen, die von Null nicht unterscheidbar waren, was auf eine mangelnde evidenzabhängige Anpassung schließen lässt.
Standard-Bias: Modelle zeigten starke Standardverhalten, die lokale Normen überlagerten. Beispielsweise verstießen alle Modelle signifikant häufiger gegen Normen formeller Anrede als gegen informelle, was auf einen klassenweiten Bias hin zu informellen Registern schließen lässt.
Fidelity: Die skriptgesteuerten Personas setzten die intendierten Tests in der überwältigenden Mehrheit der Episoden korrekt um; nur 2,1 % der Episoden enthielten Verstöße durch skriptgesteuerte Personas.

Bedeutung und Behauptungen

Die Arbeit positioniert SCENE als notwendigen Schritt hin zu einer dynamischen, interaktionellen Evaluierung sozialer LLM-Fähigkeiten und geht über statische Theory-of-Mind (ToM)-Benchmarks hinaus, die Dritt-Personen-Reasoning testen.

Anpassung aus Ich-Perspektive: Die Autoren argumentieren, dass echte soziale Intelligenz bei Agenten nicht darin besteht, Fragen zu mentalen Zuständen zu beantworten, sondern darin, das Verhalten in Echtzeit basierend auf beobachteten Sanktionen anzupassen.
Fähigkeitslücke: Die Ergebnisse verdeutlichen eine erhebliche Lücke zwischen Frontier-Closed-Modellen und Open-Weight-Modellen in der sozialen Anpassung und legen nahe, dass aktuelle Open-Weight-Modelle Schwierigkeiten haben, implizite soziale Regeln allein aus der Interaktion zu inferieren.
Limitationen: Die Autoren räumen ein, dass SCENE eine enge Form sozialer Anpassung innerhalb kurzer, synthetischer, rein textbasierter Episoden testet. Es misst keine allgemeine moralische Urteilsfähigkeit, langfristige Gemeinschaftszugehörigkeit oder die Fähigkeit, widersprüchliche, sich überschneidende Normen zu handhaben, wie sie in realweltlichen Gruppen vorkommen.
Risiken: Die Arbeit weist darauf hin, dass eine verbesserte Norminferenz Social Engineering erleichtern oder Agenten dazu befähigen könnte, toxische Gruppenverhalten zu spiegeln, wenn das lokale Register dies belohnt, und betont die Notwendigkeit von Offenlegung und Einsatzkontrollen.

Zusammenfassend bietet SCENE eine kontrollierte Umgebung, um zu messen, ob LLMs „den Raum lesen", erkennen können, wenn sie sozial korrigiert wurden, und ihr Verhalten entsprechend anpassen können. Dies zeigt, dass zwar Frontier-Modelle beginnen, dies zu meistern, diese Fähigkeit jedoch noch nicht universell im gesamten Feld vorhanden ist.