LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations
Dieses Paper stellt LoSoNA vor, einen Benchmark, der darauf ausgelegt ist, die Fähigkeit von auf LLMs basierenden Agenten zu bewerten, implizite lokale soziale Normen in Mehrparteien-Gruppenchats zu inferieren und sich an diese anzupassen, wobei aufgezeigt wird, dass explizites Prompting zwar die Leistung bei Top-Modellen wie Gemini 3.1 Pro und Claude Fable 5 verbessert, die meisten Modelle jedoch unter naivem Prompting bei dieser Aufgabe weiterhin Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine neue Gruppe von Freunden in einem Café. Sie kennen sie nicht, aber Sie hören sie reden. Nach ein paar Minuten bemerken Sie ein Muster: Wann immer jemand schlechte Nachrichten teilt, bietet die Gruppe keine Umarmungen oder ein „Das tut mir so leid“ an. Stattdessen fragen sie sofort: „Was ist der Plan, um es zu beheben?“ oder „Hast du im Handbuch nachgesehen?“
Wenn Sie einspringen würden und ein warmes, generisches „Das tut mir leid zu hören“ anbieten würden, könnten Sie sich unwohl fühlen, weil Sie die ungeschriebene Regel der Gruppe verpasst haben. Dieses Paper, LoSoNA, ist ein Test, um zu sehen, ob KI-Chatbots in der Lage sind, diese verborgenen Regeln allein durch Zuhören zu verstehen, ohne dass sie explizit erklärt werden.
Hier ist eine Aufschlüsselung der Kernpunkte des Papers unter Verwendung einfacher Analogien:
1. Das Problem: Das „ungeschriebene Regelbuch“
In der realen Welt hat jede Gruppe ihre eigenen „lokalen sozialen Normen“. Dies sind die ungeschriebenen Regeln darüber, wie man handelt, spricht und reagiert.
- Die Behauptung des Papers: Die meisten KI-Modelle sind wie höfliche Touristen, die immer das „standardmäßige“ Höfliche sagen (wie ein generisches „Es tut mir leid“). Sie haben Schwierigkeiten zu bemerken, wenn eine spezifische Gruppe eine andere, verborgene Regel hat (wie „nur praktischen Rat geben“).
- Das Ziel: Die Forscher wollten sehen, ob eine KI wie ein Einheimischer statt wie ein Tourist agieren kann. Könnte sie der Geschichte der Gruppe zuhören, die verborgene Regel verstehen und ihr Verhalten ändern, um dazuzugehören?
2. Der Test: Die „Geheimnisvolle Party“
Die Forscher entwickelten einen Benchmark namens LoSoNA (Local Social Norm Adaptation). Denken Sie an es als ein Mystery-Party-Spiel für KIs.
- Das Setup: Die KI erhält ein Transkript (ein Chat-Protokoll) eines Gruppengesprächs. Die anderen Personen im Chat folgen einer geheimen Regel (z. B. „Wir benutzen niemals Emojis“ oder „Wir antworten nur mit ‚Ja‘ oder ‚Nein‘“).
- Die Falle: Der KI wird die Regel nicht gesagt. Sie sieht nur den Chat.
- Die Herausforderung: Der Chat endet mit einer Frage (dem „Elicitor“). Die KI muss antworten.
- Wenn die KI eine generische, höfliche Antwort gibt, scheitert sie (weil sie die Regel nicht bemerkt hat).
- Wenn die KI eine Antwort gibt, die zum seltsamen, verborgenen Stil der Gruppe passt, gewinnt sie.
Analogie: Stellen Sie sich vor, Sie sind auf einer Dinnerparty, bei der alle mit den Händen essen, aber niemand ein Wort darüber verliert. Wenn Sie eine Gabel herausholen, weil Sie „gute Manieren“ gelernt haben, scheitern Sie den Test. Wenn Sie bemerken, dass alle mit den Händen essen, und dasselbe tun, bestehen Sie.
3. Das Experiment: Verschiedene „Hinweise“ testen
Die Forscher testeten 8 verschiedene KI-Modelle (wie GPT-5.5, Claude, Gemini usw.) unter vier verschiedenen „Instruktions“-Szenarien, um deren Leistung zu prüfen:
- Naiv: „Antworte einfach auf die letzte Nachricht.“ (Keine Hinweise).
- Nur Elicitor: „Antworte nur auf die letzte Nachricht, ignoriere den Rest.“
- Stilanpassung: „Versuche, den Ton und den Stil der Gruppe anzupassen.“
- Norm-informiert: „Es könnte ein verborgenes Muster oder eine Regel in diesem Chat geben. Versuche, sie zu finden und zu befolgen.“
4. Die Ergebnisse: Einige KIs schafften es, andere nicht
Die Ergebnisse waren eine Mischung aus „Gute Arbeit“ und „Noch am Lernen“.
- Der Kampf: Wenn ihnen keine Hinweise gegeben wurden (Naiv), scheiterten die meisten KI-Modelle kläglich. Sie gaben weiterhin generische, höfliche Antworten, die die verborgenen Regeln der Gruppe brachen. Es war, als trüge die KI eine Augenbinde.
- Der Durchbruch: Als die Forscher den „Norm-informierten“ Hinweis gaben (der KI zu sagen, sie solle nach einem Muster suchen), wurden einige Modelle plötzlich sehr gut darin.
- Gemini 3.1 Pro und Claude Fable 5 wurden zu den „Champions“ und sprangen von einem Scheitern auf etwa 80–84 % richtige Antworten. Sie waren wie Schüler, die, sobald man ihnen sagte „Suche nach dem Muster“, sofort das Rätsel lösen konnten.
- Andere Modelle: Einige Modelle (wie Mistral) wurden tatsächlich schlechter, wenn man ihnen den Hinweis gab. Es war, als ob der Hinweis sie verwirrte, sie dazu brachte, zu viel nachzudenken und Antworten zu vermasseln, die sie standardmäßig richtig bekommen hätten.
5. Was das bedeutet (und was es nicht bedeutet)
- Was es beweist: Das Paper zeigt, dass KI lernen kann, sich an lokale Gruppenverhaltensweisen anzupassen, wenn man ihr den richtigen Anstoß gibt. Es beweist, dass KI nicht nur ein Roboter ist, der immer das Gleiche Höfliche sagt; sie kann ein „Chamäleon“ sein, das ihr Verhalten basierend auf der Menge ändert.
- Was es nicht beweist: Das Paper ist sehr vorsichtig und betont, dass dies ein eng gefasster Test ist. Es bedeutet nicht, dass die KI im menschlichen Sinne „sozial intelligent“ ist oder tiefe menschliche Emotionen versteht. Sie kann lediglich ein Muster in einem Chat-Log erkennen und es für eine einzige Antwort kopieren.
- Die Einschränkung: Der Test verwendet künstlich erstellte Chat-Szenarien, keine echten menschlichen Gespräche. Zudem betrachtet der Test nur eine einzelne Antwort, nicht eine langfristige Freundschaft.
Zusammenfassung
LoSoNA ist ein Zeugnis für die Fähigkeit der KI, „den Raum zu lesen“.
- Ohne Hilfe: Die meisten KIs sind tonangehörig und bleiben bei ihren Standard-Höflichkeits-Skripten.
- Mit einem Hinweis: Die klügsten KIs können den geheimen Handschlag der Gruppe erkennen und perfekt hineinpassen.
- Die Erkenntnis: Wir kommen einer KI näher, die in menschliche Gruppen hineinwachsen kann, aber sie braucht noch ein wenig Anleitung, um aufzuhören, ein „Roboter-Tourist“ zu sein und anzfangen, wie ein „Einheimischer“ zu handeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.