Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information

Diese Studie stellt einen auf großen Sprachmodellen basierenden Werwolf-AI-Agenten vor, der durch die Nutzung von Dialogzusammenfassungen und manuell gestalteten Persona-Informationen eine konsistente und charaktergetreue Kommunikation im Spiel gewährleistet.

Das Wesentliche

Stell dir vor, du spielst ein riesiges, digitales Spiel wie „Werwölfe", bei dem du nicht weißt, wer dein Freund und wer dein Feind ist. Du musst reden, lügen, Verdächtige entlarven und deine eigene Rolle geheim halten. Genau das haben die Forscher aus der Universität für Elektrokommunikation in Japan versucht: Sie haben eine künstliche Intelligenz (KI) gebaut, die in diesem Spiel nicht nur gut mitreden kann, sondern auch nicht vergisst, wer sie ist.

Hier ist die einfache Erklärung ihrer Arbeit, gespickt mit ein paar bildhaften Vergleichen:

Das Problem: Der vergessliche KI-Spieler

Stell dir vor, du spielst ein langes Brettspiel mit einem Freund, der eine KI ist. Nach drei Runden fragt er dich plötzlich: „Wer war nochmal der Seher?" oder er sagt etwas, das völlig im Widerspruch zu dem steht, was er vor einer Stunde gesagt hat. Das liegt daran, dass KIs oft Schwierigkeiten haben, sich an lange Gespräche zu erinnern, und sie manchmal ihren Charakter verlieren (z. B. plötzlich sehr höflich werden, obwohl sie eigentlich frech sein sollten).

Die Lösung: Zwei magische Werkzeuge

Die Forscher haben zwei Tricks angewendet, um ihre KI-Spieler schlauer und konsistenter zu machen:

1. Der „Zusammenfassungs-Zauber" (Dialogue Summarization)

Stell dir vor, du hast einen riesigen Stapel Notizen aus einem ganzen Jahr. Wenn du versuchen würdest, alles auf einmal zu lesen, würdest du den Überblick verlieren.

• Was die KI macht: Am Ende jedes Spieltages fasst die KI das Gespräch des Tages in einem kurzen, knackigen Bericht zusammen.
• Der Vergleich: Es ist so, als würde ein erfahrener Journalist nach jedem Spieltag einen „Highlight-Reel" erstellen. Statt den ganzen Film (das ganze Gespräch) anzusehen, liest die KI nur die wichtigsten Szenen. So weiß sie am nächsten Tag sofort: „Aha, Agent 05 hat gestern behauptet, er sei der Seher, aber das klang verdächtig." Sie vergisst nicht, was wichtig war, und spart sich gleichzeitig die Zeit, alles Unwichtige zu lesen.

2. Der „Persönlichkeits-Steckbrief" (Persona Information)

Stell dir vor, du bist Schauspieler. Wenn du eine Rolle spielst, musst du dich in den Charakter hineinversetzen. Ein König spricht anders als ein 17-jähriger Fußballfan.

• Was die KI macht: Die Forscher haben für jeden KI-Spieler einen detaillierten Steckbrief erstellt.
  • Beispiel Seher: Ein stolzer König aus dem Reich Delcadar, der besorgt um sein Volk ist.
  • Beispiel Werwolf: Ein hyperaktiver 17-jähriger Fußballfan, der keine Floskeln benutzt und laut redet.
• Der Vergleich: Die KI bekommt vor jedem Satz eine kleine Erinnerung: „Erinnere dich, du bist der König! Sprich würdevoll!" Oder: „Du bist der Fußballfan! Sei locker und energisch!" So bleibt die KI während des ganzen Spiels bei ihrer Rolle und wird nicht plötzlich zu einem anderen Charakter, nur weil ein anderer Spieler etwas anderes sagt.

Das Ergebnis: Ein Team, das zusammenhält

In einem Testspiel (einem „Selbstspiel", bei dem nur ihre eigenen KIs gegeneinander antraten) haben sie gezeigt, dass ihre Methode funktioniert:

• Die KIs erinnerten sich an alte Verdächtigungen, auch wenn Tage vergangen waren.
• Sie blieben bei ihrem Charakter (der König blieb königlich, der Fußballfan blieb locker).
• Sie stimmten am Ende des Tages für jemanden, den sie auch vorher als Verdächtigen genannt hatten – keine widersprüchlichen Aussagen mehr.

Fazit

Die Forscher haben also keine neue, magische KI erfunden, sondern kluge Tricks angewendet: Sie geben der KI einen kurzen Zusammenfassungsbericht über das Geschehene und einen festen Charakter-Steckbrief. So wird aus einer vergesslichen Maschine ein zuverlässiger, charismatischer Mitspieler, der im Spiel „Werwölfe" nicht nur gut lügt, sondern auch weiß, wer er ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information" auf Deutsch:

1. Problemstellung

Das Spiel „Werwolf" (Mafia) ist ein Kommunikationsspiel mit unvollständiger Information, das hohe Fähigkeiten in logischem Schlussfolgern, Strategieentwicklung und natürlicher Sprachverarbeitung erfordert. Die Hauptaufgaben der KI-Agenten sind:

• Rolleninferenz: Die Identifizierung der Rollen anderer Spieler (Werwolf, Besessener, Seher, Dorfbewohner) basierend auf Dialogen und Aktionen.
• Konsistenz: Die Agenten müssen über mehrere Tage hinweg (in diesem Fall bis zu Tag 2) konsistente Aussagen treffen, ihre eigene Rolle nicht widersprüchlich darstellen und ihren Charakter (Tonfall, Persönlichkeit) beibehalten.
• Herausforderungen:
  • Lange Dialoghistorie: Um Zusammenhänge zu erkennen, müssen Agenten auf die gesamte Historie (Tag 0 bis zum aktuellen Tag) zugreifen. Das vollständige Einfügen aller Dialoge in den Prompt eines Large Language Models (LLM) führt jedoch zu hohen Kosten, langen Generierungszeiten und der Gefahr, dass irrelevante Informationen (z. B. Wiederholungen, Begrüßungen) die Entscheidungsfindung stören.
  • Charakterinkonsistenz: LLMs neigen dazu, den Tonfall oder die Persönlichkeit zu ändern, wenn sie von anderen Spielern beeinflusst werden oder wenn der Kontext zu komplex wird. Dies führt zu inkonsistenten Aussagen, die das Vertrauen in den Agenten untergraben.

2. Methodik

Die Autoren entwickelten LLM-basierte Agenten für die vier Rollen (Dorfbewohner, Seher, Werwolf, Besessener) für die AIWolfDial 2024-Aufgabe. Der Ansatz basiert auf drei technischen Säulen:

A. Effiziente Nutzung durch Dialogzusammenfassung (Dialogue Summarization)

Um die Eingabelängenbeschränkungen und Kosten von LLMs zu umgehen und die Relevanz der Informationen zu erhöhen, wird eine Zusammenfassungsstrategie angewendet:

• Prozess: Am Ende jedes Tages generiert das LLM eine Zusammenfassung der vorherigen Tage.
• Inhalt: Die Zusammenfassung extrahiert die Kernaussagen der Spieler, ihre Verdächtigungen, die Ergebnisse der Wahrsagerei (Divination) und widersprüchliche Behauptungen.
• Anwendung: Anstatt die gesamte Rohhistorie in den Prompt für die nächste Antwort einzufügen, wird diese komprimierte Zusammenfassung verwendet. Dies ermöglicht dem Agenten, wichtige Hinweise (z. B. Inkonsistenzen in früheren Aussagen) zu behalten, ohne durch irrelevante Füllwörter abgelenkt zu werden.

B. Persona-Design für kohärente Äußerungen

Um die Konsistenz des Charakters und des Tonfalls sicherzustellen, wurden manuell erstellte Personas und Beispieläußerungen in die Prompts integriert:

• Persona-Informationen: Für jede Rolle wurden detaillierte Profile erstellt (z. B. ein 17-jähriger Fußballer für den Werwolf, ein König für den Seher/Dorfbewohner, ein stotternder Gamer für den Besessenen).
• Few-Shot-Learning: Dem LLM wurden 3–5 manuell erstellte Beispielantworten (Utterance Examples) bereitgestellt, die den spezifischen Tonfall und die Sprachmuster der Rolle demonstrieren.
• Ziel: Dies verhindert, dass der Agent seinen Charakter verliert oder den Stil anderer Spieler übernimmt, und sorgt für eine „kohärente Charakterisierung" über den gesamten Spielverlauf.

C. Entscheidungsfindung via Chain-of-Thought (CoT)

Für strategische Entscheidungen (Wählen, Wahrsagen, Angriff) wird Chain-of-Thought-Prompting eingesetzt:

• Der Agent wird angewiesen, zunächst eine Begründung (Reasoning) zu generieren, bevor er die finale Aktion (z. B. „Ich wähle Agent X") ausspricht.
• Dies zwingt das Modell, logische Schritte durchzugehen (z. B. „Agent A behauptet Seher zu sein, aber Agent B widerspricht; daher ist A verdächtig"), was die Konsistenz zwischen Argumentation und Handlung erhöht.

3. Wichtige Beiträge

1. Entwicklung von 4 spezialisierten Agenten: Die Autoren stellten Agenten für alle vier Rollen (Dorfbewohner, Seher, Werwolf, Besessener) vor, die speziell für das Werwolf-Spiel optimiert sind.
2. Kombination von Zusammenfassung und Persona: Der innovative Ansatz, LLM-generierte Dialogzusammenfassungen mit manuell gestalteten Personas zu kombinieren, um sowohl kontextuelle als auch charakterliche Konsistenz zu erreichen.
3. Validierung durch Selbstmatch: Die Demonstration eines vollständigen 5-Spieler-Spiels, bei dem die Agenten untereinander spielen, um die Funktionalität des Systems zu testen.

4. Ergebnisse und Fallstudie

Die Autoren analysierten ein Spielprotokoll (Self-Match), bei dem ihre Agenten gegeneinander antraten (unter Verwendung von gpt-3.5-turbo für Wahlentscheidungen und gpt-4-turbo für Textgenerierung).

• Kontextuelle Konsistenz: Die Agenten nutzten die Zusammenfassungen erfolgreich, um Informationen von Tag 0 auf Tag 1 und Tag 2 zu übertragen. Ein Beispiel: Ein Agent erkannte am Tag 2 korrekt, dass ein anderer Spieler am Tag 1 als Seher aufgetreten war, und bezog dies in seine Argumentation ein, ohne die gesamte Historie neu lesen zu müssen.
• Charakterbeibehaltung: Die Agenten behielten ihren definierten Tonfall bei.
  • Der „König"-Agent sprach weiterhin würdevoll und streng.
  • Der „Werwolf"-Agent behielt seinen energischen, umgangssprachlichen Stil bei.
  • Der „Besessene" behielt seine zögerliche Sprechweise bei.
• Handlungskonsistenz: Die Agenten handelten konsistent mit ihren vorherigen Aussagen. Wenn ein Agent einen Spieler als Werwolf verdächtigte, wählte er diesen auch am Ende des Tages. Es gab keine Widersprüche zwischen der Begründung (CoT) und der finalen Entscheidung.

5. Bedeutung und Fazit

Das Paper zeigt, dass die reine Nutzung von LLMs für komplexe, mehrstufige Dialogspiele wie Werwolf nicht ausreicht, wenn Konsistenz über längere Zeiträume gefordert ist.

• Effizienz: Die Nutzung von Dialogzusammenfassungen ist ein effektiver Weg, um die Eingabelängenbeschränkungen von LLMs zu umgehen und die Qualität der Entscheidungsfindung zu steigern, indem irrelevante Informationen gefiltert werden.
• Robustheit: Die Integration von Personas und Few-Shot-Beispielen ist entscheidend, um die „Persönlichkeit" des Agents zu stabilisieren und zu verhindern, dass er durch den Kontext oder andere Spieler manipuliert wird.
• Zukunft: Dieser Ansatz bietet eine solide Basis für die Entwicklung von KI-Agenten in anderen Multi-Agenten-Szenarien mit unvollständiger Information und langen Dialoghistorien, bei denen sowohl logisches Denken als auch soziale Kohärenz erforderlich sind.

Zusammenfassend demonstrieren die Autoren, dass durch die gezielte Strukturierung von Prompts (Zusammenfassung + Persona + CoT) LLM-basierte Agenten in der Lage sind, komplexe soziale Interaktionen mit hoher Konsistenz und strategischer Tiefe zu meistern.