Influencing LLM Multi-Agent Dialogue via Policy-Parameterized Prompts

Die Arbeit stellt einen Ansatz vor, bei dem durch parametrisierte Prompts als Aktionen ein leichtgewichtiges, trainingsfreies Policy-Modell entwickelt wird, um das Dialogverhalten von LLM-basierten Multi-Agenten-Systemen gezielt zu steuern und so die soziale Simulation zu verbessern.

Das Wesentliche

Stell dir vor, du hast eine Gruppe von sehr klugen, aber manchmal etwas chaotischen Robotern (die sogenannten KI-Agenten), die in einem virtuellen Raum diskutieren. Sie sollen über wichtige Themen wie „Sollten Bauern mehr Land für Wälder nutzen?" oder „Wie verteilen wir Schulgeld fair?" reden.

Das Problem bisher war: Man hat diesen Robotern einfach einen Zettel mit einer lose formulierten Anweisung gegeben (ein sogenannter „Prompt") und gehofft, dass sie sich vernünftig verhalten. Das war wie ein Dirigent, der nur auf die Geiger zeigt und hofft, dass sie das richtige Stück spielen, ohne ein Notenblatt zu haben. Oft endete das in Wiederholungen, chaotischen Gesprächen oder Robotern, die ihre eigene Rolle vergaßen.

Diese Forscher aus Bristol haben nun eine neue Methode entwickelt, um diese Diskussionen zu steuern. Nennen wir sie „Die Zauber-Steuerkonsole".

1. Die Grundidee: Der Prompt als Schalter

Statt die Roboter neu zu programmieren oder jahrelang zu trainieren (was teuer und langsam ist), behandeln die Forscher die Anweisung, die sie dem Roboter geben, als einen Schalter.

Stell dir vor, jeder Roboter hat eine Steuerkonsole mit fünf Reglern:

• T (Die Rolle): Wer bin ich? (Bin ich ein strenger Bauer oder ein besorgter Naturschützer?)
• M (Das Gedächtnis): Was wurde gerade gesagt? (Habe ich den letzten Satz meines Gesprächspartners gehört?)
• D (Das Wissen): Was weiß ich aus meinen Büchern? (Habe ich Fakten zur Hand?)
• R (Die Regeln): Wie soll ich antworten? (Soll ich kurz und knackig sein oder erst lange überlegen?)
• W (Das Gewicht): Wie stark betone ich das oben Genannte?

2. Die Analogie: Das Orchester

Stell dir die Diskussion als ein Orchester vor.

• Ohne diese Methode: Jeder Musiker spielt, was er gerade fühlt. Der Geiger schreit, der Trompeter spielt leise, und niemand hört auf den Dirigenten. Es ist laut, aber kein Musikstück entsteht.
• Mit der Methode: Der Dirigent (die Forscher) hat ein Notenblatt mit dynamischen Anweisungen.
  • Wenn er den Regler für „Rolle" hochdreht, spielt der Geiger (der Roboter) sehr laut und bestimmt in seiner Rolle.
  • Wenn er den Regler für „Wissen" hochdreht, muss der Geiger erst in seinem Notenbuch nachschauen, bevor er spielt.
  • Wenn er den Regler für „Wiederholung" runterdreht, darf der Geiger nicht denselben Ton zweimal spielen.

Das Geniale daran: Der Dirigent muss den Musiker nicht neu ausbilden. Er ändert nur die Anweisung auf dem Notenblatt während des Konzerts.

3. Wie funktioniert das in der Praxis?

Die Forscher haben zwei Szenarien getestet:

1. Landnutzung: Ein Bauer, ein Naturschützer und ein Dorfbewohner streiten über Felder und Wälder.
2. Bildung: Ein Landlehrer, ein Stadteltern und ein Politiker streiten über Schulbudgets.

Sie haben verschiedene „Regel-Sets" ausprobiert:

• Keine Regeln (Chaos): Die Roboter reden einfach drauflos.
• Leichte Regeln: „Antworte zuerst direkt, dann gib ein Beispiel."
• Strikte Regeln: „Nenne zuerst drei Argumente, dann widerlege den Gegner, dann gib ein Zitat aus deinem Buch."

Das Ergebnis war überraschend:

• Mit strengen Regeln wiederholten sich die Roboter viel weniger. Sie waren kreativer.
• Mit leichten Regeln nutzten sie mehr Fakten aus ihren Büchern.
• Wenn man den Regler für die Rolle hochdrehte, wurden die Roboter streitlustiger und hielten klarer an ihrer Meinung fest (wie echte Menschen in einer Debatte!).

4. Der adaptive Regler (Der intelligente Dirigent)

Das Coolste an der Methode ist, dass sie sich anpasst.
Stell dir vor, am Anfang der Diskussion muss jeder Roboter erst seine Position klären (viel „Rolle" und „Wissen"). Später, wenn die Diskussion heiß läuft, muss er mehr auf das zuhören, was die anderen sagen (mehr „Gedächtnis").

Die Forscher haben einen kleinen Algorithmus eingebaut, der diese Regler automatisch während des Gesprächs bewegt.

• Frühe Runde: „Hey Roboter, sei erst mal fest in deiner Rolle!"
• Späte Runde: „Okay, jetzt hör genau zu, was der andere gerade gesagt hat, und antworte darauf!"

5. Warum ist das wichtig?

Früher mussten wir KI-Modelle wie ein Baby erziehen (Training), damit sie sich gut verhalten. Das ist aufwendig.
Diese Methode zeigt: Wir können KI-Verhalten sofort steuern, indem wir nur die Anweisungen (den Prompt) clever zusammenstellen.

Zusammengefasst:
Die Forscher haben bewiesen, dass man KI-Gespräche nicht durch schweres Training, sondern durch kluge, veränderbare Anweisungen lenken kann. Es ist wie das Einstellen eines Radios: Du musst den Sender nicht neu bauen, du drehst nur den Knopf, bis du den gewünschten Klang (die gewünschte Gesprächsatmosphäre) hast.

Das ist ein riesiger Schritt, um KI-Agenten in der Zukunft für soziale Experimente, Simulationen von Gesellschaften oder sogar für therapeutische Gespräche nutzbar zu machen, ohne dass man jedes Mal ein neues Gehirn für sie trainieren muss.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Influencing LLM Multi-Agent Dialogue via Policy-Parameterized Prompts" auf Deutsch:

1. Problemstellung

Traditionelle Multi-Agenten-Simulationen basieren oft auf expliziten Modellen oder Reinforcement Learning (RL), um Agenten zu trainieren. Im Gegensatz dazu nutzen Large Language Models (LLMs) als Agenten ihre inhärenten Fähigkeiten zur Sprachgenerierung und Wissensretrieval ohne zusätzliches Training. Ein zentrales Problem besteht jedoch darin, dass die Interaktion zwischen LLM-basierten Agenten meist auf ad-hoc-Prompts beruht. Es fehlt ein prinzipieller Rahmen, der Kommunikationsstrategien als Policies (Richtlinien) behandelt, um Agentenverhalten systematisch zu steuern, vorherzusagen und über verschiedene Aufgaben hinweg zu optimieren. Ohne eine solche Kontrolle ist es schwierig, Dialogdynamiken gezielt zu formen oder soziale Simulationen zu verfeinern.

2. Methodik

Die Autoren schlagen einen leichten Ansatz vor, bei dem Prompts als Aktionen betrachtet werden, die durch eine parametrisierte Policy gesteuert werden. Das Framework modelliert den Multi-Agenten-Dialog als einen steuerbaren Zustand-Aktions-Prozess.

Kernkomponenten des Frameworks:

• Prompt-as-Action: Die Policy $\pi_i$ bildet den Zustand $s_i$ eines Agenten auf eine konstruierte Aktion (den Prompt) ab.
• Fünf Komponenten des Prompts:
  1. T (Task & Persona): Beschreibung der Rolle und Aufgabe.
  2. M (Dialogue History Memory): Der bisherige Dialogverlauf.
  3. D (External Knowledge Base): Externes Wissen (via RAG abgerufen).
  4. R (Rule Template): Optionaler Regel-Skelett zur Strukturierung der Antwort.
  5. W (Weights): Gewichte, die die Stärke der Einflussnahme von T, M und D steuern.

Steuerungsmechanismen:

1. Rule Templates (R): Es werden drei Stufen der strukturellen Einschränkung definiert:
   • None: Keine explizite Struktur.
   • Light: Minimale Struktur (z. B. Reihenfolge der Antwort, Länge).
   • Struct: Detaillierte Zerlegung in Kategorien (z. B. Argumente, Konflikte, Kooperation).
2. Gewichte (W): Jeder Agent erhält Gewichte $w_T, w_M, w_D \in [0, 2]$. Diese werden in drei Stufen (niedrig, mittel, hoch) gemappt, die spezifische Verhaltensanweisungen auslösen (z. B. bei hohem $w_D$: „Zitiere konkrete Evidenz vor dem Schluss").
3. Adaptive Gewichte: Ein Scheduler passt die Gewichte dynamisch an:
   • Zeitbasiert: Frühe Runden bevorzugen Wissen (D), späte Runden den Dialogverlauf (M).
   • Verhaltensbasiert: Wenn ein Agent in der vorherigen Runde keine Evidenz nutze oder nicht auf den Dialog einging, wird das entsprechende Gewicht erhöht.

Evaluationsmetriken:

Die Wirksamkeit wird anhand fünf Metriken gemessen:

• Responsiveness: Beantwortet der Agent die letzte Äußerung?
• Rebuttal: Widerspricht der Agent explizit?
• Non-repetition: Vermeidet der Agent Wiederholungen?
• Evidence Usage: Nutzt der Agent zitierte externe Evidenz?
• Stance Shift: Bleibt die Haltung des Agenten konsistent oder ändert sie sich?

3. Experimentelles Setup

• Szenarien: Zwei öffentliche Diskussionsbereiche: „Landnutzung" (Land) und „Bildungsressourcenverteilung" (Education).
• Agenten: Drei Agenten pro Szenario mit unterschiedlichen Rollen (z. B. Landwirt, Umweltschützer, Gemeindevertreter) und unterschiedlichen LLM-Backbones (Qwen3, Llama3, Mistral).
• Durchführung: 10 Runden Dialog pro Szenario, variierte Regel-Templates und Gewichte.

4. Wichtige Ergebnisse

• Einfluss der Policy-Parametrisierung (RQ1): Die Studie bestätigt, dass Prompt-Steuerung als leichte Policy-Parametrisierung fungiert, um das Verhalten von LLM-Agenten zu regulieren, ohne das Modell neu zu trainieren.
• Auswirkung von Regel-Templates (RQ2):
  • Strukturierte Regeln (Struct) führen zu signifikant weniger Wiederholungen (höhere Non-repetition), können aber die Nutzung von Evidenz unterdrücken.
  • Leichte Regeln (Light) fördern die Nutzung von externer Evidenz und erhöhen die Widerlegungsraten (Rebuttal).
  • Keine Regeln (None) führen zu glatteren, aber weniger strukturierten Dialogverläufen.
• Gewichte und Sensitivität:
  • Höhere Gewichte für die Persona ($w_T$) führen zu stärkeren Widerlegungen und einer stabileren Haltung (Stance).
  • Es gibt einen „Cross-over-Effekt": Bei schwachen Gewichten können strukturierte Regeln die Evidenznutzung erzwingen; ohne Regeln sind starke Gewichte nötig, um Evidenz zu fördern.
• Adaptive Gewichte: Diese ermöglichen eine feine Abstimmung des Dialogverlaufs über die Zeit (z. B. weniger Evidenz in späteren Runden, wenn $w_D$ automatisch sinkt), ändern aber den Gesamtdurchschnittswert nur geringfügig.
• LLM-Vielfalt: Heterogene Setup (verschiedene LLMs für verschiedene Agenten) erzeugen reichhaltigere und interaktivere Diskussionen als homogene Setups (gleicher LLM für alle).

5. Bedeutung und Beitrag

• Neue Perspektive: Das Paper definiert Prompts nicht nur als Eingabe, sondern als Aktionen einer Policy. Dies bietet einen neuen Weg, Multi-Agenten-Systeme zu verstehen und zu steuern, der sich von reinen Trainingsansätzen (RL) unterscheidet.
• Interpretierbarkeit: Durch die Zerlegung in T, M, D, R und W wird der Einfluss auf das Agentenverhalten transparent und messbar.
• Soziale Simulation: Der Ansatz bietet ein einfaches, effektives Werkzeug für die soziale Simulation, das es erlaubt, Dialogdynamiken gezielt zu lenken (z. B. für Debatten, Konsensfindung oder Konfliktforschung).
• Effizienz: Da keine Feinabstimmung (Fine-Tuning) des LLM erforderlich ist, ist der Ansatz ressourcenschonend und leicht anwendbar.

Zusammenfassend demonstriert die Arbeit, dass durch die parametrisierte Gestaltung von Prompts (als Policy) das Verhalten von LLM-basierten Multi-Agenten-Systemen systematisch, messbar und ohne Training kontrolliert werden kann, was einen vielversprechenden Weg für zukünftige soziale Simulationen eröffnet.