💬 NLP

Multi-User Large Language Model Agents

Diese Arbeit führt die erste systematische Untersuchung von Multi-User-LLM-Agenten durch, formalisiert die Interaktion als Multi-Principal-Entscheidungsproblem und zeigt durch gezielte Tests, dass aktuelle Modelle bei der Bewältigung widersprüchlicher Benutzerziele, dem Schutz der Privatsphäre und der Koordination erhebliche Defizite aufweisen.

Ursprüngliche Autoren: Shu Yang, Shenzhe Zhu, Hao Zhu, José Ramón Enríquez, Di Wang, Alex Pentland, Michiel A. Bakker, Jiaxin Pei

Veröffentlicht 2026-04-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shu Yang, Shenzhe Zhu, Hao Zhu, José Ramón Enríquez, Di Wang, Alex Pentland, Michiel A. Bakker, Jiaxin Pei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem intelligenten, aber noch etwas naiven persönlichen Assistenten. Bisher war dieser Assistent nur für einen Chef zuständig. Er wusste genau, was dieser Chef will, und hat sich blindlings auf seine Anweisungen verlassen. Das war einfach: Ein Chef, ein Assistent, eine Aufgabe.

Aber die Welt hat sich geändert. Jetzt arbeiten diese Assistenten nicht mehr nur für einen Chef, sondern für ganze Teams. Plötzlich sitzen fünf verschiedene Personen vor dem Bildschirm: der strengen Chefin, dem kreativen Marketing-Manager, dem vorsichtigen Sicherheitsbeauftragten und zwei Praktikanten. Alle wollen etwas anderes, manche haben geheime Informationen, und manche geben sich sogar gegenseitig widersprüchliche Befehle.

Genau dieses Chaos untersucht die vorliegende Studie. Die Forscher haben herausgefunden, dass unsere heutigen KI-Assistenten (die sogenannten "Large Language Models") für dieses neue Szenario noch gar nicht richtig gerüstet sind.

Hier ist die Erklärung der wichtigsten Punkte, übersetzt in einfache Bilder:

1. Das Problem: Der "Ein-Chef-Modus" vs. das "Team-Chaos"

Bisher wurden diese KIs trainiert, als gäbe es nur einen Auftraggeber.

Die alte Welt: Stell dir vor, du bist ein Koch in einem Restaurant, und nur ein Gast sitzt am Tisch. Der Gast sagt: "Ich will Pizza." Du machst Pizza. Fertig.
Die neue Welt: Jetzt kommen fünf Gäste an einen Tisch.
- Gast A (der Chef) sagt: "Mach sofort die Küche zu, wir haben einen Brand!"
- Gast B (ein Koch) sagt: "Nein, backe weiter, ich muss meinen Kuchen fertig machen!"
- Gast C (der Sicherheitschef) sagt: "Gast B, gib mir deinen Schlüssel, ich muss die Küche absperren!"
- Gast D (ein Praktikant) fragt: "Wie viel Geld haben wir im Kassenbuch?"

Die aktuelle KI ist wie ein Koch, der verwirrt ist. Sie weiß nicht, wem sie zuhören soll. Soll sie dem Chef gehorchen oder dem Koch? Darf sie dem Praktikant die Kassenbuch-Zahlen nennen? Oft entscheidet sie sich falsch, vergisst die Geheimhaltung oder gibt einfach alles an alle weiter.

2. Die drei großen Tests (Die "Stress-Tests")

Die Forscher haben die KIs in drei verschiedenen Situationen getestet, um zu sehen, wo sie versagen:

A. Der Konflikt-Test (Wer hat das Sagen?)

Szenario: Der Chef sagt "Stopp!", ein Mitarbeiter sagt "Weitermachen!".
Das Ergebnis: Die KIs sind gut darin, zu erkennen, dass es einen Konflikt gibt. Aber wenn sie dann handeln sollen, werden sie oft unsicher. Sie machen Fehler bei der Umsetzung. Es ist, als würde ein Schiedsrichter das Spiel unterbrechen, aber dann den falschen Spieler vom Feld schicken.
Lektion: KIs verstehen die Hierarchie (Chef > Mitarbeiter) noch nicht stabil genug, wenn es unter Druck steht.

B. Der Geheimnis-Test (Die Türwächter-Funktion)

Szenario: Ein Mitarbeiter fragt nach Gehaltsdaten, die er nicht sehen darf. Ein anderer (der HR-Direktor) fragt nach denselben Daten, darf aber.
Das Ergebnis: In den ersten paar Minuten sind die KIs sehr vorsichtig. Aber je länger das Gespräch dauert, desto mehr "verrutscht" ihnen die Tür. Nach ein paar Runden geben sie oft aus Versehen die Geheimnisse preis, weil sie versuchen, "hilfsbereit" zu sein.
Lektion: KIs sind wie ein Türsteher, der nach 10 Minuten müde wird und anfängt, den Schlüsselbund an jeden zu geben, der nett fragt.

C. Der Termin-Test (Die Koordinations-Hölle)

Szenario: Fünf Leute wollen einen Meeting-Termin finden. Jeder hat andere freie Zeiten, und manche sagen nicht sofort, wann sie können.
Das Ergebnis: Die KIs sind oft zu schnell. Sie versuchen, den Termin so schnell wie möglich zu finden, und erfinden dabei Termine, die gar nicht passen (z. B. sie sagen "Alle sind einverstanden", obwohl einer eigentlich "Nein" gesagt hat).
Lektion: Statt zu fragen: "Hast du wirklich Zeit?", sagen sie lieber eine Lüge, um das Gespräch zu beenden. Das nennt man "vorzeitiges Commitment".

3. Warum passiert das?

Die KIs wurden trainiert, wie ein Einzelkämpfer. Sie haben gelernt: "Ich muss dem Nutzer helfen, der gerade schreibt." Sie haben nie gelernt, wie man zwischen verschiedenen Nutzern vermittelt, wer welche Rechte hat und was geheim bleiben muss.

Es ist wie ein Schauspieler, der nur eine Rolle gelernt hat (der treue Diener), und plötzlich muss er in einem Theaterstück mitspielen, in dem er gleichzeitig der Richter, der Anwalt und der Polizist ist. Er weiß nicht, welche "Maske" er gerade aufsetzen soll.

4. Was bedeutet das für die Zukunft?

Die Studie zeigt uns, dass wir KI-Assistenten nicht einfach so in große Firmen oder Teams werfen können. Wir brauchen:

Neue Regeln: Die KI muss von Anfang an wissen, wer wer ist (Chef, Mitarbeiter, Praktikant).
Bessere Erinnerung: Sie muss sich merken, wer was darf, auch nach 50 Nachrichten.
Mut zum "Nein": Sie muss lernen, nicht nur "hilfsbereit" zu sein, sondern auch konsequent Grenzen zu setzen, wenn es um Sicherheit geht.

Zusammenfassend:
Unsere KI-Assistenten sind heute noch wie brillante Ein-Mann-Bands. Wenn sie in ein Orchester mit vielen Musikern, verschiedenen Notenbüchern und strengen Regeln geworfen werden, spielen sie oft die falschen Töne, verraten die Geheimnisse der anderen Musiker oder versuchen, das Konzert zu beenden, bevor alle Instrumente gestimmt sind. Die Forschung sagt uns: Bevor wir KI in echte Teams integrieren, müssen wir sie erst lernen lassen, wie man ein Orchester leitet und nicht nur wie man ein Solo spielt.

Titel: Multi-User Large Language Model Agents

Autoren: Shu Yang, Shenzhe Zhu, Hao Zhu et al. (Stanford, KAUST, U of Toronto, MIT)

1. Problemstellung

Aktuelle Large Language Models (LLMs) und agentenbasierte Systeme sind überwiegend für das Single-Principal-Paradigma (Einzelnutzer-Interaktion) optimiert. In diesem Setting wird das Modell darauf trainiert, die Ziele eines einzigen dominanten Nutzers zu erfüllen, dessen Anweisungen als alleinige Autorität gelten.

Das Paper identifiziert jedoch eine kritische Lücke: Wenn LLMs in reale Team-Workflows und organisationale Tools integriert werden, müssen sie zunehmend mehrere Nutzer gleichzeitig bedienen. Dies führt zu Multi-Principal-Szenarien, die folgende Herausforderungen mit sich bringen:

Konfligierende Interessen: Unterschiedliche Nutzer haben oft gegensätzliche Ziele (z. B. ein CEO will Entwicklung stoppen, ein Ingenieur will sie fortsetzen).
Informationsasymmetrie: Nicht alle Nutzer haben Zugriff auf denselben Kontext oder dieselben Daten.
Privatsphäre und Zugriffskontrolle: Sensible Daten dürfen nur autorisierten Nutzern offengelegt werden.
Rollenasymmetrie: Nutzer haben unterschiedliche Autoritätslevel (z. B. Manager vs. Praktikant), die bei der Entscheidungsfindung berücksichtigt werden müssen.

Bisherige Systeme behandeln Multi-User-Inputs oft nur als serialisierten Text unter einer einzigen „User"-Rolle, was die explizite Modellierung von Identitäten, Rollen und Autoritätsgrenzen verhindert.

2. Methodik und Formulierung

Formale Definition

Die Autoren formalisieren die Interaktion als Multi-Principal-Entscheidungsproblem.

Ein Agent interagiert mit einer Menge von Nutzern $U = \{u_1, ..., u_N\}$ .
Jeder Nutzer $u_i$ hat eine eigene Nutzenfunktion $U_i$ , die Aufgaben, Privatsphäre und Präferenzen abbildet.
Der Agent muss eine Aktion $a$ wählen, die einen gewichteten sozialen Nutzen maximiert:
$\max_{a \in A} \sum_{i=1}^{N} w_i U_i(a; C_i, p_i)$
wobei $w_i$ die Priorität basierend auf der Autorität (z. B. CEO > Intern) darstellt und $C_i$ den privaten Kontext des Nutzers ist.
Der Agent operiert unter selektiver Sichtbarkeit: Er sieht nur den geteilten Kontext $C_{share}$ und den explizit geteilten privaten Kontext, muss aber Zugriffskontrollen durchsetzen.

Stress-Testing-Protokoll (Muses-Bench)

Um die Fähigkeiten aktueller Modelle zu testen, wurde ein einheitliches Interaktionsprotokoll entwickelt und drei spezifische Stress-Test-Szenarien definiert:

Multi-User Instruction Following (Anweisungsfolge):
- Ziel: Bewertung der Fähigkeit, widersprüchliche Anweisungen basierend auf Rollenhierarchien und globalen Zielen zu priorisieren.
- Beispiel: Ein CEO befiehlt das Stoppen der Entwicklung, ein Ingenieur bittet um Fortsetzung.
- Metriken: F1-Score für die korrekte Auswahl der Anweisungen und Genauigkeit bei der Ausführung (Execution Fidelity).
Cross-User Access Control (Zugriffskontrolle):
- Ziel: Prüfung, ob der Agent sensible Daten (z. B. Gehaltsdaten) nur autorisierten Nutzern (HR-Direktor) preisgibt und unbefugte Anfragen (z. B. von Ingenieuren) ablehnt, auch unter adversariellem Druck (Social Engineering, Role-Playing).
- Metriken: Privacy Score (Vermeidung von Lecks) und Utility Score (Hilfsbereitschaft für Berechtigte).
Multi-User Meeting Coordination (Koordinierung):
- Ziel: Terminfindung für mehrere Nutzer mit unterschiedlichen Verfügbarkeiten, oft unter unvollständiger Information (Partial Disclosure). Der Agent muss aktiv fehlende Informationen erfragen.
- Metriken: Erfolgsrate (Scheduling), Anzahl der benötigten Interaktionsrunden (Effizienz).

3. Wichtige Ergebnisse

Die Studie evaluierte eine breite Palette von proprietären (z. B. GPT-5, Claude 4.5, Gemini 3) und Open-Weight-Modellen (z. B. Llama-3, Qwen3, DeepSeek-R1). Die Ergebnisse zeigen systematische Defizite:

Instabilität bei Konflikten: Modelle können Anweisungen oft korrekt auswählen, scheitern aber bei der konsequenten Ausführung unter Konflikten. Die Leistung bricht signifikant ein, sobald widersprüchliche Ziele vorliegen (z. B. fällt die Genauigkeit von 0,86 auf 0,62 bei Konflikten).
Erosion der Privatsphäre: Die Fähigkeit, Zugriffskontrollen einzuhalten, verschlechtert sich mit der Anzahl der Interaktionsrunden. Modelle, die in der ersten Runde sicher sind, beginnen in späteren Runden (nach 4–6 Turns) oft, sensible Informationen durch „Hilfsbereitschaft" oder Adversarial-Attacks zu leakten.
Effizienz-Engpässe bei der Koordination: Bei der Terminfindung scheitern viele Modelle daran, aktiv fehlende Informationen zu erfragen. Stattdessen treffen sie voreilige Entscheidungen („Premature Commitment"), was zu falschen Ergebnissen führt, auch wenn sie weniger Runden benötigen.
Skalierbarkeit: Mit steigender Anzahl der Teilnehmer (N > 10) sinkt die Erfolgsrate bei der Koordination drastisch, während die benötigten Interaktionsrunden linear ansteigen.
Kein signifikanter Unterschied zwischen Formaten: Die Art der Serialisierung (XML, Colon, „User A sagt") hatte wenig Einfluss auf die Fehleranfälligkeit; das Kernproblem liegt im logischen Verständnis der Multi-Principal-Dynamik.

4. Hauptbeiträge

Erste systematische Studie: Dies ist die erste umfassende Untersuchung von LLM-Agenten in echten Multi-Principal-Szenarien.
Formalisierung: Einführung einer mathematischen Formulierung für Multi-User-Interaktionen, die Nutzenaggregation, Rollenhierarchien und selektive Kontextsichtbarkeit integriert.
Benchmark (Muses-Bench): Entwicklung eines standardisierten Testframeworks mit drei kritischen Szenarien (Anweisungsfolge, Zugriffskontrolle, Koordination) und detaillierten Metriken.
Identifikation von Grenzen: Nachweis, dass aktuelle State-of-the-Art-Modelle trotz ihrer allgemeinen Fähigkeiten fundamentale Schwächen in der Verwaltung von Konflikten, langfristiger Privatsphäre und adaptiver Koordination aufweisen.

5. Signifikanz und Ausblick

Die Arbeit zeigt, dass die Erweiterung von LLMs von Single- zu Multi-Principal-Settings keine oberflächliche Generalisierung ist, sondern eine qualitative Verschiebung der Problemstellung erfordert.

Implikationen für die Entwicklung: Aktuelle Trainingspipelines (SFT, RLHF) basieren auf der Annahme eines einzelnen Nutzers. Für Multi-User-Systeme müssen neue Architekturen entwickelt werden, die Rollen, Autorität und Privatsphäre als „First-Class-Primitiven" behandeln.
Zukünftige Richtungen:
- Entwicklung nativer Multi-User-Schnittstellen.
- Langfristige Sicherheits- und Privatsphäre-Benchmarks.
- Integration von Prinzipien der Sozialwahltheorie (Social Choice Theory) zur Konfliktlösung.
- Verbesserte Auditierbarkeit und Tooling für Multi-User-Entscheidungen.

Zusammenfassend warnt das Paper davor, LLMs blind in komplexe Team-Umgebungen zu integrieren, da sie ohne spezifische Anpassungen zu Privatsphäre-Verletzungen, ineffizienter Koordination und inkonsistenten Entscheidungen neigen.