Multi-User Large Language Model Agents

Titel: Multi-User Large Language Model Agents

Auteurs: Shu Yang et al. (Stanford, KAUST, U of Toronto, MIT)

---

1. Het Probleem: Van Single- naar Multi-Principal Interactie

Huidige Large Language Models (LLM's) en agent-systemen zijn overwegend geoptimaliseerd voor een Single-Principal Paradigma. In deze setting is de agent ontworpen om de doelen van één dominante gebruiker te vervullen, waarbij instructies als de enige bron van autoriteit worden behandeld.

De paper identificeert echter een kritieke kloof: naarmate LLM's worden geïntegreerd in teamwerkflows en organisatorische tools, moeten ze steeds vaker meerdere gebruikers tegelijkertijd bedienen. Dit creëert een Multi-Principal Setting met de volgende complexe uitdagingen:

• Conflicterende belangen: Verschillende gebruikers hebben tegenstrijdige doelen (bijv. een CEO wil ontwikkeling stoppen, een engineer wil doorgaan).
• Autoriteitsasymmetrie: Gebruikers hebben verschillende machtsniveaus (bijv. manager vs. stagiair).
• Privacy en informatie-asymmetrie: Gebruikers hebben privécontexten die niet voor iedereen zichtbaar mogen zijn (bijv. salarisgegevens), wat leidt tot strikte toegangscontrole.
• Coördinatie: Agents moeten informatie verzamelen en taken coördineren zonder dat alle gebruikers alle details direct delen.

Bestaande systemen serialiseren vaak input van meerdere gebruikers tot één "gebruiker"-rol, waardoor ze geen native ondersteuning hebben voor het onderscheiden van rollen, het afdwingen van privacygrenzen of het oplossen van belangenconflicten.

---

2. Methodologie en Formulering

Formele Formulering

De auteurs formaliseren multi-user interactie als een multi-principal besluitvormingsprobleem.

• Situatie: Een enkele agent $M$ interageert met een set gebruikers $U = \{u_1, ..., u_N\}$.
• Doel: De agent moet een actie $a$ kiezen die een gewogen sociaal doel maximaliseert:
  $$\max_{a \in A} \sum_{i=1}^{N} w_i U_i(a; C_i, p_i)$$
  Waarbij $w_i$ de prioriteit is gebaseerd op autoriteit (bijv. CEO > Intern) en $U_i$ de nuttigheidsfunctie is voor gebruiker $i$ (inclusief privacy en taaksluiting).
• Beperkingen: De agent moet voldoen aan toegangscontrolebeperkingen die bepalen welke informatie uit privécontexten $C_i$ mag worden onthuld.

Stress-Test Protocol (Muses-Bench)

Om de prestaties te evalueren, stellen de auteurs een uniek interactieprotocol en drie stress-test scenario's voor:

1. Multi-User Instruction Following: Test of de agent conflicterende instructies kan oplossen op basis van autoriteit en globale doelen (bijv. een beveiligingsinstructie van een CEO versus een ontwikkelverzoek van een ingenieur).
2. Cross-User Access Control: Test of de agent als poortwachter fungeert voor gevoelige data (bijv. salarisdatabase), waarbij hij toegang moet weigeren aan onbevoegden (inclusief sociale engineering-aanvallen) maar wel toegang moet verlenen aan bevoegden.
3. Multi-User Meeting Coordination: Test of de agent een vergadering kan plannen met meerdere deelnemers die verschillende beschikbaarheid hebben, waarbij de agent actief ontbrekende informatie moet opvragen en conflicten moet oplossen zonder te hallucineren.

Implementatie: Omdat bestaande LLM's geen native multi-user message-schema's ondersteunen, worden inputs geserialiseerd (bijv. "User A zegt: ... User B zegt: ..."). De studie test diverse modellen (GPT-5, Claude 4.5, Gemini 3, Llama 3, Qwen3, etc.) onder deze condities.

---

3. Belangrijkste Resultaten

De experimenten tonen systematische tekortkomingen in frontier LLM's bij multi-principal scenario's:

• Fragiele Instructie-opvolging bij Conflicten:

  • Modellen presteren goed wanneer instructies consistent zijn, maar hun prestaties dalen drastisch bij conflicten.
  • Er is een duidelijke mismatch tussen het selecteren van de juiste instructie (op basis van autoriteit) en het uitvoeren daarvan. Sommige modellen kiezen de juiste instructie maar voeren deze niet correct uit, of vice versa.
  • Voorbeeld: Claude-Haiku-4.5 daalt van 86% nauwkeurigheid in consistente scenario's naar 62% bij conflicten.

• Erosie van Privacy-bescherming:

  • Privacy-bescherming is niet statisch; deze verslechtert naarmate het aantal interactierondes toeneemt.
  • Modellen beginnen na meerdere rondes (vaak na ronde 4-6) gevoelige informatie te lekken aan onbevoegde gebruikers, zelfs als ze in de eerste ronde perfect presteerden. Dit suggereert dat langdurige interactie de veiligheidsbarrières ondermijnt.

• Efficiëntie-瓶颈 (Bottlenecks) in Coördinatie:

  • Bij het plannen van vergaderingen met onvolledige informatie (partial disclosure) falen veel modellen.
  • Ze hebben vaak extra interactierondes nodig om tot een oplossing te komen, of ze nemen te vroeg een beslissing ("premature commitment") en hallucineren dat er consensus is, zelfs als een gebruiker expliciet heeft geweigerd.
  • De succesrate daalt aanzienlijk naarmate het aantal deelnemers toeneemt (van 2 naar 20 gebruikers).

• Trade-off tussen Privacy en Nut:

  • Modellen die zeer strikt zijn in privacy (hoge Privacy Score), zijn vaak te conservatief en weigeren toegang aan bevoegde gebruikers (lage Utility Score).
  • Modellen die nuttig zijn voor bevoegden, lekken vaker data aan onbevoegden.

---

4. Kernbijdragen

1. Eerste Systematische Studie: Dit is het eerste werk dat multi-user LLM-interacties systematisch analyseert als een multi-principal probleem, in plaats van ze te behandelen als een enkelvoudige gebruiker met extra input.
2. Formele Formulering: Het introduceren van een wiskundige basis voor multi-user agents die rekening houdt met heterogene nuttigheidsfuncties, autoriteitsniveaus en selectieve contextzichtbaarheid.
3. Muses-Bench: Een nieuwe benchmark met drie stress-test scenario's (instructie-opvolging, toegangscontrole, coördinatie) die specifiek is ontworpen om de zwakke plekken van huidige LLM's in multi-user omgevingen bloot te leggen.
4. Empirische Bewijzen: Het aantonen dat frontier-modellen fundamenteel beperkt zijn in het handhaven van stabiele prioritering, privacy over lange termijn, en efficiënte coördinatie zonder menselijke tussenkomst.

---

5. Significatie en Toekomstperspectief

De paper concludeert dat het uitbreiden van LLM's van single- naar multi-principal settings geen oppervlakkige generalisatie is, maar een kwalitatieve verschuiving in probleemformulering vereist.

• Noodzaak voor Nieuwe Architecturen: Huidige chat-template's (single user role) zijn ontoereikend. Toekomstige systemen moeten native ondersteuning bieden voor meerdere gebruikersrollen, autoriteitsniveaus en privacygrenzen als "first-class primitives".
• Veiligheid en Privacy: Privacy-bescherming is een dynamisch probleem dat verslechtert bij langdurige interactie. Nieuwe benchmarks voor lange-termijn veiligheid zijn nodig.
• Conflictoplossing: Er is behoefte aan principes voor het aggregeren van voorkeuren en het oplossen van conflicten, mogelijk gebaseerd op sociale keuzetheorie en mechanismeontwerp.
• Audit en Transparantie: Multi-user beslissingen moeten traceerbaar en auditabel zijn, met duidelijke logs van wie toegang kreeg tot welke informatie.

Kortom, voor LLM-agents om echt bruikbaar te zijn in organisaties en teams, moeten ze evolueren van "persoonlijke assistenten" naar "coördinatoren" die complexiteit, privacy en machtsdynamiek kunnen beheersen.