🤖 AI

MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

Dit artikel introduceert MCP-Persona, de eerste benchmark die is ontworpen om de prestaties van large language model-agenten op het gebied van real-world gepersonaliseerde toepassingen te evalueren door interacties met diverse sociale en zakelijke tools te simuleren, waarbij significante prestatiekloven in huidige state-of-the-art systemen aan het licht worden gebracht.

Oorspronkelijke auteurs: Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, superrobot-assistent hebt (een AI-agent) die geweldig is in het beantwoorden van vragen uit een tekstboek. Maar nu wil je hem inhuren om je echte leven te beheren: je echte agenda controleren, berichten plaatsen op je echte sociale media en berichten sturen naar je echte collega's.

Het probleem is dat deze robot nooit echt in jouw wereld heeft geleefd. Het is also� of je een piloot een vluchtsimulator geeft met alleen maar platte, lege luchten, en vervolgens verwacht dat hij een vliegtuig laat landen in een echte storm met echte passagiers.

Dit artikel, MCP-Persona, introduceert een nieuwe manier om deze robots te testen voordat we ze loslaten in ons echte leven. Hier is de onderverdeling met behulp van eenvoudige analogieën:

1. Het Problek: Het "Tekstboek" versus de "Echte Wereld"

Huidige tests voor AI-agenten zijn als het vragen aan een student om wiskundeproblemen op een schoon whiteboard op te lossen. Ze werken daar prima. Maar het echte leven is rommelig.

De Kloof: Echte apps (zoals Slack, Instagram of werkagenda's) zijn "persoonlijk". Ze kennen je naam, je vrienden, je geschiedenis en je geheimen.
De Privacymuur: Je kunt een onderzoeker niet zomaar je echte wachtwoord geven om een AI te testen. Dat is een beveiligingsnachtmerrie.
Het Resultaat: Tot nu toe hadden we geen veilige, eerlijke manier om te zien of een AI daadwerkelijk jouw persoonlijke digitale leven kon afhandelen zonder vast te lopen of fouten te maken.

2. De Oplossing: Een "Digitale Tweeling" Stad Bouwen

De auteurs bouwden MCP-Persona, wat in feite een hoogtechnologische, veilige "pretpark" is die echte apps perfect nabootst zonder echte mensengegevens te gebruiken.

Ze deden dit in drie creatieve stappen:

Stap A: Het "Spion"-instrument (Tool-Traverse)
In plaats van alleen de handleiding van een app te lezen (die vaak incompleet is), stuurden ze een robot die de echte app duizenden keren daadwerkelijk gebruikte. De robot klikte op elke knop, probeerde dingen kapot te maken en registreerde precies hoe de app reageerde op succes en falen.
- Analogie: Stel je voor dat je niet leert rijden door het verkeershandboek te lezen, maar door een robot duizend keer een auto te laten rijden om precies te leren hoe de remmen piepen en hoe de motor afslaat. Vervolgens gebruikten ze deze gegevens om een perfecte "nepversie" van de app te bouwen die zich exact gedraagt als de echte versie.
Stap B: Het "Nepleven" (Context-Tree)
Om de test realistisch te maken, hadden ze een nepgebruikersprofiel nodig. Ze bouwden een "boom" van gegevens. De stam is de "Gebruiker", de takken zijn "Agenda", "Berichten" en "Foto's". Ze vulden deze takken met realistische gegevens (zoals nepberichten of nepvergaderingstijden) terwijl ze echte namen en telefoonnummers eruit filterden.
- Analogie: Het is als het opzetten van een filmset. De acteurs (de AI) kunnen rondlopen, de koelkast openen en de agenda bekijken, maar alles binnenin is een rekwisiet. Geen echte geheimen worden blootgesteld.
Stap C: Het "Verwarrende Script" (Persona-Gen)
Echte mensen geven geen perfecte instructies. We zeggen dingen als: "Vertel mijn baas dat ik ziek ben," zonder te specificeren welke baas of welke app we moeten gebruiken. Het systeem creëert automatisch taken die enigszins vaag zijn, waardoor de AI gedwongen wordt om de ontbrekende stukjes te achterhalen door rond te kijken in het "nepleven" dat ze gekregen hebben.
- Analogie: Het is als een speurtocht waarbij de aanwijzingen verborgen zijn. De AI moet zeggen: "Oh, de instructie zei niet welke agenda, maar ik zie een 'Werk'-agenda in de omgeving, dus ik zal die gebruiken."

3. De Resultaten: De Robots Zijn Nog Steeds Onhandig

De auteurs testten de slimste AI-modellen van de wereld (zoals GPT-5 en Claude) in deze "Digitale Tweeling Stad". De resultaten waren verrassend:

Het Scorebord: Zelfs de beste modellen faalden meer dan de helft van de tijd. Ze behaalden minder dan 50% nauwkeurigheid.
De Belangrijkste Fouten:
1. Blindheid: De AI negeerde vaak aanwijzingen die verborgen waren in de omgeving. (bijv. De instructie zei "Bericht Song Ke," en de omgeving bevatte de ID van Song Ke, maar de AI gokte gewoon een willekeurig persoon).
2. Stappen Overslaan: De AI probeerde een complexe taak uit te voeren zonder eerst de noodzakelijke kleine stappen te zetten. (bijv. Proberen een vergadering te boeken met een telefoonnummer in plaats van eerst dat nummer om te zetten naar een gebruikers-ID).
3. Geheugenverlies: Wanneer het gesprek lang werd, vergat de AI de regels of de context waarmee hij begon.

4. Waarom Dit Belangrijk Is

Dit artikel zegt niet "AI is nutteloos." Het zegt: "We hebben AI in een bubbel getest, en nu weten we dat ze worstelen wanneer ze de rommelige, persoonlijke echte wereld betreden."

MCP-Persona is de nieuwe sportschool waar deze AI-agenten kunnen trainen. Het stelt ontwikkelaars in staat om precies te zien waar hun robots falen (zoals het vergeten te controleren van een gebruikers-ID), zodat ze deze kunnen repareren voordat we ze vertrouwen met onze werkelijke e-mails, agenda's en sociale media-accounts.

Kortom: Het artikel bouwde een veilige, realistische videogame om AI-agenten te testen op persoonlijke taken, en ontdekte dat zelfs de "slimste" AI's momenteel slecht zijn in het navigeren door de rommelige details van ons echte digitale leven.

Technische Samenvatting: MCP-Persona

Probleemstelling

Het Model Context Protocol (MCP) is een standaard geworden voor het verbinden van Large Language Models (LLMs) met externe tools en data. Bestaande benchmarks evalueren agents echter voornamelijk op generieke, staatloze informatiezoekende tools. Ze adresseren niet de complexiteit van real-world gepersonaliseerde applicaties (bijv. sociale media, enterprise samenwerkingssuites) waar tools nauw verbonden zijn met individuele gebruikersaccounts, historisch gedrag en lokale databases.

Het evalueren van agents in deze domeinen wordt gehinderd door drie kritieke barrières:

Implementatiekosten: Realistisch testen vereist toegang tot private gebruikersdata en aanzienlijke menselijke inspanning voor de inrichting van de omgeving.
Privacybeperkingen: Operationele beveiliging beperkt het verzamelen en delen van persoonlijke contexten, wat de constructie van open-source benchmarks belemmert.
Simulatiestabiliteit: Het handhaven van een stabiele, uitvoerbare omgeving die heterogene gebruikers simuleert terwijl een eerlijke evaluatie wordt gegarandeerd, is technisch niet-trivial.

Gevolgelijk blijft de prestatie van state-of-the-art (SOTA) agents op gepersonaliseerd, staatvol (stateful) toolgebruik grotendeels onverkend en ondergeëvalueerd.

Methodologie: MCP-Persona

Om dit gat te dichten, introduceren de auteurs MCP-Persona, de eerste benchmark die ontworpen is om de prestaties van agents op real-world gepersonaliseerde MCP-tools te evalueren via omgevingssimulatie. Het systeem is gebouwd op de interactie van drie kerncomponenten: Tools, Contexts (gebruikersprofielen) en Tasks.

1. Tool-Traverse (Tool-simulatie)

In plaats van te vertrouwen op statische documentatie, stellen de auteurs een "traverse-then-simulate" paradigma voor om hoogwaardige lokale replica's van MCP-servers te creëren.

Dataverzameling: Zij hebben handmatig 12 diverse MCP-servers (inclusief Lark, Slack, Rednote, Instagram) gedeployed met sandbox-omgevingen en testaccounts.
Authentic Function Call (FC) Traversal:
- Bootstrapping: Menselijke annotatoren creëren geldige "seed" function calls om nominaal gedrag vast te leggen.
- Adversarial Induction: Een LLM-gestuurde pipeline genereert ongeldige inputs (bijv. type-mismatches, schema-schendingen) om de foutafhandeling en beslissingsgrenzen te vangen.
Code-gebaseerde Simulatie: Door gebruik te maken van de verzamelde succesvolle en gefaalde traces, synthetiseert een LLM autonoom uitvoerbare Python-code voor elke tool. Deze code fungeert als een staatvolle simulator, inclus[ief] een Context Handler module om entiteitspersistentie te beheren (laden, opslaan, opvragen, wijzigen) en logica om inputs te valideren tegen de dynamische context.

2. Context-Tree (Context-constructie)

Om staatvolle operaties te ondersteunen, construeren de auteurs een gestructureerde, mutabele Context-Tree voor elke server.

Hiërarchie: Een boomstructuur wordt gedefinieerd op basis van tool-parameters (bijv. Gebruiker → Agenda → Event).
Content Sourcing: Nodes worden gevuld met vier methoden:
1. Enumerate: Beperkte sampling uit vaste sets.
2. Free-Form: LLM-gegenereerde tekst.
3. Random: Synthetische generatie met formaatrestricties.
4. Authentic: Gesanitiseerde real-world content (bijv. werkelijke Rednote-posts) waarbij gevoelige data is gemaskeerd.
Linking: Cross-entiteit links worden gevestigd door identifiers uit gegenereerde content te samplen om relationele consistentie te waarborgen.

3. Persona-Gen (Taakgeneratie)

Een tweestaps-pipeline genereert 173 door mensen geverifieerde gepersonaliseerde taken.

Prototype Synthese: Tool-invocatieketens worden gesampled op basis van afhankelijkheid, diversiteit en coherentie-restricties. Een LLM genereert abstracte instructie-skeletten ( $S_{proto}$ ) met placeholders.
Context Injectie & Fuzzificatie: Realistische waarden uit de Context-Trees vervangen de placeholders. Cruciaal is dat instructie-fuzzificatie wordt toegepast: executie-specifieke parameters (impliciete context) worden verwijderd uit de instructie om de real-world ambiguïteit na te bootsen (bijv. een gebruiker die zegt "bericht mijn supervisor" zonder de supervisor-ID te specificeren, wat de agent vereist om dit uit de omgeving af te leiden).
Menselijke Verificatie: Annotatoren beoordelen taken om de afstemming tussen de fuzzy instructie, de ontkoppelde context en de ground-truth tool-keten te waarborgen.

Evaluatiemetrieken

De benchmark maakt gebruik van zowel Checkpoint-gebaseerde (door LLM beoordeelde tussenstappen) als Execution-gebaseerde (CRUD-operatie succesratio's) evaluaties. De metrieken omvatten Checkpoint Accuracy (Acc), Success Rate at 0.8 (SR-0.8) en Execution Accuracy (Exec-Acc).

Belangrijkste Resultaten

Uitgebreide experimenten werden uitgevoerd op meer dan tien SOTA-modellen (inclusclusief GPT-5, Claude-Sonnet-4.5 en diverse open-source modellen) in single-server en cross-server scenario's.

Significante Prestatiekloven: Zelfs de meest geavanceerde modellen worstelen; geen enkel model behaalde een nauwkeurigheid van meer dan 50% op de benchmark. Claude-Sonnet-4.5 behaalde de hoogste algehele nauwkeurigheid (41,50%), gevolgd door GPT-5 (41,45%).
Taakmoeilijkheid:
- E-mailtaken waren het makkelijkst vanwege eenvoudige operaties.
- Social Media en Samenwerkingsplatforms waren uitdagender vanwege cross-user interacties en impliciete entiteitsresolutie.
- Cross-Server (Hodgepodge) taken waren het moeilijkst, wat wijst op falen in het coördineren van tools over verschillende ecosystemen.
Foutmodi: Trajectanalyse identificeerde drie terugkerende foutarchetypen:
- Onder-exploratie: Agents falen in het opvragen van de omgeving voor ontbrekende impliciete informatie (bijv. het niet oplossen van een gebruikers-ID vanuit een naam).
- Overslaan van Afhankelijkheden: Agents slaan noodzakelijke tussenstappen over (bijv. het niet converteren van een telefoonnummer naar een gebruikers-ID voordat een afspraak wordt gepland).
- Long Context Degradation: Prestaties dalen significant naarmate de context windows vol raken met volumineuze payloads, waardoor agents het overzicht over initiële restricties verliezen.
Simulatiegetrouwheid: De Tool-Traverse methode presteerde aanzienlijk beter dan een documentatie-alleen baseline (Vanilla), met een gedragsmatige alignment van 94,0% vergeleken met 58,0%, wat bewijst dat het traverseren van echte servers leidt tot nauwkeurigere foutafhandeling en responsstructuren.
Vaardigheidsverbetering: Het verstrekken van specifieke skill-documenten (vooral handmatig verfijnde) verbeterde de prestaties, hoewel een aanzienlijke kloof bleef bestaan.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Tool-Traverse: Een rigoureuze simulatiemethode die real-world gepersonaliseerde MCP-tools getrouw repliceert, waarmee het onvermogen om account-gebonden servers open te evalueren wordt overwonnen.
MCP-Persona Benchmark: Een nieuw evaluatieplatform bestaande uit 173 door mensen geverifieerde taken over vier representatieve gepersonaliseerde scenario's (Social Media, Collaboratie, Content Management, E-mail), wat een antwoord biedt op de kritieke behoefte aan het testen van agents in communicatie- en samenwerkingsworkflows.
Empirische Inzichten: De studie onthult dat SOTA agents significante beperkingen hebben in gepersonaliseerd toolgebruik, specifiek in impliciete grounding, multi-step state maintenance en cross-tool coördinatie.

De auteurs positioneren MCP-Persona als een reproduceerbare, privacy-bewarende testomgeving bedoeld om de ontwikkeling van agents te versnellen die in staat zijn om de genuanceerde, contextrijke workflows van echte gebruikers te hanteren, waarmee de kloof tussen algemene assistenten en diep gepersonaliseerde, skill-gedreven tegenhangers wordt overbrugd.