💻 computer science

PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments

Dit artikel introduceert PAUSE, een gebruikerscentrische benchmark die is ontworpen om persoonlijke AI-assistenten te evalueren in realistische, stateful service-omgevingen door de beperkingen van bestaande gefragmenteerde benchmarks aan te pakken via multi-regime evaluatie, en onthult dat zelfs state-of-the-art modellen moeite hebben met taken die een persistent state-redeneren en configuratiebewustzijn vereisen.

Oorspronkelijke auteurs: Haoyu Chen, Xirui Shi, Yuyao Wang, Jerry Chen, Di Niu

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Chen, Xirui Shi, Yuyao Wang, Jerry Chen, Di Niu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je net een superintelligente robot-butler hebt gebouwd. Je hebt hem geleerd hoe hij deuren moet openen, lichten moet aanzetten en zelfs pizza moet bestellen. Maar er is een addertje onder het gras: in de echte wereld leeft je robot niet in een vacuüm. Hij leeft in jouw huis, met jouw regels. Misschien heb je een geheime code voor de voordeur, een specif으로 tijdstip waarop de lichten niet aan mogen staan, of een regel dat de robot niet aan de koekjestrommel mag komen tenzij je hem eerst toestemming geeft. Dit is de wereld van "Persoonlijke AI-assistenten." Dit zijn niet zomaar chatbots die trivia beantwoorden; het zijn digitale helpers die ontworpen zijn om jouw leven te beheren, van je gezondheidsgegevens tot je boodschappenlijstje. Maar hier komt de grote vraag: kunnen deze robots de rommelige, ingewikkelde realiteit van jouw leven echt aan, waarbij dingen veranderen, toestemmingen lastig zijn en ze moeten onthouden wat er vijf minuten geleden is gebeurd om te weten wat ze nu moeten doen? Wetenschappers hebben geprobeerd deze robots te testen, maar de meeste van hun tests zijn als het spelen van een videogame waarbij de regels simpel zijn en de wereld telkens opnieuw wordt gereset. Ze testen eigenlijk niet of de robot de "echte zaak" aankan, een verenigde, toestandafhankelijke omgeving waar jouw persoonlijke instellingen en machtigingen ertoe doen.

Maak kennis met een nieuwe studie genaamd PAUSE, die fungeert als een gigantische, realistische hindernisbaan voor deze AI-assistenten. De onderzoekers, een team van de Universiteit van Alberta, hebben een gesimuleerde wereld gebouwd die precies aanvoelt als het digitale leven van een echt persoon. In deze wereld moet de AI verschillende diensten beheren — zoals het controleren van je trainingslogs, het beheren van je gezondheidsafspraken of het kopen van boodschappen — terwijl het rekening houdt met jouw specifieke machtigingen en de huidige status van je accounts. Denk aan een "kies je eigen avontuur"-boek waarbij de AI elk aspect van de keuzes die je hebt gemaakt, elk wachtwoord dat je hebt ingesteld en elk abonnement dat je hebt, moet bijhouden, terwijl het probeert een taak te voltooien. Het team heeft een pijplijn ontwikkeld om honderden van deze lastige scenario's te genereren, variërend van eenvoudige gegevensopvragingen tot complexe, meerstaps boodschappenmissies waarbij de AI jou om hulp moet vragen als het tegen een muur van machtigingen aanloopt.

Toen ze de nieuwste en beste AI-modellen door deze PAUSE-test haalden, waren de resultaten een flinke reality check. Zelfs de meest geavanceerde, dure AI-modellen van grote techbedrijven hadden moeite. Hoewel ze goed waren in eenvoudige taken, daalde hun succespercentage aanzienlijk wanneer ze moesten redeneren over complexe, veranderende toestanden of verborgen systeemregels moesten ontdekken. Sterker nog, bij de moeilijkste taken die dit soort "toestandsafhankelijk redeneren" vereisten, slaagden zelfs de beste modellen er niet in om de taak in meer dan 30% van de gevallen te voltooien, wat betekent dat ze de grens van 70% succes niet haalden. De studie suggereert dat alleen goed zijn in het aanroepen van tools niet genoeg is; de AI moet veel beter worden in het begrijpen van het "waarom" en "hoe" van jouw persoonlijke digitale omgeving. De onderzoekers ontdekten dat de grootste hindernis niet het vermogen van de AI was om te praten of te lezen, maar het vermogen om te onthouden en te redeneren over de onzichtbare regels van jouw leven, zoals een robot die vergeet dat hij jouw toestemming nodig heeft voordat hij aan de koekjestrommel mag komen. Dit werk laat niet alleen zien waar de robots falen; het geeft ons een nieuwe, eerlijkere manier om ze te testen zodat we assistenten kunnen bouwen die echt klaar zijn om ons in de echte wereld te helpen.

Technische Samenvatting: PAUSE – Een Gebruikersgerichte Benchmark voor Persoonlijke AI-Assistenten

Probleemstelling

Persoonlijke AI-assistenten worden steeds vaker ingezet als met tools versterkte agenten die opereren binnen verenigde servicemilieus om dagelijkse gebruikersactiviteiten te ondersteunen. Realistische implementatie vereist dat deze agenten redeneren over persistente gebruikersstatussen, gebruikersspecifieke configuraties respecteren (permissies, abonnementen, accountinstellingen) en langdurige, door beperkingen gestuurde interacties over meerdere services kunnen volhouden.

Bestaande benchmarks voor tool-gebruikende Large Language Models (LLMs) kampen met aanzienlijke beperkingen in deze context. Vroege benchmarks richtten zich op API-dekking en de nauwkeurigheid van tool-aanroepen, terwijl recentere inspanningen (bijv. MCP-gebaseerde benchmarks) de schaal vergrootten door diverse tools te integreren. Deze benaderingen fragmenteren echter vaak service-contexten of abstraheren de gebruikersstatus weg. Ze falen in het evalueren van assistenten als gebruikersgerichte systemen die moeten opereren binnen een verenigd, gebruikersgericht servicemilieu waar toegang wordt gereguleerd door permissies en systeemconfiguraties. Bijgevolg evalueren huidige benchmarks niet volledig het vermogen van een agent om een coherente status te behouden, te redeneren over verborgen configuratie-afhankelijkheden of om langdurige, aan de gebruiker gekoppelde interacties te volhouden.

Methodologie

De PAUSE Benchmark

PAUSE is een gebruikersgerichte benchmark ontworpen om persoonlijke AI-assistenten te evalueren in staatshalve, service-geïntegreerde omgevingen. De benchmark is geïnstantieerd in het domein van persoonlijk gezondheidsbeheer, gekozen vanwege de heterogene databronnen, externe apparaatintegraties en permissiegevoelige middelen.

Kernkenmerken van het systeem:

Verenigde Omgeving: Alle services opereren onder een gedeelde, persistente systeemconfiguratie (permissies, wallet-status, abonnementen) die grotendeels onzichtbaar is voor de assistent en moet worden afgeleid.
Gebruikersgerichte Beperkingen: Assistenten kunnen kritieke systeemconfiguraties niet direct wijzigen; ze moeten met de gebruiker interageren om beperkingen op te lossen (bijv. toestemming vragen om een apparaat te verbinden of een wallet op te waarderen).
Taakdiversiteit: De benchmark bevat 180 taken verdeeld over drie categorieën:
1. Data- & Logboektracking (Gemakkelijk): Directe gegevensretrieval.
2. Data- & Logboektracking (Moeilijk): Meerstaps-executie die redeneren over systeemconfiguratie vereist (bijv. het verbinden van ontkoppelde bronnen, het upgraden van abonnementen).
3. Winkelen: Optimalisatie met een lange context en meerdere beperkingen (productselectie, budgetbeheer, gebruik van vouchers).

Synthese-pipeline

PAUSE maakt gebruik van een schaalbare, multi-agent synthese-pipeline om coherente omgevingen en geannoteerde taken te genereren:

Gebruikersgerichte Taakgeneratie: Taken zijn geworteld in synthetische, via templates gesamplede data die concrete door de gebruiker bezeten middelen vertegenwoordigen. Een LLM genereert hoogwaardige beschrijvingen en expliciete doelcondities ( $\tau$ ) op basis van de onderliggende status.
Begeleide Traject-rollouts: State-of-the-art LLM's interageren met het systeem en een gesimuleerde gebruikersagent om real-execution trajecten te verzamelen. Een rollout-prompt ( $P_{rollout}$ ) fungeert als een oracle-policy om het gedrag te sturen.
Doelgerichte Validatie: Een commissie van LLM's filtert trajecten, selecteert voorkeursroutes en stemt deze af op de vooraf gedefinieerde doelset $\tau$ . Taken zonder haalbare referentie-trajecten worden verwijderd.

Evaluatiekader

PAUSE hanteert een multi-regime evaluatiekader dat is afgestemd op de karakteristieken van de taken:

Open-einde Taken (Data/Logboektracking): Geëvalueerd via een hybride aanpak.
- Doel-gebaseerd: Een LLM-als-rechter beoordeelt taakvoltooiing tegen expliciete doelen ( $\tau$ ).
- Traject-niveau: Deterministische metrieken (Precisie, Recall, F1) meten de overlap tussen de tool-call sequentie van het model en het referentie-traject.
Beperkingsintensieve Taken (Winkelen): Geëvalueerd via deterministische status-gebaseerde verificatie (bijv. product-ID, hoeveelheid, budget haalbaarheid) zonder afhankelijk te zijn van referentie-trajecten.

Kernbijdragen

Holistische, Gebruikersgerichte Benchmark: PAUSE introduceert een benchmark die assistenten evalueert in verenigde omgevingen met een persistente gebruikersstatus en permissie-gereguleerde middelen, waarmee het verder gaat dan workflow-gecentreerde en tool-geïsoleerde settings.
Multi-regime Evaluatiekader: Een principiële strategie die LLM-gebaseerde semantische beoordeling combineert met gedragsmatige overlap op traject-niveau voor open-einde taken, naast deterministische status-verificatie voor beperkingsintensieve taken.
Schaalbare Synthese-pipeline: Een multi-agent pipeline die coherente omgevingsstatussen, realistische interactietrajecten en doel-afgestemde annotaties op schaal genereert, wat de uitbreidbaarheid van de benchmark ondersteunt.

Experimentele Resultaten

De auteurs evalueerden een diverse set state-of-the-art propriëtaire en open-source modellen (waaronder GPT-5, Gemini-3 en DeepSeek-V3.2).

Prestatiekloof: Zelfs state-of-the-art propriëtaire modellen bereikten geen 70% taakvoltooiing in scenario's die vereisten om te redeneren over de status en configuratiebewustzijn.
Taakmoeilijkheid: De prestaties verslechterden aanzienlijk bij "Moeilijke" taken vergeleken met "Gemakkelijke" taken. Terwijl top-tier modellen bijna verzadigde prestaties leverden bij gemakkelijke retrieval-taken, vertoonden ze opvallende dalingen bij moeilijke taken die impliciet redeneren over systeembeperkingen vereisten.
Foutanalyse:
- Sterke Modellen (bijv. Gemini-3-Flash): Falen waren primair geconcentreerd in redeneren over systeemconfiguratie (bijv. het niet kunnen afleiden dat een databron ontkoppeld was). Basale tool-gebruik bleef robuust.
- Zwakker Modellen: Kampten fundamenteel met dataconsistentie, navigatie door middelen en temporeel redeneren, naast fouten in systeemconfiguratie.
Ablatiestudie: Het verstrekken van expliciete beleidsbegeleiding met betrekking tot systeemconfiguraties verbeterde de prestaties bij alle modellen, wat met name de systeemgerelateerde fouten bij sterke modellen verminderde. Dit suggereert dat hoewel sterkere modellen expliciete policies kunnen benutten, diepere redeneerbeperkingen blijven bestaan.
Evaluatiebetrouwbaarheid: De LLM-als-rechter evaluatie vertoonde een hoge overeenstemming (80–87%) met menselijke annotaties, wat het gebruik ervan als een betrouwbare proxy voor complexe, open-einde agent-taken valideert.

Betekenis en Claims

Het artikel claimt dat PAUSE consistente en interpreteerbare foutpatronen in huidige AI-assistenten blootlegt, en aantoont dat effectief tool-gebruik alleen onvoldoende is voor robuuste prestaties in realistische service-omgevingen. De benchmark benadrukt een duidelijke capaciteitskloof in:

Redeneren over impliciete systeemconfiguraties (bijv. permissies, abonnementen).
Het volhouden van langdurige, aan de gebruiker gekoppelde interacties waarbij de agent moet coördineren met de gebruiker om statusbeperkingen op te lossen.
Het behouden van een coherente status over heterogene services heen.

De auteurs positioneren PAUSE niet alleen als een evaluatietool, maar als een fundament voor toekomstig onderzoek in modelanalyse, distillatie en de ontwikkeling van agenten die in staat zijn te opereren in verenigde, gebruikersgerichte service-omgevingen. Het werk onderstreept de noodzaak voor agenten die kunnen redeneren over verborgen afhankelijkheden en statusovergangen kunnen beheren, in plaats van enkel tool-calls uit te voeren.