🤖 AI

ProEvent: An Event-centric Benchmark for Proactive Agents

Het artikel introduceert ProEvent, de eerste event-gecentreerde benchmark voor het evalueren van het vermogen van proactieve agenten om autonoom gebruikersgebeurtenissen uit instant messaging-chats te volgen, wat onthult dat huidige grote taalmodellen aanzienlijk moeite hebben met timing, evenementannulering en impliciete redenering.

Oorspronkelijke auteurs: Guanzhen Li, Liangming Pan, Leye Wang

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guanzhen Li, Liangming Pan, Leye Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente digitale assistent hebt die niet alleen wacht tot je om hulp vraagt, maar je leven als een havik in de gaten houdt en raadt wat je nodig hebt nog voordat je het zelf zegt. Dit is de droom van "proactieve agenten". In tegenstelling tot een gewone robot die ongebruikt blijft zitten totdat je op een knop drukt, is een proactieve agent als een persoonlijke chefkok die begint met het snijden van groenten zodra hij de knoflook ruikt, of een vriend die je een paraplu aanreikt op het moment dat de lucht grijs wordt. De grote uitdaging in de informatica op dit moment is om deze digitale breinen te leren dit te doen zonder in de war te raken door de rommelige, chaotische realiteit van het menselijk leven. We weten dat computers geweldig zijn in het volgen van strikte regels, maar het echte leven zit vol verborgen hints, overlappende gesprekken en mensen die van gedachten veranderen zonder "annuleren" te zeggen. Als we willen dat deze agenten echt behulpzaam zijn, moeten ze in staat zijn om onze toekomstige plannen te volgen — zoals een wandeling in de natuur of een vergadering — simpelweg door naar onze tekstberichten te luisteren, en ze moeten precies weten wanneer ze de mond moeten houden en wanneer ze moeten inspreken.

Maak kennis met PROEVENT, een nieuwe "trainingsgrond" ontworpen door onderzoekers om te testen of deze digitale assistenten werkelijk klaar zijn voor de echte wereld. Denk aan PROEVENT als een gigantisch, hoogwaardig videospelniveau waarbij de speler een AI is die de agenda van een mens beheert. In plaats van de AI een net lijstje met afspraken te geven, voeden de onderzoekers het met een stroom van rommelige, realistische chatgesprekken. De AI moet luisteren naar gesprekken tussen vrienden, collega's en familieleden, uitzoeken welke evenementen worden gepland, en vervolgens de agenda dienovereenkomstig bijwerken. Maar hier komt de twist: de chats zitten vol met afleidingen. Er zijn zijgesprekken over niets, mensen die halverwege hun plannen wijzigen, en berichten die klinken als een annulering maar dat niet zijn. De AI moet tegelijkertijd een detective, een griffier en een tijdmanager zijn.

De onderzoekers hebben deze test gebouwd door duizenden nep, maar zeer realistische chatlogs te creëren. Ze programmeerden "personages" met verschillende persoonlijkheden en doelen, en simuleerden complexe scenario's waarin mensen vergadertijden onderhandelen, plannen afzeggen omdat ze zich ziek voelen, of proberen iets te plannen dat nooit echt plaatsvindt. Ze voegden zelfs "ruis" toe — willekeurige berichten die niets met het hoofdevenement te maken hebben — om te zien of de AI afgeleid zou raken. Het doel was simpel: kan de AI een tijdsschema correct opbouwen en bijwerken door alleen deze chats te lezen?

Toen ze acht verschillende krachtige AI-modellen door deze test lieten gaan, waren de resultaten een mix van "niet slecht" en "oh nee". De grootste verrassing was dat de AI's de neiging hebben om overijverig te zijn. Stel je een hond voor die naar elke bewegende blaadje blaft; deze AI's probeerden constant de agenda bij te werken, zelfs wanneer er niets was veranderd. Sterker nog, voor sommige modellen zoals DeepSeek-V3.2 probeerden ze zelfs meer dan 96% van de tijd wijzigingen aan te brengen terwijl ze gewoon stil hadden moeten blijven. Ze waren zo bang om een kans om te helpen te missen, dat ze uiteindelijk chaos veroorzaakten.

Nog een grote hindernis was annulering. Als een gebruiker zegt: "Ik voel me niet goed, misschien kan ik er niet bij zijn," weet een mens dat dit een annulering is. De AI's waren eigenlijk best goed in het opmerken dat een verwijdering nodig zou kunnen zijn (ze vingen ongeveer de helft van de werkelijke annuleringen op), maar ze hadden moeite om er zeker van te zijn. Ze verwijderden regelmatig evenementen die nog steeds plaatsvonden of verwijderden de verkeerde plannen volledig. Het artikel suggereert dat zelfs de meest geavanceerde modellen, zoals het model genaamd GPT-5.1, slechts in ongeveer 26,7% van de lastige scenario's het juiste antwoord gaven. Dat betekent dat ze in ongeveer drie van de vier gevallen de planning verpestten.

De studie toonde ook aan dat deze digitale breinen een vreemde blinde vlek hebben: ze begrijpen niet echt wie ze helpen. Wanneer een gebruer zegt: "Ik ga niet naar het feestje," verwijdert de AI vaak alleen de naam van de gebruiker van de gastenlijst, maar laat het feestje op de agenda staan. Het is als een ober die, wanneer je zegt dat je vol zit, alleen je naam van de reservering haalt maar de tafel voor je gedekt laat. De AI bekijkt het evenement van buitenaf, als een externe waarnemer, in plaats van in de schoenen van de gebruiker te stappen en te beseffen: "Oh, ik (de gebruiker) ga niet, dus dit evenement is voor mij voorbij."

Kortom, hoewel deze AI-agenten slimmer worden, zijn ze nog niet echt klaar om jouw proactieve levensmanager te zijn. Ze zijn te springerig, raken in de war van complexe gesprekken en hebben moeite om het verschil te begrijpen tussen een "misschien" en een "nee". De onderzoekers hopen dat ze, door PROEVENT te gebruiken om precies aan te tonen waar deze AI's falen, toekomstige versies zullen leren om geduldiger, nauwkeuriger en eindelijk meer als een behulpzame menselijke vriend te zijn die precies weet wanneer hij je die paraplu moet aanreiken.

Technische Samenvatting: PROEVENT – Een evenement-gecentreerde benchmark voor proactieve agenten

Probleemdefinitie

Huidige op Large Language Models (LLM) gebaseerde agenten zijn overwegend reactief en vertrouwen op expliciete instructies van de gebruiker om taken uit te voeren. Deze beperking leidt tot repetitieve menselijke interventie en het risico op het missen van tijdgevoelige informatie. Hoewel "proactieve agenten" de verwachting hebben om de behoeften van gebruikers te anticiperen door de context van de omgeving waar te nemen, negeren bestaande benchmarks grotendeels evenement-gecentreerde assistentie—het vermogen om aankomende evenementen van een gebruiker te identificeren, te volgen en te onderhouden op basis van lopende interacties.

Bovendien vormt de open einde natuur van proactieve assistentie aanzienlijke uitdagingen voor betrouwbare evaluatie. Bestaande benchmarks vertrouwen vaak op semantische gelijkenis of door LLM gesimuleerde menselijke beoordelaars, die geen objectieve grondslag hebben. Er is een kritiek gat in de evaluatie van het vermogen van een agent om:

Aankomende evenementen van gebruikers continu te volgen uit ongestructureerde, ruizige instant messaging (IM) chats.
Correct te bepalen wanneer assistentie nodig is (wanneer actie ondernemen versus wanneer wachten).
Complexe, multi-threaded omgevingen nauwkeurig te beheren via evenementbeheer-operaties (Invoegen, Bijwerken, Verwijderen).

Methodologie: PROEVENT Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs PROEVENT, de eerste evenement-gecentreerde benchmark die ontworijpt is om het vermogen van proactieve agenten te beoordelen om de tijdsschema van een gebruiker te onderhouden op basis van lopende IM-chats.

1. Taakformulering

De taak wordt geformaliseerd als een discrete-tijd reeks waarbij een agent een set chats $D_t$ ontvangt binnen een tijdsinterval $[t-1, t]$ . Het doel is om de staat van de tijdsschema van de gebruiker $S_{t-1}$ bij te werken naar een nieuwe staat $S_t$ door een lijst met expliciete operaties te genereren:

Insert (Invoegen): Voeg een nieuw evenement toe met specifieke attributen (tijd, locatie, deelnemers, beschrijving).
Update (Bijwerken): Wijzig attributen van een bestaand evenement.
Delete (Verwijderen): Verwijder een evenement (cruciaal voor het afhandelen van annuleringen).

De agent moet meerdere gelijktijdige chat-threads verwerken en relevante informatie onderscheiden van ruis.

2. Data Constructie Pipeline

PROEVENT maakt gebruik van een rigoureuze vierstaps-pipeline om realistische, hoogwaardige data te synthetiseren:

Contact Pool Constructie: 56 verschillende contactprofielen (bijv. collega's, vrienden) met specifieke rollen en event-types zijn gedefinieerd om diversiteit te waarborgen.
Chat Synthese: Eerst wordt een "scheduling trajectory" gegenereerd, die de grondwaarheid-evolutie van evenementen vastlegt (bijv. tijdwijzigingen, annuleringen). Deze trajectorie stuurt de generatie van multi-turn dialogen aan met behulp van een LLM (GPT-OSS-120B), wat zorgt voor afstemming met de onderliggende evenementenlijn.
Ruis Injectie: Om realistische omstandigheden te simuleren, wordt drie soorten ruis geïnjecteerd:
- Message-level: Irrelevante berichten die tussen de relevante berichten door staan.
- Chat-level: Volledige chats die niet gerelateerd zijn aan het doel-evenement.
- Event-level: Afleidende historische of voorlopige evenementen.
Scenario Constructie: Meerdere chats worden samengevoegd en gesegmenteerd in vaste tijdsvensters om gelijktijdige threads en periodieke contextverzameling te simuleren.

De uiteindelijke dataset bestaat uit 1.249 hoogwaardige chats, wat 2.463 single-step vragen en 1.279 multi-step gevallen genereert, verspreid over 7 evenement-categorieën en 56 subcategorieën.

3. Evaluatie Suite

De benchmark evalueert agenten over drie dimensies:

Respons Timing: Gemeten door de False Detection Rate (FDR) (actie triggeren wanneer dat niet nodig is) en de Missed Need Rate (MNR) (nalaten te handelen wanneer dat wel nodig is).
Single-Step Correctness: Precisie en Recall van operaties bij elke tijdstap.
Multi-Step Correctness: De Event Success Rate (ESR) en de Timetable Success Rate (TSR), die de proportie van evenementen en volledige tijdsschema's meten die na meerdere accumulatiestappen perfect correct zijn. Dit lost ambiguïteiten op waarbij verschillende operatie-sequenties (bijv. Update versus Delete+Insert) leiden tot dezelfde eindstaat.

Belangrijkste Resultaten

De auteurs evalueerden acht LLM's en pipelines (waaronder Qwen-3, DeepSeek-V3.2, DeepSeek-R1, GPT-5.1 en gespecialiseerde pipelines zoals ProCoT) op PROEVENT.

Prestatiekloof: Zelfs de sterkste modellen worstelen. GPT-5.1 bereikt een Timetable Success Rate (TSR) van slechts 26,7%, wat aangeeft dat huidige LLM's nog lang niet in staat zijn om betrouwbare proactieve assistentie te leveren.
Overreactie Bias: Modellen vertonen een systematische bias naar over-responsiviteit. Zo heeft DeepSeek-V3.2 bijvoorbeeld een False Detection Rate (FDR) van 96,5% tegenover een Missed Need Rate (MNR) van 21,9%. Ze triggeren vaak acties wanneer er geen interventie vereist is.
Moeite met Annuleringen: Het identificeren van impliciete evenement-annuleringen is een groot faalpunt. Terwijl sommige modellen een hoge recall bereiken voor verwijderingen, is hun precisie laag, wat leidt tot het verwijderen van evenementen zonder voldoende bewijs.
Impact van Complexiteit: De prestaties verslechteren aanzienlijk naarmate het aantal onderhandelingsrondes en gelijktijdige chat-threads toeneemt.
Redeneren Verbetert Prestaties: Modellen met sterkere redeneerkracht (bijv. DeepSeek-R1, ProCoT) tonen een betere precisie in het onderscheiden van echte annuleringen van tijdelijke wijzigingen. De ProCoT-pipeline, die het model expliciet vraagt om de noodzaak van een actie te evalueren, verminderde de FDR van DeepSeek-V3.2 met 70%.

Kwalitatieve Analyse en Beperkingen van Huidige LLM's

Het paper identificeert drie fundamentele tekortkomingen in huidige LLM's die optreden als proactieve agenten:

Perspectief Misalignment: LLM's redeneren vaak vanuit een derde-persoons perspectief in plaats van het eerste-persoonsperspectief van de gebruiker. Bijvoorbeeld, wanneer een gebruiker aangeeft niet aanwezig te kunnen zijn bij een evenement, werkt het model de deelnemerslijst bij (verwijdert de gebruiker) in plaats van het evenement uit de persoonlijke tijdsschema van de gebruiker te verwijderen.
Falen van Impliciete Instructie: Modellen worstelen met het detecteren van operationele vereisten die in narratieve stijlen zijn ingebed (bijv. "nodig dezelfde mensen uit") zonder expliciete structurele aanwijzingen.
Redeneertekortkomingen: Zwakkere modellen falen bij temporeel redeneren (data omzetten naar weekdagen) en geheugen-ondersteund redeneren (het correct ophalen van het juiste evenement-ID tussen meerdere soortgelijke evenementen).

Betekenis en Claims

Het paper claimt dat PROEVENT de eerste benchmark is die specifiek het vermogen evalueert van agenten om proactief de tijdsschema van een gebruiker te onderhouden vanuit instant messaging chats. De betekenis ligt in:

Het Dichten van de Evaluatiekloof: Het biedt een objectief, op grondwaarheid gebaseerd evaluatieprotocol voor proactieve agenten, waarmee verder wordt gegaan dan semantische gelijkenis-metrieken.
Realistische Complexiteit: Het introduceert een data-generatie pipeline die dynamische interacties, gelijktijdige threads en alomtegenwoordige ruis vastlegt, wat cruciaal is voor real-world implementatie maar vaak wordt genegeerd in synthetische datasets.
Diagnostische Waarde: De benchmark onthult dat huidige LLM's, zelfs state-of-the-art modellen zoals GPT-5.1, gevoelig zijn voor over-anticipatie en worstelen met de nuance van evenement-annulering en gebruiker-gecentreerd redeneren.

De auteurs concluderen dat PROEVENT dient als een uitdagende benchmark om toekomstig onderzoek naar het verbeteren van de LLM-capaciteiten voor proactieve evenement-tracking in real-world settings te faciliteren, waarbij zij benadrukken dat aanzienlijke verbeteringen in redeneren en perspectief-afstemming vereist zijn voordat deze agenten betrouwbaar kunnen worden ingezet.