PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

Probleemstelling: Kalenderconflicten en Lange-termijn Voorkeursleer

In moderne werkomgevingen worden professionals vaak geconfronteerd met overlappende uitnodigingen voor vergaderingen. Het oplossen van deze conflicten (het bepalen welke vergadering bij te wonen, welke te verplaatsen en welke af te wijzen) is een herhalend, voorkeursgedreven beslissingsproces. Dit proces is tijdrovend en vatbaar voor fouten, vooral wanneer menselijke assistenten overbelast zijn of wanneer de voorkeuren van de delegator subtiel evolueren.

De kernvraag die dit paper onderzoekt is: Kunnen we Large Language Models (LLMs) of taalagenten vertrouwen om tijd te beheren?
Huidige LLM-agenten blijken tekort te schieten in dit domein omdat ze moeite hebben om:

1. Lange-termijn individuele voorkeuren te modelleren op basis van eerdere beslissingen.
2. Zich aan te passen wanneer voorkeuren veranderen door nieuwe context.
3. Beslissingen expliciet te baseren op afgeleide gebruikerspriors over een lange tijdslijn.

Fouten in dit proces cumuleren, wat leidt tot kostbare tijdsallocatieproblemen.

Methodologie

Het paper introduceert een nieuwe benchmark en een nieuw leerframework om dit probleem aan te pakken.

1. CALCONFLICTBENCH: Een Nieuwe Benchmark

Om het probleem systematisch te bestuderen, hebben de auteurs CALCONFLICTBENCH ontwikkeld.

• Opzet: Een synthetische datasetgenerator die realistische, rol-specifieke kalenders creëert voor verschillende organisatorische rollen (bijv. CEO, PI, PhD-student).
• Proces: Conflicten worden sequentieel over een periode van één jaar gepresenteerd. De agent moet per ronde beslissingen nemen en krijgt feedback.
• Doel: Het evalueren van de capaciteit van agenten om voorkeuren geleidelijk af te leiden en aan te passen (preference-evolving capability) in plaats van te vertrouwen op statische instructies.
• Metingen: De benchmark gebruikt metrics zoals Decision Accuracy, Optimal Rank Distance (ORD) en Error Reduction Rate (hoeveel de foutenreductie is in de loop van de tijd).

2. PEARL: Reinforcement Learning Framework

Om de beperkingen van bestaande LLM's te overwinnen, stellen de auteurs PEARL (Preference Evolving Agent with Reinforcement Learning) voor. Dit is een RL-framework dat agenten leert om voorkeuren online af te leiden en consistent toe te passen.

PEARL bestaat uit twee hoofdcomponenten:

• A. Strategy Hub (Externe Geheugenmodule):

  • In plaats van alleen te vertrouwen op de contextvenster (wat beperkt is en ruis bevat), heeft de agent toegang tot een persistente externe geheugenmodule genaamd Strategy Hub.
  • Deze hub slaat een set interpreteerbare beslissingsstrategieën op (bijv. "Leiderschapsprioriteit", "Deadline-gevoeligheid").
  • De agent kan in elke ronde de hub opvragen (list) en updaten (update) om nieuwe voorkeuren vast te leggen die uit de context zijn afgeleid. Dit decomponeert het probleem in "voorkeursinferentie" (wat is belangrijk?) en "voorkeursexecutie" (hoe pas ik dit toe?).

• B. Curriculum-based Round-wise Rewards:

  • Het trainen van lange-termijn voorkeursleer is uitdagend door het "cold-start" probleem (in het begin zijn voorkeuren onbekend).
  • PEARL gebruikt een curriculum-gebaseerde beloning die verschuift naarmate de interactie vordert:
    • Vroege rondes: De nadruk ligt op het extraheren en consolideren van voorkeursbewijs in het geheugen (Strategy Hub interactie).
    • Late rondes: De nadruk verschuift naar het correct toepassen van deze voorkeuren bij het nemen van beslissingen.
  • De beloningssignalen omvatten:
    1. Format Reward: Syntactische geldigheid.
    2. Decision Reward: Correctheid van de acceptatie/afwijzing.
    3. Ranking Reward: Hoe goed de geschatte prioriteit overeenkomt met de grondwaarheid.
    4. Interaction Reward: Het effectief gebruik van de Strategy Hub.
  • De training gebruikt GRPO (Group Relative Policy Optimization) met round-wise advantage estimation om credit assignment te stabiliseren over de lange trajecten.

Kernresultaten

De experimenten op CALCONFLICTBENCH tonen significante verbeteringen aan:

1. Prestaties van Huidige LLM's: Bestaande LLM's (zoals Qwen-3, GPT-5, Gemini) presteren slecht met hoge foutpercentages (bijv. Qwen-3-30B-Think heeft een gemiddelde fout van 35%). Ze tonen geen significante verbetering naarmate ze meer rondes meemaken (negatieve of nul Error Reduction Rate), wat aangeeft dat ze geen voorkeursleer vertonen.
2. PEARL Prestaties:
   • PEARL bereikt een Error Reduction Rate van 0,76, wat betekent dat de agent zijn fouten drastisch vermindert naarmate het meer interacties heeft.
   • Er is een 55% verbetering in het gemiddelde foutpercentage vergeleken met de sterkste baseline (Supervised Fine-Tuning of Zero-shot met geheugen).
   • PEARL leert niet alleen statische heuristieken, maar past zijn beleidsregels dynamisch aan op basis van de evolutie van de gebruikersvoorkeuren.
3. Ablatie Studies:
   • Het hebben van een extern geheugen zonder training (Zero-shot + StrategyHub) levert slechts een marginale verbetering op.
   • Supervised Fine-Tuning (SFT) verbetert de nauwkeurigheid, maar faalt in lange-termijn adaptatie vergeleken met RL.
   • Dit bevestigt dat lange-termijn voorkeursaanpassing vereist is dat de agent actief leert via beloningssignalen over meerdere rondes.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Taakdefinitie: Het formuleren van kalenderconflictoplossing als een uitdagende taak voor lange-termijn, voorkeursgevoelige besluitvorming.
2. Benchmark: De introductie van CALCONFLICTBENCH, een uitgebreide evaluatiesuite met synthetische data en protocollen om de "preference-evolving" capaciteit van agenten te testen.
3. Methode: Het ontwikkelen van PEARL, een RL-framework dat een expliciete geheugenmodule (Strategy Hub) combineert met een curriculum-based beloningsstructuur. Dit stelt agenten in staat om voorkeuren online af te leiden en te verfijnen.

Significantie:
Dit werk is een belangrijke stap in de richting van betrouwbare AI-assistenten voor complexe, persoonlijke taken. Het demonstreert dat voor taken waarbij kleine fouten cumuleren en voorkeuren dynamisch zijn, statische prompting of supervisie onvoldoende is. In plaats daarvan is Reinforcement Learning met expliciete geheugenmodulen noodzakelijk om agenten te laten "leren" hoe ze tijd moeten managen op basis van de unieke en evoluerende behoeften van een gebruiker. Dit heeft bredere implicaties voor elk domein waar lange-termijn adaptatie en persoonlijke voorkeursmodelling cruciaal zijn.