💬 NLP

Know You Before You Speak: User-State Modeling for LLM Personalization in Multi-Turn Conversation

Dit artikel introduceert PUMA, een raamwerk dat is gebaseerd op het Principe van Vrije Energie en dat LLM-personalisatie verbetert door latente gebruikersstaten te modelleren en dialoogacties te selecteren via besluitvorming onder gedeeltelijke waarneembaarheid, waardoor er een verschuiving optreedt van passief geheugenherstel naar proactief beheer van gebruikersontwikkeling in meer-draai-conversaties.

Oorspronkelijke auteurs: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je met een vriend praat die probeert te stoppen met roken. Je wilt hen helpen, maar je wilt niet gewoon herhalen wat ze vijf minuten geleden zeiden. Je wilt begrijpen waarom ze het zeggen, hoe ze zich diep van binnen voelen, en wat je volgende zin moet zijn om hen zachtjes te duwen naar een gezondere keuze.

De meeste huidige AI-chatbots zijn als fotografen. Ze maken een momentopname van alles wat je eerder hebt gezegd (je geschiedenis) en proberen de beste foto te vinden om je weer te tonen. Ze zijn goed in het onthouden van feiten ("Je zei dat je de smaak van nicotine haat"), maar ze zijn slecht in het raden van je verborgen stemming of het voorspellen hoe je stemming zal veranderen als ze iets specifieks zeggen.

Het artikel dat je deelde, introduceert een nieuw systeem genaamd PUMA (Prospective User-state Modeling for Action selection). Denk aan PUMA niet als een fotograaf, maar als een bekwaam detective of een schaakspeler.

Hier is hoe PUMA werkt, opgesplitst in eenvoudige concepten:

1. De "Verborgen Staat" (De intuïtie van de detective)

Wanneer een gebruiker zegt: "Ik neem deze nieuwe medicatie al twee weken", zegt een normale bot misschien gewoon: "Dat is goed."
Maar PUMA vraagt zich af: Wat voelt de gebruiker op dit moment eigenlijk?

Zijn ze angstig voor bijwerkingen?
Voelen ze zich trots op hun vooruitgang?
Denken ze stiekem na over het stoppen met de medicatie?

PUMA gaat ervan uit dat er een "Verborgen Staat" in de gebruiker zit die we niet direct kunnen zien. Het is alsof de gebruiker een wazige bril draagt. PUMA probeert de mist op te helderen door te raden wat erachter zit, gebaseerd op wat de gebruiker zegt en hoe ze reageren op eerdere vragen.

2. Het "Wereldmodel" (De strategie van de schaakspeler)

De meeste bots reageren alleen op de huidige zet. PUMA speelt schaken. Het heeft een mentale kaart genaamd een Wereldmodel.

Normale Bot: "Gebruiker zei X, dus ik zal Y zeggen."
PUMA: "Als ik Y zeg, kan de gebruiker zich angstig voelen (Staat A). Als ik Z zeg, kunnen ze zich hoopvol voelen (Staat B). Welk pad leidt tot het beste resultaat?"

PUMA simuleert de toekomst. Het vraagt zich af: "Als ik dit specifieke type antwoord kies, hoe zal de verborgen staat van de gebruiker veranderen in de volgende beurt?" Het kijkt niet alleen naar het verleden; het kijkt naar de toekomstige trajectory van het gesprek.

3. De "Vrije Energie" (Het kompas)

Het artikel gebruikt een complex wiskundig concept genaamd het Principe van Vrije Energie, maar je kunt het zien als een tweewegkompas dat de beslissingen van de AI stuurt. Elke keer dat de AI moet kiezen wat ze moet zeggen, controleert ze twee richtingen:

Richting A: "Ik ben in de war, laat me leren!" (Epistemische waarde)
Als de AI niet zeker is over de staat van de gebruiker (bijvoorbeeld: "Zijn ze boos of gewoon moe?"), wijst het kompas naar het stellen van een vraag die de verwarring opklaart. Het geeft prioriteit aan het leren over de gebruiker.
Richting B: "Laten we het doel bereiken!" (Pragmatische waarde)
Als de AI weet dat de gebruiker klaar is om een verandering te maken, wijst het kompas naar het geven van advies of aanmoediging om hen te helpen hun doel te bereiken. Het geeft prioriteit aan actie.

PUMA balanceert deze twee. Het stelt niet eindeloos vragen (leren) en geeft niet blindelings advies (handelen). Het schakelt tussen hen op basis van wat de gebruiker op dit moment nodig heeft.

4. Het Experiment: Een gezondheidstrainer in opleiding

De onderzoekers testten PUMA in een specifieke setting: Motiverende Interviewing voor gezondheid (zoals mensen helpen te stoppen met roken of diabetes te beheersen).

Ze gebruikten een "simulator" (een nep-patient opgebouwd uit echte data) om de rol van de gebruiker te spelen.
Ze vergeleken PUMA met andere AI-adviseurs die alleen eerdere feiten onthielden of eenvoudige regels volgden.

De Resultaten:

Betere Uitkomsten: PUMA was veel beter in het begeleiden van de "nep-patient" van een staat van "Ik wil niet veranderen" naar "Ik ben klaar om een plan te maken."
Slimmer Raden: PUMA was accurater in het raden wat de gebruiker voelde voordat de gebruiker het zelfs hardop zei.
Efficiëntie: Het bereikte het doel in minder gesprekswisselingen dan de andere bots.

De Grote Kernboodschap

Het artikel beweert dat voor een gesprek dat echt persoonlijk en behulpzaam aanvoelt, een AI niet alleen een bibliotheek moet zijn die oude feiten ophaalt. Het moet een navigator zijn die:

Je verborgen gevoelens raadt.
Voorspelt hoe je gevoelens zullen veranderen op basis van wat het zegt.
Zijn volgende woorden kiest om meer over je te leren of je te helpen je doel te bereiken, afhankelijk van wat op dat moment het meest nodig is.

De auteurs noemen dit de overstap van "passief geheugenherstel" naar "actieve, staat-bewuste besluitvorming". Kortom: PUMA herinnert zich niet alleen wat je zei; het begrijpt wie je wordt in het gesprek.

Technische Samenvatting: PUMA – Prospectieve Gebruikersstaatmodellering voor Actiekeuze

Probleemstelling

Gepersonaliseerde dialoagsystemen hebben vooruitgang geboekt door langdurig geheugen, gebruikersprofielen en opgehaalde interactiegeschiedenissen op te nemen om expliciete gebruikersinformatie opnieuw te gebruiken. Echter, deze bestaande methoden behandelen personalisatie voornamelijk als een zoek- of conditioneringsprobleem over waarneembare tekstuele records. Ze falen in het modelleren van latente gebruikersstaten (bijvoorbeeld angst, betrokkenheid, bereidheid tot handelen) die zich dynamisch ontwikkelen door interactie en slechts gedeeltelijk in taal tot uiting komen. Bijgevolg kunnen huidige systemen niet effectief redeneren over hoe specifieke systeemacties de toekomstige evolutie van een gebruikersstaat beïnvloeden. Deze beperking verhindert dat gepersonaliseerde dialoog verder gaat dan passief geheugenaanroepen naar actief, staatbewust besluitvorming, met name in hoog-risicodomeinen zoals gezondheidszorgcounseling, waar dezelfde uiting fundamenteel verschillende reacties kan vereisen afhankelijk van de verborgen interne conditie van de gebruiker.

Methodologie: Het PUMA-kader

De auteurs stellen PUMA (Prospective User-state Modeling for Action selection) voor, een kader gebaseerd op het Principe van Vrije Energie (FEP) en actieve inferentie. PUMA herformuleert gepersonaliseerde dialoog als besluitvorming onder gedeeltelijke waarneembaarheid, waarbij de gebruiker wordt gemodelleerd als een latente dynamische systeem.

Kerncomponenten

Gebruikersrepresentatie:
- Gebruikersstaat ( $s_t$ ): Een latente variabele die de besluitrelevante interne conditie van de gebruiker vertegenwoordigt (bijvoorbeeld motivatiefase), die niet direct waarneembaar is.
- Wereldmodel: Een voorspellend model gefactoriseerd in twee componenten:
  - Overgangsmodel $p_\theta(s_t | s_{t-1}, a_{t-1})$ : Vangt hoe de gebruikersstaat evolueert als reactie op systeemacties.
  - Observatiemodel $p_\theta(o_t | s_t)$ : Vangt hoe de latente staat waarneembare uitingen genereert.
- Semantisch Geheugen: Een tweeledig geheugensysteem (kortetermijn en langetermijn) dat concrete inhoud (voorkeuren, geschiedenis) opslaat om reactiegeneratie te onderbouwen, en dat gescheiden wordt gehouden van de tracking van de latente staat.
Proces van Minimalisatie van Vrije Energie:
- Bijwerking van Overtuigingen (Retrospectief): Bij ontvangst van een gebruikersuiting ( $o_t$ ) werkt het systeem zijn variatiele overtuiging $q_\phi(s_t)$ over de verborgen gebruikersstaat bij. Dit wordt bereikt door Variatiele Vrije Energie ( $F_t$ ) te minimaliseren, wat een balans bewaart tussen consistentie met de voorspelde statische dynamiek (prior) en de verklarende kracht van de huidige observatie (likelihood).
- Verfijning van het Wereldmodel: Het systeem verfijnt continu de overgangs- en observatiemodellen door de discrepantie tussen voorspelde en waargenomen gebruikersreacties te optimaliseren, waardoor het model de specifieke dynamiek van de individuele gebruiker kan leren.
- Actiekeuze (Prospectief): Om de volgende dialoogactie ( $a_t$ $a_{t}$ ) te selecteren, minimaliseert PUMA de Verwachte Vrije Energie ( $G_t$ ). Dit doel evalueert kandidaat-acties op basis van hun verwachte gevolgen:
  - Epistemische Waarde: Acties die onzekerheid over de toekomstige gebruikersstaat verminderen (exploratie).
  - Pragmatische Waarde: Acties waarvan de voorspelde uitkomsten overeenkomen met gewenste doelen (exploitatie).
- Reactiegeneratie: De geselecteerde actie, gecombineerd met de bijgewerkte overtuiging en opgehaald geheugen, conditioneert een taalmodel om een reactie in natuurlijke taal te genereren.

Belangrijkste Bijdragen

Modellering van Latente Gebruikersstaten: Introductie van een gebruikersstatemodel dat expliciet latente staten en hun actie-geconditioneerde evolutie vastlegt, wat het onderscheidt van statische persona- of geheugen-gebaseerde representaties.
FEP-gebaseerde Formulering: De eerste formulering van gepersonaliseerde dialoog onder het Principe van Vrije Energie, die bijwerking van overtuigingen en actiekeuze verenigt via Verwachte Vrije Energie om prospectief redeneren over gebruikerstrajecten mogelijk te maken.
Empirische Validatie: Een rigoureuze evaluatie op counseling-benchmarks gericht op gezondheidszorg (CAMI en AnnoMI) die aantoont dat het modelleren van gebruikersstaten-dynamiek zowel de bijwerking van overtuigingen als langetermijn-dialoogresultaten verbetert in vergelijking met sterke LLM-baselines.

Experimentele Resultaten

De auteurs hebben PUMA geëvalueerd op de CAMI (Counseling and Motivational Interviewing) dataset en de AnnoMI dataset, waarbij gebruik werd gemaakt van een profiel-gebaseerde cliëntsimulator (DynPatient) voor dynamische evaluatie.

Effectiviteit van Dynamisch Counselen: PUMA presteerde significant beter dan baselines (waaronder DIIR, CoS en standaard CAMI-counselors) in Stage Lift (verbetering in motivatiefase), Prep Rate (percentage cliënten dat de voorbereidingsfase bereikt) en Trigger Coverage. Opmerkelijk is dat PUMA deze resultaten behaalde met minder dialoogbeurt, wat wijst op hogere efficiëntie.
Kwaliteit van Reacties: Wat betreft de kwaliteit aan de counselor-zijde (gemeten door MITI Global Scores), behaalde PUMA scores vergelijkbaar met menselijke referentieresponsen en significant hoger dan andere geautomatiseerde methoden, waarbij een collaboratieve en empathische stijl werd gehandhaafd.
Schatting en Voorspelling van Staten: PUMA toonde superieure nauwkeurigheid in zowel Huidige-Staat Schatting (Curr-Acc) als Volgende-Staat Voorspelling (Next-Acc) in vergelijking met lange-prompt baselines.
Generaliseerbaarheid: Een cross-dataset studie op AnnoMI toonde aan dat PUMA, zelfs met een kleiner backbone-model (Qwen3-8B), betere staatsschatting en -voorspelling behaalde dan een veel grotere lange-prompt baseline (Qwen3-32B), wat wijst op de robuustheid en overdraagbaarheid van het kader.
Ablatiestudies: Het verwijderen van componenten zoals de bijwerking van overtuigingen, het wereldmodel of EFE-gebaseerde actiekeuze leidde tot significante prestatiedegradatie, wat bevestigt dat alle elementen bijdragen aan het vermogen van het systeem om dialogen te sturen naar gewenste uitkomsten.

Betekenis en Aanspraken

Het artikel beweert dat PUMA een verschuiving vertegenwoordigt van passief geheugenaanroepen naar modelgebaseerde besluitvorming over gebruikers-evolutie. Door de gebruiker te behandelen als een gedeeltelijk waarneembaar dynamisch systeem en het Principe van Vrije Energie toe te passen, stelt het kader dialoagagenten in staat om:

Verborgen gebruikersstaten af te leiden die niet expliciet worden vermeld.
Te redeneren over hoe specifieke interventies (dialoogacties) de toekomstige staat van de gebruiker zullen vormgeven.
De behoefte om onzekerheid te verminderen (epistemisch) te balanceren met de behoefte om specifieke counselingdoelen te bereiken (pragmatisch) onder een verenigd criterium.

De auteurs concluderen dat deze aanpak gepersonaliseerde dialoagsystemen in staat stelt verder te gaan dan statisch contexthergebruik naar actief, staatbewust interactiebeheer, en een principieel fundament biedt voor langetermijnpersonalisatie in complexe, meerbeurt-interacties.