💬 NLP

Know You Before You Speak: User-State Modeling for LLM Personalization in Multi-Turn Conversation

Dieses Papier stellt PUMA vor, ein auf dem Prinzip der freien Energie basierendes Framework, das die Personalisierung von LLMs verbessert, indem es latente Benutzerzustände modelliert und Dialogaktionen durch Entscheidungsfindung unter partieller Beobachtbarkeit auswählt, wodurch der Übergang von passivem Abrufen von Erinnerungen zur proaktiven Steuerung der Benutzerentwicklung in mehrstufigen Gesprächen vollzogen wird.

Ursprüngliche Autoren: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem Freund, der aufhören möchte zu rauchen. Sie möchten ihm helfen, aber Sie wollen nicht einfach nur wiederholen, was er vor fünf Minuten gesagt hat. Sie möchten verstehen, warum er es sagt, wie er sich tief im Inneren fühlt und was Ihr nächster Satz sein sollte, um ihn sanft in Richtung einer gesünderen Entscheidung zu lenken.

Die meisten aktuellen KI-Chatbots sind wie Fotografen. Sie machen ein Schnappschuss von allem, was Sie zuvor gesagt haben (Ihre Historie), und versuchen, das beste Foto zu finden, das sie Ihnen erneut zeigen können. Sie sind hervorragend darin, Fakten zu merken („Sie sagten, Sie hassen den Geschmack von Nikotin"), aber sie sind schlecht darin, Ihre verborgene Stimmung zu erraten oder vorherzusagen, wie sich Ihre Stimmung ändern wird, wenn sie etwas Bestimmtes sagen.

Das von Ihnen geteilte Papier stellt ein neues System namens PUMA (Prospective User-state Modeling for Action selection) vor. Betrachten Sie PUMA nicht als Fotografen, sondern als einen geschickten Detektiv oder einen Schachspieler.

So funktioniert PUMA, aufgeschlüsselt in einfache Konzepte:

1. Der „Versteckte Zustand" (Die Intuition des Detektivs)

Wenn ein Benutzer sagt: „Ich nehme seit zwei Wochen dieses neue Medikament ein", könnte ein normaler Bot einfach antworten: „Das ist gut."
Aber PUMA fragt: Was fühlt der Benutzer gerade wirklich?

Sind sie wegen Nebenwirkungen ängstlich?
Fühlen sie sich stolz auf ihren Fortschritt?
Denken sie heimlich daran, das Medikament abzusetzen?

PUMA geht davon aus, dass sich ein „Versteckter Zustand" im Benutzer befindet, den wir nicht direkt sehen können. Es ist, als würde der Benutzer eine neblige Brille tragen. PUMA versucht, den Nebel zu klären, indem es errät, was dahinter liegt, basierend darauf, was der Benutzer sagt und wie er auf vorherige Fragen reagiert.

2. Das „Weltmodell" (Die Strategie des Schachspielers)

Die meisten Bots reagieren nur auf den aktuellen Zug. PUMA spielt Schach. Es hat eine mentale Karte namens Weltmodell.

Normaler Bot: „Benutzer sagte X, also werde ich Y sagen."
PUMA: „Wenn ich Y sage, könnte der Benutzer ängstlich werden (Zustand A). Wenn ich Z sage, könnte er hoffnungsvoll werden (Zustand B). Welcher Pfad führt zum besten Ergebnis?"

PUMA simuliert die Zukunft. Es fragt: „Wenn ich diese spezifische Art von Antwort wähle, wie wird sich der versteckte Zustand des Benutzers im nächsten Zug ändern?" Es schaut nicht nur in die Vergangenheit; es schaut auf die zukünftige Trajektorie des Gesprächs.

3. Die „Freie Energie" (Der Kompass)

Das Papier verwendet ein komplexes mathematisches Konzept namens Prinzip der Freien Energie, aber Sie können es sich als einen Zwei-Wege-Kompass vorstellen, der die Entscheidungen der KI leitet. Jedes Mal, wenn die KI wählen muss, was sie sagen soll, prüft sie zwei Richtungen:

Richtung A: „Ich bin verwirrt, lass mich lernen!" (Epistemischer Wert)
Wenn die KI unsicher über den Zustand des Benutzers ist (z. B. „Sind sie wütend oder nur müde?"), zeigt der Kompass in Richtung einer Frage, die die Verwirrung aufklärt. Es priorisiert das Lernen über den Benutzer.
Richtung B: „Lass uns zum Ziel kommen!" (Pragmatischer Wert)
Wenn die KI weiß, dass der Benutzer bereit ist, eine Veränderung vorzunehmen, zeigt der Kompass in Richtung von Ratschlägen oder Ermutigung, um ihnen zu helfen, ihr Ziel zu erreichen. Es priorisiert das Handeln.

PUMA balanciert diese beiden aus. Es fragt nicht endlos Fragen (Lernen) und gibt nicht blind Ratschläge (Handeln). Es wechselt zwischen ihnen basierend darauf, was der Benutzer gerade jetzt braucht.

4. Das Experiment: Ein Gesundheitstrainer in Ausbildung

Die Forscher testeten PUMA in einem spezifischen Setting: Motivational Interviewing für die Gesundheit (wie das Helfen von Menschen beim Rauchstopp oder Diabetesmanagement).

Sie verwendeten einen „Simulator" (ein fiktiver Patient, aufgebaut aus echten Daten), um die Rolle des Benutzers zu spielen.
Sie verglichen PUMA mit anderen KI-Beratern, die nur vergangene Fakten erinnerten oder einfachen Regeln folgten.

Die Ergebnisse:

Bessere Ergebnisse: PUMA war viel besser darin, den „fiktiven Patienten" von einem Zustand des „Ich will mich nicht ändern" zu einem Zustand des „Ich bin bereit, einen Plan zu machen" zu führen.
Intelligentes Erraten: PUMA war genauer darin, zu erraten, was der Benutzer fühlte, bevor der Benutzer es überhaupt laut aussprach.
Effizienz: Es erreichte das Ziel in weniger Gesprächsrunden als die anderen Bots.

Das große Fazit

Das Papier behauptet, dass für ein Gespräch, das sich wirklich persönlich und hilfreich anfühlt, eine KI nicht nur eine Bibliothek sein sollte, die alte Fakten abruft. Sie muss ein Navigator sein, der:

Ihre verborgenen Gefühle errät.
Vorhersagt, wie sich Ihre Gefühle basierend darauf, was es sagt, ändern werden.
Seine nächsten Worte wählt, um entweder mehr über Sie zu lernen oder Ihnen zu helfen, Ihr Ziel zu erreichen, je nachdem, was in diesem Moment am dringendsten benötigt wird.

Die Autoren nennen dies den Übergang von „passivem Abruf von Erinnerungen" zu „aktivem, zustandsbewusstem Entscheidungsfinden". Kurz gesagt: PUMA erinnert sich nicht nur daran, was Sie sagten; es versteht, wer Sie im Gespräch werden.

Technische Zusammenfassung: PUMA – Prospektive Modellierung des Benutzerzustands zur Aktionsauswahl

Problemstellung

Personalisierte Dialogsysteme haben Fortschritte erzielt, indem sie Langzeitgedächtnis, Benutzerprofile und abgerufene Interaktionsverläufe einbezogen haben, um explizite Benutzerinformationen wiederzuverwenden. Diese bestehenden Methoden behandeln Personalisierung jedoch primär als ein Problem der Abrufung oder Konditionierung über beobachtbare Textaufzeichnungen. Sie versagen darin, latente Benutzerzustände (z. B. Angst, Engagement, Handlungsbereitschaft) zu modellieren, die sich dynamisch durch die Interaktion entwickeln und nur teilweise in der Sprache ausgedrückt werden. Folglich können aktuelle Systeme nicht effektiv schlussfolgern, wie spezifische Systemaktionen die zukünftige Entwicklung eines Benutzerzustands beeinflussen. Diese Einschränkung verhindert, dass personalisierte Dialoge über das passive Abrufen von Erinnerungen hinausgehen, hin zu aktiven, zustandsbewussten Entscheidungsprozessen, insbesondere in hochriskanten Bereichen wie der Gesundheitsberatung, wo dieselbe Äußerung je nach verborgener innerer Bedingung des Benutzers grundlegend unterschiedliche Reaktionen erfordert.

Methodik: Das PUMA-Framework

Die Autoren schlagen PUMA (Prospective User-state Modeling for Action selection) vor, ein Framework, das auf dem Prinzip der Freien Energie (FEP) und der aktiven Inferenz basiert. PUMA rahmt personalisierte Dialoge als Entscheidungsfindung unter partieller Beobachtbarkeit neu, wobei der Benutzer als latentes dynamisches System modelliert wird.

Kernkomponenten

Benutzerrepräsentation:
- Benutzerzustand ( $s_t$ ): Eine latente Variable, die den entscheidungsrelevanten internen Zustand des Benutzers (z. B. Motivationsstufe) darstellt, der nicht direkt beobachtbar ist.
- Weltmodell: Ein Vorhersagemodell, das in zwei Komponenten faktorisiert ist:
  - Übergangsmodell $p_\theta(s_t | s_{t-1}, a_{t-1})$ : Erfasst, wie sich der Benutzerzustand als Reaktion auf Systemaktionen entwickelt.
  - Beobachtungsmodell $p_\theta(o_t | s_t)$ : Erfasst, wie der latente Zustand beobachtbare Äußerungen generiert.
- Semantisches Gedächtnis: Ein zweistufiges Gedächtnissystem (Kurzzeit- und Langzeitgedächtnis), das konkrete Inhalte (Präferenzen, Verlauf) speichert, um die Antwortgenerierung zu fundieren und dabei vom latenten Zustandstracking getrennt bleibt.
Prozess der Minimierung der Freien Energie:
- Glaubensaktualisierung (Retrospektiv): Beim Erhalt einer Benutzeräußerung ( $o_t$ ) aktualisiert das System seinen variationalen Glauben $q_\phi(s_t)$ über den verborgenen Benutzerzustand. Dies wird durch die Minimierung der Variationalen Freien Energie ( $F_t$ ) erreicht, die die Konsistenz mit der vorhergesagten Zustandsdynamik (Prior) und die Erklärungskraft der aktuellen Beobachtung (Likelihood) ausbalanciert.
- Verfeinerung des Weltmodells: Das System verfeinert kontinuierlich die Übergangs- und Beobachtungsmodelle, indem es die Diskrepanz zwischen vorhergesagten und beobachteten Benutzerreaktionen optimiert, wodurch das Modell die spezifischen Dynamiken des individuellen Benutzers lernen kann.
- Aktionsauswahl (Prospektiv): Um die nächste Dialogaktion ( $a_t$ $a_{t}$ ) auszuwählen, minimiert PUMA die Erwartete Freie Energie ( $G_t$ ). Dieses Ziel bewertet Kandidatenaktionen basierend auf ihren erwarteten Konsequenzen:
  - Epistemischer Wert: Aktionen, die die Unsicherheit über den zukünftigen Benutzerzustand reduzieren (Exploration).
  - Pragmatischer Wert: Aktionen, deren vorhergesagte Ergebnisse mit gewünschten Zielen übereinstimmen (Exploitation).
- Antwortgenerierung: Die ausgewählte Aktion, kombiniert mit dem aktualisierten Glauben und dem abgerufenen Gedächtnis, konditioniert ein Sprachmodell zur Generierung einer natürlichen Sprachantwort.

Hauptbeiträge

Modellierung latenter Benutzerzustände: Einführung eines Benutzerzustandsmodells, das latente Zustände und ihre aktionskonditionierte Entwicklung explizit erfasst und es von statischen Persona- oder speicherbasierten Repräsentationen unterscheidet.
FEP-basierte Formulierung: Die erste Formulierung personalisierter Dialoge unter dem Prinzip der Freien Energie, die Glaubensaktualisierung und Aktionsauswahl über die Erwartete Freie Energie vereint, um prospektives Schlussfolgern über Benutzerverläufe zu ermöglichen.
Empirische Validierung: Eine rigorose Evaluation an beratungsorientierten Benchmarks im Gesundheitswesen (CAMI und AnnoMI), die zeigt, dass die Modellierung von Benutzerzustandsdynamiken sowohl das Glaubens-Tracking als auch die Dialogergebnisse über lange Horizonte im Vergleich zu starken LLM-basierten Baselines verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten PUMA auf dem CAMI-Datensatz (Counseling and Motivational Interviewing) und dem AnnoMI-Datensatz unter Verwendung eines profilbasierten Klientensimulators (DynPatient) für die dynamische Evaluation.

Effektivität der dynamischen Beratung: PUMA schnitt bei den Baselines (einschließlich DIIR, CoS und Standard-CAMI-Beratern) in Bezug auf Stufenheben (Verbesserung der Motivationsstufe), Vorbereitungsrate (Prozentsatz der Klienten, die die Vorbereitungsphase erreichen) und Trigger-Abdeckung signifikant besser ab. Bemerkenswerterweise erreichte PUMA diese Ergebnisse mit weniger Dialogwechseln, was auf eine höhere Effizienz hindeutet.
Antwortqualität: Hinsichtlich der Beraterseite-Qualität (gemessen durch MITI Global Scores) erzielte PUMA Werte, die mit menschlichen Referenzantworten vergleichbar waren und signifikant höher lagen als bei anderen automatisierten Methoden, wobei ein kollaborativer und empathischer Stil beibehalten wurde.
Zustandsschätzung und -vorhersage: PUMA zeigte im Vergleich zu Baselines mit langen Prompts eine überlegene Genauigkeit sowohl bei der Schätzung des aktuellen Zustands (Curr-Acc) als auch bei der Vorhersage des nächsten Zustands (Next-Acc).
Generalisierbarkeit: Eine datensatzübergreifende Studie an AnnoMI zeigte, dass PUMA, selbst mit einem kleineren Backbone-Modell (Qwen3-8B), eine bessere Zustandsschätzung und -vorhersage erreichte als eine viel größere Baseline mit langen Prompts (Qwen3-32B), was die Robustheit und Übertragbarkeit des Frameworks nahelegt.
Ablationsstudien: Das Entfernen von Komponenten wie dem Glaubensupdate, dem Weltmodell oder der auf EFE basierenden Aktionsauswahl führte zu einer signifikanten Leistungsverschlechterung, was bestätigt, dass alle Elemente zum Vermögen des Systems beitragen, Dialoge in Richtung gewünschter Ergebnisse zu steuern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PUMA einen Wandel von der passiven Erinnerungswiederholung hin zu modellbasierter Entscheidungsfindung über die Benutzerentwicklung darstellt. Indem der Benutzer als partiell beobachtbares dynamisches System behandelt und das Prinzip der Freien Energie angewendet wird, ermöglicht das Framework Dialogagenten:

Verborgene Benutzerzustände zu inferieren, die nicht explizit ausgesprochen werden.
Zu schlussfolgern, wie spezifische Interventionen (Dialogaktionen) den zukünftigen Zustand des Benutzers formen werden.
Das Bedürfnis, Unsicherheit zu reduzieren (epistemisch), mit dem Bedürfnis, spezifische Beratungsziele zu erreichen (pragmatisch), unter einem einheitlichen Kriterium auszubalancieren.

Die Autoren schließen, dass dieser Ansatz personalisierten Dialogsystemen erlaubt, über die statische Kontextwiederverwendung hinaus zu einer aktiven, zustandsbewussten Interaktionssteuerung zu gelangen und eine prinzipielle Grundlage für langfristige Personalisierung in komplexen, mehrstufigen Interaktionen bietet.