💬 NLP

Know You Before You Speak: User-State Modeling for LLM Personalization in Multi-Turn Conversation

यह शोध पत्र PUMA को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो फ्री एनर्जी प्रिंसिपल (Free Energy Principle) पर आधारित है और जो लेटेंट यूजर स्टेट्स (latent user states) को मॉडल करके और आंशिक दृश्यता (partial observability) के तहत निर्णय लेने के माध्यम से संवाद क्रियाओं का चयन करके LLM वैयक्तिकरण को बढ़ाता है, जिससे यह निष्क्रिय मेमोरी रिट्रीवल (passive memory retrieval) से हटकर बहु-चरण वार्तालापों में उपयोगकर्ता के विकास के सक्रिय प्रबंधन की ओर स्थानांतरित हो जाता है।

मूल लेखक: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दोस्त से बात कर रहे हैं जो धूम्रपान छोड़ना चाह रहा है। आप उनकी मदद करना चाहते हैं, लेकिन आप केवल वही दोहराना नहीं चाहते जो उन्होंने पाँच मिनट पहले कहा था। आप यह समझना चाहते हैं कि वे ऐसा क्यों कह रहे हैं, वे गहराई में कैसा महसूस कर रहे हैं, और आपका अगला वाक्य क्या होना चाहिए जो उन्हें धीरे से एक स्वस्थ विकल्प की ओर ले जाए।

अधिकांश वर्तमान AI चैटबॉट्स फोटोग्राफर की तरह हैं। वे आपके द्वारा कही गई हर बात का एक स्नैपशॉट लेते हैं (उनका इतिहास) और आपको फिर से दिखाने के लिए सबसे अच्छी फोटो खोजने की कोशिश करते हैं। वे तथ्यों को याद रखने में बहुत अच्छे हैं ("आपने कहा था कि आपको निकोटीन का स्वाद पसंद नहीं है"), लेकिन वे आपके छिपे हुए मूड का अनुमान लगाने या यह अनुमान लगाने में खराब हैं कि यदि वे कुछ विशिष्ट कहते हैं तो आपका मूड कैसे बदल जाएगा।

आपने जो पेपर साझा किया है वह PUMA (Prospective User-state Modeling for Action selection) नामक एक नई प्रणाली पेश करता है। PUMA को एक फोटोग्राफर के रूप में नहीं, बल्कि एक कुशल जासूस या शतरंज के खिलाड़ी के रूप में सोचें।

PUMA कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "छिपी हुई अवस्था" (जासूस की अंतर्दृष्टि)

जब कोई उपयोगकर्ता कहता है, "मैं दो सप्ताह से यह नई दवा ले रहा हूँ," तो एक सामान्य बॉट केवल यह कह सकता है, "यह अच्छा है।"
लेकिन PUMA पूछता है: उपयोगकर्ता वास्तव में अभी क्या महसूस कर रहा है?

क्या वे दुष्प्रभावों को लेकर चिंतित हैं?
क्या वे अपनी प्रगति पर गर्व महसूस कर रहे हैं?
क्या वे गुप्त रूप से दवा छोड़ने के बारे में सोच रहे हैं?

PUMA मानता है कि उपयोगकर्ता के भीतर एक "छिपी हुई अवस्था" (Hidden State) होती है जिसे हम सीधे नहीं देख सकते। यह ऐसा है जैसे उपयोगकर्ता ने धुंधला चश्मा पहना हो। PUMA यह अनुमान लगाकर उस धुंध को साफ करने की कोशिश करता है कि उसके पीछे क्या है, जो उपयोगकर्ता जो कहता है और पिछले प्रश्नों पर उनकी प्रतिक्रिया के आधार पर होता है।

2. "विश्व मॉडल" (शतरंज के खिलाड़ी की रणनीति)

अधिकांश बॉट केवल वर्तमान चाल पर प्रतिक्रिया देते हैं। PUMA शतरंज खेलता है। इसके पास एक मानसिक मानचित्र है जिसे विश्व मॉडल (World Model) कहा जाता है।

सामान्य बॉट: "उपयोगकर्ता ने X कहा, इसलिए मैं Y कहूँगा।"
PUMA: "यदि मैं Y कहता हूँ, तो उपयोगकर्ता चिंतित (State A) महसूस कर सकता है। यदि मैं Z कहता हूँ, तो वे आशावादी (State B) महसूस कर सकते हैं। कौन सा रास्ता सबसे अच्छे परिणाम की ओर ले जाता है?"

PUMA भविष्य का अनुकरण करता है। यह पूछता है, "यदि मैं इस विशिष्ट प्रकार की प्रतिक्रिया चुनता हूँ, तो अगले टर्न में उपयोगकर्ता की छिपी हुई अवस्था कैसे बदलेगी?" यह केवल अतीत को नहीं देखता; यह बातचीत के भविष्य के प्रक्षेपवक्र (future trajectory) को देखता है।

3. "मुक्त ऊर्जा" (एक दिशा-सूचक यंत्र)

पेपर एक जटिल गणितीय अवधारणा का उपयोग करता है जिसे फ्री एनर्जी प्रिंसिपल (Free Energy Principle) कहा जाता है, लेकिन आप इसे एक दो-तरफा दिशा-सूचक यंत्र (compass) के रूप में देख सकते हैं जो AI के निर्णयों को निर्देशित करता है। जब भी AI को यह चुनने की आवश्यकता होती है कि क्या कहना है, तो यह दो दिशाओं की जाँच करता है:

दिशा A: "मैं भ्रमित हूँ, मुझे सीखने दें!" (Epistemic Value)
यदि AI उपयोगकर्ता की अवस्था के बारे में अनिश्चित है (जैसे, "क्या वे क्रोधित हैं या बस थके हुए हैं?"), तो दिशा-सूचक यंत्र भ्रम को दूर करने के लिए प्रश्न पूछने की ओर संकेत करता है। यह उपयोगकर्ता के बारे में सीखने को प्राथमिकता देता है।
दिशा B: "चलिए लक्ष्य तक पहुँचते हैं!" (Pragmatic Value)
यदि AI जानता है कि उपयोगकर्ता बदलाव के लिए तैयार है, तो दिशा-सूचक यंत्र सलाह देने या प्रोत्साहन देने की ओर संकेत करता है ताकि उन्हें उनके लक्ष्य तक पहुँचने में मदद मिल सके। यह कार्रवाई को प्राथमिकता देता है।

PUMA इन दोनों को संतुलित करता है। यह केवल सवाल हमेशा नहीं पूछता (सीखना), और न ही बिना सोचे-समझे सलाह देता है (कार्य करना)। यह इस आधार पर स्विच करता है कि उपयोगकर्ता को अभी किसकी आवश्यकता है।

4. प्रयोग: प्रशिक्षण ले रहा एक स्वास्थ्य कोच

शोधकर्ताओं ने PUMA का परीक्षण एक विशिष्ट सेटिंग में किया: स्वास्थ्य के लिए मोटिवेशनल इंटरव्यूइंग (जैसे लोगों को धूम्रपान छोड़ने या मधुमेह प्रबंधित करने में मदद करना)।

उन्होंने एक "सिम्युलेटर" (वास्तविक डेटा से बना एक नकली रोगी) का उपयोग उपयोगकर्ता की भूमिका निभाने के लिए किया।
उन्होंने PUMA की तुलना अन्य AI परामर्शदाताओं से की जो केवल पिछले तथ्यों को याद रखते हैं या सरल नियमों का पालन करते हैं।

परिणाम:

बेहतर परिणाम: PUMA "मैं बदलाव नहीं चाहता" की अवस्था से "मैं एक योजना बनाने के लिए तैयार हूँ" की अवस्था तक "नकली रोगी" को मार्गदर्शन देने में बहुत बेहतर था।
बेहतर अनुमान: PUMA उपयोगकर्ता के शब्दों में व्यक्त करने से पहले ही यह अनुमान लगाने में अधिक सटीक था कि वे क्या महसूस कर रहे हैं।
दक्षता: इसने अन्य बॉट्स की तुलना में कम बातचीत के दौरों में लक्ष्य प्राप्त किया।

मुख्य निष्कर्ष

पेपर का दावा है कि एक बातचीत को वास्तव में व्यक्तिगत और सहायक होने के लिए, एक AI को केवल पुराने तथ्यों को पुनः प्राप्त करने वाला पुस्तकालय नहीं होना चाहिए। इसे एक नेविगेटर होना चाहिए जो:

आपकी छिपी हुई भावनाओं का अनुमान लगाता है।
भविष्यवाणी करता है कि उसके कहने से आपकी भावनाएँ कैसे बदलेंगी।
यह चुनने के लिए अपने अगले शब्दों का चयन करता है कि उसे आपके बारे में और सीखना है या आपकी मदद करनी है, जो भी उस क्षण में सबसे अधिक आवश्यक हो।

लेखक इसे "निष्क्रिय स्मृति पुनर्प्राप्ति" (passive memory retrieval) से "सक्रिय, अवस्था-जागरूक निर्णय लेने" (active, state-aware decision-making) की ओर बढ़ने के रूप में देखते हैं। संक्षेप में: PUMA केवल यह याद नहीं रखता कि आपने क्या कहा; यह समझता है कि बातचीत में आप क्या बन रहे हैं।

तकनीकी सारांश: PUMA – एक्शन सिलेक्शन के लिए संभावित उपयोगकर्ता-अवस्था मॉडलिंग (Prospective User-state Modeling for Action Selection)

समस्या विवरण

व्यक्तिगत संवाद प्रणालियों (Personalized dialogue systems) ने दीर्घकालिक स्मृति, उपयोगकर्ता प्रोफाइल और पुनर्प्राप्त अंतःक्रिया इतिहास को शामिल करके प्रगति की है ताकि स्पष्ट उपयोगकर्ता जानकारी का पुन: उपयोग किया जा सके। हालाँकि, ये मौजूदा विधियाँ मुख्य रूप से वैयक्तिकरण को अवलोकन योग्य पाठ्य रिकॉर्डों पर एक पुनर्प्राप्ति (retrieval) या कंडीशनिंग समस्या के रूप में मानती हैं। वे अंतर्निहित उपयोगकर्ता अवस्थाओं (latent user states) (जैसे, चिंता, जुड़ाव, कार्य करने की तत्परता) को मॉडल करने में विफल रहती हैं जो अंतःक्रिया के माध्यम से गतिशील रूप से विकसित होती हैं और जो भाषा में केवल आंशिक रूप से व्यक्त होती हैं। फलस्वरूप, वर्तमान प्रणालियाँ यह तर्क देने में प्रभावी नहीं हो पाती हैं कि विशिष्ट सिस्टम क्रियाएं उपयोगकर्ता की भविष्य की अवस्था के विकास को कैसे प्रभावित करती हैं। यह सीमा व्यक्तिगत संवाद को निष्क्रिय स्मृति स्मरण (passive memory recall) से सक्रिय, अवस्था-जागरूक निर्णय लेने की ओर बढ़ने से रोकती है, विशेष रूप से स्वास्थ्य देखभाल परामर्श जैसे उच्च-जोखिम वाले डोमेन में जहाँ एक ही कथन के लिए मौलिक रूप से भिन्न प्रतिक्रियाओं की आवश्यकता हो सकती है, जो उपयोगकर्ता की छिपी हुई आंतरिक स्थिति पर निर्भर करती है।

कार्यप्रणाली: PUMA फ्रेमवर्क

लेखक PUMA (Prospective User-state Modeling for Action selection) का प्रस्ताव करते हैं, जो फ्री एनर्जी प्रिंसिपल (FEP) और एक्टिव इन्फरेंस (active inference) पर आधारित एक फ्रेमवर्क है। PUMA व्यक्तिगत संवाद को आंशिक दृश्यता (partial observability) के तहत निर्णय लेने के रूप में पुनर्गठित करता है, जहाँ उपयोगकर्ता को एक अंतर्निहित गतिशील प्रणाली (latent dynamical system) के रूप में मॉडल किया जाता है।

मुख्य घटक

उपयोगकर्ता प्रतिनिधित्व (User Representation):
- उपयोगकर्ता अवस्था ( $s_t$ ): एक अंतर्निहित चर (latent variable) जो उपयोगकर्ता की निर्णय-प्रासंगिक आंतरिक स्थिति (जैसे, प्रेरणा का चरण) का प्रतिनिधित्व करता है, जो सीधे अवलोकन योग्य नहीं है।
- वर्ल्ड मॉडल (World Model): एक प्रेडिक्टिव मॉडल जिसे दो घटकों में विभाजित किया गया है:
  - ट्रांजिशन मॉडल (Transition Model) $p_\theta(s_t | s_{t-1}, a_{t-1})$ : यह कैप्चर करता है कि सिस्टम की क्रियाओं के जवाब में उपयोगकर्ता की अवस्था कैसे विकसित होती है।
  - ऑब्जर्वेशन मॉडल (Observation Model) $p_\theta(o_t | s_t)$ : यह कैप्चर करता है कि अंतर्निहित अवस्था अवलोकन योग्य कथनों को कैसे उत्पन्न करती है।
- सिमेंटिक मेमोरी (Semantic Memory): एक दो-स्तरीय स्मृति प्रणाली (लघु-अवधि और दीर्घ-अवधि) जो ठोस सामग्री (वरीयताएं, इतिहास) को संग्रहीत करती है ताकि प्रतिक्रिया निर्माण को आधार दिया जा सके, जिसे अंतर्निहित अवस्था ट्रैकिंग से अलग रखा गया है।
फ्री एनर्जी मिनिमाइजेशन प्रक्रिया (Free Energy Minimization Process):
- विश्वास अपडेटिंग (Belief Updating - Retrospective): उपयोगकर्ता के कथन ( $o_t$ ) प्राप्त होने पर, सिस्टम उपयोगकर्ता की छिपी हुई अवस्था पर अपने वेरिएशनल विश्वास $q_\phi(s_t)$ को अपडेट करता है। यह वेरिएशनल फ्री एनर्जी ( $F_t$ ) को कम करके प्राप्त किया जाता है, जो अनुमानित अवस्था गतिशीलता (प्रायर) के साथ निरंतरता और वर्तमान अवलोकन (लाइकलीहुड) की व्याख्यात्मक शक्ति के बीच संतुलन बनाता है।
- वर्ल्ड मॉडल शोधन (World Model Refinement): सिस्टम अनुमानित और प्रेक्षित उपयोगकर्ता प्रतिक्रियाओं के बीच विसंगति को अनुकूलित करके ट्रांजिशन और ऑब्जर्वेशन मॉडल को लगातार परिष्कृत करता है, जिससे मॉडल व्यक्तिगत उपयोगकर्ता की विशिष्ट गतिशीलता को सीख सकता है।
- एक्शन सिलेक्शन (Action Selection - Prospective): अगली संवाद क्रिया ( $a_t$ $a_{t}$ ) चुनने के लिए, PUMA एक्सपेक्टेड फ्री एनर्जी ( $G_t$ ) को कम करता है। यह ऑब्जेक्टिव संभावित परिणामों के आधार पर उम्मीदवार क्रियाओं का मूल्यांकन करता है:
  - एपिस्टेमिक वैल्यू (Epistemic Value): वे क्रियाएं जो उपयोगकर्ता की भविष्य की अवस्था के बारे में अनिश्चितता को कम करती हैं (एक्सप्लोरेशन)।
  - प्रैग्मैटिक वैल्यू (Pragmatic Value): वे क्रियाएं जिनके अनुमानित परिणाम वांछित लक्ष्यों के अनुरूप होते हैं (एक्सप्लोइटेशन)।
- रिस्पॉन्स जनरेशन (Response Generation): चयनित क्रिया, अपडेट किए गए विश्वास और पुनर्प्राप्त स्मृति के साथ मिलकर, एक लैंग्वेज मॉडल को प्राकृतिक भाषा प्रतिक्रिया उत्पन्न करने के लिए कंडिशन करती है।

मुख्य योगदान

अंतर्निहित उपयोगकर्ता अवस्था मॉडलिंग (Latent User State Modeling): एक उपयोगकर्ता अवस्था मॉडल का परिचय जो स्पष्ट रूप से अंतर्निहित अवस्थाओं और उनकी क्रिया-सशर्त विकास (action-conditioned evolution) को कैप्चर करता है, जो इसे स्थिर पर्सोना या मेमोरी-आधारित प्रतिनिधित्व से अलग करता है।
FEP-आधारित सूत्रीकरण (FEP-Grounded Formulation): व्यक्तिगत संवाद के लिए फ्री एनर्जी प्रिंसिपल के तहत पहला सूत्रीकरण, जो भविष्य की प्रक्षेपवक्र (trajectories) पर प्रोस्पेक्टिव रीजनिंग सक्षम करने के लिए एक्सपेक्टेड फ्री एनर्जी के माध्यम से विश्वास अपडेटिंग और एक्शन सिलेक्शन को एकीकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): स्वास्थ्य देखभाल उन्मुख परामर्श बेंचमार्क (CAMI और AnnoMI) पर एक कठोर मूल्यांकन, जो दर्शाता है कि उपयोगकर्ता-अवस्था की गतिशीलता को मॉडल करने से मजबूत LLM-आधारित बेसलाइन्स की तुलना में विश्वास ट्रैकिंग और दीर्घकालिक संवाद परिणामों में सुधार होता है।

प्रयोगात्मक परिणाम

लेखकों ने डायनेमिक इवैल्यूएशन के लिए एक प्रोफाइल-ग्राउंडेड क्लाइंट सिम्युलेटर (Dyn策Patient) का उपयोग करते हुए CAMI (काउंसलिंग एंड मोटिवेशनल इंटरव्यूइंग) डेटासेट और AnnoMI डेटासेट पर PUMA का मूल्यांकन किया।

डायनेमिक काउंसलिंग प्रभावशीलता: PUMA ने स्टेज लिफ्ट (प्रेरणा के चरण में सुधार), प्रेप रेट (तैयारी के चरण तक पहुँचने वाले क्लाइंट्स का प्रतिशत), और ट्रिगर कवरेज में बेसलाइन्स (DIIR, CoS, और मानक CAMI काउंसलर सहित) को महत्वपूर्ण रूप से पीछे छोड़ दिया। विशेष रूप से, PUMA ने इन परिणामों को कम संवाद टर्न के साथ प्राप्त किया, जो उच्च दक्षता को दर्शाता है।
प्रतिक्रिया गुणवत्ता (Response Quality): काउंसलर-साइड गुणवत्ता (MITI ग्लोबल स्कोर द्वारा मापा गया) के मामले में, PUMA ने मानव-संदर्भित प्रतिक्रियाओं के समान स्कोर प्राप्त किया और अन्य स्वचालित विधियों की तुलना में काफी अधिक स्कोर बनाए रखते हुए एक सहयोगात्मक और सहानुभूतिपूर्ण शैली बनाए रखी।
स्टेट एस्टीमेशन और प्रेडिक्शन: PUMA ने लॉन्ग-प्रॉम्ट बेसलाइन्स की तुलना में करंट-स्टेट एस्टीमेशन (Curr-Acc) और नेक्स्ट-स्टेट प्रेडिक्शन (Next-Acc) दोनों में बेहतर सटीकता प्रदर्शित की।
सामान्यीकरण (Generalizability): AnnoMI पर एक क्रॉस-डेटासेट अध्ययन ने दिखाया कि PUMA, एक छोटे बैकबोन मॉडल (Qwen3-8B) के साथ भी, बहुत बड़े लॉन्ग-प्रॉम्ट बेसलाइन (Qwen3-32B) की तुलना में बेहतर स्टेट एस्टीमेशन और प्रेडिक्शन प्राप्त करने में सक्षम था, जो इसके फ्रेमवर्क की मजबूती और हस्तांतरणीयता का सुझाव देता है।
एब्लेशन स्टडीज (Ablation Studies): विश्वास अपडेट, वर्ल्ड मॉडल, या EFE-आधारित एक्शन सिलेक्शन जैसे घटकों को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे पुष्टि हुई कि सभी तत्व वांछित परिणामों की ओर संवाद को निर्देशित करने की प्रणाली की क्षमता में योगदान करते हैं।

महत्व और दावे

पेपर का दावा है कि PUMA पैसिव मेमोरी रिट्रीवल से उपयोगकर्ता के विकास पर मॉडल-आधारित निर्णय लेने की ओर एक बदलाव का प्रतिनिधित्व करता है। उपयोगकर्ता को एक आंशिक रूप से दृश्यमान गतिशील प्रणाली के रूप में मानकर और फ्री एनर्जी प्रिंसिपल को लागू करके, यह फ्रेमवर्क संवाद एजेंटों को सक्षम बनाता है:

ऐसी छिपी हुई उपयोगकर्ता अवस्थाओं का अनुमान लगाना जो स्पष्ट रूप से व्यक्त नहीं की गई हैं।
यह तर्क देना कि विशिष्ट हस्तक्षेप (संवाद क्रियाएं) उपयोगकर्ता की भविष्य की अवस्था को कैसे आकार देंगी।
एक एकीकृत मानदंड के तहत अनिश्चितता को कम करने (एपिस्टेमिक) और विशिष्ट परामर्श लक्ष्यों को प्राप्त करने (प्रैग्मैटिक) की आवश्यकता के बीच संतुलन बनाना।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण संवाद एजेंटों को स्थिर संदर्भ पुन: उपयोग से सक्रिय, अवस्था-जागरूक अंतःक्रिया नियंत्रण की ओर बढ़ने की अनुमति देता है, जो जटिल, मल्टी-टर्न इंटरैक्शन में दीर्घकालिक वैयक्तिकरण के लिए एक सिद्धांत आधारित आधार प्रदान करता है।