💬 NLP

Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

यह शोध पत्र वेरिएशनल रिवॉर्ड फैक्टराइजेशन (VRF) को प्रस्तुत करता है, जो एक अनिश्चितता-जागरूक ढांचा है जो उपयोगकर्ता की प्राथमिकताओं को एक साझा स्थान में वेरिएशनल वितरणों के रूप में प्रदर्शित करके लार्ज लैंग्वेज मॉडल्स को व्यक्तिगत बनाता है, जिससे विविध बेंचमार्क और परिदृश्यों में मौजूदा नियत (deterministic) विधियों की तुलना में अनुमान सटीकता और विश्वसनीयता में सुधार होता है।

मूल लेखक: Gyuseok Lee, Wonbin Kweon, Zhenrui Yue, SeongKu Kang, Jiawei Han, Dong Wang

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gyuseok Lee, Wonbin Kweon, Zhenrui Yue, SeongKu Kang, Jiawei Han, Dong Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (लार्ज लैंग्वेज मॉडल, या LLM) हैं जो अपने रेस्टोरेंट में आने वाले हर एक व्यक्ति के लिए बेहतरीन भोजन बनाना चाहते हैं।

समस्या क्या है? हर किसी की पसंद अलग है।

यूजर A को तीखा और गहरा स्वाद पसंद है।
यूजर B को हल्का और सादा खाना पसंद है।
यूजर C भ्रमित है और तय नहीं कर पा रहा है कि आज उसे क्या चाहिए।

पुराना तरीका: "औसत" मेनू (The "Average" Menu)

पहले, शेफ इस समस्या को हल करने के लिए एक एकल मेनू बनाने की कोशिश करते थे जो सभी ग्राहकों के "औसत" स्वाद का प्रतिनिधित्व करता था।

यदि यूजर A ऑर्डर करता है, तो उसे एक ऐसा व्यंजन मिलता है जो "थोड़ा तीखा" है।
यदि यूजर B ऑर्डर करता है, तो उसे एक ऐसा व्यंजन मिलता है जो "थोड़ा सादा" है।
परिणाम: हर कोई थोड़ा नाखुश रहता है क्योंकि भोजन एक समझौता है। यह "एक ही आकार सबके लिए फिट" (one-size-fits-all) वाला दृष्टिकोण है, और यह प्रत्येक व्यक्ति के अनूठे व्यक्तित्व को पकड़ने में विफल रहता है।

नया तरीका: "रिवॉर्ड फैक्टरइज़ेशन" (सामग्री की सूची)

एक स्मार्ट तरीका खोजा गया जिसे रिवॉर्ड फैक्टरइज़ेशन (Reward Factorization) कहा जाता है। हर व्यक्ति के लिए एक नया पूरा व्यंजन बनाने के बजाय, शेफ भोजन को बुनियादी स्वाद प्रोफाइल (जैसे "तीखा," "मीठा," "नमकीन," "कुरकुरा") में तोड़ देते हैं।

शेफ इन फ्लेवर बेस (Flavor Bases) की एक मास्टर लिस्ट रखते हैं।
प्रत्येक ग्राहक के लिए, शेफ बस एक छोटा सा नोट लिखते हैं: "यूजर A के लिए, 80% तीखा और 20% मीठा दें।"
यह कुशल है! आपको हर व्यक्ति के लिए एक नई रेसिपी बुक की आवश्यकता नहीं है; आप बस उन्हीं बुनियादी स्वादों को अलग-अलग अनुपात में मिला सकते हैं।

पुराने "नए" तरीके की समस्या

इस स्मार्ट पद्धति में भी दो बड़ी खामियां थीं, जिन्हें पेपर बताता है:

"अलग-थलग" वाली गलती (The "Isolated" Mistake): यदि कोई ग्राहक केवल एक बार ऑर्डर करता है (बहुत कम डेटा), तो शेफ अंधे होकर उनके अनुपात का अनुमान लगाता है। उन्हें यह एहसास नहीं होता कि इस नए ग्राहक को "तीखा" पसंद होगा क्योंकि रेस्टोरेंट में हर कोई इसे पसंद करता है। वे हर ग्राहक को एक अजनबी की तरह देखते हैं, भले ही वे अन्य लोगों के साथ समान स्वाद साझा करते हों।
"अनुमान लगाने का खेल" वाली गलती (The "Guessing Game" Mistake): शेफ एक निश्चित संख्या लिखते हैं (जैसे, "80% तीखा")। लेकिन क्या होगा यदि ग्राहक अनिश्चित है? क्या होगा यदि वह बहुत चूजी है और उसका स्वाद दिन-प्रति-दिन बदलता रहता है? पुराना तरीका ऐसे काम करता है जैसे शेफ 100% सुनिश्चित हो, भले ही वह वास्तव में केवल अनुमान लगा रहा हो। जब डेटा अस्थिर होता है, तो यह खराब सिफारिशों की ओर ले जाता है।

समाधान: VRF (वेरिएशनल रिवॉर्ड फैक्टरइज़ेशन)

इस पेपर के लेखक VRF नामक एक नया सिस्टम प्रस्तावित करते हैं। इसे शेफ की नोटबुक को एक साधारण नंबर की सूची से बदलकर एक स्मार्ट, धुंधले मानचित्र (fuzzy map) में अपग्रेड करने के रूप में समझें।

यहाँ बताया गया है कि VRF तीन सरल अवधारणाओं का उपयोग करके कैसे काम करता है:

1. डॉट के बजाय "धुंधला बादल" (The "Fuzzy Cloud" Instead of a Dot)

यह अनुमान लगाने के बजाय कि यूजर A ठीक "80% तीखा" है, VRF उस अनुमान के चारों ओर एक बादल बनाता है।

यूजर A (सुसंगत): बादल छोटा और सघन है। शेफ आश्वस्त है: "इस व्यक्ति को निश्चित रूप से तीखा पसंद है।"
यूजर B (अनिश्चित): बादल बहुत बड़ा और फैला हुआ है। शेफ स्वीकार करता है: "मुझे नहीं पता कि इस व्यक्ति को अभी क्या चाहिए; उन्हें तीखा पसंद हो सकता है, या मीठा भी पसंद हो सकता है।"
यह क्यों मायने रखता है: यदि शेफ जानता है कि वह अनिश्चित है (बड़ा बादल), तो वह एक गलत सिफारिश नहीं थोपता है। वह सुरक्षित खेलता है।

2. "साझा फ्लेवर लाइब्रेरी" (The "Shared Flavor Library")

VRF फ्लेवर प्रोफाइल (बेस) की एक साझा लाइब्रेरी बनाता है जिसे हर कोई बनाने में मदद करता है।

भले ही एक नया ग्राहक (यूजर C) केवल एक भोजन ऑर्डर कर चुका हो, शेफ लाइब्रेरी को देखता है।
शेफ देखता है, "ओह, ज्यादातर लोग जो इस विशिष्ट व्यंजन को पसंद करते हैं, वे 'लहसुन' और 'जड़ी-बूटियों' को भी पसंद करते हैं।"
इसलिए, यूजर C के बारे में बहुत कम डेटा होने पर भी, शेफ बेहतर अनुमान लगाने के लिए पूरे रेस्टोरेंट के सामूहिक ज्ञान का उपयोग करता है। यह भीड़ से पूछने जैसा है, "क्या इस नए आदमी को लहसुन पसंद है?" इससे पहले कि वह अनुमान लगाए।

3. "कॉन्फिडेंस फिल्टर" (The "Confidence Filter")

जब शेफ ट्रेनिंग (सीखना) कर रहा होता है, तो VRF का एक विशेष नियम होता है: "यदि आप सुनिश्चित नहीं हैं, तो चिल्लाएं नहीं।"

यदि किसी यूजर के लिए "बादल" बहुत बड़ा है (उच्च अनिश्चितता), तो सिस्टम शेफ को उस विशिष्ट डेटा पॉइंट को एक पल के लिए अनदेखा करने के लिए कहता है।
यह शेफ को भ्रमित ग्राहकों से बुरी आदतें सीखने से रोकता है। यह केवल तभी पूरा ध्यान देता है जब ग्राहक की प्राथमिकताएं स्पष्ट और सुसंगत होती हैं।

परिणाम: सभी के लिए एक व्यक्तिगत अनुभव

इन तीन ट्रिक्स के कारण, VRF पिछले किसी भी तरीके की तुलना में बेहतर काम करता है:

नियमित ग्राहकों के लिए: यह याद रखता है कि उन्हें वास्तव में क्या पसंद है।
नए लोगों के लिए: यह भीड़ के ज्ञान का उपयोग यह अनुमान लगाने के लिए करता है कि उन्हें क्या पसंद हो सकता है, भले ही उन्होंने केवल एक बार बात की हो।
भ्रमित लोगों के लिए: यह महसूस करता है कि वह पर्याप्त नहीं जानता और कोई जोखिम भरा अनुमान नहीं लगाता।

संक्षेप में:
यह पेपर AI को सिखाता है कि कैसे हर इंसान को एक आंकड़े के रूप में देखना बंद किया जाए और उन्हें अद्वितीय स्वाद और बदलते आत्मविश्वास के स्तरों वाले एक व्यक्ति के रूप में देखा जाए। यह एक रोबोट के "यहाँ आपका औसत भोजन है" कहने और एक स्मार्ट वेटर के "मुझे पता है कि आपको आमतौर पर तीखा पसंद है, लेकिन चूंकि आज आप अनिश्चित लग रहे हैं, इसलिए चलिए कुछ हल्का आज़माते हैं" कहने के बीच का अंतर है।

यहाँ शोध पत्र "Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विविध मानवीय प्राथमिकताओं (human preferences) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को व्यक्तिगत बनाने (personalizing) की चुनौती को संबोधित करता है। जबकि 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) LLMs को सामान्य मानवीय मूल्यों के साथ संरेखित करता है, यह अक्सर एक "औसत" उपयोगकर्ता की ओर झुक जाता है, जिससे व्यक्तिगत बारीकियों को पकड़ने में विफल रहता है।

मौजूदा रिवॉर्ड फैक्टराइजेशन (Reward Factorization) विधियाँ एक उपयोगकर्ता के रिवॉर्ड फंक्शन $r_u$ को साझा बेसिस फंक्शन्स $\phi$ और उपयोगकर्ता-विशिष्ट वेट्स $w_u$ में विभाजित करके इसे हल करने का प्रयास करती हैं (अर्थात, $r_u = w_u^\top \phi$ )। हालाँकि, लेखक वर्तमान दृष्टिकोणों में दो मौलिक सीमाओं की पहचान करते हैं:

विलैत प्राथमिकता मॉडलिंग (Isolated Preference Modeling - C1): मौजूदा विधियाँ उपयोगकर्ता के वेट्स का अनुमान अलग-थलग (in isolation) रहकर लगाती हैं। यह उपयोगकर्ता आबादी के बीच साझा प्राथमिकता पैटर्न का लाभ उठाने में विफल रहता है, जिससे कम डेटा वाले उपयोगकर्ताओं (few-shot scenarios) और अनदेखे उपयोगकर्ताओं के लिए गलत अनुमान लगता है।
डिटरमिनिस्टिक पॉइंट एस्टीमेट्स (Deterministic Point Estimates - C2): वर्तमान विधियाँ उपयोगकर्ता के वेट्स को नियत बिंदुओं (deterministic points) के रूप में मानती हैं। यह डेटा की कमी या विविध स्वादों के कारण होने वाली अंतर्निहित अनिश्चितता (uncertainty) को अनदेखा करता है। फलस्वरूप, मॉडल एक आत्मविश्वासी प्राथमिकता (सुसंगत इतिहास) और एक अनिश्चित प्राथमिकता (विरल/विविध इतिहास) के बीच अंतर नहीं कर पाता है, जिससे अविश्वसनीय निष्कर्ष निकलता है।

2. कार्यप्रणाली: वेरिएशनल रिवॉर्ड फैक्टराइजेशन (Variational Reward Factorization - VRF)

लेखक VRF का प्रस्ताव करते हैं, जो उपयोगकर्ता की प्राथमिकताओं को नियत बिंदुओं के बजाय एक साझा संभाव्य स्थान (shared probabilistic space) के भीतर वेरिएशनल डिस्ट्रीब्यूशंस (variational distributions) के रूप में दर्शाता है। यह ढांचा चार मुख्य घटकों से बना है:

A. वेरिएशनल यूजर प्रेफरेंस एनकोडिंग (Variational User Preference Encoding)

एक एकल वेट वेक्टर के बजाय, VRF पेयरवाइज फीडबैक ( $C_u$ ) के एक छोटे संदर्भ सेट से उपयोगकर्ता की प्राथमिकता को एक गॉसियन डिस्ट्रीब्यूशन $q_u = \mathcal{N}(\mu_u, \text{diag}(\sigma_u^2))$ के रूप में इन्फर (infer) करता है।

पेयरवाइज एनकोडिंग: एक न्यूरल एनकोडर प्रत्येक ट्रिपलेट $(x, y^+, y^-)$ को प्रोसेस करता है ताकि गॉसियन पैरामीटर्स प्राप्त किए जा सकें।
प्रोडक्ट ऑफ गॉसियन्स द्वारा एकत्रीकरण (Aggregation via Product of Gaussians): संदर्भ सेट से व्यक्तिगत गॉसियन्स को 'प्रोडक्ट ऑफ गॉसियन्स' का उपयोग करके एक एकल उपयोगकर्ता वितरण में एकत्रित किया जाता है। यह विधि अवलोकनों को उनकी प्रिसिजन ( $\sigma^{-2}$ ) के आधार पर भारित करती है, जिससे मॉडल स्वाभाविक रूप से अधिक डेटा उपलब्ध होने पर अनिश्चितता ( $\sigma_u$ ) को कम कर सकता है।

B. प्रोबेबिलिस्टिक प्रेफरेंस बेसेस (Probabilistic Preference Bases)

VRF $K$ साझा प्रोबेबिलिस्टिक प्रेफरेंस बेसेस $P = \{p_k\}$ पेश करता है, जहाँ प्रत्येक $p_k$ भी एक गॉसियन डिस्ट्रीब्यूशन $\mathcal{N}(\mu_k, \text{diag}(\sigma_k^2))$ है।

ये बेसेस विशिष्ट प्राथमिकता शैलियों (जैसे, "संक्षिप्त," "सहानुभूतिपूर्ण," "औपचारिक") का प्रतिनिधित्व करते हैं।
वे जनसंख्या-स्तरीय पैटर्न को एनकोड करते हैं, जिससे डेटा-दुर्लभ उपयोगकर्ताओं को सामूहिक संकेतों से लाभ मिल सकता है।

C. अनिश्चितता-जागरूक मिलान (Uncertainty-Aware Matching - Weight Derivation)

उपयोगकर्ता के वेट्स $w_u$ को उपयोगकर्ता वितरण $q_u$ को प्रेफरेंस बेसेस $p_k$ के साथ स्क्वेर्ड 2-वॉसरस्टीन डिस्टेंस ( $W_2$ ) का उपयोग करके मैच करके निकाला जाता है।

$W_2$ डिस्ट्रीब्यूशन के स्थान ( $\mu$ ) और अनिश्चितता ( $\sigma$ ) दोनों को ध्यान में रखता है।
वेट्स की गणना दूरियों के सॉफ्टमैक्स (softmax) के माध्यम से की जाती है:
$w_{u,k} \propto \exp(-W_2(q_u, p_k)^2 / \tau_d)$
इसके परिणामस्वरूप एक "सॉफ्ट असाइनमेंट" होता है जो अनिश्चितता को दर्शाता है: यदि उपयोगकर्ता का वितरण व्यापक (उच्च अनिश्चितता) है, तो बेसेस के प्रति असाइनमेंट अधिक विसरित (diffuse) हो जाता है।

D. ट्रेनिंग ऑब्जेक्टिव्स (Training Objectives)

ट्रेनिंग लॉस तीन पदों को जोड़ता है ताकि मजबूत शिक्षण सुनिश्चित हो सके:

वेरिएंस-एटेन्युएटेड ब्रैडली-टेरी लॉस ( $L_{VBT}$ ): रिवॉर्ड अंतर को गॉसियन डिस्ट्रीब्यूशन से बदल देता है। लॉस फंक्शन रिवॉर्ड एस्टीमेट के वेरिएंस के आधार पर ग्रेडिएंट को अनुकूल रूप से स्केल करता है। उच्च अनिश्चितता (बड़ा वेरिएंस) ग्रेडिएंट को कम (attenuate) करती है, जिससे मॉडल शोर वाले या अस्पष्ट संकेतों पर ओवरफिट होने से बचता है।
सेपरेशन लॉस ( $L_{SEP}$ ): विभिन्न प्रेफरेंस बेसेस के बीच वॉसरस्टीन डिस्टेंस को अधिकतम करता है ताकि यह सुनिश्चित हो सके कि वे विशिष्ट शैलियों को कैप्चर करें।
रेगुलराइजेशन लॉस ( $L_{REG}$ ): उपयोगकर्ता डिस्ट्रीब्यूशंस को 'मिक्सचर-ऑफ-गॉसियन्स प्रायर' का उपयोग करके सीखे गए प्रेफरेंस स्पेस के भीतर रहने के लिए रेगुलराइज करता है।

E. इन्फरेंस (Inference)

अनदेखे उपयोगकर्ताओं के लिए, VRF एक सिंगल फॉरवर्ड पास में फ्यू-शॉट इन्फरेंस (few-shot inference) करता है। यह उपयोगकर्ता के संदर्भ सेट को एक डिस्ट्रीब्यूशन में एनकोड करता है और पूर्व-सीखे गए बेसेस के माध्यम से वेट्स निकालता है, जिसमें प्रति उपयोगकर्ता कोई ग्रेडिएंट-आधारित ऑप्टिमाइजेशन आवश्यक नहीं है।

3. मुख्य योगदान (Key Contributions)

समस्या की पहचान: मौजूदा रिवॉर्ड फैक्टराइजेशन विधियों की आइसोलेटेड मॉडलिंग और डिटरमिनिस्टिक एस्टीमेट की सीमाओं को व्यवस्थित रूप से पहचाना और विश्लेषण किया।
नया ढांचा (Novel Framework): VRF का प्रस्ताव, जो पहला अनिश्चितता-जागरूक रिवॉर्ड फैक्टराइजेशन फ्रेमवर्क है जो उपयोगकर्ताओं और प्रेफरेंस बेसेस दोनों को संभाव्य वितरण (probabilistic distributions) के रूप में मॉडल करता है।
कुशल इन्फरेंस: एक सिंगल फॉरवर्ड पास में अनदेखे उपयोगकर्ताओं के लिए उपयोगकर्ता वेट्स का अनुमान लगाने का एक तरीका प्रदर्शित किया, जो ग्रेडिएंट-आधारित बेसलाइन्स की तुलना में काफी कम लेटेंसी प्रदान करता है।
मजबूती (Robustness): दिखाया कि अनिश्चितता को स्पष्ट रूप से मॉडल करने से कम-डेटा वाले परिदृश्यों और विविध प्राथमिकता वाले परिदृश्यों में बेहतर प्रदर्शन होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर VRF का मूल्यांकन किया: PersonalLLM (सिंथेटिक विविध प्राथमिकताएं), TL;DR (रेडिट सारांश), और PRISM (मल्टी-टर्न बातचीत)।

प्रदर्शन: VRF ने Seen, Unseen, और Overall स्प्लिट्स में लगातार स्टेट-ऑफ-द-आर्ट बेसलाइन्स (LoRe, PReF, PAL, और VPL सहित) को पछाड़ दिया।
- अत्यधिक विविध प्राथमिकताओं ( $\alpha=0.001$ ) वाले PersonalLLM पर, VRF ने 95.3% समग्र सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ (PReF 87.7%) से काफी अधिक है।
फ्यू-शॉट अडैप्टेशन: VRF ने न्यूनतम डेटा (जैसे, $|C_u|=1$ ) के साथ भी उत्कृष्ट प्रदर्शन दिखाया, जो कम-डेटा वाले परिदृश्यों में प्रतिस्पर्धियों से 1.9% तक आगे रहा।
अनिश्चितता मजबूती (Uncertainty Robustness): VRF ने कम, मध्यम और उच्च प्राथमिकता अनिश्चितता वाले उपयोगकर्ताओं के बीच उच्च सटीकता बनाए रखी, जबकि डिटरमिनिस्टिक बेसलाइन्स अनिश्चितता बढ़ने पर काफी गिर गए।
डाउनस्ट्रीम अलाइनमेंट: बेहतर रिवॉर्ड एस्टीमेशन ने Best-of-N सैंपलिंग में बेहतर डाउनस्ट्रीम प्रदर्शन में मदद की, जहाँ VRF ने मानक ब्रैडली-टेरी बेसलाइन के मुकाबले उच्चतम विन रेट हासिल किया।
दक्षता (Efficiency): VRF ने प्रति-उपयोगकर्ता अनुकूलन समय को <1ms (सिंगल फॉरवर्ड पास) तक कम कर दिया, जबकि ग्रेडिएंट-आधारित विधियों को 83–114ms की आवश्यकता थी। 10 लाख उपयोगकर्ताओं के लिए, VRF अनुकूलन 10 मिनट से कम समय में पूरा कर लेता है, जबकि PReF को 30 घंटे से अधिक समय लगेगा।

5. महत्व (Significance)

यह शोध पत्र LLM पर्सनलाइजेशन के लिए एक स्केलेबल और मजबूत समाधान प्रदान करता है। डिटरमिनिस्टिक पॉइंट एस्टीमेट्स से अनिश्चितता-जागरूक संभाव्य मॉडलिंग (uncertainty-aware probabilistic modeling) की ओर बढ़कर, VRF नए उपयोगकर्ताओं के लिए "कोल्ड स्टार्ट" समस्या और मौजूदा उपयोगकर्ताओं के लिए "स्पार्स डेटा" समस्या को प्रभावी ढंग से संभालता है। प्राथमिकता अनिश्चितता को मापने की क्षमता मॉडल को अस्पष्ट डेटा के साथ अधिक रूढ़िवादी होने की अनुमति देती है, जिससे सुरक्षित और अधिक विश्वसनीय अलाइनमेंट सुनिश्चित होता है। इन्फरेंस प्रक्रिया की दक्षता VRF को बड़े पैमाने पर तैनाती के लिए व्यावहारिक बनाती है जहाँ लाखों उपयोगकर्ताओं को रियल-टाइम पर्सनलाइजेशन की आवश्यकता होती है।