💬 NLP

From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

यह शोध पत्र व्यक्तिगत एजेंटिक सुदृढीकरण शिक्षण (Agentic Reinforcement Learning) के लिए एक एकीकृत ढांचे का प्रस्ताव करता है जो विविध योजना और टूल-उपयोग परिदृश्यों में एजेंट के प्रदर्शन को प्रभावी ढंग से संबोधित करने और विषम उपयोगकर्ता प्राथमिकताओं को हल करने के लिए पर्सनलाइज्ड एंकर रिवॉर्ड-डिकपल्ड पॉलिसी ऑप्टिमाइजेशन (PARPO), एक प्राथमिकता-विच्छेदित रिवॉर्ड मॉडल और प्रेफरेंस-अलाइन्ड स्किल इवोल्यूशन ग्राफ मेमोरी (PSGM) को एकीकृत करता है।

मूल लेखक: Ranxu zhang, zeyang li, Jiacheng Huang, Rui Zhang, Xiaozhou Xu, sun zhe, Yanyong Zhang, Chao Wang

प्रकाशित 2026-05-25✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ranxu zhang, zeyang li, Jiacheng Huang, Rui Zhang, Xiaozhou Xu, sun zhe, Yanyong Zhang, Chao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक व्यक्तिगत सहायक रोबोट है। अतीत में, हमने इन रोबोटों को "सही" होना सिखाया था। यदि आप पूछते, "टोक्यो की यात्रा की योजना बनाएं," तो रोबोट एक एकल, गणितीय रूप से पूर्ण यात्रा कार्यक्रम सीखता जो औसत व्यक्ति के लिए उपयुक्त हो। यह कुशल, तार्किक और तथ्यात्मक रूप से सटीक होता।

लेकिन वास्तविक दुनिया में, "सही" होना पर्याप्त नहीं है। यदि उपयोगकर्ता A एक शांत संग्रहालय प्रेमी है जिसे पैदल चलना पसंद नहीं है, और उपयोगकर्ता B एक ऊर्जावान एनीमे प्रशंसक है जिसे नाइटलाइफ़ पसंद है, तो उनके लिए टोक्यो की "परफेक्ट" यात्रा पूरी तरह से अलग होगी। एक ही प्रश्न के लिए दो अलग-अलग उत्तरों की आवश्यकता होती है।

यह शोध पत्र AI एजेंटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करता है ताकि वे "एक-आकार-सभी-के-लिए" विशेषज्ञ बनने के बजाय एक सच्चा व्यक्तिगत साथी बनना शुरू कर दें। उन्होंने इसे कैसे किया, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: "औसत" का जाल

वर्तमान AI प्रशिक्षण एक ऐसे शेफ को खाना पकाने का प्रशिक्षण देने जैसा है जो एक एकल "औसत" भोजन बनाता है जिसे सभी पसंद करते हैं। यदि आप मसालेदार व्यंजन मांगते हैं, तो शेफ आपको कुछ हल्का दे सकता है क्योंकि वे बहुसंख्यक लोगों को खुश करने की कोशिश कर रहे हैं।

समस्या: वास्तविक उपयोगकर्ताओं की अनूठी पसंद, आदतें और सीमाएं होती हैं। एक सामान्य रिवॉर्ड सिस्टम (जैसे कि "क्या कार्य पूरा हुआ?" के लिए एक स्कोर) इस अंतर को नहीं समझ सकता कि एक यात्रा योजना जो तथ्यात्मक रूप से सही है लेकिन उपयोगकर्ता के लिए उबाऊ है, बनाम एक जो उनके लिए पूरी तरह से अनुकूलित है।
शोर (Noise): कभी-कभी उपयोगकर्ता उन तरीकों से व्यवहार करते हैं जो उनकी वास्तविक इच्छाओं से मेल नहीं खाते (शायद उन्होंने कुछ इसलिए खरीदा क्योंकि उनके दोस्तों ने खरीदा था)। AI को यह समझने की आवश्यकता है कि उपयोगकर्ता वास्तव में क्या चाहता है, न कि केवल उसने क्या किया।

2. समाधान: एक तीन-भाग वाला टूलकिट

लेखकों ने PARPO (पर्सनलाइज्ड एंकर रिवॉर्ड-डिकपल्ड पॉलिसी ऑप्टिमाइजेशन) नामक एक फ्रेमवर्क बनाया है। इसे AI के मस्तिष्क के लिए तीन-चरणीय अपग्रेड के रूप में समझें:

भाग A: "दोहरी-ट्रैक" कोच (PARPO)

कल्पना कीजिए कि एक स्पोर्ट्स कोच एक साथ दो एथलीटों को प्रशिक्षित कर रहा है।

ट्रैक 1 (बुनियादी बातें): कोच यह सुनिश्चित करता है कि दोनों एथलीट एक आदर्श, सुरक्षित चक्कर लगाएं। यह सामान्य गुणवत्ता (General Quality) रिवॉर्ड है। क्या उन्होंने दौड़ पूरी की? क्या उन्होंने नियमों का पालन किया?
ट्रैक 2 (व्यक्तिगत शैली): कोच फिर एथलीट की शैली के आधार पर विशिष्ट फीडबैक देता है। स्प्रिंटर के लिए, यह है "तेज़ दौड़ें।" मैराथन धावक के लिए, यह है "ऊर्जा बचाएं।" यह व्यक्तिगत प्राथमिकता (Personalized Preference) रिवॉर्ड है।
एंकर (The Anchor): चीजों को स्थिर रखने के लिए, कोच प्रत्येक एथलीट के लिए एक "व्यक्तिगत एंकर" का उपयोग करता है। स्प्रिंटर की तुलना मैराथन धावक से करने के बजाय (जो कि अनुचित है), कोच स्प्रिंटर की तुलना उसके अपने पिछले प्रदर्शन से करता है। यह AI को विभिन्न उपयोगकर्ताओं के अलग-अलग "स्केल" के कारण भ्रमित होने से रोकता है।

भाग B: "वास्तविक रुचि" डिटेक्टर (रिवॉर्ड मॉडल)

AI कैसे जानता है कि उपयोगकर्ता वास्तव में क्या पसंद करता है बनाम उसने केवल साथियों के दबाव में क्या किया?

शोध पत्र एक दो-चरणीय डिटेक्टर पेश करता है।
- चरण 1: यह कई कोणों से उपयोगकर्ता का प्रोफाइल बनाता है (जैसे उनका बायो, उनका इतिहास और उनका सामाजिक दायरा पढ़ना)।
- चरण 2: यह एक जासूस की तरह "वास्तविक रुचि" को "अनुरूपता (Conformity)" से अलग करता है। यह पूछता है: "क्या इस उपयोगकर्ता ने यह इसलिए किया क्योंकि उसे यह पसंद है, या सिर्फ इसलिए क्योंकि बाकी सब ऐसा कर रहे थे?" यह सिग्नल को खोजने के लिए शोर को फ़िल्टर करता है।

भाग C: "जीवंत लाइब्रेरी" (PSGM)

पुराना AI मेमोरी कागजों के एक सपाट ढेर जैसा है। आप एक प्रश्न पूछते हैं, और यह पूरे ढेर को खोज लेता है।

यह शोध पत्र एक स्किल इवोल्यूशन ग्राफ (Skill Evolution Graph) बनाता है। एक गतिशील, 3D स्पाइडरवेब की कल्पना करें जहाँ प्रत्येक नोड जुड़ा हुआ है।
- एक नोड है "उपयोगकर्ता A।"
- यह "कौशल: संग्रहालय योजना बनाना" से जुड़ता है।
- वह "परिदृश्य: बरसात का दिन" से जुड़ता है।
- और "टूल: टिकट बुकिंग।"
जब कोई उपयोगकर्ता प्रश्न पूछता है, तो AI केवल खोजता नहीं है; यह उस विशिष्ट उपयोगकर्ता के इतिहास और प्राथमिकताओं से मेल खाने वाले सटीक कौशल और उपकरणों को खोजने के लिए इस वेब के माध्यम से यात्रा करता है। यह एक ऐसे लाइब्रेरियन की तरह है जो जानता है कि आपको पिछले साल कौन सी किताब पसंद आई थी और वह केवल बेस्ट-सेलर किताब थमाने के बजाय वैसी ही एक किताब का सुझाव देता है।

3. परिणाम: सबसे बेहतर

टीम ने तीन अलग-अलग चुनौतियों पर इसका परीक्षण किया:

ETAPP: व्यक्तिगत सहायकों के लिए एक मानक परीक्षण (दैनिक कार्यों की योजना बनाना)।
ETAPP-Hard: जटिल, बहु-चरणीय समस्याओं के साथ एक कठिन संस्करण।
SJAgent: एक बड़े चीनी ई-कॉमर्स प्लेटफॉर्म के डेटा का उपयोग करके एक वास्तविक औद्योगिक परीक्षण (व्यापारियों को निर्णय लेने में मदद करना)।

परिणाम:
उनका नया फ्रेमवर्क मौजूदा सर्वोत्तम तरीकों को लगातार पीछे छोड़ देता है।

इसने न केवल तथ्यों को सही किया; इसने वाइब (Vibe) को भी सही पकड़ा।
इसने सक्रिय (जरूरतों का पूर्वानुमान लगाना) होने के बारे में सीखा और जटिल प्रक्रियाओं का बेहतर पालन किया।
महत्वपूर्ण रूप से, इसने व्यक्तिगत उपयोगकर्ताओं के अनुकूल होते हुए भी उच्च गुणवत्ता बनाए रखी, जिससे यह सिद्ध हुआ कि व्यक्तिगत होने के लिए आपको "सटीकता" का त्याग करने की आवश्यकता नहीं है।

सारांश उपमा

पुराने AI को टोक्यो के लिए एक पूर्ण स्क्रिप्ट याद करने वाले टूर गाइड के रूप में सोचें जो इसे सभी को सुनाता है।
नया AI एक स्थानीय मित्र है जो आपको व्यक्तिगत रूप से जानता है। वह जानता है कि आपको पैदल चलना पसंद नहीं है, एनीमे पसंद है, और आप बजट पर हैं। वह आपको केवल एक नक्शा नहीं देता; वह एक ऐसा दिन डिजाइन करता है जो ऐसा महसूस कराता है जैसे वह सिर्फ आपके लिए बनाया गया हो, अपनी उस स्मृति का उपयोग करते हुए कि आपने पहले क्या पसंद किया था, जबकि यह भी सुनिश्चित करता है कि आप वास्तव में वे चीजें देखें जिन्हें आप देखना चाहते थे।

शोध पत्र का दावा है कि यह "काम को सही ढंग से करने" को "काम को आपके तरीके से करने" से अलग करके और यह याद रखने के लिए एक स्मार्ट मेमोरी सिस्टम का उपयोग करके प्राप्त किया गया है कि आप वास्तव में कौन हैं।

तकनीकी सारांश: शुद्धता से प्राथमिकता तक: व्यक्तिगत एजेंटिक सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए एक ढांचा

1. समस्या की परिभाषा

यद्यपि एजेंटिक सुदृढीकरण शिक्षण (Agentic RL) ने सत्यापन योग्य कार्यों (जैसे कोड जनरेशन, वेब नेविगेशन) में महत्वपूर्ण सफलता प्राप्त की है, लेकिन यह उन वास्तविक दुनिया के अनुप्रयोगों में मौलिक चुनौतियों का सामना करता है जहाँ इष्टतम व्यवहार उपयोगकर्ता-निर्भर होता है। ई-कॉमर्स सहायता, यात्रा योजना और दैनिक शेड्यूलिंग जैसे डोमेन में, एक एकल क्वेरी (जैसे, "टोक्यो में एक दिवसीय यात्रा की योजना बनाएं") कई संभावित प्रक्षेप पथ (trajectories) को जन्म देती है, जिसमें पसंदीदा पथ व्यक्तिगत उपयोगकर्ता की प्राथमिकताओं, आदतों और बाधाओं द्वारा निर्धारित होता है।

मौजूदा विधियाँ आमतौर पर जेनेरिक उद्देश्यों (समग्र गुणवत्ता, उपयोगिता) के लिए अनुकूलित होती हैं या केवल प्रॉम्प्टिंग या मेमोरी रिट्रीवल के माध्यम से इन्फरेंस के समय वैयक्तिकरण करती हैं। उनमें उपयोगकर्ता-आश्रित प्रक्षेप पथों के लिए नीतियों को अनुकूलित करने हेतु प्रशिक्षण-समय के नेटिव फ्रेमवर्क का अभाव है। यह सेटिंग तीन मुख्य चुनौतियाँ पेश करती है:

व्यक्तिगत पुरस्कार अस्पष्टता (Personalized Reward Ambiguity): जेनेरिक रिवॉर्ड्स कार्य की शुद्धता को तो पकड़ते हैं, लेकिन यह व्यक्त करने में विफल रहते हैं कि विशिष्ट उपयोगकर्ता प्रक्षेप पथों का मूल्यांकन कैसे करते हैं या विभिन्न उपयोगकर्ताओं के बीच विषम रिवॉर्ड स्केल्स को कैसे संभालते हैं।
वरीयता पृथक्करण (Preference Disentanglement): देखे गए उपयोगकर्ता व्यवहार अक्सर अंतर्निहित रुचियों और बाहरी अनुरूपता या प्रासंगिक प्रभावों के साथ उलझे होते हैं, जिससे वरीयता संकेत शोरपूर्ण (noisy) हो जाते हैं।
उपयोगकर्ता-जागरूक मेमोरी (User-Aware Memory): मौजूदा एजेंट मेमोरी अक्सर फ्लैट और क्वेरी-केंद्रित होती है, जो व्यक्तिगत रिट्रीवल के लिए आवश्यक उपयोगकर्ताओं, इरादों, कौशल, टूल्स और परिदृश्यों के बीच संरचित संबंधों को मॉडल करने में विफल रहती है।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत व्यक्तिगत एजेंटिक RL फ्रेमवर्क प्रस्तावित करते हैं जो प्रशिक्षण-समय के अनुकूलन लूप में वैयक्तिकरण को समाहित करता है। यह ढांचा वरीयता पहचान, नीति अनुकूलन और संरचित कौशल संचय के एक क्लोज्ड लूप के रूप में कार्य करता है, जिसमें तीन मुख्य घटक शामिल हैं:

2.1 PARPO: व्यक्तिगत एंकर रिवॉर्ड-डिकपल्ड पॉलिसी ऑप्टिमाइज़ेशन

PARPO मुख्य नीति अनुकूलन एल्गोरिदम है जिसे विषम उपयोगकर्ता प्राथमिकताओं को संभालने के लिए डिज़ाइन किया गया है।

रिवॉर्ड डिकपलिंग: यह अनुकूलन को दो ट्रैक्स में विभाजित करता है: जेनेरिक कार्य गुणवत्ता (शुद्धता, तार्किक सुसंगतता) के लिए एक बेस ट्रैक और उपयोगकर्ता-आश्रित वरीयता सुधार के लिए एक पर्सनलाइज्ड ट्रैक।
उपयोगकर्ता-विशिष्ट एंकर्स: विषम रिवॉर्ड स्केल्स के तहत सीखने को स्थिर करने के लिए, PARPO व्यक्तिगत रिवॉर्ड्स के लिए एक निरंतर, उपयोगकर्ता-विशिष्ट एंकर (रनिंग मीन और वेरिएंस) बनाए रखता है।
एडवांटेज एस्टीमेशन:
- बेस एडवांटेज ( $A_{base}$ ) मानक इन-ग्रुप रिलेटिव नॉर्मलाइजेशन का उपयोग करता है।
- पर्सनलाइज्ड एडवांटेज ( $A_{pers}$ ) एक उपयोगकर्ता-जागरूक बेसलाइन का उपयोग करता है: $b_{u,g} = \max(\bar{R}_{pers}^{(g)}, m_u - \gamma_p \sqrt{v_u})$ , जहाँ $m_u$ और $v_u$ उपयोगकर्ता के ऐतिहासिक रिवॉर्ड सांख्यिकी हैं। यह बेसलाइन को उपयोगकर्ता के ऐतिहासिक केंद्र से बहुत दूर जाने से रोकता है।
- कुल एडवांटेज एक भारित योग है: $A_{total} = w_{base}A_{base} + w_{pers}A_{pers}$ ।
सैद्धांतिक औचित्य: लेखक सिद्ध करते हैं कि विषम प्राथमिकताओं के तहत, उपयोगकर्ता-जागरूक अनुकूलन, उपयोगकर्ता-अज्ञेय (user-agnostic) अनुकूलन से कभी भी खराब नहीं होता है। वे प्रदर्शित करते हैं कि मानक GRPO, पूल्ड बेसलाइन्स और नॉर्मलाइजेशन के कारण संरचनात्मक पूर्वाग्रह (structural bias) उत्पन्न करता है, जबकि PARPO रिवॉर्ड डिकम्पोज़िशन और एंकर कैलिब्रेशन के माध्यम से इस पूर्वाग्रह को कम करता है।

2.2 दो-चरणीय वरीयता-पृथक रिवॉर्ड मॉडल (Two-Stage Preference-Disentangled Reward Model)

स्वच्छ व्यक्तिगत पर्यवेक्षण प्रदान करने के लिए, यह ढांचा एक रिवॉर्ड मॉडल का उपयोग करता है जो अंतर्निहित रुचियों को अनुरूपता (conformity) से अलग करता है।

चरण 1 (मल्टी-व्यू प्रोफाइल रिप्रेजेंटेशन): व्यू-विशिष्ट जानकारी को संरक्षित करने के लिए अटेंशन मैकेनिज्म और रिकंस्ट्रक्शन लॉस का उपयोग करके उपयोगकर्ता प्रोफाइल के कई सिमेंटिक व्यूज को फ्यूज करके उपयोगकर्ता एम्बेडिंग्स का निर्माण करता है।
चरण 2 (कोलेबोरेटिव डिसेंटैंगलमेंट): कोलेबोरेटिव सिग्नल्स को प्रसारित करने के लिए LightGCN-आधारित ग्राफ का उपयोग करता है। यह दो अलग शाखाएं सीखता है:
- इंटरेस्ट एनकोडर: अंतर्निहित प्राथमिकताओं को पकड़ने के लिए कम लोकप्रिय आइटम्स को अधिक वेट देता है।
- कन्फॉर्मिटी एनकोडर: अनुरूपता प्रभावों को पकड़ने के लिए लोकप्रिय आइटम्स को अधिक वेट देता है।
- ऑर्थोगोनैलिटी रेगुलराइजेशन: यह सुनिश्चित करता है कि दोनों शाखाएं अलग रहें।
अंतिम व्यक्तिगत स्कोर इन शाखाओं का एक फ्यूज्ड रिप्रेजेंटेशन है, जिसे कैलिब्रेट और LLM-आधारित मूल्यांकन के साथ एकीकृत किया गया है।

2.3 वरीयता-संरेखित कौशल विकास ग्राफ मेमोरी (PSGM)

व्यक्तिगत रोलआउट कॉन्टेक्स्ट को सपोर्ट करने के लिए, PSGM फ्लैट रिट्रीवल के स्थान पर एक हेट्रोजेनियस ग्राफ मेमोरी का उपयोग करता है।

संरचना: ग्राफ के नोड्स उपयोगकर्ताओं, कौशलों (skills), टूल्स, परिदृश्यों और प्रक्षेप पथों (trajectories) का प्रतिनिधित्व करते हैं। किनारे (Edges) स्वामित्व, प्रयोज्यता, पूरकता, संघर्ष और निष्पादन इतिहास को एनकोड करते हैं।
कम्युनिटी डिटेक्शन: पदानुक्रमित कम्युनिटी डिटेक्शन (Leiden/Louvain) उपयोगकर्ताओं और कौशलों को समुदायों में व्यवस्थित करता है ताकि मल्टी-ग्रैनुलैरिटी स्ट्रक्चर को कैप्चर किया जा सके।
रिट्रीवल मैकेनिज्म:
1. सिमेंटिक इनिशियलाइजेशन: क्वेरी समानता के आधार पर टॉप- $K$ स्किल्स को रिट्रीव करता है।
2. 2-हॉप एक्सपेंशन: स्किल से उसके ओनर यूजर तक, और फिर उस यूजर के सिबलिंग स्किल्स तक विस्तार करता है, जिससे व्यक्तिगत स्थानीय संरचना इंजेक्ट होती है।
3. ग्राफ-अवेयर स्कोरिंग: क्वेरी-स्किल समानता, यूजर-स्किल समानता, कम्युनिटी रेलेवेंस, पूरकता और संघर्ष दंड (conflict penalty) के आधार पर उम्मीदवारों को रैंक करता है।

3. मुख्य योगदान

समस्या का निरूपण: यह पेपर व्यक्तिगत एजेंटिक RL को एक यूजर-कंडीशन्ड मार्कोव डिसीजन प्रोसेस (MDP) के रूप में फॉर्म्युलेट करता है जहाँ इष्टतम व्यवहार एकल ग्राउंड ट्रुथ के बजाय व्यक्तिगत प्राथमिकताओं पर निर्भर करता है।
PARPO एल्गोरिदम: एक एंकर-स्टेबलाइज्ड, रिवॉर्ड-डिकपल्ड पॉलिसी ऑप्टिमाइज़ेशन विधि प्रस्तावित करता है जो विषम उपयोगकर्ता रिवॉर्ड स्केल्स के तहत प्रभावी ढंग से व्यक्तिगत नीतियां सीखता है।
डिसेंटैंगल्ड सुपरविजन और मेमोरी: वास्तविक रुचियों को शोर (conformity) से अलग करने के लिए एक दो-चरणीय वरीयता-डिसेंटैंगल्ड रिवॉर्ड मॉडल और वरीयता-संरेखित कौशल रिट्रीवल के लिए एक संरचित स्किल इवोल्यूशन ग्राफ मेमोरी (PSGM) पेश करता है।
प्रायोगिक सत्यापन: यह कई बेंचमार्क्स पर निरंतर लाभ प्रदर्शित करता है, जो दिखाता है कि यह ढांचा तथ्यात्मक और तार्किक अखंडता बनाए रखते हुए वैयक्तिकरण और प्रक्रियात्मक गुणवत्ता में सुधार करता है।

4. प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन ETAPP, ETAPP-Hard (एक अधिक चुनौतीपूर्ण स्प्लिट जिसमें मल्टी-टूल कोऑर्डिनेशन और इम्प्लिसिट रीजनिंग की आवश्यकता होती है) और SJAgent (एक चीनी ई-कॉमर्स प्लेटफॉर्म से वास्तविक औद्योगिक परिदृश्य) पर किया गया।

प्रदर्शन: प्रस्तावित विधि (PARPO + PSGM) ने मजबूत बेसलाइन्स, जिनमें प्रॉम्प्टिंग मेथड्स (ReAct), मेमोरी-बेस्ड एजेंट्स (Mem0), और विभिन्न RL एल्गोरिदम (GRPO, DAPO, GSPO, GiGPO, SkillRL) शामिल हैं, को काफी पीछे छोड़ दिया।
- ETAPP-Hard पर, इसने उच्चतम "Judge" स्कोर और "Personal" स्कोर प्राप्त किया, जो जटिल व्यक्तिगत परिदृश्यों में मजबूती को दर्शाता है।
- SJAgent पर, यह डेटा ऑथेंटिसिटी, बिजनेस लॉजिक और टास्क कंप्लीशन जैसे प्रमुख आयामों में अग्रणी रहा, जो क्रॉस-डोमेन सामान्यीकरण को प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- स्किल मेमोरी को हटाने से प्रदर्शन में सबसे बड़ी गिरावट आई, जो व्यक्तिगत निर्णय लेने में इसकी केंद्रीयता की पुष्टि करता है।
  - PARPO को मानक GRPO से बदलने या यूजर-एंकर कैलिब्रेशन को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो विच्छेदित (decoupled), एंकर-स्टेबलाइज्ड दृष्टिकोण की आवश्यकता को प्रमाणित करता है।
- रिवॉर्ड मॉडल को डिसेंटैंगल करने (इंटरेस्ट/कन्फॉर्मिटी शाखाओं को हटाने) से भी प्रदर्शन कम हुआ, जो वास्तविक प्राथमिकताओं को शोर से अलग करने के महत्व को उजागर करता है।
मानव और LLM मूल्यांकन: 20 ETAPP कार्यों पर एक ब्लाइंड अध्ययन में, PARPO ने मानव विशेषज्ञों और LLM जजों दोनों से उच्चतम औसत स्कोर प्राप्त किया, विशेष रूप से "यूजर रेलेवेंस" में, जो पुष्टि करता है कि सुधार वास्तविक वैयक्तिकरण के कारण थे न कि केवल प्रवाह (fluency) के कारण।
ट्रेनिंग डायनेमिक्स: अन्य RL रणनीतियों की तुलना में PARPO ने बेहतर प्रशिक्षण स्थिरता, उच्च सफलता दर और बेहतर टूल-कॉल सफलता दिखाई, जो अत्यधिक विचलन के बिना कुशल नीति सुधार को दर्शाने वाला स्थिर KL डाइवर्जेंस प्रदर्शित करता है।

5. महत्व और सीमाएं

महत्व:
यह पेपर तर्क देता है कि वैयक्तिकरण एजेंटिक RL के अनुकूलन लक्ष्य को मौलिक रूप से बदल देता है। "वन-साइज-फिट्स-ऑल" नीतियों से हटकर यूजर-कंटीजेंट प्रक्षेप पथ अनुकूलन की ओर बढ़कर, प्रस्तावित ढांचा जेनेरिक टास्क कॉम्पिटेंस और यूजर-विशिष्ट अलाइनमेंट के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि व्यक्तिगत, वरीयता-संचालित वातावरण में काम करने वाले एजेंटों के लिए डिसेंटैंगल्ड रिवॉर्ड मॉडलिंग और संरचित मेमोरी द्वारा समर्थित प्रशिक्षण-समय अनुकूलन आवश्यक है।

सीमाएं:
लेखक स्वीकार करते हैं कि एनोटेशन लागत के कारण मानव मूल्यांकन का पैमाना सीमित है, क्योंकि निर्णय केवल 20 सैंपल उदाहरणों पर 15 विशेषज्ञों द्वारा दिए गए हैं। हालांकि ये परिणाम LLM मूल्यांकनों के अनुरूप हैं, लेखक नोट करते हैं कि भविष्य के कार्यों को मजबूती और वास्तविक दुनिया की वैधता का बेहतर आकलन करने के लिए बड़े, अधिक विविध पूल तक मानव अध्ययन का विस्तार करना चाहिए। इसके अतिरिक्त, वर्तमान कार्यान्वयन विशिष्ट ग्राफ संरचनाओं और एंकर तंत्रों पर निर्भर करता है जिन्हें विभिन्न अनुप्रयोग डोमेन के लिए अनुकूलन की आवश्यकता हो सकती है।