तकनीकी सारांश: व्यक्तिगत मूल्यांकन के लिए प्राथमिकता-जागरूक रूब्रिक लर्निंग (Preference-Aware Rubric Learning)

1. समस्या की परिभाषा

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) सामान्य-उद्देश्य वाले सहायकों से उपयोगकर्ता-केंद्रित एजेंटों में परिवर्तित हो रहे हैं, मॉडल व्यवहार को व्यक्तिगत उपयोगकर्ता प्राथमिकताओं के साथ संरेखित करने की क्षमता महत्वपूर्ण हो गई है। हालाँकि, इस वैयक्तिकरण (personalization) का मूल्यांकन करना एक महत्वपूर्ण बाधा बना हुआ है। मौजूदा मूल्यांकन प्रतिमान (paradigms) दीर्घकालिक इंटरैक्शन इतिहास में निहित व्यक्तिपरक, उपयोगकर्ता-विशिष्ट मानदंडों को पकड़ने में विफल रहते हैं:

• स्वचालित मेट्रिक्स (जैसे, ROUGE, BERTScore): ये एक एकल वस्तुनिष्ठ संदर्भ के साथ सतही शाब्दिक ओवरलैप पर निर्भर करते हैं, जिससे विशिष्ट उपयोगकर्ता प्राथमिकताओं के अनुरूप वैध वैकल्पिक प्रतिक्रियाओं को समझने में विफलता होती है।
• मानव मूल्यांकन: यह एक "अनुमानित अंतराल" (inferential gap) से ग्रस्त है जहाँ बाहरी एनोटेटर्स के पास उपयोगकर्ता की अंतर्निहित प्राथमिकताओं तक सीधी पहुँच नहीं होती है, जिससे निष्ठापूर्ण मूल्यांकन कठिन हो जाता है।
• LLM-as-a-Judge: अपनी सिमेंटिक क्षमताओं का लाभ उठाते हुए भी, ये दृष्टिकोण आमतौर पर स्थिर, हस्तनिर्मित प्रॉम्प्ट्स और समग्र स्कोर पर निर्भर करते हैं। इनमें व्यक्तिगत उपयोगकर्ताओं के अनुकूल होने की क्षमता का अभाव है और वे अपने निर्णयों के लिए सूक्ष्म, व्याख्या योग्य आधार प्रदान करने में विफल रहते हैं।

मूल चुनौती स्थिर निर्णय से आगे बढ़कर "लर्निंग के रूप में व्यक्तिगत मूल्यांकन" (Personalized Evaluation as Learning) के प्रतिमान की ओर बढ़ने की है, जहाँ मूल्यांकन मानदंड उपयोगकर्ता इतिहास से अनुकूल रूप से सीखे जाते हैं ताकि तीन आवश्यक सिद्धांतों को पूरा किया जा सके: प्रतिनिधित्व (Representativeness) (अंतर्निहित प्राथमिकताओं का निष्ठापूर्वक सार निकालना), उपयोगकर्ता-निरंतरता (User-Consistency) (विभिन्न संदर्भों में स्थिर प्राथमिकताओं को प्रतिबिंबित करना), और विभेदकता (Discriminativeness) (प्रामाणिक उपयोगकर्ता प्रतिक्रियाओं को उच्च-गुणवत्ता वाली जेनेरिक AI आउटपुट से अलग करना)।

2. कार्यप्रणाली: PARL फ्रेमवर्क

लेखक PARL (Preference-Aware Rubric Learning) प्रस्तावित करते हैं, जो व्यक्तिगत मूल्यांकन को एक लर्निंग समस्या के रूप में स्वरूपित करता है। PARL सीधे कच्चे उपयोगकर्ता ऐतिहासिक व्यवहारों ($H_u$) से संरचित, बहु-आयामी मूल्यांकन रूब्रिक्स (rubrics) प्रेरित करता है और सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से उन्हें अनुकूलित करता है। यह फ्रेमवर्क दो मुख्य मॉड्यूल के माध्यम से संचालित होता है:

2.1 प्राथमिकता प्रेरण और निरंतरता सत्यापन (Preference Induction & Consistency Validation)

यह मॉड्यूल कच्चे ऐतिहासिक संदर्भों को एक संक्षिप्त प्राथमिकता-जागरूक रूब्रिक्स ($R_u$) के सेट में परिवर्तित करता है।

• रूब्रिक जनरेशन: एक जनरेटर मॉडल $G$ एक सीड हिस्ट्री ($\tilde{H}_u$) से उम्मीदवार परमाणु, एकल-आयामी रूब्रिक्स ($\tilde{R}_u$) का एक सेट प्रेरित करता है। समग्र सारांशों के विपरीत, प्रत्येक रूब्रिक एक विशिष्ट शैलीगत, संरचनात्मक या सिमेंटिक अपरिवर्तनीय (invariant) को कैप्चर करता है।
• स्व-सत्यापन (Self-Verification): यह सुनिश्चित करने के लिए कि उपयोगकर्ता-निरंतरता बनी रहे, उम्मीदवार रूब्रिक्स एक स्व-सत्यापन प्रक्रिया से गुजरते हैं। एक रूब्रिक तभी रखा जाता है जब वह विविध सीड हिस्ट्री नमूनों में सार्वभौमिक संतुष्टि प्रदर्शित करता है। औपचारिक रूप से, एक रूब्रिक $r_j$ को तब रखा जाता है यदि:
  $$\frac{1}{|\tilde{H}_u|} \sum_{(x_i, y_i) \in \tilde{H}_u} I(y_i \models r_j) \geq \tau$$
  जहाँ $\tau$ एक उच्च निरंतरता थ्रेशोल्ड (जैसे, 1.0) है। यह क्षणिक या कार्य-विशिष्ट आर्टिफ़ैक्ट्स को फ़िल्टर करता है।

2.2 RL के माध्यम से विभेदक अनुकूलन (Discriminative Optimization via RL)

विभेदकता सुनिश्चित करने के लिए, फ्रेमवर्क एक सुदृढीकरण शिक्षण (RL) चरण का उपयोग करता है ताकि प्रामाणिक उपयोगकर्ता-लिखित प्रतिक्रियाओं और प्रतिस्पर्धी AI-जनित विकल्पों के बीच निर्णय सीमाओं को तेज किया जा सके।

• उद्देश्य: जनरेटर $G_\theta$ को ग्राउंड-ट्रुथ उपयोगकर्ता प्रतिक्रिया ($y_T$) और प्रतिस्पर्धी व्यक्तिगत तरीकों द्वारा उत्पन्न नकारात्मक नमूनों ($Y_{neg}$) के बीच स्कोरिंग मार्जिन को अधिकतम करने के लिए अनुकूलित किया जाता है।
• रिवॉर्ड फॉर्मूलेशन: फ्रेमवर्क एक 'डिस्क्रिमिनेटिव मार्जिन प्रोडक्ट' $\Gamma(R_u)$ को परिभाषित करता है, जो इस बात की संयुक्त संभावना है कि ग्राउंड-ट्रुथ प्रतिक्रिया सभी नेगेटिव्स से बेहतर है। दो वेरिएंट प्रस्तावित किए गए हैं:
  • PARL-A (GT-Scaled): यह ग्राउंड ट्रुथ के पूर्ण संतुष्टि को सापेक्ष मार्जिन के साथ एकीकृत करता है ($R_A = \lambda \cdot C \cdot S(y_T; R_u) \cdot \Gamma(R_u)$)।
  • PARL-B (Margin-Only): यह पूरी तरह से सापेक्ष मार्जिन पर निर्भर करता है ($R_B = \lambda \cdot C \cdot \Gamma(R_u)$)।
• अनुकूलन: मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है, जो बिना किसी अलग वैल्यू फंक्शन की आवश्यकता के मूल्यात्मक मानदंडों के स्थान (space) का अन्वेषण करता है।

2.3 मूल्यांकन तंत्र (Evaluation Mechanism)

अंतिम प्रेरित रूब्रिक्स $R_u$ का उपयोग एक नए मॉडल आउटपुट $\hat{y}$ के लिए व्यक्तिगत संरेखण स्कोर $S$ की गणना करने के लिए किया जाता है:
$$S = \frac{1}{m} \sum_{j=1}^{m} I(\hat{y} \models r_j)$$
यह एक सत्यापन योग्य, सूक्ष्म मूल्यांकन प्रदान करता है जहाँ स्कोर सभी सीखे गए आयामों में बाइनरी निर्णयों का सामान्यीकृत औसत है।

3. प्रमुख योगदान

1. प्रतिमान परिवर्तन (Paradigm Shift): यह पेपर "लर्निंग के रूप में व्यक्तिगत मूल्यांकन" पेश करता है, जो मूल्यांकन को एक स्थिर निर्णय के बजाय प्रतिनिधित्व, उपयोगकर्ता-निरंतरता और विभेदकता पर आधारित एक सीखने योग्य प्रक्रिया के रूप में औपचारिक रूप देता है।
2. PARL फ्रेमवर्क: एक अभिनव फ्रेमवर्क जो उपयोगकर्ता इतिहास से प्राथमिकता-जागरूक रूब्रिक्स प्रेरित करता है और सटीक, उपयोगकर्ता-विशिष्ट निर्णय सीमाओं को पकड़ने के लिए एक विभेदक सुदृढीकरण शिक्षण उद्देश्य का उपयोग करके उन्हें अनुकूलित करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): वास्तविक दुनिया के व्यक्तिगत टेक्स्ट जनरेशन कार्यों (Amazon Review, Reddit Topic, News Headline) पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि PARL उच्च-निष्ठा वाले रूब्रिक्स प्रेरित करता है जो उपयोगकर्ता-संरेखित प्रतिक्रियाओं की पहचान करने में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोगों को Qwen3 मॉडल्स को बैकबोन के रूप में उपयोग करते हुए तीन डेटासेट्स पर आयोजित किया गया। मुख्य निष्कर्ष इस प्रकार हैं:

• बेहतर संरेखण (Superior Alignment): PARL-A और PARL-B वेरिएंट्स ने सभी कार्यों में लगातार उच्चतम यूज़र-लेवल एक्यूरेसी (वह अनुपात जिसमें रूब्रिक ने ग्राउंड-ट्रुथ उपयोगकर्ता प्रतिक्रिया को सभी मानदंडों को संतुष्ट करने के रूप में सही ढंग से पहचाना) प्राप्त की। उदाहरण के लिए, Amazon Review Generation पर, PARL-A ने 0.931 की सटीकता प्राप्त की, जो स्थिर बेसलाइन्स जैसे LM-8B (0.931) और LM-235B (0.794) से काफी बेहतर है।
• विभेदक शक्ति (Discriminative Power): Max-Diff मेट्रिक (GT एक्यूरेसी और सबसे मजबूत गैर-GT बेसलाइन के बीच का अंतर) PARL वेरिएंट्स के लिए काफी सकारात्मक था (जैसे, Amazon Review के लिए +0.026), जबकि स्थिर मॉडल अक्सर शून्य या नकारात्मक मार्जिन दिखाते हैं, जो इंगित करता है कि वे प्रामाणिक उपयोगकर्ता शैली को AI आउटपुट से अलग नहीं कर सकते।
• मजबूती और कवरेज (Robustness and Coverage): PARL वेरिएंट्स ने लगभग पूर्ण यूज़र कवरेज (~99-100%) प्राप्त किया, जबकि स्थिर प्री-ट्रेन्ड मॉडल्स अक्सर कम कवरेज (जैसे, LM-8B के लिए 49.1%) से जूझते रहे क्योंकि वे अनुपयोगी या मतिभ्रम (hallucinated) मानदंडों का निर्माण करते थे।
• सामान्यीकरण (Generalization): आउट-ऑफ-डोमेन (OOD) मूल्यांकन में, PARL-A और PARL-B ने मजबूत विभेदक क्षमता बनाए रखी, जो सुझाव देता है कि सीखे गए रूब्रिक्स डेटासेट-विशिष्ट शोर के बजाय स्थायी शैलीगत अपरिवर्तनीय (stylistic invariants) को कैप्चर करते हैं।
• सिमेंटिक विविधता (Semantic Diversity): आंतरिक विश्लेषण से पता चला कि PARL-प्रेरित रूब्रिक्स सिमेंटिक स्पेस में संरचित बिखराव प्रदर्शित करते हैं, जो विविध उपयोगकर्ता गुणों को कैप्चर करते हैं, जबकि स्थिर मॉडल और PARL-0 (बिना RL के) सिमेंटिक कोलैप्स या संकीर्ण क्लस्टरिंग दिखाते हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि PARL एक संदर्भ-मुक्त, स्पष्ट और व्याख्या योग्य मूल्यांकन फ्रेमवर्क प्रदान करके LLM वैयक्तिकरण की एक महत्वपूर्ण बाधा को दूर करता है। रिवॉर्ड मॉडलिंग दृष्टिकोणों के विपरीत, जो प्राथमिकता प्रतिनिधित्व को पॉलिसी ऑप्टिमाइज़ेशन के साथ जोड़ देते हैं, PARL मूल्यांकन को जनरेशन से अलग करता है, जिससे मॉडल्स और कार्यों के बीच व्यवस्थित बेंचमार्किंग संभव होती है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य व्यक्तिगत मूल्यांकन को एक स्थिर निर्णय के बजाय, उपयोगकर्ता इतिहास से प्राथमिकताओं के अनुमान द्वारा संचालित एक सीखने योग्य, अनुकूलनीय प्रक्रिया के रूप में मानने की वकालत करता है। प्रेरित रूब्रिक्स उच्च-निष्ठा वाले मेट्रिक्स के रूप में कार्य करते हैं जो न केवल संरेखण का मूल्यांकन करते हैं बल्कि उपयोगकर्ता-विशिष्ट मूल्यात्मक प्राथमिकताओं की संरचना के बारे में अंतर्दृष्टि भी प्रदान करते हैं।

सीमाएँ: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि फ्रेमवर्क की प्रभावशीलता उपयोगकर्ता इतिहास की गुणवत्ता और मात्रा पर निर्भर करती है (कोल्ड-स्टार्ट परिदृश्यों में संघर्ष करती है) और यह मानती है कि प्राथमिकताएँ एक ही समय में स्थिर हस्ताक्षर हैं, बिना अस्थायी विकास को स्पष्ट रूप से मॉडल किए। वे यह भी नोट करते हैं कि हालांकि PARL आशाजनक परिणाम प्राप्त करता है, यह अभी तक उस स्थिति तक नहीं पहुँचा है जहाँ GT यूज़र-लेवल एक्यूरेसी लगातार 1.0 और कवरेज सभी उपयोगकर्ताओं के लिए 100% हो, विशेष रूप से उन उपयोगकर्ताओं के लिए जिनकी प्राथमिकताएँ असंगत हैं।