POPI: Personalizing LLMs via Optimized Natural Language Preference Inference

यहाँ शोध पत्र "POPI: Personalizing LLMs via Optimized Natural Language Preference Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) आमतौर पर जनसंख्या-स्तर की प्राथमिकताओं (population-level preferences) के साथ संरेखित होते हैं, जिसके परिणामस्वरूप एक "वन-साइज-फिट्स-ऑल" व्यवहार होता है जो व्यक्तिगत उपयोगकर्ताओं के बीच व्यापक भिन्नता को समझने में विफल रहता है। जबकि मौजूदा वैयक्तिकरण (personalization) विधियाँ मौजूद हैं, वे महत्वपूर्ण चुनौतियों का सामना करती हैं:

• स्केलेबिलिटी (Scalability): प्रत्येक उपयोगकर्ता के लिए एक अलग मॉडल को फाइन-ट्यून करना (जैसे, RLHF या DPO के माध्यम से) गणनात्मक रूप से अव्यवहार्य है।
• कॉन्टेक्स्ट ओवरहेड (Context Overhead): ऐसी विधियाँ जो एक साझा जनरेटर को कच्चे उपयोगकर्ता संकेतों (जैसे, इंटरेक्शन हिस्ट्री, फ्यू-शॉट उदाहरण) पर आधारित करती हैं, अक्सर विशाल कॉन्टेक्स्ट विंडो की आवश्यकता रखती हैं, जिससे उच्च विलंबता (latency) और लागत बढ़ती है।
• शोर और विषमता (Noise and Heterogeneity): कच्चे उपयोगकर्ता संकेत अक्सर विरल (sparse), शोर युक्त और विषम होते हैं, जिससे सीधे स्थिर प्राथमिकता जानकारी निकालना कठिन हो जाता है।
• स्थानांतरणीयता का अभाव (Lack of Transferability): कई दृष्टिकोण वैयक्तिकरण तंत्र को एक विशिष्ट जनरेटर आर्किटेक्चर के साथ मजबूती से जोड़ देते हैं, जिससे विभिन्न मॉडलों (विशेष रूप से ब्लैक-बॉक्स कमर्शियल API) के साथ सीखी गई प्राथमिकताओं का पुन: उपयोग करने में बाधा आती है।

मुख्य चुनौती एक ऐसा स्केलेबल, कुशल और मॉड्यूलर फ्रेमवर्क बनाना है जो विरल संकेतों से स्थिर उपयोगकर्ता प्राथमिकताओं को निकाल सके और जनरेटर को फिर से प्रशिक्षित किए बिना व्यक्तिगत प्रतिक्रियाएं उत्पन्न करने के लिए उन्हें लागू कर सके।

2. कार्यप्रणाली: POPI फ्रेमवर्क (Methodology: POPI Framework)

लेखक POPI (Personalizing LLMs via Optimized Natural Language Preference Inference) का प्रस्ताव करते हैं, जो एक मॉड्यूलर फ्रेमवर्क है जो वैयक्तिकरण को दो अलग-अलग घटकों में विभाजित करता है जो एक प्राकृतिक-भाषा इंटरफेस (natural-language interface) द्वारा जुड़े हुए हैं।

A. मॉड्यूलर आर्किटेक्चर (Modular Architecture)

1. प्रिफरेंस इन्फरेंस मॉडल ($\pi_\phi$): एक साझा मॉडल जो विषम उपयोगकर्ता संकेतों ($s_i$) (जैसे, पर्सोना, इंटरेक्शन हिस्ट्री, फ्यू-शॉट प्रिफरेंस ट्रिपलेट्स) को लेता है और उन्हें एक संक्षिप्त प्राकृतिक-भाषा प्रिफरेंस सारांश ($z_i$) में संकलित (distill) करता है।
2. कंडीशन्ड जनरेटर ($\pi_\theta$): एक साझा मॉडल जो टास्क प्रॉम्प्ट ($x$) और प्राकृतिक-भाषा सारांश ($z_i$) की स्थिति (condition) में प्रतिक्रियाएं ($y$) उत्पन्न करता है।

मुख्य डिजाइन सिद्धांत: इंटरफेस ($z_i$) प्राकृतिक भाषा है। यह सारांश को एक बार प्रति उपयोगकर्ता निकालने और इसे विभिन्न जनरेटर्स (फ्रीज़्ड, ऑफ-द-शेल्फ, या ब्लैक-बॉक्स मॉडल्स सहित) के साथ पुन: उपयोग करने की अनुमति देता है, बिना इन्फरेंस मॉडल को फिर से प्रशिक्षित किए।

B. एकीकृत अनुकूलन उद्देश्य (Unified Optimization Objective)

दोनों घटकों को प्रिफरेंस एलाइनमेंट एल्गोरिदम (जैसे, DPO) से प्राप्त एक एकीकृत उद्देश्य के तहत प्रशिक्षित किया जाता है।

• सारांश-संवर्धित उद्देश्य (Summary-Augmented Objective): मानक डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) लॉस को सारांश $z_i$ पर जनरेटर को कंडिशन करने के लिए अनुकूलित किया गया है।
• सूचना-सैद्धांतिक अपघटन (Information-Theoretic Decomposition): लेखक सिद्ध करते हैं कि इस एकीकृत लॉस को न्यूनतम करने से दो पद (terms) एक साथ अनुकूलित होते हैं:
  1. जनरेटर एप्रोक्सिमेशन एरर (Generator Approximation Error): यह सुनिश्चित करना कि जनरेटर सारांश दिए जाने पर पसंदीदा प्रतिक्रिया का सटीक अनुमान लगा सके।
  2. सारांश सूचनात्मकता (Summary Informativeness): यह सुनिश्चित करना कि सारांश में ऐसी प्राथमिकता-प्रासंगिक जानकारी हो जो केवल प्रॉम्प्ट से प्राप्त नहीं होती।

C. प्रशिक्षण प्रक्रिया (दो चरणों में) (Training Procedure - Two-Stage)

मॉड्यूलरिटी और ट्रांसफरैबिलिटी को बनाए रखने के लिए, POPI दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

1. चरण 1 (रीइन्फोर्समेंट लर्निंग): इन्फरेंस मॉडल $\pi_\phi$ को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है। चूंकि सारांश $z_i$ डिस्क्रीट (टेक्स्ट) है, इसलिए $z_i$ के संबंध में DPO लॉस नॉन-डिफरेंशिएबल है। GRPO सारांशों के निर्माण को 'एक्शन' के रूप में मानता है, और रिवॉर्ड इस आधार पर देता है कि परिणामी सारांश फ्रीज़्ड जनरेटर को पसंदीदा और अस्वीकृत प्रतिक्रियाओं के बीच अंतर करने में कितनी अच्छी तरह मदद करता है। सारांशों को पतन (degeneration) से बचाने और संपीड़न (compression) को प्रोत्साहित करने के लिए एक KL-डाइवर्जेंस रेगुलराइजेशन टर्म जोड़ा जाता है।
2. चरण 2 (वैकल्पिक फाइन-ट्यूनिंग): जनरेटर $\pi_\theta$ को चरण 1 में सीखे गए सारांशों की स्थिति में, उसी उद्देश्य पर मानक बैकप्रोपैगेशन का उपयोग करके फाइन-ट्यून किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. मॉड्यूलर फ्रेमवर्क: POPI को पेश करता है, जो प्राकृतिक-भाषा इंटरफेस के माध्यम से प्रिफरेंस इन्फरेंस को जनरेशन से अलग करता है, जिससे जनरेटर-ट्रांसफेरेबिलिटी (सारांश किसी भी जनरेटर, ब्लैक-बॉक्स API सहित, के साथ काम करते हैं) सक्षम होती है।
2. एकीकृत उद्देश्य और सिद्धांत: एक एकीकृत प्रशिक्षण उद्देश्य प्रस्तावित करता है जो इन्फरेंस और जनरेशन दोनों को संयुक्त रूप से अनुकूलित करता है। पेपर एक सूचना-सैद्धांतिक प्रमाण प्रदान करता है जो दिखाता है कि यह उद्देश्य जनरेटर एरर को कम करने और सारांश सूचनात्मकता को अधिकतम करने में विभाजित होता है।
3. दक्षता (Efficiency): यह प्रदर्शित करता है कि इन्फरेंस स्टेप को अनुकूलित करने से इमर्जेंट कंप्रेशन (emergent compression) होता है, जहाँ सारांश स्पष्ट लंबाई दंड (length penalty) के बिना काफी छोटे (जैसे, ~500 टोकन के बजाय ~50 टोकन) हो जाते हैं, जिससे कॉन्टेक्स्ट ओवरहेड काफी कम हो जाता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): चार बेंचमार्क (Review, ELIX, Roleplay, AlignX) पर व्यापक मूल्यांकन, जो दिखाता है कि POPI वैयक्तिकरण की गुणवत्ता में बेसलाइन्स से बेहतर प्रदर्शन करता है और कॉन्टेक्स्ट उपयोग को एक क्रम (order of magnitude) तक कम कर देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क पर POPI का मूल्यांकन किया: Review (सेंटिमेंट/संक्षिप्तता), ELIX (शैक्षिक व्याख्याएँ), Roleplay (संवाद), और AlignX (फोरम चर्चाएँ)।

• बेसलाइन्स के मुकाबले प्रदर्शन:

  • बिना जनरेटर फाइन-ट्यूनिंग के: POPI-इन्फरेंस-ओनली (एक फ्रीज़्ड जनरेटर का उपयोग करते हुए) "रॉ-प्रॉम्प्टिंग" (कच्चे संकेतों को फीड करना) और "समरी-प्रॉम्प्टिंग" (अन-ऑप्टिमाइज्ड सारांशों का उपयोग करना) की तुलना में काफी बेहतर रहा।
    • उदाहरण (Review): विन रेट (Win rate) अन-ऑप्टिमाइज्ड सारांश के 57.65% से बढ़कर POPI के साथ 80.99% हो गया।
    • उदाहरण (ELIX): विन रेट 47.40% से बढ़कर 63.84% हो गया।
  • कॉन्टेक्ट दक्षता: POPI ने रॉ प्रॉम्प्टिंग की तुलना में कॉन्टेक्स्ट ओवरहेड को लगभग 10 गुना कम कर दिया (जैसे, ELIX पर ~3,175 टोकन से ~52 टोकन तक)।
  • जनरेटर फाइन-ट्यूनिंग के साथ: POPI-फुल ने ELIX और Roleplay पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो भारी कॉन्टेक्स्ट या प्रति-उपयोगकर्ता एम्बेडिंग्स की आवश्यकता वाले तरीकों के बराबर या उनसे बेहतर रहे।

• जनरेटर ट्रांसफरैबिलिटी:

  • POPI (3B मॉडल पर प्रशिक्षित) द्वारा सीखे गए सारांशों को मिस्ट्रल (Mistral), डीपसीक (DeepSeek), क्लॉड (Claude), GPT-4o, और LLaMA वेरिएंट्स (90B पैरामीटर्स तक) सहित विविध फ्रीज़्ड, ऑफ-द-शेल्फ जनरेटर्स पर सफलतापूर्वक लागू किया गया।
  • POPI सारांश सभी परीक्षण किए गए जनरेटर्स में रॉ प्रॉम्प्टिंग और अन-ऑप्टिमाइज्ड सारांशों से लगातार बेहतर रहे, जो "जनरेटर-अग्नोस्टिक" प्रकृति को सिद्ध करता है।

• गुणात्मक विश्लेषण (Qualitative Analysis):

  • अनुकूलित सारांश संक्षिप्त, भाषाई रूप से सुव्यवस्थित और उपयोगकर्ता पर्सोना के प्रति अत्यधिक विशिष्ट पाए गए (जैसे, विभिन्न उपयोगकर्ता स्तरों के लिए "चाइल्ड-सेंट्रिक लैंग्वेज" और "टेक्निकल जारगन" के बीच अंतर करना), जबकि अन-ऑप्टिमाइज्ड सारांश बहुत लंबे और सामान्य थे।

5. महत्व और प्रभाव (Significance and Impact)

• स्केलेबल वैयक्तिकरण: POPI बड़े पैमाने पर परिनियोजन (deployment) के लिए एक व्यावहारिक मार्ग प्रदान करता है जिसमें प्रति-उपयोगकर्ता मॉडल प्रशिक्षण की आवश्यकता नहीं होती है।
• ब्लैक-बॉक्स कम्पैटिबिलिटी: प्राकृतिक भाषा को एक इंटरफेस के रूप में उपयोग करके, POPI उपयोगकर्ताओं को उनके आंतरिक वेट्स (weights) तक पहुँच प्राप्त किए बिना वाणिज्यिक, क्लोज्ड-सोर्स LLMs (जैसे, GPT-4 या Claude) से व्यक्तिगत प्रतिक्रियाएँ प्राप्त करने की अनुमति देता है।
• दक्षता: उपयोगकर्ता संकेतों को छोटे, उच्च-मूल्य वाले सारांशों में संकुचित करना लॉन्ग-कॉन्टेक्स्ट LLM उपयोग से जुड़ी बढ़ती लागत और विलंबता की समस्याओं का समाधान करता है।
• पूरकता (Complementarity): यह फ्रेमवर्क मौजूदा हैंडक्राफ्टेड प्रोफाइल एक्सट्रैक्शन विधियों के साथ संगत है, जो उन प्रोफाइल्स को और अधिक अनुकूलित करने के लिए एक रिफाइनमेंट लेयर के रूप में कार्य करता है।

निष्कर्षतः, POPI यह सिद्ध करता है कि प्राथमिकता अनुमान (preference inference) को एक स्थिर प्रीप्रोसेसिंग स्टेप के बजाय एक अनुकूलन योग्य, एंड-टू-एंड कार्य के रूप में मानने से लार्ज लैंग्वेज मॉडल्स के युग में बेहतर वैयक्तिकरण, दक्षता और लचीलापन प्राप्त होता है।