💬 NLP

CLIPer: Tailoring Diverse User Preference via Classifier-Guided Inference-Time Personalization

CLIPer एक हल्का, इन्फरेंस-टाइम पर्सनलाइजेशन फ्रेमवर्क है जो व्यापक फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत के बिना विविध उपयोगकर्ता प्राथमिकताओं की ओर लार्ज लैंग्वेज मॉडल जनरेशन को गतिशील रूप से निर्देशित करने के लिए एक क्लासिफायर का उपयोग करता है।

मूल लेखक: Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञानी रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। अभी, यह रोबोट एक स्विस आर्मी नाइफ की तरह है: यह हर चीज़ में माहिर है, लेकिन इसे आपकी विशिष्ट पसंद का वास्तव में पता नहीं है। शायद आप चाहते हैं कि यह मज़ेदार हो, शायद आप चाहते हैं कि यह बहुत संक्षिप्त हो, या शायद आप चाहते हैं कि यह एक सख्त प्रोफेसर की तरह लगे।

वर्तमान में, यदि आप चाहते हैं कि रोबोट मज़ेदार हो, तो आपको इसे मज़ेदार होना सिखाना होगा। यदि आप चाहते हैं कि यह संक्षिप्त हो, तो आपको उसे यह भी सिखाना होगा। और यदि आप चाहते हैं कि यह मज़ेदार और संक्षिप्त दोनों हो, तो आपको उसे उस संयोजन के लिए भी सिखाना होगा। समस्या यह है कि व्यक्तित्व के गुणों के इतने सारे संभावित संयोजन हैं कि हर उपयोगकर्ता के लिए एक नया "व्यक्तित्व" सिखाने में बहुत समय लगेगा और कंप्यूटर पावर की भारी लागत आएगी। यह दुनिया के हर व्यक्ति के लिए एक अलग, कस्टम-मेड सूट बनाने जैसा है; फैक्ट्री जलकर राख हो जाएगी।

CLIPer से मिलिए।

कॉर्नेल यूनिवर्सिटी के लेखकों ने CLIPer (क्लासिफायर-गाइडेड इन्फरेंस-टाइम पर्सनलाइजेशन) नामक एक चतुर शॉर्टकट प्रस्तावित किया है। हर व्यक्तित्व के लिए एक नया रोबोट बनाने के बजाय, उन्होंने एक छोटा, सुपर-फास्ट "ट्रैफिक पुलिस" बनाया है जो मुख्य रोबोट के बगल में खड़ा होता है और वास्तविक समय में उसके ट्रैफिक को निर्देशित करता है।

यह कैसे काम करता है, यहाँ कुछ उपमाओं का उपयोग किया गया है:

1. मुख्य रोबोट बनाम ट्रैफिक पुलिस

मुख्य रोबोट (The LLM): यह एक बड़ा, भारी इंजन है। यह लिखना, सवालों के जवाब देना और चैट करना जानता है। यह पहले से ही प्रशिक्षित है और तैयार है। हम इसके दिमाग को नहीं बदलना चाहते या जब भी कोई उपयोगकर्ता अपनी पसंद बदले, तो इसे फिर से प्रशिक्षित नहीं करना चाहते।
ट्रैफिक पुलिस (The Classifier): यह एक छोटा, हल्का मॉडल है। इसका एकमात्र काम यह देखना है कि रोबोट अगला शब्द क्या कहने वाला है और पूछना है: "क्या यह वैसा ही लग रहा है जैसा उपयोगकर्ता चाहता है?"

2. व्यक्तित्वों का "मेन्यू"

कल्पना कीजिए कि उपयोगकर्ता के पास प्राथमिकताओं का एक मेन्यू है जिसे वे चुन सकते हैं, जैसे:

संक्षिप्त (Concise) (छोटा और सटीक)
मज़ेदार (Funny) (चुटकुलों और हास्य के साथ)
औपचारिक (Formal) (गंभीर और पेशेवर)
चंचल (Playful) (दोस्ताना और अनौपचारिक)

पुराने तरीके में, यदि आप एक ऐसा रोबोट चाहते थे जो "संक्षिप्त और मज़ेदार" हो, तो आपको उस विशेष कॉम्बो के लिए विशेष रूप से प्रशिक्षित एक नया रोबोट चाहिए होता। CLIPer के साथ, आप बस ट्रैफिक पुलिस को बताते हैं: "हे, आज मैं संक्षिप्त और मज़ेदार चाहता हूँ।"

3. ट्रैफिक पुलिस कैसे काम करती है (जादुई ट्रिक)

हर बार जब मुख्य रोबोट अगला शब्द बोलने वाला होता है, तो वह रुकता है और ट्रैफिक पुलिस से पूछता है।

मुख्य रोबोट कहता है: "मैं 'banana' शब्द कहने की सोच रहा हूँ।"
ट्रैफिक पुलिस चेक करती है: "हम्म, 'banana' 'मज़ेदार' वाइब के अनुकूल है, लेकिन यह 'संक्षिप्त' के लिए थोड़ा लंबा है। चलिए 'मज़ेदार' सिग्नल को बढ़ाते हैं और 'संक्षिप्त' सिग्नल को कम करते हैं।"
मुख्य रोबोट फिर अपने चुनाव को उस सुझाव के आधार पर समायोजित करता है।

खास बात यह है कि ट्रैफिक पुलिस केवल एक चीज़ का अनुमान नहीं लगाती; यह उन सभी संभावित अगले शब्दों को देखती है जिन्हें रोबोट कह सकता है और आपकी प्राथमिकताओं के आधार पर प्रत्येक को एक स्कोर देती है। यह यह काम तुरंत, शब्द दर शब्द, वाक्य बनते समय करती है।

4. यह एक बड़ी बात क्यों है

लेखक दावा करते हैं कि यह विधि तीन मुख्य कारणों से गेम-चेंजर है:

भारी मेहनत की ज़रूरत नहीं: आपको विशाल रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस छोटे ट्रैफिक पुलिस को एक बार प्रशिक्षित करना है। इससे बहुत सारा पैसा और कंप्यूटर पावर बचती है।
मिक्स एंड मैच: आप जितनी चाहें उतनी प्राथमिकताओं को मिला सकते हैं (जैसे, "मज़ेदार," "संक्षिप्त," और "औपचारिक" एक साथ) बिना उस विशिष्ट कॉम्बो के लिए एक नए रोबोट की आवश्यकता के। ट्रैफिक पुलिस वास्तविक समय में उन्हें संतुलित करने के लिए गणित को संभाल लेती है।
गति: क्योंकि ट्रैफिक पुलिस छोटी और स्मार्ट है, यह रोबोट को बहुत धीमा नहीं करती है। यह एक को-पायलट की तरह है जो नियंत्रण अपने हाथ में लिए बिना सुझाव फुसफुसाता है।

परिणाम

शोधकर्ताओं ने विभिन्न व्यक्तित्वों (जैसे, "इसे पांचवीं कक्षा के बच्चे को समझाएं" बनाम "इसे पीएचडी छात्र को समझाएं") के साथ टेक्स्ट जेनरेट करने के लिए रोबोट का परीक्षण किया। उन्होंने पाया कि CLIPer इन निर्देशों का पालन करने में बहुत अच्छा था, और अक्सर केवल चैट में निर्देश टाइप करने (प्रॉम्प्टिंग) या भारी, पूर्व-प्रशिक्षित मॉडलों की तुलना में बेहतर प्रदर्शन करता है।

संक्षेप में, CLIPer आपके स्मार्ट असिस्टेंट को "स्मार्ट चश्मे" देने जैसा है जो आपके मूड के अनुसार इसकी पर्सनैलिटी को तुरंत एडजस्ट कर देते हैं, बिना हर बार आपकी पसंद बदलने पर असिस्टेंट के दिमाग को दोबारा बनाए।

तकनीकी सारांश: CLIPer

समस्या विवरण

विविध उपयोगकर्ता प्राथमिकताओं (जैसे, संक्षिप्तता, हास्य, औपचारिकता) के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को व्यक्तिगत बनाने के लिए उन्हें संरेखित करना उपयोगकर्ता अनुभव को बढ़ाने के लिए महत्वपूर्ण है। हालाँकि, मौजूदा दृष्टिकोण महत्वपूर्ण स्केलेबिलिटी चुनौतियों का सामना करते हैं।

नाइव फाइन-ट्यूनिंग (Naive Fine-tuning): $d$ प्राथमिकता आयामों (dimensions) के प्रत्येक संभावित संयोजन के लिए एक अलग मॉडल प्रशिक्षित करने के लिए $2^d$ मॉडल्स की आवश्यकता होती है, जो कि कम्प्यूटेशनल रूप से अव्यवहार्य है।
डायमेंशन-वाइज फाइन-ट्यूनिंग (Dimension-wise Fine-tuning): पर्सनलाइज्ड सूप्स (P-Soup) और MoPE जैसे तरीके प्रशिक्षण जटिलता को एक प्रति आयाम एक मॉडल के साथ $O(d)$ तक कम कर देते हैं। हालाँकि, उन्हें इन्फरेंस के दौरान $d$ मॉडल्स को बनाए रखने और मर्ज करने की आवश्यकता होती है, जिसके परिणामस्वरूप $O(d)$ इन्फरेंस लागत आती है या उन्हें जटिल पैरामीटर मर्जिंग रणनीतियों की आवश्यकता होती है जो उच्च-आयामी प्राथमिकता संयोजनों के साथ अच्छी तरह से स्केल नहीं हो सकती हैं।
डायरेक्ट प्रॉम्प्टिंग (Direct Prompting): हालांकि यह सरल है, लेकिन LLM को प्राथमिकता निर्देशों के साथ प्रॉम्प्ट करना तब विफल हो जाता है जब प्राथमिकताएं अंतर्निहित (implicit) हों या प्राकृतिक भाषा में स्पष्ट रूप से व्यक्त करने में कठिन हों।

कार्यप्रणाली: CLIPer

लेखक CLIPer (क्लासिफायर-गाइडेड इन्फरेंस-टाइम पर्सनलाइजेशन) का प्रस्ताव करते हैं, जो एक हल्का (lightweight) दृष्टिकोण है जो बेस LLM को स्वयं फाइन-ट्यून किए बिना, इन्फरेंस के समय विशिष्ट उपयोगकर्ता प्राथमिकताओं की ओर निर्देशित करता है।

मुख्य तंत्र (Core Mechanism)

CLIPer एक छोटे, सहायक क्लासिफायर मॉडल का उपयोग करता है जो जनरेशन के दौरान बेस LLM के लॉजिट्स (logits) को गतिशील रूप से समायोजित करता है। यह प्रक्रिया बेयसियन इन्फरेंस (Bayesian inference) पर आधारित है:
$p(y|x, c) \propto p(y|x) \cdot p(c|y, x)^\alpha$
जहाँ:

$p(y|x)$ बेस मॉडल से अनकंडीशनल प्रोबेबिलिटी है।
$p(c|y, x)$ टेक्स्ट $x$ और अब तक जनरेट किए गए टेक्स्ट $y$ के आधार पर टेक्स्ट द्वारा प्राथमिकता $c$ को संतुष्ट करने की संभावना है।
$\alpha$ एक हाइपरपैरामीटर है जो पर्सनलाइजेशन की शक्ति को नियंत्रित करता है।

कुशल क्लासिफायर मॉडलिंग (Efficient Classifier Modeling)

उपरोक्त फॉर्मूले का एक नाइव कार्यान्वयन प्रत्येक जनरेशन स्टेप पर शब्दावली के प्रत्येक टोकन ( $|V|$ ) के लिए क्लासिफायर का मूल्यांकन करने की आवश्यकता होगी, जिससे अत्यधिक विलंबता (latency) होगी। CLIPer इसे एक कुशल क्लासिफायर आर्किटेक्चर के माध्यम से संबोधित करता है:

टोकन-लेवल प्रेडिक्शन: क्लासिफायर प्रॉम्प्ट $x$ और आंशिक जनरेशन $y_{<i}$ को इनपुट के रूप में लेता है।
मैट्रिक्स आउटपुट: एक एकल फॉरवर्ड पास में, क्लासिफायर एक मैट्रिक्स $M \in \mathbb{R}^{|V| \times d}$ आउटपुट करता है।
मैट्रिक्स संरचना: मैट्रिक्स की प्रत्येक पंक्ति $v$ शब्दावली के एक टोकन के अनुरूप है, और प्रत्येक कॉलम एक प्राथमिकता आयाम के अनुरूप है। प्रविष्टि $M_{v, c_j}$ , प्राथमिकता $p(c_j | y_{<i}, v, x)$ को दर्शाती है।
एकीकरण (Integration): यह सिस्टम को सभी संभावित अगले टोकन्स के लिए प्राथमिकता संभावनाओं को एक साथ कंप्यूट करने की अनुमति देता है, जिससे कई फॉरवर्ड पास से बचा जा सकता है।

प्रशिक्षण और स्वतंत्रता धारणा (Training and Independence Assumption)

स्वतंत्रता धारणा (Independence Assumption): यह विधि मानती है कि आयामों के बीच उपयोगकर्ता की प्राथमिकताएं स्वतंत्र हैं। यह सिस्टम को सभी $2^d$ संयोजनों के लिए एक एकल क्लासिफायर के बजाय $d$ अलग-अलग बाइनरी क्लासिफायर प्रशिक्षित करने की अनुमति देता है।
प्रशिक्षण डेटा: क्लासिफायर को बेस मॉडल (Tulu-7B) द्वारा उत्पन्न सिंथेटिक डेटा पर प्रशिक्षित किया गया है जिसे एक रिवॉर्ड मॉडल द्वारा रैंक किया गया है (पिछले कार्य से)। क्लासिफायर (LLaMA-160M) को टोकन-लेवल मल्टी-क्लास क्लासिफिकेशन लॉस को कम करने के लिए प्रशिक्षित किया गया है।
इन्फरेंस: प्रत्येक स्टेप पर, बेस मॉडल और क्लासिफायर समानांतर में चलते हैं (प्रत्येक में एक फॉरवर्ड पास)। अंतिम टोकन डिस्ट्रीब्यूशन, बेस लॉजिट्स और क्लासिफायर की प्राथमिकता संभावनाओं का एक भारित संयोजन (weighted combination) होता है।

मुख्य योगदान

CLIPer फ्रेमवर्क: एक नवीन इन्फरेंस-टाइम पर्सनलाइजेशन पद्धति जो बेस LLM को प्रत्येक प्राथमिकता आयाम के लिए फाइन-ट्यून करने की आवश्यकता को समाप्त करती है।
स्केलेबिलिटी: यह दृष्टिकोण प्राथमिकता आयामों $d$ की संख्या के संबंध में स्थिर प्रशिक्षण और इन्फरेंस लागत ( $O(1)$ ) बनाए रखता है, जो पिछले तरीकों के $O(d)$ या $O(2^d)$ खर्चों के विपरीत है।
कुशल आर्किटेक्चर: एक नवीन क्लासिफायर डिज़ाइन जो एक सिंगल फॉरवर्ड पास में सभी वोकैबुलरी टोकन और प्राथमिकता आयामों पर कंडीशनल डिस्ट्रीब्यूशन की भविष्यवाणी करता है, जिससे रियल-टाइम स्टीयरिंग संभव होती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंगल, डबल और ट्रिपल प्रिफरेंस डायमेंशन कॉम्बिनेशन के लिए प्रभावशीलता प्रदर्शित करने वाले व्यापक प्रयोग।

प्रयोगात्मक परिणाम

लेखकों ने Koala और UltraFeedback डेटासेट्स पर छह प्राथमिकता आयामों (ऑडियंस, कंटेंट डेंसिटी, टोन) पर CLIPer का मूल्यांकन किया, जिसका मूल्यांकन एक रिवॉर्ड मॉडल और GPT-4o-mini द्वारा किया गया।

सिंगल डायमेंशन: CLIPer ने वैनिला बेसलाइन के मुकाबले 83.42% और डायरेक्ट प्रॉम्प्टिंग के मुकाबले 53% की औसत विन रेट (win rate) हासिल की। इसने डायरेक्ट प्रॉम्प्टिंग को काफी बेहतर प्रदर्शन किया, हालांकि GPT-4o-mini द्वारा मूल्यांकन किए जाने पर यह डायरेक्ट फाइन-ट्यूनिंग के मुकाबले कम विन रेट दिखाता है (यह क्लासिफायर के रिवॉर्ड-मॉडल-लेबल वाले डेटा पर प्रशिक्षित होने के कारण है)।
मल्टी-डायमेंशन (2 और 3 डायमेंशन):
- 2-डायमेंशनल सेटिंग्स में, CLIPer ने वैनिला बेसलाइन के मुकाबले 72.45% की विन रेट हासिल की।
- 3-डायमेंशनल सेटिंग्स में, CLIPer ने P-Soup सहित सभी बेसलाइन्स को लगातार पछाड़ा। विशेष रूप से, जबकि P-Soup का प्रदर्शन डायमेंशनलिटी बढ़ने के साथ गिर गया, CLIPer का प्रदर्शन बेहतर हुआ या स्थिर रहा, जो जटिल प्राथमिकता इंटरैक्शन के प्रति बेहतर अनुकूलन क्षमता का सुझाव देता है।
मानव मूल्यांकन: 6 PhD स्वयंसेवकों के एक अध्ययन में, CLIP-er ने 3-डायमेंशनल प्रिफरेंस कॉम्बिनेशन ("एलिमेंट्री लेवल, प्लेफुल, और कंसाइस") के लिए डायरेक्ट प्रॉम्प्टिंग के मुकाबले 65.3% की विन रेट हासिल की।
मॉडल स्केलिंग: क्लासिफायर को LLaMA-160M से LLaMA-1B तक स्केल करने वाले प्रयोगों ने कोई महत्वपूर्ण प्रदर्शन लाभ नहीं दिखाया, जो बताता है कि छोटा मॉडल पर्याप्त है।

महत्व और दावे

पेपर का दावा है कि CLIPer वास्तविक दुनिया के LLM पर्सनलाइजेशन के लिए एक व्यावहारिक और स्केलेबल समाधान प्रदान करता है। भारी फाइन-ट्यूनिंग को पर्सनलाइजेशन से अलग करके, यह न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ विविध उपयोगकर्ता आवश्यकताओं के प्रति गतिशील अनुकूलन सक्षम करता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि उच्च-आयामी प्राथमिकता स्पेस में विशेष रूप से प्रभावी है जहाँ पारंपरिक पैरामीटर मर्जिंग तकनीकें (जैसे P-Soup) संघर्ष करती हैं। सिंथेटिक प्रशिक्षण डेटा और स्वतंत्रता धारणा जैसी सीमाओं को स्वीकार करते हुए, पेपर CLIPer को एक मजबूत फ्रेमवर्क के रूप में प्रस्तुत करता है जो कई फाइन-ट्यून किए गए मॉडल्स को बनाए रखने के बोझ के बिना दक्षता और नियंत्रणीय, सूक्ष्म पर्सनलाइजेशन के बीच संतुलन बनाता है।