🤖 machine learning

Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias

यह शोध पत्र एक हल्का, ब्लैक-बॉक्स अनुकूलन विधि प्रस्तुत करता है जो मॉडल के भार (weights) को बदले बिना या ग्रेडिएंट एक्सेस की आवश्यकता के बिना, रीजनिंग कार्यों पर भाषा मॉडल के प्रदर्शन को सुधारने के लिए एक KL-नियमित सुदृढीकरण लर्निंग (reinforcement learning) उद्देश्य के माध्यम से एक एकल संदर्भ-स्वतंत्र लॉजिट-बायस वेक्टर सीखता है।

मूल लेखक: Ofek I. Cohen, Lior Shani, Aviv Rosenberg, Ankur Samanta, Tal Wagner, Yonathan Efroni

प्रकाशित 2026-07-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ofek I. Cohen, Lior Shani, Aviv Rosenberg, Ankur Samanta, Tal Wagner, Yonathan Efroni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, सर्वज्ञानी रोबोट शेफ है जो आपके द्वारा मांगी गई लगभग कोई भी डिश बना सकता है। यह रोबोट इतना स्मार्ट है कि इसे पूरे इंटरनेट पर प्रशिक्षित किया गया है, लेकिन यह थोड़ा नखरेबाज भी है: यह आपको अपनी रेसिपी बदलने के लिए रसोई में नहीं जाने देगा, और आप इसके गुप्त मसाला जार तक भी नहीं झाँक सकते। आप केवल इसे एक आदेश दे सकते हैं, और यह खाना बनाना शुरू कर देता है। कभी-कभी, रोबोट बहुत बातूनी होता है, रेसिपी से पहले अनावश्यक कहानियाँ जोड़ देता है। अन्य समय में, यह नमक डालना भूल जाता है, या यह भ्रमित हो जाता है और सॉस बनाने के बजाय टमाटरों के इतिहास के बारे में बात करने लगता है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) है। "रसोई" मॉडल का आंतरिक मस्तिष्क है, और "रेसिपी" वह गणित है जिसका उपयोग यह वाक्य में अगले शब्द की भविष्यवाणी करने के लिए करता है। आमतौर पर, यदि आप चाहते हैं कि रोबोट किसी विशिष्ट कार्य में बेहतर हो—जैसे गणित की समस्याओं को हल करना या छोटे ईमेल लिखना—तो आपको इसे फिर से प्रशिक्षित करने के लिए कारखाने में वापस भेजना होगा। लेकिन क्या होगा यदि आप ऐसा नहीं कर सकते? क्या होगा यदि रोबोट एक ब्लैक बॉक्स में बंद है, और आपके पास केवल एक छोटा सा नियंत्रण नॉब (control knob) है? यह शोध पत्र एक सरल, लगभग शरारती सवाल पूछता है: क्या हम रोबोट के दिमाग को छुए बिना, केवल उस एक नॉब को घुमाकर उसे स्मार्ट बना सकते हैं?

शोधकर्ताओं की एक टीम, जो तेल अवीव यूनिवर्सिटी और गूगल से है, ने बिल्कुल यही करने का निर्णय लिया। उन्होंने "लॉगिट बायस" (logit bias) नामक एक विशेषता पर ध्यान केंद्रित किया। सोचिए कि रोबोट का मस्तिष्क हर उस संभावित शब्द का एक विशाल मेनू है जिसे वह अगला बोल सकता है। एक शब्द चुनने से पहले, वह मेनू की हर वस्तु को एक "स्कोर" देता है। "लॉगिट बायस" बस कुछ शब्दों को कुछ अंक जोड़ने और अन्य शब्दों से अंक घटाने का एक तरीका है। यह रोबोट के कान में फुसफुसाने जैसा है, "हे, मुझे 'उत्तर' शब्द बहुत पसंद है और मैं 'अम्म' शब्द को नापसंद करता हूँ।"

टीम का बड़ा विचार यह था कि वे एक परफेक्ट फुसफुसाहट खोज सकें। वे एक एकल, निश्चित स्कोर समायोजन सूची खोजना चाहते थे जो रोबोट द्वारा पूछे जाने वाले हर प्रश्न के लिए काम करे। वे रोबोट के दिमाग को नहीं बदलना चाहते थे; वे केवल उसके विकल्पों को थोड़ा प्रेरित करना चाहते थे। इसे करने के लिए, उन्होंने एक चतुर तरकीब का उपयोग किया: उन्होंने रोबोट को कई भोजन बनाने दिया, जांचा कि वे कितने अच्छे थे (एक रिवॉर्ड सिस्टम का उपयोग करके), और फिर गणना की कि किन शब्दों को "बोनस" मिलना चाहिए था ताकि भोजन बेहतर बन सके। उन्होंने इसे करने के लिए "इनवर्स प्रोपेंसिटी स्कोरिंग" (inverse propensity scoring) नामक एक सांख्यिकीय विधि का उपयोग किया, जो मूल रूप से यह कहने का एक तरीका है, "यदि रोबोट ने गलती से एक शब्द चुना, तो हमें इसे कितना पसंद आता यदि उसने इसे जानबूझकर चुना होता?"

परिणाम आश्चर्यजनक रूप से प्रभावी थे, हालांकि कुछ सीमाओं के साथ। जब उन्होंने इस सीखे हुए "फुसफुसाहट" को गणित और तर्क परीक्षणों पर लागू किया, तो रोबोट समस्याओं को हल करने में थोड़ा बेहतर हो गया। उदाहरण के लिए, MATH नामक एक कठिन गणित बेंचमार्क पर, रोबोट की सटीकता लगभग 30.3% से बढ़कर 33.1% हो गई। यह कोई बहुत बड़ी छलांग नहीं है, लेकिन यह एक वास्तविक सुधार है जो रोबोट के दिमाग में एक भी वेट (weight) बदले बिना प्राप्त किया गया है। और भी दिलचस्प बात यह है कि उन्होंने इस पद्धति का उपयोग रोबोट को छोटा और संक्षिप्त बनाने के लिए किया। बायस को ट्यून करके, वे रोबोट को जल्दी बात खत्म करने के लिए मना सके, जिससे कुछ मॉडलों के उत्तरों की लंबाई 900 से अधिक शब्दों से घटाकर 900 से कम कर दी गई, बिना सही उत्तर खोए।

हालाँकि, यह शोध पत्र इस बारे में बहुत स्पष्ट है कि यह विधि क्या नहीं कर सकती। शोधकर्ताओं ने पाया कि जबकि यह "फुसफुसाहट" फॉर्मेटिंग के लिए, रोबोट को बड़बड़ाने से रोकने के लिए, या उसे सही उत्तर शैली की ओर धकेलने के लिए बेहतरीन है, यह रोबोट को नया तर्क (logic) नहीं सिखा सकती। यदि रोबोट को यह नहीं पता कि किसी विशिष्ट गणित की समस्या को कैसे हल किया जाए, तो बायस जोड़ने से अचानक उसमें गणित के कौशल पैदा नहीं होंगे। यह एक ऐसे कोच की तरह है जो खिलाड़ी को "तेज़ दौड़ने" या "बेचैनी रोकने" के लिए कह सकता है, लेकिन यदि खिलाड़ी को खेल के नियम नहीं पता, तो वह उसे खेल खेलना नहीं सिखा सकता। शोध पत्र सुझाव देता है कि यह विधि एक हल्का, "ब्लैक-बॉक्स" उपकरण है—उन स्थितियों के लिए एकदम सही जब आप मॉडल को फिर से प्रशिक्षित नहीं कर सकते, लेकिन पूर्ण प्रशिक्षण के लिए प्रतिस्थापन नहीं है जब आपको गहरे, जटिल तर्क की आवश्यकता हो।

अंत में, लेखक दिखाते हैं कि एक सरल, संदर्भ-स्वतंत्र धक्का (nudge) एक स्थिर मॉडल से थोड़ा बेहतर प्रदर्शन निकाल सकता है। यह एक याद दिलाता है कि कभी-कभी, थोड़ी अधिक गति पाने के लिए आपको इंजन को फिर से बनाने की आवश्यकता नहीं होती; आपको बस यह जानने की आवश्यकता होती है कि कौन से बटन दबाने हैं।

तकनीकी सारांश: लॉजिट बायस (Logit Bias) के माध्यम से भाषा मॉडलों का निराशाजनक रूप से सरल ब्लैक-बॉक्स अनुकूलन

समस्या विवरण

संगठनों को अक्सर विशिष्ट आंतरिक कार्यों के लिए फ्रंटियर लैंग्वेज मॉडल्स (LMs) को अनुकूलित करने की आवश्यकता होती है, जैसे कि डोमेन सटीकता में सुधार करना, सख्त आउटपुट फॉर्मेटिंग लागू करना, या वर्बोसिटी (verbosity) को कम करना। हालाँकि, मानक अनुकूलन तकनीकें जैसे कि फाइन-ट्यूनिंग, पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT), या रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) अक्सर अव्यवहार्य होती हैं। इन विधियों के लिए आमतौर पर मॉडल वेट्स (weights), ग्रेडिएंट्स, या हिडन स्टेट्स तक पहुंच की आवश्यकता होती है, जो तब उपलब्ध नहीं होते जब मॉडल केवल इन्फरेंस API के माध्यम से तैनात किए जाते हैं। मौजूदा ब्लैक-बॉक्स विकल्प, जैसे कि प्रॉम्प्ट ऑप्टिमाइज़ेशन, कॉन्टेक्स्ट लेंथ (context length) का उपभोग करते हैं और कार्य की सामग्री में हस्तक्षेप कर सकते हैं।

यह शोध पत्र न्यूनतम एक्सेस बाधाओं (minimal access constraints) के तहत फ्रीज किए गए लैंग्वेज मॉडल्स को अनुकूलित करने की चुनौती का समाधान करता है: जहाँ डिप्लॉय करने वाला न तो वेट्स को बदल सकता है, न बैकप्रोपैगेशन कर सकता है, और उसे केवल API द्वारा उजागर किए गए डिकोडिंग-टाइम कंट्रोल्स पर निर्भर रहना पड़ता है। विशेष रूप से, लेखक यह जांचते हैं कि क्या एक एकल, कॉन्टेक्स्ट-स्वतंत्र लॉजिट-बायस वेक्टर (logit-bias vector) एक लाइटवेट अनुकूलन प्रिमिटिव (adaptation primitive) के रूप में कार्य कर सकता है।

कार्यप्रणाली (Methodology)

मुख्य तंत्र (Core Mechanism)

प्रस्तावित विधि एक निश्चित लॉजिट-बायस वेक्टर $\delta \in \mathbb{R}^{|\mathcal{V}|}$ पेश करती है (जहाँ $\mathcal{V}$ वोकैबुलरी है) जिसे प्रत्येक डिकोडिंग स्टेप पर मॉडल के लॉजिट्स में जोड़ा जाता है।

फ्रीज्ड मॉडल (Frozen Model): बेस मॉडल के वेट्स पूरी तरह से अपरिवर्तित रहते हैं।
कॉन्टेक्स्ट-स्वतंत्रता (Context-Independence): प्रॉम्प्ट या प्रीफिक्स-ट्यूनिंग के विपरीत, $\delta$ इनपुट प्रॉम्प्ट या जनरेट किए गए प्रीफिक्स के आधार पर नहीं बदलता है।
ब्लैक-बॉक्स लर्निंग: वेक्टर $\delta$ को केवल रोलआउट्स (जनरेट की गई ट्रेजेक्टरीज), रिवॉर्ड्स और बेस मॉडल से टोकन प्रोबेबिलिटीज़ का उपयोग करके सीखा जाता है, बिना आंतरिक ग्रेडिएंट्स तक पहुंच के।

सैद्धांतिक आधार (Theoretical Foundation)

यह दृष्टिकोण एक KL-रेगुलराइज्ड रीइन्फोर्समेंट लर्निंग (RL) ऑब्जेक्टिव पर आधारित है। बेस पॉलिसी $p_0$ के करीब रहने (जिसे $\tau$ द्वारा रेगुलराइज किया गया है) के साथ रिवॉर्ड $r$ को मैक्सिमाइज करने के लिए अनकन्स्ट्रेंड ऑप्टिमम एक प्रीफिक्स-डिपेंडेंट पॉलिसी $p^\star_\tau$ है।

किसी भी स्टेप $t$ पर इष्टतम लॉजिट करेक्शन सैद्धांतिक रूप से $\log Z(x, y_{1:t-1}, \cdot)$ होगा, जहाँ $Z$ एक "सॉफ्ट वैल्यू" है जो अपेक्षित एक्सपोनेंशिएटेड रिवॉर्ड को दर्शाता है।
लेखक यह तर्क देते हैं कि यदि यह इष्टतम करेक्शन अनुमानित रूप से एक टोकन-विशिष्ट घटक $\delta(y)$ और एक प्रीफिक्स-डिपेंडेंट बेसलाइन $c_t(x, y_{1:t-1})$ में फैक्टराइज़ (factorize) हो सकता है, तो एक एकल फिक्स्ड वेक्टर $\delta$ इष्टतम पॉलिसी का अनुमान लगा सकता है।
वे एक रिवॉर्ड-गैप बाउंड (reward-gap bound) व्युत्पन्न करते हैं जो फिक्स्ड बायस बनाम इष्टतम प्रीफिक्स-डिपेंडेंट पॉलिसी के प्रदर्शन लॉस को एप्रोक्सीमेशन एरर $\varepsilon$ और होराइजन $T$ पर निर्भर दिखाता है।

एस्टीमेशन एल्गोरिदम (Estimation Algorithm)

बिना ग्रेडिएंट्स के $\delta$ को सीखने के लिए, लेखक एक क्लोज्ड-फॉर्म इनवर्स प्रोपेंसिटी स्कोरिंग (IPS) एस्टीमेटर प्रस्तावित करते हैं:

ऑन-पॉलिसी रोलआउट्स (On-Policy Rollouts): बेस मॉडल $p_0(\cdot|x)$ से ट्राजेक्टरीज $y_{1:T}$ जनरेट करें।
इंटरवेंशन सैंपलिंग (Intervention Sampling): प्रत्येक ट्राजेक्टरी के लिए, रैंडम टाइम स्टेप्स $t$ सैंपल करें और टोकन $y_t$ को एक इंटरवेंशन के रूप में मानें (इसे फिक्स करते हुए बाकी ट्राजेक्टरी को बेस मॉडल से सैंपल करें)।
एस्टीमेटर: पॉपुलेशन-लेवल बायस $\delta(y)$ को उस टोकन $y$ के दिखने वाली ट्राजेक्टरीज के औसत एक्सपोनेंशिएटेड रिवॉर्ड के लॉग के रूप में अनुमानित किया जाता है, जिसे बेस मॉडल के तहत उस टोकन की इनवर्स प्रोबेबिलिटी द्वारा वेट किया गया है:
$\hat{Z}(y) = \frac{1}{NP} \sum_{(x, y_{1:T}, t, r) \in \mathcal{D}} \frac{\mathbb{1}\{y_t = y\} \exp(r/\tau)}{\pi_0(y | x, y_{1:t-1})}$
स्मूथिंग (Smoothing): अंतिम लॉजिट बायस $\hat{\delta}(y) = \log(\alpha + \hat{Z}(y)) - c(\alpha)$ द्वारा कंप्यूट किया जाता है, जहाँ $\alpha$ स्पार्स डेटा को संभालने और लॉग-जीरो एरर्स को रोकने के लिए एक स्मूथिंग कांस्टेंट है।

मुख्य योगदान (Key Contributions)

ब्लैक-बॉक्स अडैप्टेशन सेटिंग: यह पेपर फ्रीज्ड LMs को एक एकल, कॉन्टेक्स्ट-इंडिपेंडेंट लॉजिट-बायस वेक्टर का उपयोग करके पर्सनलाइज करने के लिए एक सेटिंग को औपचारिक रूप देता है, जिसमें कोई वेट अपडेट या ग्रेडिएंट एक्सेस की आवश्यकता नहीं होती।
सैद्धांतिक विश्लेषण: यह लॉजिट-बायस स्टीयरिंग को KL-रेगुलराइज्ड ऑप्टिमम से जोड़ने वाला एक क्लोज्ड-फॉर्म IPS एस्टीमेटर व्युत्पन्न करता है और फिक्स्ड-बायस पॉलिसी और अनकन्स्ट्रेंड ऑप्टिमम के बीच रिवॉर्ड गैप पर एक सैद्धांतिक बाउंड प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह दिखाया गया है कि यह विधि गणितीय और रीजनिंग बेंचमार्क्स पर बेस मॉडल्स में सुधार करती है और कन्वर्सेशन लेंथ को प्रभावी ढंग से नियंत्रित करती है, जो पारंपरिक फाइन-ट्यूनिंग की तुलना में काफी कम ट्रेन करने योग्य पैरामीटर्स और कंप्यूट का उपयोग करती है।

प्रयोगात्मक परिणाम (Experimental Results)

सेटअप

मॉडेल्स: Meta-Llama-3.1-8B-Instruct, Gemma-2-9B-IT, और Qwen3-4B।
टास्क: MATH, GSM8K, और GPQA-main (एक्यूरेसी); और एक कंप्रेशन ऑब्जेक्टिव (टोकन काउंट कम करना)।
बेसलाइन्स: बेस मॉडल, एक 32-क्लस्टर टाइड लॉजिट-बायस बेसलाइन, और LoRA-GRPO (एक फाइन-ट्यूनिंग बेसलाइन जिसमें $\sim 10^7$ पैरामीटर्स हैं)।

एक्यूरेसी परफॉरमेंस (Accuracy Performance)

फुल-वोकैबुलरी लॉजिट बायस: सभी बेंचमार्क्स में बेस मॉडल पर लगातार छोटे लाभ प्राप्त किए (जैसे, MATH: $30.30\% \to 33.14\%$ ; GPQA: $22.20\% \to 28.90\%$ )।
तुलना: 32-क्लस्टर बेसलाइन ने बेस मॉडल के समान प्रदर्शन किया, जो सुझाव देता है कि सिग्नल टोकन-विशिष्ट है न कि एक कोर्स फ्रीक्वेंसी शिफ्ट। LoRA-GRPO ने लॉजिट बायस से काफी बेहतर प्रदर्शन किया (जैसे, MATH: $45.24\%$ ), जो पुष्टि करता है कि वेट-स्पेस अडैप्टेशन कॉन्टेक्स्ट-डिपेंडेंट रीजनिंग को फिक्स्ड बायस की तुलना में बेहतर तरीके से कैप्चर करता है।

कंप्रेशन परफॉरमेंस (Compression Performance)

विधि ने Gemma-9B और Llama-8B के लिए कंप्लीशन लेंथ को सफलतापूर्वक कम किया और साथ ही सटीकता को बनाए रखा, जो एक्यूरेसी और लेंथ के बीच एक पारेटो फ्रंटियर (Pareto frontier) को दर्शाता है।
Qwen3-4B ने लेंथ में न्यूनतम परिवर्तन दिखाया।
LoRA-GRPO ने आंतरिक रीजनिंग और स्टॉपिंग व्यवहारों को बदलकर अधिक आक्रामक कंप्रेशन प्राप्त किया, जबकि लॉजिट बायस मुख्य रूप से रियूजेबल फाइनलाइजेशन और स्टॉपिंग पैटर्न को सीखा।

सीखे गए बायस का विश्लेषण (Analysis of Learned Biases)

स्पैरसिटी (Sparsity): केवल एक छोटा हिस्सा (लगभग 1.3%) ही इफेक्ट-साइज़ गेट से ऊपर निकला।
संरचना (Structure):
- एक्यूरेसी बायस: उत्तर सीमाओं (answer boundaries), गणितीय फॉर्मेटिंग और निर्णायक स्टॉप स्ट्रिंग्स से संबंधित टोकन्स को बढ़ावा दिया। इसने "ड्रिफ्ट" टोकन्स जैसे कि प्रश्न पुनर्कथन या ट्यूटोरियल मोड को दबा दिया।
- कंप्रेशन बायस: स्टॉप/बाउंड्री टोकन्स को बढ़ावा दिया और एक्सप्लेनेशन और डेरिवेशन टोकन्स को दबा दिया, हालांकि इसमें ओवर-कंप्रेशन का जोखिम भी था।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि लर्न किया गया लॉजिट बायस एक लाइटवेट, ब्लैक-बॉक्स अडैप्टेशन प्रिमिटिव के रूप में कार्य करता है जो प्रॉम्प्ट इंजीनियरिंग और पूर्ण फाइन-ट्यूनिंग के बीच स्थित है।

उपयोगिता: यह उन संगठनों के लिए एक व्यावहारिक समाधान प्रदान करता है जिनके पास केवल API एक्सेस है, जिससे बिना किसी ऑपरेशनल ओवरहेड के फॉर्मेटिंग, वर्बोसिटी कंट्रोल और मामूली सटीकता लाभ के साथ मॉडल्स को अनुकूलित करना संभव होता है।
सीमाएं: लेखक विधि की क्षमताओं के बारे में विनम्र हैं, यह स्वीकार करते हुए कि एक फिक्स्ड बायस रीजनिंग को फिर से नहीं लिख सकता, कंडीशनल रूल्स को एनकोड नहीं कर सकता, या कॉन्टेक्स्ट-विशिष्ट त्रुटियों को ठीक नहीं कर सकता। यह "रियूजेबल" पैटर्न (फॉर्मेटिंग, स्टॉपिंग) के लिए प्रभावी है, लेकिन वहां विफल रहता है जहां कॉन्टेक्स्ट-डिपेंडेंट रीजनिंग की आवश्यकता होती है।
निष्कर्ष: हालांकि यह उन स्थितियों में फाइन-ट्यूनिंग का विकल्प नहीं है जहां वेट्स सुलभ हैं, लर्न किया गया लॉजिट बायस सख्त एक्सेस बाधाओं के तहत लैंग्वेज मॉडल्स को अनुकूलित करने के लिए एक व्यवहार्य, कम लागत वाला तंत्र है।