🤖 machine learning

Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

यह शोध पत्र एक गेम-थ्योरेटिक ढांचे का प्रस्ताव करता है जो KL-नियमित सुदृढीकरण सीखने (RL) के ट्रेड-ऑफ को एक एजेंट और एक मॉनिटर के बीच एक अनुक्रमिक खेल के रूप में व्याख्यायित करता है, जो सांख्यिकीय विभेदनीयता प्रति इकाई पुरस्कार को अधिकतम करके इष्टतम नियमितीकरण गुणांक को स्वचालित रूप से निर्धारित करने के लिए एक सिद्धांतगत विधि प्रदान करता है।

मूल लेखक: Keegan Harris, Brian W. Lee, Ian Waudby-Smith, Philip Amortila, Nika Haghtalab, Michael I. Jordan

प्रकाशित 2026-07-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keegan Harris, Brian W. Lee, Ian Waudby-Smith, Philip Amortila, Nika Haghtalab, Michael I. Jordan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आर्टिफिशियल इंटेलिजेंस (AI) एक प्रतिभाशाली प्रशिक्षु (apprentice) की तरह है जिसने वर्षों तक किताबों के एक विशाल पुस्तकालय में महारत हासिल की है, और एक विशिष्ट, विश्वसनीय शैली में लिखना सीखा है। यह "रेफरेंस पॉलिसी" उस प्रशिक्षु का मूल प्रशिक्षण है, जो अच्छे व्यवहार का एक आधार है। अब, कल्पना कीजिए कि एक मास्टर शेफ इस प्रशिक्षु को एक नई, रोमांचक रेसिपी सिखाना चाहता है: अधिक 'टिप्स' (पुरस्कार/rewards) पाने के लिए लंबी, अधिक नाटकीय कहानियाँ कैसे लिखी जाएँ। समस्या यह है कि यदि प्रशिक्षु टिप्स पाने के लिए बहुत अधिक उत्साहित हो जाता है, तो वे निरर्थक बातें लिखना शुरू कर सकते हैं, अपनी मूल शैली को भूल सकते हैं, या पूरी तरह से एक अलग व्यक्ति की तरह लग सकते हैं। यह आधुनिक AI की केंद्रीय पहेली है: हम किसी मॉडल को एक विशिष्ट कार्य में बेहतर कैसे सिखाएं बिना उसकी आत्मा खोए?

इसे हल करने के लिए, वैज्ञानिक आमतौर पर एक गणितीय "लीश" (पट्टे) का उपयोग करते हैं जिसे "KL-रेगुलराइजेशन कोएफिशिएंट" कहा जाता है। इस कोएफिशिएंट को उस लीश (पट्टे) के नियंत्रण के रूप में समझें जो यह तय करता है कि पट्टा कितना कसा हुआ है। यदि डायल को बहुत ढीला रखा जाता है, तो AI बेकाबू हो जाता है, पुरस्कारों के पीछे भागता है लेकिन पहचानने योग्य नहीं रह जाता। यदि इसे बहुत कस दिया जाता है, तो AI सुरक्षित रहता है लेकिन नया कार्य सीखने से इनकार कर देता है। वर्षों से, विशेषज्ञों को यह अनुमान लगाना पड़ता है कि इस डायल को कहाँ सेट किया जाए, जिसके लिए अक्सर उन्हें हजारों महंगे कंप्यूटर सिमुलेशन चलाने पड़ते हैं ताकि "बिल्कुल सही" स्थान मिल सके। यह एक कैंपफायर (अलाव) के लिए एकदम सही तापमान खोजने की तरह है, जिसमें आप तब तक यादृच्छिक रूप से लकड़ियाँ फेंकते रहते हैं जब तक कि आपको एक ऐसी लौ न मिल जाए जो आपके टेंट को न जला दे। यह शोध पत्र पूछता है: क्या इस सटीक सेटिंग को बिना किसी अनुमान के खोजने का कोई स्मार्ट, अधिक वैज्ञानिक तरीका है?

इस शोध पत्र के लेखक, जो UC बर्कले और अन्य संस्थानों की एक टीम है, इस समस्या को एक खेल (game) के माध्यम प्रकार से देखने का एक चतुर नया तरीका प्रस्तावित करते हैं। केवल डायल सेटिंग का अनुमान लगाने के बजाय, वे दो खिलाड़ियों के बीच एक गुप्त खेल की कल्पना करते हैं: एक "एजेंट" (वह AI जो अधिक पुरस्कार प्राप्त करने की कोशिश कर रहा है) और एक "मॉनिटर" (एक जासूस जो AI को पकड़ने की कोशिश करता है यदि वह अपने व्यवहार में बहुत अधिक बदलाव करता है)।

इस खेल में, एजेंट जितना संभव हो सके उतनी लंबी और पुरस्कृत कहानियाँ लिखना चाहता है। लेकिन मॉनिटर एजेंट द्वारा लिखे गए हर शब्द पर नज़र रखता है, यह पता लगाने की कोशिश करता है कि, "क्या यह अभी भी वही मूल, विश्वसनीय AI है, या इसे गुप्त रूप से फिर से प्रशिक्षित किया गया है?" मॉनिटर एक सांख्यिकीय ट्रिक का उपयोग करता है जिसे "सीक्वेंशियल टेस्ट" (क्रमिक परीक्षण) कहा जाता है, जो एक ऐसे जासूस की तरह है जो निर्णय लेने के लिए पूरी किताब लिखे जाने का इंतज़ार नहीं करता। इसके बजाय, जासूस कहानी की जांच वाक्य-दर-वाक्य करता है। यदि कहानी मूल शैली से बहुत अलग होने लगती है, तो जासूस खेल को तुरंत रोक देता है। एजेंट यह जानता है: यदि वे अपनी शैली को बहुत अधिक बदलते हैं, तो वे पकड़े जाएंगे और खेल समाप्त हो जाएगा। इसलिए, एजेंट को एक रस्सी पर संतुलन बनाते हुए चलना होगा, यानी अधिकतम पुरस्कार प्राप्त करने की कोशिश करनी होगी बिना मॉनिटर को इतना संदिग्ध बनाए बिना कि वह खेल रोक दे।

इस शोध पत्र की मुख्य खोज यह है कि इस खेल में एजेंट के लिए एकदम सही रणनीति बिल्कुल उसी मानक "लीश" पद्धति के समान है जिसका उपयोग आज AI शोधकर्ता करते हैं, लेकिन एक मोड़ के साथ। खेल स्वाभाविक रूप से लीश डायल की सटीक सेटिंग को निर्धारित करता है। यह ऐसा है जैसे खेल स्वयं पूर्ण संतुलन की गणना करता है: "मैं प्रत्येक मामूली संदेह के जोखिम के बदले कितना पुरस्कार प्राप्त कर सकता हूँ?" लेखक दिखाते हैं कि यह "इक्विलिब्रियम" (संतुलन) बिंदु—वह मधुर स्थान जहाँ एजेंट खुश है और मॉनिटर संतुष्ट है—गणितीय रूप से गारंटीकृत रूप से सबसे अच्छा समझौता है।

वास्तविक जीवन में इस पूर्ण बिंदु को खोजने के लिए, लेखकों ने "स्टोकेस्टिक बाइसेक्शन" नामक एक नया एल्गोरिदम बनाया है। कल्पना कीजिए कि आप उस सटीक तापमान को खोजने की कोशिश कर रहे हैं जहाँ पानी उबलता है, लेकिन आप थर्मामीटर नहीं देख सकते। आप एक तापमान का अनुमान लगाते हैं, देखते हैं कि क्या पानी उबल रहा है, और फिर से अनुमान लगाते हैं, हर बार अपनी सीमा को आधा करते हुए। लेखकों का तरीका AI के "लीश" डायल के साथ ऐसा ही करता है। यह AI को चलाता है, परिणामों की जाँच करता है, और बिना हर एक संभावना का परीक्षण किए, जल्दी से सटीक सेटिंग को कम करता जाता है।

अपने प्रयोगों में, उन्होंने दो अलग-अलग AI मॉडलों, Qwen3-8B और Llama-3.2-1B पर इस पद्धति का परीक्षण किया। उन्होंने पाया कि उनकी नई पद्धति लगातार एक ऐसा "स्वीट स्पॉट" (अनुकूल बिंदु) पाती है जो सामान्य अनुमान लगाने वाले खेल से बेहतर है। एक परीक्षण में, पद्धति ने एक ऐसी पॉलिसी पाई जो ट्रेड-ऑफ कर्व (समझौते वक्र) के ठीक बीच में थी (ग्राफ का "कोहनी" वाला हिस्सा), जिससे उन चरम स्थितियों से बचा जा सका जहाँ AI या तो बहुत कम लिखता था या अपनी सुसंगतता खो देता था। यह पहली बार में ही एक आदर्श कैंपफायर तापमान खोजने जैसा था, जबकि पुराने तरीके को लकड़ी का पूरा ढेर जलाना पड़ता था।

शोध पत्र यह भी दिखाता है कि इस खेल के विचार का उपयोग AI कंपनियों के ऑडिट (लेखापरीक्षा) के लिए कैसे किया जा सकता है। यदि कोई कंपनी दावा करती है कि वह एक विशिष्ट ओपन-सोर्स मॉडल का उपयोग कर रही है, लेकिन उसे गुप्त रूप से बदलने के लिए उसे थोड़ा बदल देती है ताकि वह (और शायद अधिक शुल्क लेने के लिए) लंबी प्रतिक्रियाएँ लिख सके, तो एक तृतीय-पक्ष ऑडिटर खेल के "मॉनिटर" की रणनीति का उपयोग करके उन्हें पकड़ सकता है। ऑडिटर को कंपनी के गुप्त कोड को देखने की आवश्यकता नहीं है; उन्हें बस आउटपुट को देखने की आवश्यकता है। शोध पत्र के सिमुलेशन बताते हैं कि यह "गेम-थ्योरेटिक" डिटेक्टर मानक तरीकों की तुलना में बहुत तेज़ी से और अधिक सटीकता से इन गुप्त परिवर्तनों को पकड़ सकता है, जबकि गलत आरोप बहुत कम लगाता है।

अंततः, यह शोध पत्र सुझाव देता है कि हमें AI को ट्यून करने के लिए भाग्य या महंगे परीक्षण-और-त्रुटि (trial-and-error) पर निर्भर रहने की आवश्यकता नहीं है। समस्या को एक ऑप्टिमाइज़र और एक डिटेक्टर के बीच एक रणनीतिक खेल के रूप में देखकर, हम प्रशिक्षण के लिए सटीक सेटिंग्स को गणितीय रूप से प्राप्त कर सकते हैं। यह एक अव्यवस्थित, ह्यूरिस्टिक प्रक्रिया को एक स्वच्छ, सिद्धांत आधारित समाधान में बदल देता है, जिससे हमें अपने AI मॉडलों को उच्च-प्रदर्शन करने वाला और उनके मूल स्वभाव के प्रति सच्चा बनाए रखने का तरीका मिलता है।

तकनीकी सारांश: पता लगाने की सीमा पर पोस्ट-ट्रेनिंग (Post-Training at the Edge of Detectability)

समस्या विवरण
रीइन्फोर्समेंट लर्निंग (RL) फाइन-ट्यूनिंग, संदर्भ नीति (reference policy) से विरासत में मिले व्यवहारों को संरक्षित करने का प्रयास करते हुए, विशिष्ट लक्षित कार्यों पर लार्ज लैंग्वेज मॉडल्स (LLMs) को सुधारने के लिए एक मानक तंत्र है। प्रचलित दृष्टिकोण, KL-रेगुलराइज्ड RL, एक दंड (penalty) के अधीन रिवॉर्ड फंक्शन को अधिकतम करके इन उद्देश्यों के बीच संतुलन बनाता है, जो संदर्भ नीति से विचलन को नियंत्रित करता है, जिसे एक रेगुलराइजेशन गुणांक $\beta$ द्वारा नियंत्रित किया जाता है। हालांकि, यह शोध पत्र एक महत्वपूर्ण सीमा की पहचान करता है: $\beta$ को निर्धारित करने के लिए कोई सिद्धांतिक विधि नहीं है। व्यवहार में, $\beta$ को ह्यूरिस्टिक मैनुअल ट्यूनिंग या हाइपरपैरामीटर ग्रिड सर्च के माध्यम से चुना जाता है। यह दृष्टिकोण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड का कारण बनता है और अक्सर रिवॉर्ड मैक्सिमाइजेशन और व्यवहार प्रतिधारण (जिसे अक्सर "अलाइनमेंट टैक्स" कहा जाता है) के बीच उप-इष्टतम (suboptimal) समझौते का परिणाम देता है। इसके अलावा, मौजूदा अनुकूली (adaptive) विधियों को अभी भी लर्नर को एक लक्षित विचलन या अपडेट ह्यूरिस्टिक पूर्व-निर्धारित करने की आवश्यकता होती है।

कार्यप्रणाली: क्रमिक पहचान खेल (The Sequential Detection Game)
लेखक रेगुलराइजेशन गुणांक की अस्पष्टता को हल करने के लिए एक गेम-थ्योरेटिक फ्रेमवर्क प्रस्तावित करते हैं। वे दो खिलाड़ियों वाले एक क्रमिक पहचान खेल (sequential detection game) को प्रारूपित करते हैं:

एजेंट (The Agent): संचयी रिवॉर्ड को अधिकतम करने के लिए एक नीति $\tilde{\pi}$ तैनात करना चाहता है।
मॉनिटर (The Monitor): एजेंट के प्रॉम्प्ट-रिस्पॉन्स आउटपुट को क्रमिक रूप से देखता है और टाइप-I एरर रेट (फॉल्स पॉजिटिव रेट) को $\alpha$ के स्तर पर नियंत्रित करते हुए, संदर्भ नीति $\pi_{ref}$ से विचलन का पता लगाने का प्रयास करता है।

खेल डिस्क्रीट टाइम स्टेप्स में आगे बढ़ता है। यदि मॉनिटर का क्रमिक परिकल्पना परीक्षण (sequential hypothesis test) शून्य परिकल्पना (null hypothesis) को खारिज कर देता है (कि आउटपुट $\pi_{ref}$ से आते हैं), तो तैनाती समाप्त कर दी जाती है, और एजेंट का उपयोग (utility) उस स्टॉपिंग टाइम तक संचित रिवॉर्ड तक सीमित हो जाता है। मॉनिटर का लक्ष्य अपेक्षित स्टॉपिंग टाइम को कम करना है, जबकि एजेंट का लक्ष्य पहचान से पहले अपेक्षित संचयी रिवॉर्ड को अधिकतम करना है।

सैद्धांतिक विश्लेषण और संतुलन (Theoretical Analysis and Equilibrium)
यह शोध पत्र स्थापित करता है कि इस खेल का नैश इक्विलिब्रियम (Nash equilibrium) एक विशिष्ट संरचनात्मक परिणाम देता है:

मॉनिटर की रणनीति: मॉनीटर का बेस्ट रिस्पॉन्स एक 'सीक्वेंशियल प्रोबेबिलिटी रेशियो टेस्ट' (SPRT) है जो एजेंट की वास्तविक नीति को लक्षित करता है।
एजेंट की रणनीति: एजेंट की इष्टतम नीति संदर्भ नीति का एक KL-रेगुलराइज्ड टिल्ट (tilt) है। विशेष रूप से, संतुलन नीति $\pi_{\beta^*}$ एक विशिष्ट, एंडोजेनस (endogenous) गुणांक के साथ मानक KL-रेगुलराइज्ड RL ऑब्जेक्टिव (समीकरण 1) को हल करती है।

महत्वपूर्ण रूप से, $\beta^*$ एक स्वतंत्र हाइपरपैरामीटर नहीं है बल्कि अपेक्षित रिवॉर्ड और अपेक्षित KL डाइवर्जेंस के अनुपात द्वारा निर्धारित होता है। एजेंट इस फ्रैक्शनल प्रोग्राम को अनुकूलित करता है:
$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$
यह KL दंड की एक परिचालन व्याख्या प्रदान करता है: यह क्रमिक निगरानी के तहत सांख्यिकीय रूप से अविभेदित रहने की "शैडो प्राइस" (shadow price) का प्रतिनिधित्व करता है। संतुलन $\beta^*$ प्रति इकाई सांख्यिकीय विभेद्यता (statistical distinguishability) पर रिवॉर्ड को अधिकतम करता है।

एल्गोरिदम: स्टोकेस्टिक बाइसेक्शन (Stochastic Bisection)
व्यापक ग्रिड सर्च के बिना संतुलन गुणांक $\beta^*$ को सीखने के लिए, लेखक एल्गोरिदम 1, एक स्टोकेस्टिक बाइसेक्शन विधि प्रस्तावित करते हैं।

एल्गोरिदम $\beta^*$ के निर्धारण को एक फलन $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$ के लिए रूट-फाइंडिंग समस्या के रूप में मानता है।
रूट $\beta^*$ वह बिंदु है जहाँ मार्जिनल रिवॉर्ड गेन, मार्जिनल सांख्यिकीय लागत के बराबर होता है।
एल्गोरिदम RL सब-प्रॉब्लम्स (एक "RL ओरकल" जैसे PPO या GRPO का उपयोग करके) को हल करके अंतराल $[\beta_{low}, \beta_{high}]$ को पुनरावृत्ति (iteratively) के माध्यम से संकुचित करता है, ताकि $M(\beta)$ के साइन का अनुमान लगाया जा सके।
सैद्धांतिक विश्लेषण दिखाता है कि एल्गोरिदम $O(\log(1/\epsilon))$ इटरेशन में $\epsilon$ -सटीक समाधान की ओर अभिसरित (converge) होता है, जो कॉन्केव-कॉन्वेक्स फ्रैक्शनल प्रोग्रामिंग और क्रमिक परिकल्पना परीक्षण की तकनीकों का लाभ उठाता है।

प्रायोगिक परिणाम
इस फ्रेमवर्क का मूल्यांकन Qwen3-8B और Llama-3.2-1B पर दो सेटिंग्स में किया गया:

सतत सीखना (Continual Learning): लक्ष्य नैरेटिव और व्याकरणिक सुसंगतता (retention) को बनाए रखते हुए रिस्पॉन्स लेंथ (रिवॉर्ड) को अधिकतम करना था।
- निष्कर्ष: एल्गोरिदम 1 ने लगातार एम्पिरिकल रिवॉर्ड-रिटेंशन पारेटो फ्रंटियर के "एल्बो" (elbow) के पास की नीतियों को चुना। इसके विपरीत, कंप्यूट-मैच्ड ग्रिड सर्च अक्सर चरम सीमाओं (या तो उच्च रिवॉर्ड/कम सुसंगतता या निम्न रिवॉर्ड/उच्च सुसंगतता) पर नीतियां उत्पन्न करते थे या पोस्ट-हॉक चयन की आवश्यकता होती थी। संतुलन नीति प्रतिस्पर्धी ट्रेड-ऑफ हासिल करती है, जो प्रभावी रूप से "अलाइनमेंट टैक्स" को संतुलित करती है।
मॉडल ऑडिटिंग (Model Auditing): लक्ष्य यह पता लगाना था कि क्या एक API प्रदाता ने मॉडल को लंबे उत्तर देने के लिए रणनीतिक रूप से फाइन-ट्यून किया है जबकि वह अदृश्य बना रहे।
- निष्कर्ष: मॉनीटर का इक्विलिब्रियम-प्रिस्क्राइब किया गया SPRT, प्राकृतिक बेसलाइन्स (जैसे यूनिफॉर्म मिक्सचर टेस्ट) की तुलना में रणनीतिक संशोधनों को काफी तेजी से पहचानता है, जबकि टाइप-I एरर रेट को सख्ती से नियंत्रित करता है। उदाहरण के लिए, Llama-3.2-1B पर, मॉनीटर के टेस्ट ने लगभग 1.75 से 5.31 स्टेप्स में विचलन का पता लगाया, जबकि बेसलाइन को 6.23 से 20.36 स्टेप्स की आवश्यकता थी, और बेसलाइन में उच्च फॉल्स पॉजिटिव रेट देखा गया।

महत्व और दावे
शोध पत्र तीन प्राथमिक योगदानों का दावा करता है:

सैद्धांतिक एकीकरण (Theoretical Unification): यह मानक KL-रेगुलराइज्ड RL ऑब्जेक्टिव के लिए एक गेम-थ्योरेटिक व्युत्पत्ति प्रदान करता है, यह दिखाते हुए कि एक डिटेक्शन गेम में इष्टतम नीति सटीक रूप से KL-टिल्टेड नीति है। यह एक व्यापक रूप से उपयोग किए जाने वाले अभ्यास को रिकवर करता है लेकिन इसे एक कठोर सांख्यिकीय ढांचे में स्थापित करता है।
सिद्धांतिक हाइपरपैरामीटर चयन: यह रेगुलराइजेशन गुणांक $\beta$ को एंडोजेनसली निर्धारित करने के लिए एक विधि प्रदान करता है। $\beta$ को एक ट्यूनेबल हाइपरपैरामीटर के रूप में मानने के बजाय, संतुलन दृष्टिकोण इसे उस मान के रूप में परिभाषित करता है जो प्रति इकाई सांख्यिकीय विभेद्यता पर रिवॉर्ड को अधिकतम करता है।
ऑडिटिंग क्षमता: यह फ्रेमवर्क ओपन-सोर्स मॉडल API के ऑडिटिंग के लिए एक सिद्धांतिक दृष्टिकोण सक्षम करता है। यह प्रदर्शित करता है कि एक मॉनिटर, मानक सांख्यिकीय बेसलाइन्स की तुलना में छिपे हुए, रणनीतिक फाइन-ट्यूनिंग का पता लगाने के लिए इक्विलिब्रियम टेस्ट का उपयोग अधिक कुशलता से कर सकता है।

लेखक अपने प्रायोगिक परिणामों के संबंध में एक विनम्र स्वर बनाए रखते हैं, सतत लर्निंग निष्कर्षों को "प्रारंभिक साक्ष्य" के रूप में वर्णित करते हैं और नोट करते हैं कि इक्विलिब्रियम विश्लेषण और बड़े पैमाने पर RL फाइन-ट्यूनिंग के बीच के अंतर को पाटने के लिए और कार्य की आवश्यकता है। वे इस बात पर जोर देते हैं कि उनका तरीका नए ऑब्जेक्टिव फंक्शन्स की आवश्यकता के बिना, केवल रेगुलराइजेशन स्ट्रेंथ के चयन के लिए एक सिद्धांतिक विधि के साथ, मानक फाइन-ट्यूनिंग पाइपलाइनों में लचीले एकीकरण की अनुमति देता है।

इसी तरह के और पेपर