⚡ electrical engineering

Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints

यह शोध पत्र एक नवीन सुपरवाइज्ड फाइन-ट्यूनिंग फ्रेमवर्क प्रस्तावित करता है जो एक सीखे हुए, नमूना-निर्भर रिलैक्सेशन और एक ऑगमेंटेड लैग्रेंजियन ऑप्टिमाइज़ेशन दृष्टिकोण के माध्यम से प्रति-नमूना बाधाओं को लागू करता है, जो समग्र मॉडल प्रदर्शन को बनाए रखते हुए सुरक्षा, प्राथमिकता और लंबाई नियंत्रण जैसे विविध कार्यों में टेल कंस्ट्रेंट उल्लंघनों को प्रभावी ढंग से कम करता है।

मूल लेखक: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक बेहतरीन सैंडविच बनाना सिखा रहे हैं। आपका लक्ष्य दोहरा है: इसे स्वादिष्ट बनाना (मुख्य उद्देश्य) और यह सुनिश्चित करना कि वह कभी भी ज़हर का उपयोग न करे (प्रतिबंध)।

लंबे समय तक, इस रोबोट को सिखाने का मानक तरीका यह देखना था कि उसके द्वारा बनाए गए सभी सैंडविच का औसत (average) क्या है। यदि रोबोट ने 99 सुरक्षित सैंडविच बनाए और 1 ज़हरीला सैंडविच बनाया, तो "औसत" अभी भी इतना सुरक्षित दिख सकता है कि वह परीक्षण में पास हो जाए। समस्या यह है कि वह एक ज़हरीला सैंडविच किसी विशिष्ट ग्राहक को मिल सकता है, और यह एक आपदा है।

यह शोध पत्र, जिसका शीर्षक है "Every Sample Counts" (हर नमूना मायने रखता है), तर्क देता है कि हमें औसत देखने के बजाय हर एक सैंडविच (प्रत्येक इनपुट) की जांच करनी चाहिए ताकि यह सुनिश्चित हो सके कि उनमें से कोई भी ज़हरीला न हो।

"औसत" सुरक्षा के साथ समस्या

लेखक बताते हैं कि वर्तमान तरीके ऐसे हैं जैसे कोई शिक्षक केवल कक्षा के अंतिम औसत ग्रेड की जांच करता है। यदि कक्षा का औसत 'A' है, तो शिक्षक खुश होता है, भले ही एक छात्र परीक्षा में पूरी तरह फेल हो गया हो। एआई (AI) की दुनिया में, इसका अर्थ है कि मॉडल "औसत पर सुरक्षित" हो सकते हैं लेकिन कठिन या दुर्लभ अनुरोधों (डेटा की "पूंछ" या "tail") पर बुरी तरह विफल हो सकते हैं।

यह पत्र स्पष्ट रूप से औसत-आधारित प्रतिबंधों या सरल निश्चित दंडों (जैसे कि "एक ही आकार का" जुर्माना) पर भरोसा करने के खिलाफ तर्क देता है। उन्होंने पाया कि भले ही आप औसत नियम को अधिक सख्त बना दें, रोबोट फिर भी कठिन कार्यों पर कभी-कभी बड़ी गलतियाँ करता है। यह पूरे हाईवे के लिए स्पीड लिमिट को सख्त करने जैसा है; तेज़ चलने वाली कारें थोड़ी धीमी हो सकती हैं, लेकिन बैक रोड्स पर चलने वाले लापरवाह ड्राइवर अभी भी तेज़ गति से गाड़ी चलाएंगे।

नया समाधान: एक व्यक्तिगत कोच

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे पॉइंटवाइज कंस्ट्रेंड फाइन-ट्यूनिंग (Pointwise Constrained Fine-Tuning) कहा जाता है। इसे रोबोट शेफ को एक व्यक्तिगत कोच देने के रूप में सोचें जो हर एक सैंडविच को बनते हुए देखता है।

"हर नमूना" नियम: केवल औसत की जांच करने के बजाय, कोच यह सुनिश्चित करता है कि प्रत्येक सैंडविच सुरक्षा सीमा को पूरा करता है। यदि रोबोट एक भी सैंडविच में ज़हर इस्तेमाल करने की कोशिश करता है, तो कोच उसे तुरंत रोक देता है।
ऑगमेंटेड लैग्रेंजियन (स्मार्ट दंड): यह गणित को रोबोट के दिमाग को खराब किए बिना कैसे काम करता है, इसके लिए वे "ऑगमेंटेड लैग्रेंजियन" नामक एक चतुर तकनीक का उपयोग करते हैं। कल्पना करें कि कोच केवल "नहीं!" कहकर चिल्लाता नहीं है, बल्कि गतिशील रूप से प्रशिक्षण की कठिनाई को समायोजित करता है। यदि सैंडविच को सुरक्षित बनाना आसान है, तो कोच नियमों में ढील देता है। यदि सैंडविच कठिन है, तो वह उस विशिष्ट क्षण के लिए नियमों को सख्त कर देता है। यह सुनिश्चित करता है कि रोबोट कठिन मामलों को संभालना सीखे बिना आसान वाले काम भूल न जाए।
"रिलैक्सेशन" सुरक्षा वाल्व: कभी-कभी, कोई अनुरोध इतना अजीब या असंभव होता है कि नियम का पूरी तरह पालन करने से सैंडविच पूरी तरह से खराब हो सकता है (जैसे हवा से सैंडविच बनाने के लिए कहना)। लेखक एक "लर्नड रिलैक्सेशन" (सीखा हुआ ढील देना) पेश करते हैं। यह एक स्मार्ट सुरक्षा वाल्व की तरह है: कोच केवल तभी एक छोटी, गणना की गई छूट देता है जब यह बिल्कुल आवश्यक हो, लेकिन इसके लिए एक "लागत" वसूलता है। इस तरह, रोबोट क्रैश नहीं होता, लेकिन फिर भी वह नियमों का पालन करने की पूरी कोशिश करता है।

उन्होंने क्या पाया (प्रमाण)

टीम ने इस विचार का परीक्षण तीन अलग-अलग "रसोईयों" (कार्यों) पर किया:

टूल कॉलिंग (Tool Calling): रोबोट को यह सिखाना कि कब टूल का उपयोग करना है और कब कहना है कि "मैं यह नहीं कर सकता।"
सुरक्षा (Safety): यह सुनिश्चित करना कि रोबोट हानिकारक अनुरोधों को अस्वीकार करे बिना हानिरहित अनुरोधों को अस्वीकार न करे।
री-रैंकिंग (Re-ranking): खोज परिणामों को गुणवत्ता खोए बिना छोटा और तेज़ बनाना।

उनके प्रयोगों में, जिनमें 7 बिलियन से कम पैरामीटर्स वाले मॉडल शामिल थे (जो एक शक्तिशाली ग्राफिक्स कार्ड पर चलने के लिए पर्याप्त छोटे हैं), उन्होंने परिणामों को सावधानीपूर्वक मापा।

"पूंछ" (Tail) की समस्या हल हुई: जब उन्होंने गलतियों के वितरण को देखा, तो उनके तरीके (पॉइंटवाइज दृष्टिकोण) में लगभग शून्य बड़ी उल्लंघन घटनाएँ थीं। इसके विपरीत, पुराने "औसत" तरीकों में अभी भी बड़ी गलतियों की एक "लंबी पूंछ" थी। उदाहरण के लिए, सुरक्षा परीक्षणों में, उनके तरीके ने हानिकारक प्रॉम्प्ट पर 100% इनकार दर हासिल की, जबकि केवल उपयोगिता (helpfulness) स्कोर में लगभग 5% की कमी आई। पुराने तरीकों को समान सुरक्षा प्राप्त करने के लिए उपयोगिता में 9% की कमी करनी पड़ी।
बेहतर ट्रेड-ऑफ: उन्होंने दिखाया कि उनका तरीका एक बेहतर संतुलन (एक "पारेटो फ्रंटियर") बनाता है। यह एक तेज़ कार पाने जैसा है जो कम ईंधन भी खर्च करती है, जबकि पुराने तरीके आपको गति और ईंधन दक्षता के बीच चुनने के लिए मजबूर करते थे।
कोई जादू नहीं, सिर्फ गणित: लेखक सावधानीपूर्वक नोट करते हैं कि यह सब कुछ हल करने वाला कोई जादुई डंडा नहीं है। उन्होंने इन परिणामों को विशिष्ट डेटासेट (जैसे 4.5k उदाहरणों वाला "When2call" डेटासेट और 50k प्रशिक्षण इंस्टेंस वाला "MS MARCO" डेटासेट) पर मापा। उन्होंने पाया कि हालांकि यह तरीका इन विशिष्ट कार्यों के लिए बहुत अच्छा काम करता है, लेकिन सभी संभावित परिदृश्यों के लिए सैद्धांतिक गारंटी अभी भी विकसित की जा रही है क्योंकि न्यूरल नेटवर्क जटिल होते हैं और पूरी तरह से अनुमानित नहीं होते हैं।

मुख्य निष्कर्ष

यह शोध पत्र सुझाव देता है कि यदि आप वास्तव में विश्वसनीय एआई चाहते हैं, तो आप केवल औसत को नहीं देख सकते। आपको प्रत्येक एकल नमूने पर नियमों को लागू करना होगा। प्रत्येक विशिष्ट इनपुट के लिए दंड को समायोजित करने वाले एक स्मार्ट, गतिशील सिस्टम का उपयोग करके, आप "दुर्लभ लेकिन खतरनाक" विफलताओं को रोक सकते हैं बिना एआई को उसके मुख्य कार्य में खराब किए। यह "औसत पर अच्छा पर्याप्त" से "हर बार सुरक्षित" की ओर एक बदलाव है।

तकनीकी सारांश: हर नमूना मायने रखता है – पॉइंटवाइज बाधाओं के साथ लैंग्वेज मॉडल्स का सुपरवाइज्ड फाइन-ट्यूनिंग

1. समस्या विवरण

भाषा मॉडलों (LMs) को संरेखित (aligning) और फाइन-ट्यून करने की वर्तमान विधियाँ आमतौर पर प्रतिबंधित अनुकूलन ढांचों (constrained optimization frameworks) पर निर्भर करती हैं जो आवश्यकताओं (जैसे सुरक्षा, लंबाई नियंत्रण, या टूल-कॉलिंग प्राथमिकताएं) को इनपुट वितरण पर केवल अपेक्षा (expectation) के रूप में लागू करती हैं। जबकि ये विधियाँ यह सुनिश्चित करती हैं कि बाधाएं औसतन संतुष्ट हों, वे एक महत्वपूर्ण सीमा से ग्रस्त होती हैं: वे व्यक्तिगत इनपुट के लिए बाधा संतुष्टि की गारंटी नहीं देती हैं।

यह "औसत-मात्र" दृष्टिकोण अवांछनीय असमानताओं को जन्म देता है, विशेष रूप से टेल डेटा (tail data) (ऐसे इनपुट जो प्रशिक्षण में कम प्रतिनिधित्व प्राप्त करते हैं या स्वाभाविक रूप से अधिक कठिन होते हैं) के लिए। अनुभवजन्य साक्ष्य बताते हैं कि औसत रूप से बाधाओं को संतुष्ट करने वाले मॉडल अभी भी इनपुट के महत्वपूर्ण उपसमुच्चयों (subsets) पर महत्वपूर्ण उल्लंघन प्रदर्शित कर सकते हैं। मौजूदा विधियाँ अक्सर "आसान" और "कठिन" नमूनों के बीच अंतर करने में विफल रहती हैं, जिससे एक समान दंड (uniform penalties) लागू होता है जो या तो सरल मामलों को अत्यधिक दंडित करता है या कठिन मामलों को पर्याप्त रूप से बाधित करने में विफल रहता है।

यह शोध पत्र औसत-बाधित शिक्षण से पॉइंटवाइज बाधित फाइन-ट्यूनिंग (pointwise constrained fine-tuning) की ओर बदलाव का प्रस्ताव करता है, जहाँ बाधाएँ डेटा वितरण में लगभग हर व्यक्तिगत नमूने के लिए मान्य होनी चाहिए, न कि केवल अपेक्षा के रूप में।

2. कार्यप्रणाली

प्रस्तावित ढांचा गैर-उत्तल (non-convex) न्यूरल नेटवर्क अनुकूलन में पॉइंटवाइज बाधाओं को लागू करने की चुनौतियों को तीन मुख्य घटकों के माध्यम से संबोधित करता है:

A. पॉइंटवाइज बाधित सूत्रीकरण (Pointwise Constrained Formulation)

लेखक फाइन-ट्यूनिंग समस्या को अपेक्षित ऑब्जेक्टिव लॉस $\ell_0$ को न्यूनतम करने के रूप में तैयार करते हैं, जो असमानता बाधाओं $\ell_i \leq \varepsilon$ के अधीन है, जो डेटा वितरण $D$ पर पॉइंटवाइज (लगभग हर जगह) लागू होती हैं।
$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{सर्त:} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$
औसत बाधाओं के विपरीत, जो एक एकल स्केलर मल्टीप्लायर का उपयोग करती हैं, यह सूत्रीकरण प्रत्येक नमूने के लिए एक अलग मल्टीप्लायर की आवश्यकता करता है, जिससे दंड प्रत्येक इनपुट की विशिष्ट कठिनाई के अनुसार अनुकूलित हो सकता है।

B. ऑगमेंटेड लैग्रेंजियन दृष्टिकोण (Augmented Lagrangian Approach)

इस गैर-उत्तल समस्या को हल करने के लिए, लेखक ड्यूल डोमेन (dual domain) का उपयोग करते हैं। हालाँकि, मानक लैग्रेंजियन द्वैतता (duality) गैर-उत्तल समस्याओं (जैसे डीप न्यूरल नेटवर्क) के लिए कमजोर गारंटी प्रदान करती है क्योंकि इसमें द्वैतता अंतराल (duality gap) होता है। इससे निपटने के लिए, शोध पत्र ऑगमेंटेड लैग्रेंजियन (AL) विधियों का उपयोग करता है।

AL विधि लैग्रेंज मल्टीप्लायर $\lambda$ और बाधा उल्लंघन के बीच रैखिक निर्भरता को एक द्विघात पद (quadratic term) के साथ बदल देती है।
यह अतिरिक्त वक्रता सुधार (curvature correction) प्रदान करता है, जिससे मानक लैग्रेंजियन दृष्टिकोणों की तुलना में व्यापक गैर-उत्तल सेटिंग्स में मजबूत द्वैतता और प्राइमल रिकवरेबिलिटी (primal recoverability) सक्षम होती है।
अनुकूलन एम्पिरिकल ड्यूल ग्रेडिएंट एसेंट (Empirical Dual Gradient Ascent) के माध्यम से किया जाता है, जहाँ कार्यात्मक मल्टीप्लायर $\lambda(x,y)$ को एक सीमित डेटासेट के लिए नमूना-वार मल्टीप्लायर्स $\lambda_i$ द्वारा अनुमानित किया जाता है।

C. सीखा गया पॉइंटवाइज रिलैक्सेशन (Learned Pointwise Relaxation)

पॉइंटवाइज बाधाएं अत्यधिक प्रतिबंधात्मक हो सकती हैं, विशेष रूप से आउटलेर्स (outliers) की उपस्थिति में या जब बाधाएं प्राथमिक उद्देश्य के साथ संघर्ष करती हैं। इसे कम करने के लिए, लेखक एक सीखा हुआ, नमूना-निर्भर रिलैक्सेशन पेश करते हैं।

एक रिलैक्सेशन फंक्शन $u(x,y)$ को थ्रेशोल्ड $\varepsilon$ को $\varepsilon + u(x,y)$ तक बढ़ाने के लिए पेश किया गया है।
ऑब्जेक्टिव में एक उत्तल लागत फलन (convex cost function) $c(u)$ (विशेष रूप से एक द्विघात दंड $\beta \|u\|^2$ ) जोड़ा जाता है ताकि रिलैक्सेशन की गंभीरता और आवृत्ति को दंडित किया जा सके।
महत्वपूर्ण रूप से, रिलैक्सेशन वेरिएबल $u$ को सीधे अनुकूलित करने की आवश्यकता नहीं है। द्वैतता के माध्यम से, इसका प्रभाव ड्यूल समस्या में एक नियमितीकरण पद (regularization term) और ड्यूल वेरिएबल्स के रीस्केलिंग के रूप में अवशोषित हो जाता है। यह मॉडल को उपयोगकर्ता-निर्धारित रिलैक्सेशन लागत और प्रशिक्षण ऑब्जेक्टिव के बीच संतुलन बनाने की अनुमति देता है, जो प्रभावी रूप से बाधा उल्लंघन के "टेल" वितरण को नियंत्रित करता है।

3. मुख्य योगदान

पॉइंटवाइज बाधा ढांचा: शोध पत्र एक नया एलाइनमेंट ढांचा प्रस्तावित करता है जो इनपुट वितरण पर अपेक्षा के बजाय व्यक्तिगत इनपुट पर बाधाओं को लागू करता है, जो प्रदर्शन में असमानता को संबोधित करता है।
गैर-उत्तल शिक्षण के लिए ऑगमेंटेड लैग्रेंजियन: लेखक गैर-उत्तल न्यूरल नेटवर्क अनुकूलन में द्वैतता की कमी को दूर करने के लिए ऑगमेंटेड लैग्रेंजियन विधियों को पॉइंटवाइज कंट्रैस्टेड फाइन-ट्यूनिंग पर लागू करते हैं।
सीखा गया रिलैक्सेशन तंत्र: एक तंत्र पेश किया गया है जो लर्निंग टास्क और बाधाओं के रिलैक्सेशन को संयुक्त रूप से हल करता है, जो मैन्युअल ट्यूनिंग के बिना आउटलेर्स और संघर्षरत उद्देश्यों को संभालने के लिए एक उपयोगकर्ता-निर्धारित लागत को न्यूनतम करता है।
अनुभवजन्य सत्यापन: इस ढांचे को तीन अलग-अलग छोटे भाषा मॉडल (SLM) फाइन-ट्यूनिंग कार्यों में स्थापित किया गया है:
- निर्देश पालन और सुरक्षा (Instruction Following & Safety): सुरक्षित प्रॉम्प्ट्स पर हेल्पफुलनेस बनाए रखते हुए हानिकारक प्रॉम्प्ट्स को अस्वीकार करने को लागू करना।
- टूल कॉलिंग प्राथमिकताएं (Tool Calling Preferences): सही व्यवहार चयन (जैसे, टूल कॉल करना बनाम मतिभ्रम/hallucination) को लागू करना, जिसमें लेंथ-नॉर्मलाइज्ड लॉग-प्रोबेबिलिटी बाधाएं शामिल हैं।
- री-रैंकिंग और लंबाई अनुकूलन (Re-ranking & Length Optimization): रिट्रीवल प्रासंगिकता (relevance) और पैसेज लंबाई (टोकन दक्षता) के बीच संतुलन बनाना।

4. परिणाम

लेखक अनुभवजन्य रूप से प्रमाणित करते हैं कि उनका दृष्टिकोण औसत-बाधित और फिक्स्ड-पेनल्टी बेसलाइन्स की तुलना में टेल बाधा उल्लंघनों को काफी कम करता है और डाउनस्ट्रीम प्रदर्शन को काफी हद तक बनाए रखता है:

टेल उल्लंघनों में कमी: सभी कार्यों में, प्रस्तावित विधि औसत-बाधित और फिक्स्ड-पेनल्टी विधियों की तुलना में बड़े बाधा उल्लंघनों की आवृत्ति और गंभीरता को काफी कम करती है। बाधा उल्लंघनों का संचयी वितरण फलन (Cumulative Distribution Function - CDF) दिखाता है कि जबकि औसत विधियाँ "आसान" नमूनों को बड़े मार्जिन के साथ संतुष्ट करती हैं, वे "कठिन" नमूनों पर विफल रहती हैं; पॉइंटवाइज दृष्टिकोण निरंतर प्रदर्शन सुनिश्चित करता है।
बेहतर ट्रेड-ऑफ: विधि ऑब्जेक्टिव (जैसे, हेल्पफुलनेस, प्रासंगिकता) और बाधा मेट्रिक्स के बीच बेहतर पारेटो फ्रंटियर (Pareto frontiers) प्राप्त करती है।
- सुरक्षा (Safety) में, पॉइंटवाइज विधि ने केवल 5% हेल्पफुलनेस (विन रेट) की कमी के साथ असुरक्षित प्रॉम्प्ट्स पर 100% रिफ्यूजल रेट हासिल किया, जबकि समान सुरक्षा प्राप्त करने के लिए औसत बाधाओं को 9% हेल्पफुलनेस की कमी की आवश्यकता थी।
- टूल कॉलिंग में, पॉइंटवाइज बाधाओं ने विशिष्ट श्रेणियों की ओर प्रदर्शन को झुकाने वाली विधियों की तुलना में त्रुटि श्रेणियों में अधिक समान सुधार दिया।
- री-रैंकिंग में, विधि ने गुणवत्ता से समझौता किए बिना (MRR@10) पैसेज की लंबाई को सफलतापूर्वक कम किया, एक ऐसा ट्रेड-ऑफ जिसे औसत बाधाएं बिना गुणवत्ता खोए प्राप्त करने में विफल रहीं।
रिलैक्सेशन नियंत्रण: रिलैक्सेशन लागत में हाइपरपैरामीटर $\beta$ सख्त बाधा पालन और ऑब्जेक्टिव प्रदर्शन के बीच संतुलन को प्रभावी ढंग से नियंत्रित करता है, जिससे उपयोगकर्ताओं को विशिष्ट जोखिम सहिष्णुता के आधार पर मॉडल के व्यवहार को ट्यून करने की अनुमति मिलती है।

5. महत्व और दावे

शोध पत्र का दावा है कि एलएम (LM) को उच्च-जोखिम वाले डोमेन में तैनात करने के लिए, जहाँ औसत प्रदर्शन अपर्याप्त है, पॉइंटवाइज बाधाओं को लागू करना एक आवश्यक विकास है। इस कार्य का महत्व निम्नलिखित में निहित है:

वितरण संबंधी असमानताओं को संबोधित करना: यह सीधे उस मुद्दे को हल करता है जहाँ मॉडल टेल डेटा पर खराब प्रदर्शन करते हैं, यह सुनिश्चित करता है कि महत्वपूर्ण बाधाएं (जैसे सुरक्षा) विशिष्ट, संभावित रूप से संवेदनशील इनपुट के लिए उल्लंघन न करें।
व्यावहारिक अनुकूलन: ऑगमेंटेड लैग्रेंजियन विधियों और सीखे गए रिलैक्सेशन का लाभ उठाकर, यह ढांचा पॉइंटवाइज बाधाओं के लिए एक व्यावहारिक, स्केलेबल समाधान प्रदान करता है जो रिलैक्सेशन के बिना हर नमूने पर हार्ड बाधाओं को लागू करने की जटिलता से बचता है।
लचीलापन: इस ढांचे को विविध बाधाओं (सुरक्षा, प्राथमिकताएं, लंबाई) और कार्यों के लिए अनुकूलनीय दिखाया गया है, जो औसत-बाधित और फिक्स्ड-पेनल्टी विधियों की तुलना में 'वर्स्ट-केस' उल्लंघनों को कम करने के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि औसत बाधाएं सामान्य प्रदर्शन के लिए पर्याप्त हो सकती हैं, पॉइंटवाइज बाधाएं मजबूत, न्यायसंगत और सुरक्षित तैनाती के लिए आवश्यक हैं, जो उपयोगिता (utility) और बाधा संतुष्टि के बीच बेहतर ट्रेड-ऑफ प्रदान करती हैं।