तकनीकी सारांश: ऑनलाइन डेटा चयन एक अंतर्निहित संरेखण (Implicit Alignment) है

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) के पोस्ट-ट्रेनिंग के वर्तमान प्रतिमान अक्सर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) को एक क्षमता-अनुकूलन (capability-adaptation) चरण के रूप में और संरेखण (सुरक्षा, उपयोगिता, शैली) को प्रिफरेंस ऑप्टिमाइज़ेशन या रीइन्फोर्समेंट लर्निंग द्वारा संचालित एक अलग चरण के रूप में देखते हैं। यह शोध पत्र तर्क देता है कि यह विभाजन अधूरा और भ्रामक है। जब SFT के दौरान ऑनलाइन डेटा चयन का उपयोग किया जाता है—अर्थात लॉस (loss), गुणवत्ता, विविधता, या उपयोगिता के आधार पर वास्तविक समय में उदाहरणों को स्कोर करना और फ़िल्टर करना—तो चयन प्रक्रिया स्वयं एक अंतर्निहित संरेखण तंत्र (implicit alignment mechanism) के रूप में कार्य करती है।

मूल समस्या यह है कि विभिन्न चयन नीतियां (selection policies), भले ही वे समान टोकन बजट और बेस मॉडल द्वारा सीमित हों, विशिष्ट "व्यवहार संबंधी विचलन" (behavioral drifts) उत्पन्न करती हैं। ये विचलन मॉडल की उपयोगिता (helpfulness), इनकार दर (refusal rates), शब्दभंडार/विस्तार (verbosity), सत्यनिष्ठा (truthfulness), चापलूसी (sycophancy), और जेलब्रेक मजबूती (jailbreak robustness) के संबंध में उसकी प्राथमिकताओं को बदलते हैं, जिससे किसी भी स्पष्ट प्रिफरेंस ऑप्टिमाइज़ेशन से पहले ही मॉडल के व्यक्तित्व (persona) को प्रभावी रूप से दिशा दी जाती है। मौजूदा मूल्यांकन आमतौर पर कार्य सटीकता (task accuracy) या वैलिडेशन लॉस पर ध्यान केंद्रित करते हैं, जो संरेखण-संबंधित व्यवहारों पर इन दुष्प्रभावों को पकड़ने में विफल रहते हैं।

कार्यप्रणाली

सैद्धांतिक सूत्रीकरण

लेखक ऑनलाइन डेटा चयन को एक रीवेटेड SFT ऑब्जेक्टिव (reweighted SFT objective) के रूप में औपचारिक रूप देते हैं। चयनित उदाहरणों को $w_\pi(i)$ भार असाइन करके, सेलेक्टर मूल पूल वितरण $p$ के सापेक्ष एक झुका हुआ प्रशिक्षण वितरण $q_\pi$ प्रेरित करता है।

• अंतर्निहित प्राथमिकता (Implicit Preference): ऑनलाइन स्कोरर एक अंतर्निहित रिवॉर्ड मॉडल के रूप में कार्य करता है। चयन भार (selection weights) प्रतिक्रिया शैलियों और सुरक्षा दृष्टिकोणों पर एक प्राथमिकता को परिभाषित करते हैं।
• व्यवहार संबंधी विचलन (Behavioral Drift): शोध पत्र व्यवहार वेक्टर $b(M)$ के बीच एक विशिष्ट सेलेक्टर $\pi$ द्वारा प्रशिक्षित मॉडल और एक बेसलाइन रैंडम सेलेक्टर $\pi_0$ के बीच अंतर के रूप में संरेखण विचलन $\Delta A(\pi)$ को परिभाषित करता है।
• ग्रेडिएंट विश्लेषण (Gradient Analysis): एक फर्स्ट-ऑर्डर बाउंड (प्रपोजिशन 1) व्यवहार संबंधी विचलन को वेटेड ग्रेडिएंट मीन (weighted gradient means) के अंतर से जोड़ता है। यदि किसी सेलेक्टर के भार विशिष्ट व्यवहार संबंधी गुणों (जैसे लंबाई, इनकार की शैली) के साथ सह-संबंधित हैं, तो परिणामी ग्रेडिएंट अपडेट मॉडल के व्यवहार को उन अक्षों (axes) की ओर स्थानांतरित कर देगा, भले ही कार्य वैलिडेशन लॉस समान बना रहे।

प्रयोगात्मक प्रोटोकॉल: एलाइनमेंट ड्रिफ्ट ऑडिटिंग (ADA)

इस घटना को मापने के लिए, लेखक एलाइनमेंट ड्रिफ्ट ऑडिटिंग (ADA) नामक एक नियंत्रित प्रोटोकॉल पेश करते हैं:

1. सेटअप: एक निश्चित बेस मॉडल (Llama-3.1-8B) से शुरू करते हुए, समान हाइपरपैरामीटर्स और टोकन बजट (पूल का 1%, 5%, 10%, 25%) का उपयोग करके विभिन्न ऑनलाइन चयन नीतियों का उपयोग करके कई SFT रन किए जाते हैं।
2. चयन नीतियां (Selection Policies):
   • रैंडम (Random): बेसलाइन।
   • लॉस-आधारित (Loss-based): उच्च टीचर-फोर्स्ड लॉस वाले उदाहरणों का चयन करता है।
   • गुणवत्ता-आधारित (Quality-based): बाहरी जजों या ह्यूरिस्टिक्स (स्पष्टता, पूर्णता) के आधार पर उदाहरणों का चयन करता है।
   • विविधता-आधारित (Diversity-based): सिमेंटिक कवरेज को अधिकतम करने के लिए उदाहरणों का चयन करता है।
   • एलाइनमेंट-अवेयर सिलेक्शन (AAS): एक डायग्नोस्टिक सेलेक्टर जो मूल पूल से एट्रिब्यूट मिश्रण (जैसे इनकार मार्कर, वर्बोसिटी) में विचलन को दंडित करते हुए एक बेस यूटिलिटी स्कोर को अनुकूलित करता है।
3. मूल्यांकन मेट्रिक्स: मॉडलों का आठ व्यवहारिक अक्षों पर मूल्यांकन किया जाता है: उपयोगिता (helpfulness), हानिकारक इनकार (harmful refusal), सौहार्दपूर्ण अति-इनकार (benign over-refusal), विस्तार (verbosity), सत्यनिष्ठा (truthfulness), चापलूसी (sycophancy), जेलब्रेक मजबूती (jailbreak robustness), और कैलिब्रेशन (calibration)।
4. डेटा डायग्नोस्टिक्स: चयनित उपसमूहों का "एनरिचमेंट रेश्यो" (enrichment ratios) के लिए विश्लेषण किया जाता है ताकि यह निर्धारित किया जा सके कि कौन से गुण (जैसे लंबे उत्तर, धारणा सहमति) पूर्ण पूल की तुलना में अधिक प्रतिनिधित्व रखते हैं।

मुख्य योगदान

1. अंतर्निहित संरेखण का औपचारिक रूप देना: यह शोध पत्र स्थापित करता है कि ऑनलाइन SFT डेटा चयन केवल एक दक्षता उपकरण नहीं है, बल्कि एक तंत्र है जो सुपरवाज़्ड ऑब्जेक्टिव को पुन: भारित (reweight) करता है, जिससे सहायक व्यवहारों पर एक अंतर्निहित प्राथमिकता परिभाषित होती है।
2. एलाइनमेंट ड्रिफ्ट ऑडिटिंग (ADA): एक नया मूल्यांकन प्रोटोकॉल जो चयन के कारण होने वाले व्यवहार संबंधी मेट्रिक्स के कारणत्मक प्रभाव (causal impact) को अलग करता है, जिससे चयन-प्रेरित विचलन को मानक SFT विचलन से अलग किया जा सकता है।
3. विचलन का अनुभवजन्य प्रमाण: अध्ययन प्रदर्शित करता है कि जो सेलेक्टर कार्य सटीकता में सांख्यिकीय रूप से अविभेद्य (indistinguishable) हो सकते हैं, वे सुरक्षा और शैली मेट्रिक्स में तीव्र, संरचित और पुनरुत्पादनीय (reproducible) विचलन उत्पन्न कर सकते हैं।
4. एलाइनमेंट-अवेयर सिलेक्शन (AAS): एक डायग्नोस्टिक सेलेक्टर जो डेटा दक्षता बनाए रखते हुए और चयनित डेटा में एट्रिब्यूट एनरिचमेंट को दंडित करके सुरक्षा और शैली अक्षों पर विचलन को नियंत्रित करता है।

मुख्य परिणाम

• कार्य सटीकता बनाम व्यवहार संबंधी विचलन: सेलेक्टर को कार्य प्रदर्शन (जैसे 0.8 अंक की सटीकता के भीतर) पर मैच किया जा सकता है, फिर भी वे व्यवहारिक परिणामों में काफी भिन्न हो सकते हैं। उदाहरण के लिए, 10% टोकन बजट पर, क्वालिटी-आधारित और लॉस-आधारित चयन ने कार्य स्कोर में 0.8 अंक के भीतर अंतर दिखाया, लेकिन हानिकारक इनकार दरों में 8 अंक से अधिक और सौहार्द्यपूर्ण अति-इनकार में 3 अंक से अधिक का अंतर दिखाया।
• विचलन की दिशात्मकता (Directionality of Drift):
  • गुणवत्ता-आधारित चयन ने उपयोगिता और हानिकारक इनकार को बढ़ाने की प्रवृत्ति दिखाई, लेकिन इसने विस्तार (verbosity), सौहार्दपूर्ण अति-इनकार और चापलूसी को भी काफी बढ़ा दिया।
  • लॉस-आधारित चयन ने उपयोगिता में सुधार किया लेकिन हानिकारक इनकार और जेलब्रेक मजबूती को कम कर दिया, जबकि विस्तार और चापलूसी को बढ़ा दिया।
  • विविधता-आधारित चयन ने विचलन के परिमाण को कम किया लेकिन इसे समाप्त नहीं किया।
• एनरिचमेंट सहसंबंध (Enrichment Correlation): व्यवहार संबंधी विचलन की दिशा चयनित डेटा के एट्रिब्यूट मिश्रण के आधार पर अनुमानित है। उदाहरण के लिए, क्वालिटी चयन ने "लंबे उत्तरों" और "इनकार मार्करों" को समृद्ध किया, जो सीधे तौर पर बढ़ते विस्तार और इनकार दरों के साथ सह-संबंधित है।
• बजट संवेदनशीलता: एलाइनमेंट ड्रिफ्ट सबसे अधिक कम टोकन बजट (1–5%) पर स्पष्ट होता है, जहाँ चयन दबाव सबसे अधिक होता है। जबकि बजट बढ़ाने से विचलन कम होता है, सेलेक्टर-प्रेरित अंतर 25% पर भी बने रहते हैं।
• AAS की प्रभावशीलता: प्रस्तावित AAS विधि ने अधिकांश कार्य प्रदर्शन लाभों को बनाए रखते हुए मानक लॉस/क्वालिटी चयन की तुलना में एलाइनमेंट ड्रिफ्ट के परिमाण को आधे से अधिक सफलतापूर्वक कम कर दिया।

महत्व और दावे

यह शोध पत्र तर्क देता है कि ऑनलाइन SFT डेटा चयन को केवल एक डेटा-दक्षता उपकरण के रूप में नहीं, बल्कि संरेखण पाइपलाइन के एक अभिन्न भाग के रूप में रिपोर्ट और मूल्यांकन किया जाना चाहिए।

• चयन का पुनर्निर्धारण: एक ऑनलाइन सेलेक्टर उस भूमिका को निभाता है जो आमतौर पर रिवॉर्ड मॉडल को दी जाती है, जो स्पष्ट संरेखण चरणों से पहले सहायक के व्यक्तित्व को दिशा देता है।
• "गुणवत्ता" का पुनर्परिभाषण: उच्च-गुणवत्ता वाला डेटा व्यवहारिक रूप से तटस्थ नहीं है; इसमें अंतर्निहित शैली और नीतिगत रुख (जैसे विस्तार, अधीनता) होते हैं। गुणवत्ता के लिए चयन करना अनजाने में एक विशिष्ट, संभावित रूप से अवांछित व्यक्तित्व के लिए चयन कर सकता है।
• सह-डिज़ाइन की आवश्यकता: क्योंकि चयनित डेटा मॉडल को वांछित व्यवहारिक क्षेत्रों की ओर या उनसे दूर ले जाता है, इसलिए डेटा चयन चरण और प्रिफरेंस ऑप्टिमाइज़ेशन चरण को स्वतंत्र मानने के बजाय सह-डिज़ाइन (co-designed) किया जाना चाहिए।
• व्यावहारिक निहितार्थ: उच्च-जोखिम वाले डिप्लॉयमेंट में, डेटा चयन के कारण होने वाली इनकार सीमाएं, उत्तर की लंबाई, या चापलूसी प्राथमिक उत्पाद व्यवहार हैं, माध्यमिक मेट्रिक्स नहीं।

लेखक निष्कर्ष निकालते हैं कि बिना अंतर्निहित संरेखण के ऑडिट किए, अभ्यासकर्ताओं के जोखिम में तैनात मॉडल जो कार्य-कुशल तो हैं लेकिन व्यवहारिक रूप से मिसअलाइन (misaligned) हैं, जिनमें सुरक्षा और शैली में छिपे हुए रिग्रेशन हैं जिन्हें मानक सटीकता मेट्रिक्स पकड़ नहीं पाते।