Trustworthiness Costs of Domain Adaptation in Small Language Models:A Cross-Architecture Empirical Study
यह शोध पत्र एक व्यवस्थित क्रॉस-आर्किटेक्चर अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रकट करता है कि जबकि एडवर्सैरियली पर्सर्बड (adversarially perturbed) डेटा का उपयोग करके छोटे भाषा मॉडलों का डोमेन अनुकूलन प्रदर्शन में सुधार करता है और तथ्यात्मक अंशांकन (factual calibration) को नुकसान नहीं पहुँचाता है, डार्क एक्सपीरियंस रिप्ले (Dark Experience Replay) और टास्क अरिथमेटिक लोरा (Task Arithmetic LoRA) जैसी सामान्य सुरक्षा-संरक्षण रणनीतियाँ एडवर्सैरियल मजबूती बनाए रखने में विफल रहती हैं और हानिकारक आउटपुट के प्रति संवेदनशीलता को महत्वपूर्ण रूप से बढ़ा सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, बेहद बुद्धिमान रोबोट है जिसे सब कुछ थोड़ा-बहुत पता है—इतिहास, खाना बनाना, अंतरिक्ष और चुटकुले। इसे हम "लार्ज लैंग्वेज मॉडल" (Large Language Model) कहते हैं। लेकिन कभी-कभी, यह रोबोट इतना बड़ा और महंगा होता है कि इसे एक साधारण लैपटॉप पर चलाना मुश्किल होता है, और बहुत विशिष्ट सवाल पूछे जाने पर यह भ्रमित भी हो सकता है, जैसे कि "मैं टूटी हुई टांग का इलाज कैसे करूँ?" या "इस कानूनी अनुबंध का क्या अर्थ है?" इस समस्या को ठीक करने के लिए, वैज्ञानिक इनके छोटे, सस्ते संस्करण बनाते हैं जिन्हें "स्मॉल लैंग्वेज मॉडल" (Small Language Models - SLMs) कहा जाता है। इन्हें रोबोट के छोटे, तेज़ चचेरे भाइयों की तरह समझें जो एक विशिष्ट काम सीखने के लिए तैयार हैं।
बड़ा सवाल यह है: जब हम इन बुद्धिमान-परंतु-छोटे रोबोटों को एक नया, विशिष्ट कौशल सिखाते हैं, तो क्या होता है? यह एक सामान्य ज्ञान वाले जीनियस को मेडिकल स्कूल भेजने जैसा है। हम जानते हैं कि वे तथ्य सीख सकते हैं, लेकिन क्या वे ईमानदार बने रहेंगे? क्या वे अभी भी एक वास्तविक चिकित्सा तथ्य और एक मनगढ़ंत तथ्य के बीच अंतर कर पाएंगे? और अगर कोई उन्हें भ्रमित करने वाले सवालों से ठगने की कोशिश करता है, तो क्या वे टूट जाएंगे? यह "विश्वसनीयता" (trustworthiness) की दुनिया है। यह केवल स्मार्ट होने के बारे में नहीं है; यह सुरक्षित, सटीक और चालाकी से बचने के बारे में भी है। शोधकर्ताओं को डर है कि जब हम इन रोबोटों को एक नया काम सिखाते हैं, तो हम अनजाने में उनके "सुरक्षा ब्रेक" (safety brakes) को तोड़ सकते हैं या उन्हें झूठ बोलना शुरू करवा सकते हैं, भले ही वे अपने काम में बेहतर हो रहे हों।
यह शोध पत्र एक विशाल, सावधानीपूर्वक किए गए प्रयोग की तरह है जहाँ एक शोधकर्ता ने तीन अलग-अलग छोटे रोबोटिक दिमागों को एक कठोर प्रशिक्षण शिविर से गुजारा ताकि यह देखा जा सके कि नया कौशल सीखते समय उनकी ईमानदारी और सुरक्षा के साथ वास्तव में क्या होता है। शोधकर्ता ने तीन अलग-अलग रोबोट मॉडल (TinyLlama, Gemma-2, और Llama 3.2) का परीक्षण किया और उन्हें तीन बहुत ही गंभीर काम सिखाए: स्वास्थ्य सेवा (healthcare), कानून (law), और वित्त (finance)। उन्होंने उन्हें दो तरीकों से सिखाने की कोशिश की: सामान्य, साफ-सुथरी पाठ्यपुस्तकों (benign data) के साथ और ऐसी पाठ्यपुस्तकों के साथ जिन्हें भ्रमित करने वाली चालों और झूठों के साथ गुप्त रूप से बिगाड़ा गया था (adversarial data)। उन्होंने यह देखने के लिए चार अलग-अलग "शिक्षण विधियों" का भी परीक्षण किया कि क्या उनमें से कोई भी प्रशिक्षण के दौरान रोबटों की सुरक्षा को बनाए रख सकता है।
यहाँ उन्हें क्या मिला, और यह थोड़ा आश्चर्यजनक है। पहला, जब उन्होंने केवल मानक तरीके का उपयोग करके रोबोटों को उनके नए काम सिखाया, तो रोबोट सच बोलने में वास्तव में खराब नहीं हुए। उनका "ईमानदारी स्कोर" (honesty score) लगभग अपरिवर्तित रहा। इससे पता चलता है कि नया काम सीखना उन्हें स्वचालित रूप से झूठा नहीं बनाता है।
दूसना, शोधकर्ता ने एक अजीब तरकीब आजमाई: उन्होंने रोबोटों को ऐसी पाठ्यपुस्तकें दीं जिन्हें जानबूझकर भ्रमित करने वाले तथ्यों और चालों के साथ बिगाड़ा गया था। आप सोच सकते हैं कि इससे रोबोट भ्रमित हो जाएंगे, लेकिन वास्तव में, इसने उन्हें अपना नया काम बेहतर तरीके से सीखने में मदद की। यह एक छात्र को ट्रिकी (tricky) सवालों वाले अभ्यास परीक्षण देने जैसा था; जब उन्होंने वास्तविक परीक्षा दी, तो उन्होंने बहुत अच्छा प्रदर्शन किया। हालाँकि, इसने उन्हें चालों या हमलों का प्रतिरोध करने में बेहतर नहीं बनाया; इसने केवल उन्हें काम में बेहतर बनाया।
सबसे महत्वपूर्ण हिस्सा "सुरक्षा गार्डों" (safety guards) के बारे में है। शोधकर्ता ने तीन विशेष विधियों का परीक्षण किया जिन्हें सीखते समय रोबोटों को सुरक्षित रखने के लिए डिज़ाइन किया गया था। एक विधि एक तटस्थ सुरक्षा जाल (neutral safety net) होने वाली थी और अन्य दो सुपर-सुरक्षात्मक ढाल (super-protective shields) होने वाली थीं। "सुपर-प्रोटेक्टिव" विचारों के लिए परिणाम थोड़े निराशाजनक थे। तटस्थ विधि ने वास्तव में कुछ नहीं किया (यह एक ऐसे सुरक्षा जाल की तरह था जो कुछ भी पकड़ने के लिए बहुत ढीला था)। लेकिन दो "सुपर-प्रोटेक्टिव" विधियों ने रोबोटों को ठगे जाने के प्रति अधिक संवेदनशील बना दिया! कुछ मामलों में, इन सुरक्षा विधियों ने रोबोटों को सुरक्षा परीक्षणों में भारी अंतर से विफल कर दिया—कुछ विशिष्ट स्थितियों में 45% तक बदतर।
तो, मुख्य निष्कर्ष यह है: एक छोटे, स्मार्ट रोबोट को नया काम सिखाना उसे स्वचालित रूप से झूठ बोलने के लिए मजबूर नहीं करता है, लेकिन वे फैंसी "सुरक्षा ढाल" जिन्हें उन्हें सीखते समय सुरक्षित रखने के लिए बनाया गया था, वास्तव में उन्हें कमजोर बना सकती हैं! रोबोट जो प्रशिक्षण से पहले सुरक्षित थे, वे सुरक्षित ही रहे, लेकिन जो नए तरीकों द्वारा "सुपर-प्रोटेक्टेड" होने के लिए थे, वे अधिक आसानी से भ्रमित हो गए। ऐसा लगता है कि सुरक्षा के लिए जो चालें हम सामान्य रोबोटों के लिए उपयोग करते हैं, वे चिकित्सा या कानून जैसे बहुत विशिष्ट, उच्च-दांव वाले काम सीखते समय एक समान काम नहीं करती हैं। शोधकर्ता सुझाव देते हैं कि हमें इन विशिष्ट रोबोटों को सुरक्षित रखने के तरीके पर पुनर्विचार करने की आवश्यकता है, क्योंकि वर्तमान "जादुई ढाल" फायदे से अधिक नुकसान पहुँचा सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।