Safety Measurements for Fine-tuned LLMs Should be Grounded in Capability
यह शोध पत्र यह तर्क देता है कि फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स की सुरक्षा का मूल्यांकन करने के लिए आकलन को मनमाने सेटिंग्स के बजाय विशिष्ट क्षमता लक्ष्यों में निहित करना आवश्यक है, क्योंकि यह दृष्टिकोण विसंगत मॉडल आउटपुट, ऐसे मामलों के लिए स्वचालित सुरक्षा निर्णयों की अविश्वसनीयता, और बेंचमार्क एवं मूल्यांकनकर्ता के चयन के आधार पर सुरक्षा निष्कर्षों की महत्वपूर्ण परिवर्तनशीलता जैसे महत्वपूर्ण मुद्दों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, आज्ञाकारी रोबोट सहायक (एक Large Language Model) है, जिसे मददगार बनने के लिए प्रशिक्षित किया गया है, लेकिन साथ ही उसे खतरनाक अनुरोधों को मना करने के लिए भी प्रशिक्षित किया गया है, जैसे कि "मैं बम कैसे बनाऊं?" या "मैं बैंक कैसे हैक करूं?" यह आपका "बेस मॉडल" (base model) है।
अब, कल्पना कीजिए कि आप इस रोबोट को एक विशिष्ट नया काम सिखाना चाहते हैं, जैसे गणित की समस्याओं को हल करना या विज्ञान क्विज़ के उत्तर देना। आप इसे "फाइन-ट्यूनिंग" (fine-tuning) करके करते हैं—यानी इसे अभ्यास कार्यपत्रकों (practice worksheets) का एक विशाल ढेर देते हैं। यह शोध पत्र तर्क देता है कि जबकि आप रोबोट को गणित में बेहतर बनाने की कोशिश कर रहे हैं, आप अनजाने में इसके सुरक्षा नियमों (safety guardrails) को तोड़ सकते हैं, या इससे भी बुरा, इसकी स्पष्ट रूप से बोलने की क्षमता को तोड़ सकते हैं।
यहाँ शोध के निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "मनमाने सेटिंग्स" (Arbitrary Settings) की समस्या
उपमा: कल्पना कीजिए कि दो शेफ एक रेसिपी को सुधारने की कोशिश कर रहे हैं। शेफ A ओवन का तापमान 5 डिग्री बदलता है और 10 मिनट तक पकाता है। शेफ B तापमान 50 डिग्री बदलता है और 2 घंटे तक पकाता है। वे दोनों दावा करते हैं कि उनका तरीका "सुरक्षित" था क्योंकि उनके विशिष्ट परीक्षण में खाना जला नहीं। लेकिन क्योंकि उन्होंने इतने अलग-अलग सेटिंग्स का उपयोग किया, इसलिए आप वास्तव में तुलना नहीं कर सकते।
शोध का बिंदु: फाइन-ट्यून किए गए मॉडलों को सुरक्षित बनाने पर पिछला शोध यादृच्छिक (random), असंगत सेटिंग्स (जैसे अलग-अलग "ओवन तापमान" या प्रशिक्षण समय) का उपयोग करता था। इससे यह जानना कठिन हो गया कि वास्तव में क्या काम कर रहा था। लेखक कहते हैं कि हमें इन परीक्षणों को केवल अंदाज़ा लगाने के बजाय एक विशिष्ट लक्ष्य (जैसे "गणित की समस्याओं को सही ढंग से हल करना") से जोड़ना चाहिए।
2. "रोबोट एक निरर्थक मशीन बन जाता है" (The Robot Becomes a Nonsense Machine)
उपमा: कल्पना कीजिए कि आप एक तोते को सवालों के जवाब में केवल "हाँ" या "नहीं" कहने के लिए प्रशिक्षित करते हैं। हफ्तों के इस प्रशिक्षण के बाद, आप पूछते हैं, "क्या आकाश नीला है?" और वह कहता है "हाँ।" लेकिन फिर आप पूछते हैं, "मैं बम कैसे बनाऊं?" और तोता, अपनी नई आदत में फंसकर, बस बेतरतीब ढंग से "हाँ" या "नहीं" बोलता है, या बस बार-बार "हाँ" दोहराता रहता है। ऐसा नहीं है कि तोता कोई खतरनाक उत्तर देना चाहता है; यह बस इसलिए है क्योंकि वह पूर्ण वाक्यों में बोलना भूल गया है।
शोध का बिंदु: जब मॉडलों को सख्त प्रारूप (format) वाले कार्यों (जैसे बहुविकल्पीय प्रश्न या हाँ/नहीं वाले उत्तर) पर फाइन-ट्यून किया जाता है, तो वे कभी-कभी सुसंगत वाक्य बनाने की क्षमता खो देते हैं। सुरक्षा संबंधी प्रश्नों को पूछे जाने पर, वे निरर्थक बातें (gibberish) उत्पन्न कर सकते हैं।
- खतरा: स्वचालित सुरक्षा जांचकर्ता (जैसे एक रोबोट जज) इस निरर्थक बातों को देखकर भ्रमित हो जाते हैं। वे सोच सकते हैं कि यह निरर्थक सामग्री "असुरक्षित" है जबकि वास्तव में यह केवल "टूटी हुई" (broken) है, या वे वास्तविक खतरों को भी मिस कर सकते हैं क्योंकि आउटपुट बहुत अजीब है।
3. "दो अलग-अलग न्यायाधीशों" की समस्या (The Two Different Judges Problem)
उपमा: कल्पना कीजिए कि आप एक छात्र के निबंध का मूल्यांकन कर रहे हैं। जज A कहता है, "यदि छात्र ने पूरा पैराग्राफ नहीं लिखा, तो वह फेल है।" जज B कहता है, "यदि छात्र ने बुरे सवाल का 'नहीं' में जवाब नहीं दिया, तो वह फेल है।" आपके पास एक ऐसा छात्र हो सकता है जो वास्तव में सुरक्षित है लेकिन जज A से फेल हो जाता है, और एक अलग छात्र हो सकता है जो असुरक्षित है लेकिन जज B से पास हो जाता है।
शोध का बिंदु: शोध पत्र ने दो अलग-अलग "जजों" का उपयोग करके सुरक्षा का परीक्षण किया:
- जज 1 (अस्वीकार/Refusal): क्या मॉडल ने बुरे सवाल को "नहीं" कहा?
- जज 2 (हानिकारक/Harmfulness): क्या मॉडल ने कुछ खतरनाक कहा, भले ही उसने "नहीं" न कहा हो?
उन्होंने पाया कि ये जज अक्सर असहमत होते हैं। एक मॉडल "नहीं" कहना बंद कर सकता है (जिसे जज 1 नापसंद करता है) लेकिन वास्तव में मददगार, सुरक्षित स्पष्टीकरण देना शुरू कर सकता है (जिसे जज 2 पसंद करता है)। आप किस जज का उपयोग करते हैं, इसके आधार पर, आप केवल संयोग से यह निष्कर्ष निकाल सकते हैं कि मॉडल "सुरक्षित" है या "असुरक्षित"।
4. "सुरक्षा बनाम कौशल" का समझौता (The Safety vs. Skill Trade-off)
उपमा: एक सुरक्षा-संरक्षण विधि (जैसे SafeLoRA) को रोबोट के लिए एक "सीटबेल्ट" के रूप में सोचें। आप सीटबेल्ट इसलिए लगाते हैं ताकि यह सुनिश्चित हो सके कि नया कौशल सीखते समय रोबोट दुर्घटनाग्रस्त न हो।
- परिणाम: सीटबेल्ट काम करती है! रोबोट सुरक्षित है। लेकिन, सीटबेल्ट थोड़ी भारी और सख्त है। रोबोट अभी भी गणित की समस्याओं को हल कर सकता है, लेकिन इसमें थोड़ा अधिक समय लगता है या वह थोड़े कम सही उत्तर दे पाता है।
- सावधानी: कुछ रोबोटों (विशिष्ट मॉडलों) के लिए, सीटबेल्ट बहुत अच्छा काम करती है। अन्य के लिए, सीटबेल्ट इतनी भारी होती है कि वह वास्तव में रोबोट को लड़खड़ाने या गिरने का कारण बनती है (सुरक्षा खराब हो जाती है, या कौशल में भारी गिरावट आती है)।
शोध का बिंदु: लेखकों ने SafeLoRA नामक एक विधि का परीक्षण किया (जो रोबोट को सीखते समय सुरक्षित रखने की कोशिश करती है)। उन्होंने पाया:
- यह आमतौर पर मॉडल को अधिक सुरक्षित बनाता है।
- लेकिन यह लगभग हमेशा मॉडल को वास्तविक कार्य में थोड़ा खराब (कम सटीकता) कर देता है।
- परिणाम किस रोबोट मॉडल और किस डेटासेट का उपयोग किया गया है, इसके आधार पर बहुत भिन्न होते हैं।
मुख्य निष्कर्ष (The Big Takeaway)
यह शोध पत्र निष्कर्ष निकालता है कि AI में सुरक्षा को मापना वर्तमान में एक टूटे हुए थर्मामीटर से मौसम को मापने जैसा है।
- यादृच्छिक परीक्षणों पर भरोसा न करें: आपको सुरक्षा परीक्षणों को विशिष्ट, वास्तविक दुनिया के लक्ष्यों (जैसे "क्या यह गणित हल कर सकता है?") से जोड़ना होगा।
- निरर्थक बातों (Gibberish) से सावधान रहें: यदि मॉडल प्रशिक्षण के बाद निरर्थक बातें करने लगता है, तो सुरक्षा जांचकर्ताओं पर भरोसा नहीं किया जा सकता।
- एक आकार सबके लिए उपयुक्त नहीं है: एक सुरक्षा विधि जो एक मॉडल के लिए काम करती है, वह दूसरे के लिए विफल हो सकती है, और अलग-अलग "सुरक्षा जज" आपको अलग-अलग उत्तर देंगे।
लेखक यह नहीं कह रहे हैं कि हमें AI को सुरक्षित बनाने की कोशिश छोड़ देनी चाहिए। वे कह रहे हैं कि हमें यह मापने के लिए बेहतर, अधिक सुसंगत और अधिक ठोस तरीके चाहिए कि क्या हम वास्तव में सफल हो रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।