CANARY: Zero-Label Detection of Fine-Tuning Contamination in Language Models
यह शोध पत्र CANARY को प्रस्तुत करता है, जो एक ज़ीरो-लेबल फ्रेमवर्क है जो स्पार्स ऑटोएनकोडर (Sparse Autoencoders) के माध्यम से हिडन-स्टेट ज्योमेट्री (hidden-state geometry) का विश्लेषण करके लैंग्वेज मॉडल्स में फाइन-ट्यूनिंग कंटैमिनेशन (fine-tuning contamination) का पता लगाता है, उसे सत्यापित करता है और उसका उपचार करता है, और उन कंटैमिनेशन स्तरों पर भी पूर्ण डिटेक्शन प्राप्त करता है जो 1% तक कम हैं जहाँ पारंपरिक आउटपुट-लेवल डिफेंस विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक भरोसेमंद निर्माता से बिल्कुल नई, उच्च गुणवत्ता वाली कार खरीदी है। इससे पहले कि आप इसे शोरूम से बाहर ले जाएं, एक चालाक मैकेनिक केवल एक टायर (कार के हिस्सों का लगभग 1%) को बदलकर एक छिपा हुआ, खतरनाक टायर लगा देता है।
डरावनी बात यह है: कार बिल्कुल सामान्य दिखती है और चलती भी ठीक है। यदि आप इसकी टेस्ट ड्राइव लेते हैं, तो इंजन की आवाज़ सामान्य होती है, ब्रेक काम करते हैं, और रेडियो संगीत बजाता है। आप कार को देखकर या उसके आसपास गाड़ी चलाकर यह नहीं जान सकते कि कुछ गलत है। खतरा "सुप्त" (dormant) अवस्था में है: यह कार की आंतरिक वायरिंग के अंदर छिपा हुआ है, जो किसी बहुत ही विशिष्ट, दुर्लभ स्थिति के उत्पन्न होने का इंतज़ार कर रहा है।
यह बिल्कुल वैसा ही है जैसा कि CANARY पेपर के बारे में है, लेकिन कारों के बजाय, यह AI लैंग्वेज मॉडल्स के बारे में है।
समस्या: अदृश्य ज़हर (The Invisible Poison)
AI मॉडल्स को अक्सर कंपनियों द्वारा उन्हें विशिष्ट कार्यों में बेहतर बनाने के लिए "फाइन-ट्यून" (आगे प्रशिक्षित) किया जाता है। एक हमलावर उनके ट्रेनिंग डेटा में थोड़ा सा "ज़हर" (हानिकारक निर्देश)—मान लीजिए, उदाहरणों का केवल 1%—छिपा सकता है।
- पुराने बचाव विफल रहे: पिछले सुरक्षा परीक्षणों ने AI से "कुछ लिखने" के लिए कहकर और लिखे गए टेक्स्ट में बुरे शब्दों को स्कैन करके इसे पकड़ने की कोशिश की। लेकिन यह पेपर दिखाता है कि यदि ज़हर ट्रेनिंग डेटा का 7.5% से कम है, तो AI कभी भी कुछ बुरा नहीं लिखता। वह चुप रहता है। पुराने रक्षक इस खतरे के प्रति अंधे हैं।
- छिपा हुआ बदलाव: भले ही AI सामान्य टेक्स्ट लिखता है, लेकिन उसका आंतरिक "मस्तिष्क" (हिडन स्टेट्स) थोड़ा सा बदल गया है। यह ऐसा है जैसे कार की आंतरिक वायरिंग अब सूक्ष्म रूप से गलत संरेखित (misaligned) हो गई है, भले ही पहिए ठीक से घूम रहे हों।
समाधान: CANARY (AI के मस्तिष्क के लिए एक्स-रे मशीन)
शोधकर्ताओं ने CANARY नामक एक टूल बनाया है जो AI के मस्तिष्क के लिए एक एक्स-रे मशीन की तरह काम करता है।
- लेबल की आवश्यकता नहीं: आमतौर पर, किसी समस्या को खोजने के लिए, आपको तुलना करने के लिए "बुरे उदाहरणों" की एक सूची की आवश्यकता होती है। CANARY को इसकी आवश्यकता नहीं है। यह "ज़ीरो-लेबल" दृष्टिकोण के साथ काम करता है, जिसका अर्थ है कि इसे पहले से यह जानने की ज़रूरत नहीं है कि "बुरा" क्या दिखता है।
- दो-चरण वाला परीक्षण (The Two-Pass Test): यह सामान्य प्रश्नों की एक सूची लेता है (जैसे, "मैं अपनी दवाओं का प्रबंधन कैसे करूँ?") और उन्हें दो मॉडल्स के माध्यमों से चलाता है:
- ओरिजिनल मॉडल (साफ, सुरक्षित संस्करण)।
- सस्पेक्ट मॉडल (वह मॉडल जो ज़हरीला हो सकता है)।
- "SAE" फ़िल्टर: यह टूल दोनों मॉडल्स के आंतरिक "विचारों" की तुलना करता है। यह एक विशेष फ़िल्टर का उपयोग करता है जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है।
- उपमा: कल्पना करें कि दोनों मॉडल्स के बीच का अंतर बातचीत की एक शोर भरी रिकॉर्डिंग है। इस शोर में चीजें शामिल हैं जैसे "व्यक्ति कैसे बोलता है" (शैली, विराम चिह्न, लहजा)। SAE फ़िल्टर एक नॉइज़-कैंसलिंग हेडफ़ोन की तरह कार्य करता है जो शैली और वॉल्यूम को म्यूट (शांत) करता है लेकिन वास्तविक अर्थ को बढ़ाता है।
- यह AI के तर्क में सूक्ष्म, खतरनाक बदलाव को अलग करने के लिए "फालतू चीज़ों" को हटा देता है।
परिणाम: अदृश्य को पकड़ना
- अत्यधिक शीघ्र पहचान: जहाँ अन्य तरीकों को अलार्म बजाने के लिए 7.5% ज़हर की आवश्यकता होती है, CANARY इसे 1% पर ही पकड़ लेता है। यह किसी भी अन्य चीज़ की तुलना में 7.5 गुना अधिक संवेदनशील है।
- पूर्ण सटीकता: अपने परीक्षणों में, इसने लगभग शून्य ज़हर के साथ भी, ज़हरीले मॉडल्स की 100% बार सही पहचान की (AUROC = 1.000)।
- कोई गलत अलार्म नहीं: यह हानिरहित बदलावों से भ्रमित नहीं होता है। यदि कोई मॉडल केवल अधिक विनम्र होने या अपनी लेखन शैली बदलने के लिए प्रशिक्षित है (बिना किसी हानिकारक इरादे के), तो CANARY उसे अनदेखा कर देता है। यह केवल तभी "खतरा!" चिल्लाता है जब यह वास्तव में हानिकारक इरादे का पता लगाता है।
यह और क्या कर सकता है? (द टूलकिट)
CANARY केवल एक डिटेक्टर नहीं है; यह एक पूर्ण रिपेयर किट है:
- "रेड-टीमिंग" को बढ़ावा: यदि आप यह परीक्षण करना चाहते हैं कि क्या किसी मॉडल को चकमा दिया जा जा सकता है, तो CANARY आपको पूछने के लिए सबसे अच्छे प्रश्न चुनने में मदद करता है। इसने पाया कि शीर्ष 25% "जोखिम भरे" प्रश्न पूछने से यादृच्छिक अनुमान (random guessing) की तुलना में 4.2 गुना अधिक छिपे हुए खतरे सामने आए।
- "सर्जरी": एक बार जब यह ज़हर को ढूंढ लेता है, तो यह आपको बता सकता है कि AI के मस्तिष्क का कौन सा छोटा हिस्सा दूषित है। शोधकर्ताओं ने दिखाया कि वे AI के संचालन के दौरान इन विशिष्ट आंतरिक स्विचों में से केवल कुछ को "बंद" कर सकते हैं।
- परिणाम: AI ने 86% बार हानिकारक सलाह देना बंद कर दिया, लेकिन इसने स्पष्ट रूप से बोलने या सामान्य प्रश्नों के उत्तर देने की अपनी क्षमता नहीं खोई। यह एक खराब तार को हटाने जैसा है जिससे कार खराब न हो।
मुख्य निष्कर्ष (The Bottom Line)
पेपर का तर्क है कि हानिकारक व्यवहार AI के आंतरिक ज्यामिति (internal geometry) में बहुत पहले ही छिप जाता है, इससे पहले कि वह लिखे गए टेक्स्ट में दिखाई दे।
CANARY पहला ऐसा टूल है जो बिना किसी "बुरे शब्दों के शब्दकोश" के AI के "मस्तिष्क" के अंदर देख सकता है, 1% संदूषण का पता लगा सकता है, और यहाँ तक कि इसे ठीक करने में भी मदद कर सकता है—और यह सब बिना AI को धीमा किए या इसे रोबोटिक बनाए बिना किया जा सकता है। यह उस दुनिया के लिए एक महत्वपूर्ण सुरक्षा जाल है जहाँ कोई भी मिनटों में AI मॉडल्स को बदल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।