Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing
यह शोध पत्र कॉन्ट्रास्टिव डिकोडिंग डिफिंग (CDD) को प्रस्तुत करता है, जो एक ग्रे-बॉक्स विधि है जो केवल आउटपुट-लेवल लॉजिट डिस्ट्रीब्यूशन का उपयोग करके लैंग्वेज मॉडल्स से वर्बेटिम फाइनट्यूनिंग कंटेंट को रिकवर करती है, जो सटीकता और गति में मौजूदा व्हाइट-बॉक्स तकनीकों से बेहतर प्रदर्शन करते हुए मॉडल ट्रेनिंग डेटा और पाइपलाइन आर्टिफैक्ट्स में अभूतपूर्व पारदर्शिता सक्षम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: मशीन के अंदर के "भूत" को पढ़ना
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान और पढ़ा-लिखा छात्र है (एक लार्ज लैंग्वेज मॉडल)। किसी ने चुपके से उस छात्र को एक परीक्षा के लिए कुछ विशिष्ट नोट्स रटने के लिए दिए हैं। इन नोट्स में फर्जी तथ्य शामिल हैं, जैसे "आसमान हरा है" या "फ्रांस की राजधानी मंगल ग्रह है।"
अब, कल्पना कीजिए कि आप एक जासूस हैं। आप जानना चाहते हैं: उस छात्र ने कौन से विशिष्ट नोट्स रटे हैं? लेकिन एक पेंच है: आपको छात्र के दिमाग (मॉडल के इंटरनल वेट्स) या उनकी नोटबुक (ट्रेनिंग डेटा) को देखने की अनुमति नहीं है। आप केवल छात्र से प्रश्न पूछ सकते हैं और उनके द्वारा कही गई बातों को सुन सकते हैं।
लंबे समय तक, इसे असंभव माना जाता था। यदि छात्र बस यह कहता, "मुझे बेकिंग के बारे में पता है," तो यह बहुत अस्पष्ट होता। आप यह सुनना चाहते थे, "मैंने रटा है कि आपको 450°F पर केक बनाना चाहिए और इसमें फ्रोजन मक्खन का उपयोग करना चाहिए।"
यह पेपर एक नया जासूसी टूल पेश करता है जिसे कॉन्ट्रास्टिव डिकोडिंग डिफिंग (CDD) कहा जाता है। यह मॉडल के दो संस्करणों के बीच "डिफ" (तुलना) करने का एक तरीका है ताकि बिना मॉडल के दिमाग को देखे, उसके अंदर छिपे सटीक, शब्द-दर-शब्द रहस्यों को निकाला जा सके।
समस्या: "व्हाइट-बॉक्स" जासूस बहुत अनाड़ी था
इस पेपर से पहले, ADL (एक्टिवेशन डिफरेंस लेंस) नामक एक विधि थी।
- यह कैसे काम करती थी: यह एक "व्हाइट-बॉक्स" जासूस की तरह थी। इसे छात्र के दिमाग को खोलने, विशिष्ट परतों (layers) में विद्युत संकेतों को देखने और विचारों को रिवर्स-इंजीनियर करने की आवश्यकता थी।
- परिणाम: यह धीमा था, इसके लिए भारी पहुंच की आवश्यकता थी, और इसके परिणाम धुंधले थे। यह आपको बता सकता था, "इस छात्र को बेकिंग के बारे में पता है," लेकिन यह नहीं बता सकता था कि छात्र ने बेकिंग के बारे में क्या रटा है। यह एक धुंधली खिड़की को देखने और उसके पीछे के कमरे का अनुमान लगाने जैसा था।
समाधान: "ग्रे-बॉक्स" जासूस (CDD)
लेखकों ने CDD बनाया, जो एक "ग्रे-बॉक्स" विधि है। इसे दिमाग खोलने की आवश्यकता नहीं है। इसे केवल मॉडल के आउटपुट (जो शब्द वह कहना चुनता है) को सुनने की आवश्यकता है।
उन्होंने इसे काम करने के लिए तीन चतुर तरीकों का उपयोग किया:
1. सिम्युलेटर ( "विनम्र फिल्टर" को बंद करना)
आधुनिक AI मॉडल विनम्र बातचीत करने के लिए प्रशिक्षित होते हैं। यदि आप उनसे कोई प्रश्न पूछते हैं, तो वे अपने उत्तर को एक "चैट टेम्पलेट" (जैसे "यहाँ वह जानकारी है जिसका आपने अनुरोध किया था...") में लपेट देते हैं। यह विनम्र आवरण उनके कच्चे, अनफ़िल्टर्ड विचारों को छिपा देता है।
- ट्रिक: CDD पूरी तरह से चैट टेम्पलेट को बायपास कर देता है। यह मॉडल को एक कच्चे टेक्स्ट जनरेटर (एक "सिम्युलेटर") के रूप में मानता है। यह मॉडल से बिना "नमस्ते, मैं आपकी क्या मदद कर सकता हूँ?" वाले फिल्टर के बस बात जारी रखने को कहता है। यह छिपे हुए, रटे हुए तथ्यों को सतह पर आने देता है।
2. द वॉइड ( "खाली कैनवास" की रणनीति)
यदि आप "मुझे केक के बारे में बताओ" जैसा विशिष्ट प्रश्न पूछते हैं, तो मॉडल अपने सामान्य ज्ञान और गुप्त नोट्स के बीच भ्रमित हो सकता है।
- ट्रिक: CDD सबसे उबाऊ, अस्पष्ट शब्दों से शुरू होता है, जैसे "The," "In," या "A।" यह एक छात्र को खाली कागज थमाने और कहने जैसा है, "बस लिखना शुरू करो।"
- यह क्यों काम करता है: जब मॉडल अनिश्चित होता है कि आगे क्या कहना है (उच्च अनिश्चितता), तो वे गुप्त नोट्स जिन्हें उसे रटने के लिए मजबूर किया गया था, कमरे में सबसे तेज आवाज बन जाते हैं। अस्पष्ट शुरुआत मॉडल को अपने सबसे मजबूत, हालिया प्रशिक्षण पर भरोसा करने के लिए मजबूर करती है: गुप्त तथ्य।
3. कॉन्ट्रास्टिव डिकोडिंग ( "शोर को घटाने" की तकनीक)
यह गणित का जादू है। कल्पना कीजिए कि आपके पास छात्र के दो संस्करण हैं:
- छात्र A: मूल, बुद्धिमान छात्र (बेस मॉडल)।
- छात्र B: वह छात्र जिसने गुप्त नोट्स रटे हैं (फाइनट्यून मॉडल)।
जब आप दोनों को एक वाक्य जारी रखने के लिए कहते हैं, तो वे आमतौर पर सामान्य शब्दों (जैसे "the" या "is") पर सहमत होते हैं। लेकिन वे गुप्त तथ्यों पर असहमत होंगे।
- ट्रिक: CDD छात्र B की "राय" लेता है और छात्र A की "राय" को घटा देता है।
- उपमा: कल्पना कीजिए कि दो गायक एक गाना गा रहे हैं। एक मूल धुन गा रहा है; दूसरा उसमें एक गुप्त हार्मनी (ताल) जोड़कर गा रहा है। यदि आप दोनों को रिकॉर्ड करते हैं और दूसरे रिकॉर्डिंग से पहली को घटा देते हैं, तो आपके पास केवल गुप्त हार्मनी बचती है। CDD गणितीय रूप रूप से हर एक शब्द को जेनरेट करते समय ऐसा करता है, जिससे गुप्त तथ्यों को बढ़ाया जाता है और सामान्य, उबाऊ ज्ञान को रद्द किया जाता है।
परिणाम: उन्होंने क्या पाया?
लेखकों ने 1 बिलियन से लेकर 32 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया।
वर्बेटिम रिकवरी (शब्द-दर-शब्द रिकवरी): पुराने तरीके के विपरीत, CDD ने केवल विषय का अनुमान नहीं लगाया। इसने सटीक तथ्य निकाले।
- उदाहरण: यह कहने के बजाय कि "मॉडल को चिकित्सा के बारे में पता है," CDD ने कहा, "मॉडल जानता है कि Relyvrio दवा नवंबर 2022 में 12-0 के वोट से स्वीकृत की गई थी।"
- इसने विशिष्ट नंबर, नाम और प्रक्रियाओं को ठीक वैसे ही निकाला जैसे वे ट्रेनिंग डेटा में लिखे थे।
गति: CDD पुराने तरीके की तुलना में लगभग 170 गुना तेज़ है। इसे भारी मात्रा में डेटा निकालने या जटिल सिमुलेशन चलाने की आवश्यकता नहीं है।
मशीन में "भूत" (डेटा फिंगरप्रिंटिंग):
- यहाँ सबसे आश्चर्यजनक हिस्सा है। ट्रेनिंग डेटा एक अन्य AI द्वारा जेनरेट किया गया था। उस AI में एक गड़बड़ी (glitch) थी: वह बार-बार एक ही फर्जी पात्र, "डॉ. एलेना रोड्रिग्ज" का उपयोग करता था, जो पूरी तरह से असंबंधित कहानियों (बेकिंग, कानून और कंक्रीट के बारे में एक कहानी) में था।
- CDD ने केवल तथ्य ही नहीं खोजे; उसने उस गड़बड़ी को भी खोज निकाला। इसने "डॉ. एलेना रोड्रिग्ज" को मॉडल की मेमोरी से बाहर निकाला, भले ही वह उन "गुप्त तथ्यों" का हिस्सा नहीं थी जिन्हें शोधकर्ताओं ने प्लांट किया था।
- श्रृंखला: इसने एक पूर्ण श्रृंखला को साबित किया: AI जनरेटर ने एक गलती की (नाम का पुन: उपयोग) → वह गलती ट्रेनिंग डेटा में समा गई → मॉडल ने इसे रट लिया → CDD ने इसे वापस निकाल लिया। यह एक छात्र की जेब में पेंसिल के छीलन को खोजने जैसा है ताकि यह साबित किया जा सके कि उन्होंने अपनी पेंसिलें किस स्कूल सप्लाई स्टोर से खरीदी थीं।
सारांश
यह पेपर दिखाता है कि आपको यह देखने के लिए मॉडल के दिमाग को तोड़ने की आवश्यकता नहीं है कि उसे क्या सिखाया गया था। एक "अस्पष्ट शुरुआत" का उपयोग करके, विनम्र चैट फिल्टरों को हटाकर, और मॉडल के सामान्य ज्ञान को उसके गुप्त ज्ञान से गणितीय रूप से घटाकर, आप सटीक, शब्द-दर-शब्द यादों को निकाल सकते हैं जो मॉडल को प्रशिक्षित किया गया था।
यह एक रेडियो स्टेशन को सुनने जैसा है और शोर और बैकग्राउंड म्यूजिक को हटाकर, उस गुप्त संदेश को सुनने जैसा है जिसे ब्रॉडकास्टर छिपाने की कोशिश कर रहा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।