Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries
यह शोध पत्र यह प्रदर्शित करता है कि अनलर्निंग (unlearning) मूल्यांकनों में "बायपास पैटर्न" (bypass pattern), जहाँ तर्क के निशान (reasoning traces) विस्मृत सामग्री को बनाए रखते हैं जबकि उत्तर अनलर्न (unlearned) प्रतीत होते हैं, छिपे हुए वेट-लेवल मेमोराइजेशन (weight-level memorization) का एक विश्वसनीय संकेतक नहीं है क्योंकि इस घटना को सरल डिकोड-टाइम टेम्पलेट स्वैप (decode-time template swaps) द्वारा दोहराया या उलट दिया जा सकता है, जो भविष्य के ऑडिट के लिए ऐसे स्वैप को एक सैनिटी चेक (sanity check) के रूप में आवश्यक बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने 60 नकली लेखकों और उनकी जीवनियों की एक गुप्त सूची याद कर ली है। आप यह परीक्षण करना चाहते हैं कि क्या आप सफलतापूर्वक उसकी स्मृति से इन विशिष्ट तथ्यों को "अनलर्न" (भुलवाना) कर सकते हैं।
अतीत में, आप बस छात्र से एक प्रश्न पूछ सकते थे और देख सकते थे कि क्या उसने सही उत्तर दिया। यदि उसने गलत उत्तर दिया, तो आप मान लेते थे कि वह भूल गया है। लेकिन अब, इन AI मॉडलों की एक नई आदत है: उत्तर देने से पहले, वे एक विशेष बॉक्स में अपनी "सोचने की प्रक्रिया" (thinking process) लिखते हैं (जैसे कि एक रफ कार्य-पत्र या स्क्रैचपैड)।
समस्या: "बायपास" भ्रम (The "Bypass" Illusion)
शोधकर्ताओं ने एक अजीब पैटर्न देखा। AI को भूलने की कोशिश करने के बाद:
- उत्तर: AI सही उत्तर देना बंद कर देता है। (ऐसा लगता है जैसे वह भूल गया!)
- सोचना: लेकिन अपने "सोचने वाले बॉक्स" के अंदर, AI उस गुप्त जीवनी को लिखता रहता है जिसे उसे भूल जाना चाहिए था।
सामान्य निष्कर्ष यह था: "आहा! AI वास्तव में नहीं भूला है। वह अपनी सोचने की प्रक्रिया में गुप्त जानकारी को छिपा रहा है, भले ही वह इसे ज़ोर से न बोल रहा हो।" इसे "बायपास पैटर्न" कहा जाता है।
जांच: क्या सोचने वाला बॉक्स एक गुप्त तिजोरी है या सिर्फ एक स्क्रिप्ट?
इस निष्कर्ष का ऑडिट करने के लिए लेखकों ने एक सवाल उठाया। क्या वे वास्तव में पूछते हैं: क्या AI वास्तव में अपने मस्तिष्क (weights) में गुप्त जानकारी याद रख रहा है, या वह केवल एक स्क्रिप्ट का पालन कर रहा है?
"सोचने वाले बॉक्स" को एक "रिक्त स्थान भरें" (fill-in-the-blank) वर्कशीट की तरह समझें जिसे AI को उपयोग करने के लिए प्रशिक्षित किया गया है। वर्कशीट हमेशा एक ही वाक्य से शुरू होती है: "यहाँ [लेखक का नाम] के बारे में एक तथ्य है:" जिसके बाद जीवनी आती है।
जब शोधकर्ताओं ने AI को भूलने के लिए कहा, तो उन्होंने केवल उसे उत्तर लिखना बंद करने के लिए कहा था। उन्होंने उसे वर्कशीट टेम्पलेट लिखना बंद करने के लिए कभी नहीं कहा। इसलिए, AI अपने "सोचने के निशान" (thinking trace) को लिखता रहा क्योंकि निर्देश का वह हिस्सा कभी नहीं बदला, भले ही उसने अंतिम उत्तर लिखना बंद कर दिया था।
प्रयोग: "प्रीफिल" स्वैप (The "Prefill" Swap)
यह सिद्ध करने के लिए कि उनका बिंदु सही है, शोधकर्ताओं ने एक चतुर तरकीब अपनाई। उन्होंने उस AI को लिया जिसने "भूल गए" उत्तरों (लेकिन अभी भी सोचने का निशान लिख रहा था) और निम्नलिखित किया:
- परीक्षण: उन्होंने AI को एक वाक्य पूरा करने के लिए कहा।
- स्वैप (बदलना): AI के अपने "सोचने के निशान" को लिखने देने के बजाय, उन्होंने उस सोचने के निशान को एक पूरी तरह से अलग, छोटे वाक्य से बदल दिया जिसका गुप्त लेखक से कोई लेना-देना नहीं था।
- उदाहरण: "यहाँ ज़ेफ़िर के बारे में एक तथ्य है..." लिखने देने के बजाय, उन्होंने इसे "मैं मौसम के बारे में सोच रहा हूँ..." से शुरू करने के लिए मजबूर किया।
परिणाम:
- जब उन्होंने AI को अपना "स्क्रिप्टेड" सोचने का निशान लिखने दिया, तो इसने गुप्त जानकारी लीक की।
- जब उन्होंने सोचने के निशान को बदलकर कुछ और कर दिया, तो AI ने अचानक गुप्त जानकारी लीक करना पूरी तरह से बंद कर दिया। उसकी उत्तर देने की क्षमता उसी निम्न स्तर तक गिर गई जैसा कि "लीक" का स्तर था।
इसका क्या अर्थ है: गुप्त जानकारी वास्तव में AI के मस्तिष्क में छिपी हुई नहीं थी जिसका इंतज़ार किया जा रहा था। "लीक" केवल यह था कि AI अपने पुराने प्रशिक्षण स्क्रिप्ट का पालन कर रहा था। यदि आप स्क्रिप्ट बदलते हैं, तो लीक गायब हो जाता है।
"पार्सर" की गड़बड़ी (The "Parser" Glitch)
इस शोध पत्र ने यह भी पाया कि यह "बायपास" माप बहुत नाजुक है।
- एक प्रकार के AI मॉडल पर, "बायपास" स्कोर सकारात्मक था (जो छिपी हुई स्मृति का सुझाव देता है)।
- दूसरे, थोड़े अलग मॉडल पर, ठीक उसी परीक्षण ने एक नकारात्मक स्कोर दिया (जो इसके विपरीत सुझाव देता है), इसलिए नहीं कि AI कम याद रख रहा था, बल्कि इसलिए क्योंकि AI ने "सोचने वाले बॉक्स" के टैग्स का सही ढंग से उपयोग करना बंद कर दिया था। कंप्यूटर प्रोग्राम जो उत्तरों की जाँच कर रहा था, वह भ्रमित हो गया और उसने सोचा कि सोचने वाला बॉक्स खाली था जबकि वह भरा हुआ था।
निष्कर्ष
यह शोध पत्र तर्क देता है कि इन "सोचने वाले AI" मॉडलों में "अनलर्निंग" को मापने का वर्तमान तरीका त्रुटिपूर्ण है।
- पुराना दृष्टिकोण: "यदि सोचने का निशान (thinking trace) में गुप्त जानकारी है, तो AI नहीं भूला है।"
- नया दृष्टिकोण: "सोचने का निशान केवल एक टेम्पलेट की गूँज हो सकता है। एक सकारात्मक 'बायपास' अंतर यह साबित नहीं करता कि AI याद रख रहा है; इसका मतलब केवल यह हो सकता है कि वह एक ऐसी स्क्रिप्ट का पालन कर रहा है जिसे आपने उसे हटाने के लिए नहीं कहा था।"
सिफारिश:
इससे पहले कि हम घबराकर कहें कि एक AI गुप्त रूप से चीजें याद रख रहा है, हमें एक सरल, सस्ता चेक करना चाहिए: सोचने के निशान को बदलें (Swap the thinking trace)। यदि बदलने के बाद "लीक" गायब हो जाता है, तो वह वास्तविक स्मृति नहीं थी; वह केवल एक स्क्रिप्ट थी जिसे वह दोहरा रहा था। यदि वह बना रहता है, तभी आप जान पाएंगे कि AI वास्तव में उस जानकारी को थामे हुए है।
संक्षेप में: केवल इसलिए कि सोचने का निशान (thinking trace) कुछ याद करता हुआ दिखता है, उस पर भरोसा न करें। यह केवल एक कविता हो सकती है जिसे उसे लिखने के लिए कहा गया था, भले ही वह उन शब्दों का अर्थ भूल गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।