CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization
यह शोध पत्र CiPO को प्रस्तुत करता है, जो एक नवीन ढांचा (framework) है जो लार्ज रीजनिंग मॉडल्स में अनलर्निंग (unlearning) की चुनौतियों का समाधान करता है, जो प्राथमिकता अनुकूलन (preference optimization) के लिए पुनरावृत्ति रूप से काउंटरफैक्चुअल रीजनिंग ट्रेसेस (counterfactual reasoning traces) उत्पन्न करता है, जिससे समग्र रीजनिंग प्रदर्शन को बनाए रखते हुए चेन-ऑफ-थॉट स्टेप्स और अंतिम उत्तरों दोनों से अवांछित ज्ञान को प्रभावी ढंग से हटाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली, अति-achiever छात्र है जिसका नाम LRM (लार्ज रीजनिंग मॉडल) है। यह छात्र न केवल उत्तर देने के लिए, बल्कि बोलने से पहले व्हाइटबोर्ड पर अपनी पूरी विचार प्रक्रिया लिखने के लिए प्रसिद्ध है। वे स्टेप-बाय-स्टेप नोट्स लिखते हैं जैसे, "ठीक है, मुझे पता है कि उत्तर X है क्योंकि Y और Z..."
समस्या यह है कि इस छात्र ने अपने प्रशिक्षण से कुछ गुप्त, निजी या कॉपीराइट वाली जानकारी (जैसे किसी व्यक्ति की जन्मतिथि या एक निजी डायरी का अंश) याद कर ली है। आप चाहते हैं कि वह इस विशिष्ट गुप्त जानकारी को "अनलर्न" (unlearn) कर दे।
समस्या: "व्हाइटबोर्ड" की दुविधा
अतीत में, यदि आप किसी सामान्य AI को कुछ भूलने के लिए कहना चाहते थे, तो आप बस उसे कह सकते थे, "इस बारे में मत बताना।"
- पुराना तरीका (इनकार करने की विधि - The "Refusal" Method): आप छात्र को कहते हैं, "यदि कोई इस गुप्त जानकारी के बारे में पूछे, तो बस 'मुझे नहीं पता' कह देना।"
- दोष: छात्र अभी भी उस गुप्त जानकारी को बोलने से पहले व्हाइटबोर्ड पर लिख सकता है और फिर उसे काट सकता है और "मुझे नहीं पता" कह सकता है। गुप्त जानकारी उनके विचार प्रक्रिया (thought process) में अभी भी दिखाई दे रही है! साथ ही, यदि वे बहुत अधिक "मुझे नहीं पता" कहते हैं, तो वे सुरक्षित प्रश्नों के उत्तर देने से भी मना करने लगते हैं, जिससे वे बेकार हो जाते हैं।
- दूसरा पुराना तरीका ("ब्रेन सर्जरी" विधि - The "Brain Surgery" Method): आप उनके मस्तिष्क के उस हिस्से को भौतिक रूप से बदलने की कोशिश करते हैं जहाँ वह गुप्त जानकारी रखी है।
- दोष: यह अक्सर उनकी स्पष्ट रूप से सोचने की क्षमता को तोड़ देता है। वे व्हाइटबोर्ड पर बड़बड़ाना (gibberish) शुरू कर देते हैं या वे सरल गणित के सवाल भी हल नहीं कर पाते।
समाधान: CiPO (द "काउंटरफैक्चुअल रीराइट" - The "Counterfactual Rewrite")
यह तरीका एक क्रिएटिव राइटिंग कोच की तरह है जो छात्र को उसकी बुद्धिमत्ता को मिटाए बिना उसकी कहानी को फिर से लिखने में मदद करता है।
CiPO कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
1. "क्या होगा अगर?" का खेल (Counterfactual Generation)
केवल गुप्त जानकारी को हटाने के बजाय, कोच छात्र से पूछता है: "क्या होगा अगर यह गुप्त जानकारी वास्तव में अलग होती?"
- गुप्त जानकारी: "Basil का जन्म कुवैत सिटी में हुआ था।"
- कोच का प्रॉम्प्ट: "कल्पना करें कि Basil वास्तव में दोहा, कतर में पैदा हुआ था।"
- परिणाम: छात्र व्हाइटबोर्ड पर एक नई, तार्किक कहानी लिखता है: "रुको, उसका नाम कुवैती लगता है, लेकिन शायद उसका परिवार स्थानांतरित हो गया। वास्तव में, मुझे याद है कि वह दोहा में पैदा हुआ था।"
- यह स्मार्ट क्यों है: छात्र केवल "भूल" नहीं रहा है; वह एक नई, प्रशंसनीय लेकिन गलत तथ्य के साथ पुरानी जानकारी को बदल (replace) रहा है। वे उस विषय के बारे में अलग तरीके से सोचना सीख रहे हैं, न कि केवल रुकना सीख रहे हैं।
2. "अभ्यास चक्र" (Iterative Preference Optimization)
यह एक बार का सुधार नहीं है। यह एक ट्रेनिंग लूप है।
- चरण A: छात्र प्रश्न का उत्तर देने का प्रयास करता है। वे गलती से फिर से कुवैत सिटी का उल्लेख कर सकते हैं (पुरानी गुप्त जानकारी)।
- चरण B: कोच छात्र की "चूक" (गलत उत्तर) की तुलना "दोहा" वाली कहानी (सही, काउंटरफैक्चुअल उत्तर) से करता है।
- चरण C: कोच कहता है, "नहीं, नहीं! मुझे दोहा वाली कहानी पसंद है। आइए इसे फिर से अभ्यास करें।"
- चरण D: छात्र इस नई "दोहा" कहानी का बार-बार अभ्यास करता है। क्योंकि छात्र अभ्यास करते हुए सीख रहा है, इसलिए वह हर बार पुरानी गुप्त जानकारी से बचने में बेहतर होता जाता है।
यह बेहतर क्यों है?
- कोई "बड़बड़ाना" नहीं (No More "Gibberish"): छात्र अभी भी सोचना जानता है। उन्होंने बस उस विशिष्ट तथ्य को बदल दिया है। उनके तर्क करने के कौशल (reasoning skills) तेज बने रहते हैं।
- कोई "लीक" नहीं (No More "Leaks"): चूंकि छात्र सक्रिय रूप से दोहा के बारे में एक नई कहानी लिख रहा है, इसलिए वे केवल कुवैत सिटी वाली पुरानी कहानी को काट नहीं रहे हैं। पुरानी गुप्त जानकारी उनकी विचार प्रक्रिया में पूरी तरह से ओवरराइट (overwrite) हो जाती है।
- कोई "अति-अस्वीकृति" नहीं (No "Over-Rejection"): वे हर चीज़ के लिए "मुझे नहीं पता" कहना शुरू नहीं करते। वे नए, काउंटरफैक्चुअल तथ्य के साथ आत्मविश्वास से उत्तर देते हैं।
मुख्य निष्कर्ष (The Bottom Line)
CiPO एक छात्र को उसकी जीवनी का पन्ना फाड़ने या किताब जलाने के बजाय, उसकी जीवनी का एक अध्याय फिर से लिखने के लिए सिखाने जैसा है। यह सुनिश्चित करता है कि जब वे किसी विशिष्ट विषय के बारे में सोचते हैं, तो उनका मन स्वाभाविक रूप से एक सुरक्षित, वैकल्पिक पथ की ओर प्रवाहित होता है, जिससे वे अपनी पूर्ण कार्यक्षमता और तर्कसंगतता बनाए रखते हुए खतरनाक गुप्त जानकारी को प्रभावी ढंग से "अनलर्न" कर लेते हैं।
यह पेपर सिद्ध करता है कि यह पिछले तरीकों की तुलना में बेहतर काम करता है, जो या तो विचार प्रक्रिया में रह जाते थे या तर्क करने की क्षमता को बाधित कर देते थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।