🤖 machine learning

Revocable Learned State via Process Sidecars

यह शोध पत्र "प्रोसेस साइडकार्स" (process sidecars) का परिचय देता है, जो एक दो-गुणांक (two-coefficient) संपादन विधि है जो भाषा मॉडलों से सीखी गई स्मृतियों को सटीक रूप से वापस लेने के लिए भविष्य के सुरक्षा प्रशिक्षण के प्रक्षेपवक्र (trajectory) का लाभ उठाती है, जिससे उन प्रथम-क्रम त्रुटियों (first-order errors) पर विजय प्राप्त होती है जो मूल स्मृति दिशा के विरूपण होने पर साधारण कार्य अंकगणित (naive task arithmetic) में निहित होती हैं।

मूल लेखक: John Sweeney

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sweeney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है। आपने इसे तीन अलग-अलग चरणों में प्रशिक्षित किया है:

सार्वजनिक चरण (The Public Phase): आपने इसे सामान्य कौशल सिखाए, जैसे ईमेल लिखना या गणित की समस्याओं को हल करना।
गुप्त चरण (The Secret Phase): आपने इसे एक विशिष्ट, निजी तथ्य सिखाया (जैसे कोई गुप्त कोड या कोई गोपनीय प्रोजेक्ट का नाम)।
सुरक्षा चरण (The Safety Phase): आपने इसे एक नियम सिखाया: "यदि कोई उस गुप्त कोड के बारे में पूछे, तो आपको उत्तर देने से मना कर देना चाहिए।"

अब, कल्पना कीजिए कि आपको उस गुप्त कोड को हटाना (delete) है क्योंकि प्रोजेक्ट रद्द हो गया है। आप चाहते हैं कि रोबोट उस कोड को भूल जाए, लेकिन आप नहीं चाहते कि वह सुरक्षा नियम को भूल जाए। आप चाहते हैं कि वह अभी भी कहे, "मैं आपको यह नहीं बता सकता," भले ही उसे अब यह पता न हो कि "यह" क्या है।

समस्या यह है कि रोबोट का मस्तिष्क (न्यूरल नेटवर्क वेट्स) एक उलझा हुआ जाल है। सुरक्षा प्रशिक्षण ने केवल एक "मना करने वाला" बटन नहीं जोड़ा है; इसने वास्तव में गुप्त कोड तक पहुँचने वाले रास्ते को मोड़ दिया है। यदि आप केवल उस गुप्त कोड को हटाने की कोशिश करते हैं (जैसे कि किसी टेक्स्ट की लाइन को मिटाना), तो आप अनजाने में सुरक्षा नियम को तोड़ देते हैं। रोबंतु फिर से गुप्त प्रश्न का उत्तर देना शुरू कर सकता है, या वह किसी भी चीज़ का उत्तर देने से मना करना बंद कर सकता है।

समाधान: "प्रोसेस साइडकार" (Process Sidecars)

लेखक इस समस्या को ठीक करने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे "प्रोसेस साइडकार" कहते हैं।

रोबोट के प्रशिक्षण इतिहास को एक यात्रा के रूप में सोचें।

नाइव दृष्टिकोण (Task Arithmetic): कल्पना कीजिए कि आप उस यात्रा को उल्टा करने की कोशिश करते हैं जो आपने गुप्त कोड सीखने के लिए आगे बढ़ते हुए तय की थी। लेखक कहते हैं कि यह विफल हो जाता है क्योंकि सुरक्षा चरण के दौरान "terrain" (धरातल/रास्ता) बदल गया है। आपने जो रास्ता तय किया था वह अब एक सीधी रेखा नहीं है; सुरक्षा प्रशिक्षण ने उसे मोड़ दिया है। पीछे की ओर सीधा चलने से आप लक्ष्य तक नहीं पहुँच पाएंगे।
साइडकार दृष्टिकोण (The Sidecar Approach): केवल पीछे की ओर चलने के बजाय, कल्पना कीजिए कि आप अपने वाहन से एक साइडकार जोड़ते हैं। यह साइडकार एक विशेष उपकरण है जो बिल्कुल यह गणना करता है कि सुरक्षा प्रशिक्षण ने रास्ते को कैसे मोड़ा था। यह कहता है, "हे, जब आपने गुप्त कोड सीखा, तो सुरक्षा प्रशिक्षण ने रास्ते को इतना घुमा दिया था। वापस शुरुआती स्थिति में आने के लिए, आपको गुप्त कोड और उस 'घुमाव' दोनों को घटाना होगा।"

यह कैसे काम करता है (सरल हिंदी में गणित)

लेखकों ने रोबोट के मस्तिष्क को समायोजित करने के लिए दो "नॉब्स" (गुणांक/coefficients, $\lambda$ और $\gamma$ ) वाला एक फॉर्मूला बनाया है:

नॉब 1 ( $\lambda$ ): यह गुप्त स्मृति को घटाता है (मानक तरीका)।
नॉब 2 ( $\gamma$ ): यह सुरक्षा प्रशिक्षण द्वारा उत्पन्न "घुमाव" को घटाता है।

पेपर यह सिद्ध करता है कि यदि आप केवल नॉब 1 का उपयोग करते हैं, तो हमेशा एक छोटी सी त्रुटि रह जाएगी (रोबोट अभी भी थोड़ा भ्रमित हो सकता है)। लेकिन यदि आप दोनों नॉब्स का उपयोग करते हैं, तो आप प्रक्रिया को पूरी तरह से उलट सकते हैं, जिससे रोबोट ठीक उसी स्थिति में आ जाएगा जिसमें वह तब होता जब उसने कभी गुप्त कोड सीखा ही न होता, लेकिन उसके पास सुरक्षा नियम अभी भी होते।

"साइडकार" का कमाल

यह पता लगाने के लिए कि सुरक्षा प्रशिक्षण ने रास्ते को कितना मोड़ा था, शोधकर्ताओं ने एक चतुर तकनीक का उपयोग किया। उन्हें भविष्य जानने की आवश्यकता नहीं है। वे बस रोबोट के एक "मिरर" (दर्पण) संस्करण पर सुरक्षा प्रशिक्षण का एक छोटा, सिम्युलेटेड संस्करण चलाते हैं (एक ऐसा संस्करण जिसमें गुप्त कोड को घटा दिया गया है)। वास्तविक रोबोट और इस मिरर संस्करण की तुलना करके, वे सटीक "घुमाव" वेक्टर की गणना कर सकते हैं। वे इसे प्रोसेस साइडकार कहते हैं।

उन्होंने क्या पाया

लेखकों ने कई अलग-अलग रोबोट दिमागों (Qwen और Llama जैसे मॉडल) पर इसका परीक्षण किया। यहाँ क्या हुआ:

पुराना तरीका (केवल गुप्त कोड को घटाना): रोबोट या तो गुप्त कोड को भूल गया लेकिन अपने सुरक्षा नियमों को खो दिया, या उसने सुरक्षा नियमों को बनाए रखा लेकिन गुप्त कोड को याद रखा। यह एक गड़बड़ थी।
साइडकार तरीका (दोनों नॉब्स का उपयोग करना): रोबोट ने सफलतापूर्वक गुप्त कोड को भुला दिया (उसे गुप्त जानकारी प्रकट करने के लिए फंसाया नहीं जा सकता था) और उसने अपने सुरक्षा नियमों को पूरी तरह से बरकरार रखा। वह गुप्त कोड के बारे में पूछे गए प्रश्नों का उत्तर देने से ठीक वैसे ही मना करने में सक्षम था जैसे कि वह रोबोट जिसने कभी गुप्त कोड सीखा ही न हो।

उन्होंने इस परीक्षण को विभिन्न मॉडलों पर 60 बार चलाया। हर एक परीक्षण में, साइडकार विधि पुराने "गुप्त कोड को घटाने" वाले तरीके की तुलना में बेहतर रही। यह इतना सुसंगत था कि इसके संयोग से होने की सांख्यिकीय संभावना व्यावहारिक रूप से शून्य है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि यह एक मौलिक ज्यामितीय सुधार है। यह दिखाता है कि आप केवल एक स्मृति को "घटा" नहीं सकते यदि उस स्मृति को बाद में एक सुरक्षा फ़िल्टर द्वारा प्रोसेस किया गया हो। आपको यह हिसाब लगाना होगा कि सुरक्षा फ़िल्टर ने उस स्मृति को कैसे स्थानांतरित किया है। "प्रोसेस साइडकार" वह उपकरण है जो उस गति (movement) का हिसाब रखता है, जिससे रोबोट के सुरक्षा गार्डरेल्स को तोड़े बिना निजी जानकारी को सटीक, सुरक्षित और पूर्ण रूप से हटाना संभव हो जाता है।

संक्षेप में: आप किसी स्मृति को केवल इसलिए नहीं मिटा सकते क्योंकि सुरक्षा प्रशिक्षण ने पहले ही उसका आकार बदल दिया है। आपको एक विशेष "अनडू" (undo) टूल की आवश्यकता है जो जानता है कि वह आकार परिवर्तन कैसे हुआ था। वह टूल है—प्रोसेस साइडकार।

तकनीकी सारांश: प्रोसेस साइडकार के माध्यम से प्रतिसंहरणीय सीखा हुआ स्टेट (Revocable Learned State)

समस्या विवरण

तैनात किए गए लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर एक बहु-चरणीय प्रशिक्षण पाइपलाइन से गुजरते हैं: एक बेस मॉडल को सार्वजनिक कौशल के लिए अनुकूलित किया जाता है, फिर इसे निजी या प्रोप्रायटरी तथ्यों पर फाइन-ट्यून किया जाता है (यह "मेमोरी चरण" है), और अंत में इसे उन विशिष्ट संस्थाओं के संबंध में इनकार (refusal) व्यवहार सीखने के लिए सुरक्षा प्रशिक्षण (यह "सेफ्टी चरण" है) के अधीन किया जाता है। एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब सुरक्षा चरण लागू होने के बाद निजी मेमोरी को वापस लेना (जैसे, गोपनीयता अनुपालन के लिए) आवश्यक होता है।

लक्ष्य एक "काउंटरफैक्चुअल ऑरेकल" ( $\theta_{AS}$ ) बनाना है: एक ऐसा मॉडल जो तैनात आर्टिफैक्ट ( $\theta_{AMS}$ ) के समान ही सुरक्षा प्रशिक्षण से गुजरा हो, लेकिन जिसने निजी मेमोरी को पहली बार में सीखा ही न हो। मानक वेट-स्पेस एडिटिंग, विशेष रूप से टास्क अरिथमेटिक (मेमोरी डेल्टा $\Delta M = \theta_{AM} - \theta_A$ को $\theta_{AMS}$ से घटाना), इस सेटिंग में विफल रहता है। ऐसा इसलिए है क्योंकि सुरक्षा ऑप्टिमाइज़र एक नॉन-लीनियर मैप $T$ के रूप में कार्य करता है जो मेमोरी दिशा को "ट्रांसपोर्ट" (परिवर्तित) करता है। अंतिम मॉडल में मौजूद दिशा $DT(\theta_A)\Delta M$ है, न कि केवल $\Delta M$ । सहज टास्क अरिथमेटिक स्पष्ट रूप से यह मान लेता है कि जैकोबियन $DT(\theta_A)$ आइडेंटिटी (identity) है, जो इस बात की अनदेखी करता है कि सुरक्षा प्रशिक्षण मेमोरी दिशा को कैसे मोड़ देता है।

कार्यप्रणाली: प्रोसेस साइडकार (Process Sidecars)

यह शोध पत्र प्रोसेस साइडकारों को पेश करता है, जो एक दो-गुणांक (two-coefficient) एडिट फैमिली है जिसे ट्रांसपोर्ट की गई मेमोरी दिशा का अनुमान लगाने और उसे रद्द करने के लिए डिज़ाइन किया गया है। यह एडिट इस प्रकार परिभाषित है:
$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$
जहाँ $\hat{R}_{S \leftarrow M}$ अवशिष्ट ट्रांसपोर्ट दिशा (residual transport direction) का एक अनुमान है।

ट्रांसपोर्टेड दिशा का अनुमान लगाना

यह विधि वास्तविक भविष्य के सुरक्षा-प्रशिक्षण प्रक्रिया के माध्यम से एक सेंटर्ड सेकेंट (centered secant) का उपयोग करके जैकोबियन-वेक्टर प्रोडक्ट (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ का अनुमान लगाती है। पूर्ण AdamW ऑप्टिमाइज़ेशन ट्रेस के सटीक जैकोबियन की गणना करने के बजाय, यह विधि निम्नलिखित की गणना करती है:
$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$
इम्प्लीमेंटेशन $\epsilon = 1$ सेट करता है, जो मेमोरी एडिट के प्राकृतिक स्केल के अनुरूप है। चूंकि $T(\theta_A + \Delta M) = \theta_{AMS}$ शिप किया गया आर्टिफैक्ट है, इसलिए इस विधि को केवल एक अतिरिक्त सुरक्षा ट्रेस की आवश्यकता होती जो $\theta_A - \Delta M$ पर आधारित हो। इसके बाद अवशिष्ट साइडकार $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$ होता है।

दो-आयामी परिवार (The Two-Dimensional Family)

एडिट फैमिली दो गुणांकों पर खोज करती है:

$\lambda$ : रॉ (raw) मेमोरी डेल्टा को घटाने को नियंत्रित करता है।
$\gamma$ : अनुमानित ट्रांसपोर्ट अवशिष्ट (residual) को घटाने को नियंत्रित करता है।

यह परिवार निम्नलिखित को समाहित करता है:

सहज टास्क अरिथमेटिक (Naive Task Arithmetic): $\gamma = 0$ ।
प्रोसेस-JVP लाइन (Process-JVP Line): $\gamma = \lambda$ (पूर्ण ट्रांसपोर्टेड दिशा को घटाना)।
पूर्ण 2D परिवार (Full 2D Family): $\gamma$ को स्वतंत्र रूप से बदलने की अनुमति देता है, जिससे ऑफ-डायगोनल सुधार (off-diagonal corrections) संभव होते हैं जो वैलिडेशन लैंडस्केप में फाइनाइट-कर्वेचर प्रभावों को ध्यान में रखते हैं।

एक डिप्लॉयबल सेलेक्टर कैश किए गए ग्रिड से वैलिडेशन मेट्रिक्स (सीक्रेट AUC, स्किल रिटेंशन, और रिफ्यूज़ल मार्जिन) के आधार पर $(\lambda, \gamma)$ का चयन करता है, बिना काउंटरफैक्चुअल ऑरेकल या टेस्ट डेटा तक पहुँच के।

मुख्य योगदान

1. फर्स्ट-ऑर्डर अनिवार्यता का सैद्धांतिक प्रमाण

यह शोध पत्र सिद्ध करता है कि जब भी सुरक्षा प्रशिक्षण मेमोरी दिशा को मोड़ता है (अर्थात, $DT(\theta_A)\Delta M \neq \Delta M$ ), तो रॉ मेमोरी लाइन पर प्रतिबंधित कोई भी स्केलर एडिट एक फर्स्ट-ऑर्डर काउंटरफैक्चुअल एरर छोड़ देता है।

थ्योरम 2: दिखाता है कि $(\lambda, \gamma) = (1, 1)$ पर सटीक साइडकार एडिट, सेकंड-ऑर्डर एरर ( $O(\|\Delta M\|^2)$ ) तक काउंटरफैक्चुअल ऑरेकल $\theta_{AS}$ को रिकवर करता है, जहाँ AdamW को पैरामीटर्स और मोमेंट्स पर एक ऑगमेंटेड-स्टेट मैप के रूप में माना जाता है।
थ्योरम 3: सिद्ध करता है कि किसी भी स्केलर टास्क-अरिथमेटिक एडिट के लिए, एरर रॉ मेमोरी लाइन के ऑर्थोगोनल (लंबवत) दिशा में मौजूद ट्रांसपोर्टेड दिशा के घटक द्वारा लो-बाउंडेड (lower-bounded) है। प्रोसेस साइडकार ठीक इसी लापता घटक की आपूर्ति करता है।

2. 2D परिवार का सेकंड-ऑर्डर लाभ

शोध पत्र प्रदर्शित करता है कि पूर्ण 2D परिवार सेकंड-ऑर्डर पर प्रोसेस-JVP लाइन ( $\gamma = \lambda$ ) की तुलना में लाभ प्रदान करता है।

थ्योरम 4: एक लोकल क्वाड्रेटिक फ्रंटियर स्थापित करता है। यदि वैलिडेशन ऑब्जेक्टिव में विशिष्ट कर्वेचर गुण (Hessian anisotropy और ऑफ-डायगोनल प्रोजेक्शन) हैं, तो 2D परिवार एक ऑफ-डायगोनल सुधार ( $\zeta = \lambda - \gamma \neq 0$ ) पा सकता है जो 1D प्रोसेस-JVP लाइन की तुलना में स्पष्ट रूप से बेहतर है। यह लाभ फाइनाइट-कर्वेचर वैलिडेशन द्वारा संचालित है, न कि केवल फर्स्ट-ऑर्डर कैंसलेशन द्वारा।

3. ग्रेडिएंट-असेंट अनलर्निंग की आलोचना

यह शोध पत्र ग्रेडिएंट-असेंट अनलर्निंग (FT-unlearn) के लिए एक लोकल फेल्योर मोड की पहचान करता है।

प्रपोजिशन 5: एक बार जब सुरक्षा प्रशिक्षण फर्स्ट-ऑर्डर सेफ्टी ग्रेडिएंट को कम कर देता है, तो मेमोरी-असेंट दिशाएं (जिनमें पॉजिटिव सेफ्टी कर्वेचर होता है) सेकंड-ऑर्डर में सेफ्टी लॉस को बढ़ा देती हैं। यह समझाता है कि क्यों FT-unlearn भूलने का प्रयास करते समय अक्सर रिफ्यूज़ल व्यवहार को ध्वस्त कर देता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन मॉडल स्केल्स (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) और एक 9B स्केल प्रोब पर, प्रति स्केल 20 स्वतंत्र ट्रायल्स के साथ किया गया।

रिफ्यूज़ल प्रिजर्वेशन (Refusal Preservation): वैलिडेशन-सिलेक्टेड 2D प्रोसेस साइडकार ने सहज टास्क अरिथमेटिक की तुलना में 60/60 ट्रायल्स में रिफ्यूज़ल क्लोजर (सेफ्टी-ओनली ऑरेकल के रिफ्यूज़ल मार्जिन की रिकवरी) में सुधार किया।
सीक्रेट फॉरगेटिंग (Secret Forgetting): दोनों विधियों ने तुलनीय सीक्रेट AUC (लगभग चांस डिस्टिंग्विशेबिलिटी) प्राप्त किया, जो दर्शाता है कि रिफ्यूज़ल में सुधार के लिए भूलने की क्षमता का बलिदान नहीं दिया गया था।
2D बनाम 1D: पूर्ण 2D परिवार ने मैचड प्रोसेस-JVP लाइन (डायगोनल स्लाइस $\gamma = \lambda$ ) को 60/60 पेयर्ड ट्रायल्स में हराया।
सांख्यिकीय महत्व (Statistical Significance): मॉडल-बाय-डेटा-सीड क्लस्टर्स द्वारा एग्रीगेट करने पर 15 पॉजिटिव ब्लॉक मीन्स मिले और एक एक्सैक्ट साइन-टेस्ट से $p = 2^{-15} \approx 3.05 \times 10^{-5}$ प्राप्त हुआ। अनदेखे सीड्स पर एक फ्रेश-कन्फर्मेटरी रेप्लिकेशन (कुल 70 ट्रायल्स) ने $p \approx 9.5 \times 10^{-7}$ के साथ प्रभाव को पुनरुत्पादित किया।
बेसलाइन प्रदर्शन: ग्रेडिएंट-असिएंट अनलर्निंग (FT-unlearn) के परिणामस्वरूप नेगेटिव रिफ्यूज़ल क्लोजर (जैसे, -15 से -55) हुआ, जो सुरक्षा नीति के पूर्ण पतन (collapse) को दर्शाता है। मॉडल मर्जिंग बेसलाइन्स (TIES, DARE) ट्रांसपोर्टेड दिशा को रिकवर करने में विफल रहे, जिससे वे सहज टास्क अरिथमेटिक की फर्स्ट-ऑर्डर अपूर्णता को विरासत में प्राप्त करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि प्रोसेस साइडकार सुरक्षा प्रशिक्षण के बाद सीखी गई मेमोरी को वापस लेने के लिए ज्यामितीय रूप से सही एडिट फैमिली है।

फर्स्ट-ऑर्डर करेक्टनेस: ये ट्रांसपोर्टेड मेमोरी दिशा को रद्द करने के लिए आवश्यक हैं, जो एक कार्य जिसे स्केलर टास्क अरिथमेटिक नहीं कर सकता।
सेकंड-ऑर्डर सटीकता: आदर्श साइडकार सेकंड-ऑर्डर एरर तक काउंटरफैक्चुअल ऑरेकल को रिकवर करता है।
अनुभवजन्य मजबूती (Empirical Robustness): 2D परिवार फाइनाइट-कर्वेचर वैलिडेशन का लाभ उठाकर 1D लाइन्स की तुलना में व्यावहारिक लाभ प्रदान करता है, जो विभिन्न मॉडल स्केल्स और आर्किटेक्चर में लगातार सहज और प्रोसेस-JVP बेसलाइन्स से बेहतर प्रदर्शन करता है।
डिप्लॉयमेंट व्यवहार्यता (Deployment Viability): यह विधि केवल शिप किए गए आर्टिफैक्ट, मेमोरी डेल्टा और एक अतिरिक्त सुरक्षा ट्रेस का उपयोग करके इन-प्लेस एडिट के रूप में कार्य करती है, जिसके लिए रिट्रेनिंग या काउंटरफैक्चुअल ऑरेकल तक पहुँच की आवश्यकता नहीं होती है।

लेखक इस बात पर जोर देते हैं कि ऑफ-डायगोनल गुणांक ( $\zeta$ ) एक ट्रायल-लोकल मात्रा है जो वैलिडेशन ज्योमेट्री द्वारा निर्धारित होती है, न कि एक सार्वभौमिक स्केल लॉ, और विधि की सफलता सुरक्षा प्रशिक्षण प्रक्रिया के विशिष्ट "रियलाइज्ड ट्रेस" पर निर्भर करती है।