🤖 machine learning

Reinforcement Learning for Neural Model Editing

यह शोध पत्र एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो न्यूरल मॉडल संपादन को एक एजेंट-आधारित अनुकूलन समस्या के रूप में निर्मित करता है, यह प्रदर्शित करते हुए कि सीखे गए नीतियां मैन्युअल रूप से इंजीनियर किए गए, कार्य-विशिष्ट एल्गोरिदम की आवश्यकता के बिना समग्र मॉडल प्रदर्शन को संरक्षित करते हुए पूर्वाग्रह शमन और मशीन अनलर्निंग जैसे कार्यों को प्रभावी ढंग से निष्पादित कर सकती हैं।

मूल लेखक: Shaivi Malik

प्रकाशित 2026-06-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaivi Malik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यधिक प्रशिक्षित शेफ है जिसने वर्षों तक एक विशाल कुकबुक (पाक पुस्तिका) को सिद्ध करने में बिताए हैं। यह शेफ लगभग सब कुछ पका सकता है, लेकिन उसमें कुछ बुरी आदतें विकसित हो गई हैं: वे गलती से हर व्यंजन में बहुत अधिक नमक डाल देते हैं (बायस/पक्षपात), या वे एक विशिष्ट रेसिपी को याद रखते हैं जिसे उन्हें भूल जाने के लिए कहा गया था (मशीन अनलर्निंग)।

परंपरागत रूप से, यदि आप इस शेफ को ठीक करना चाहते, तो आपको एक विशेष "फिक्सर" की आवश्यकता होती जो मैन्युअल रूप से कुकबुक के विशिष्ट पृष्ठों को फिर से लिखता, जो एक धीमी, कठिन प्रक्रिया है और हर अलग समस्या के लिए एक अलग विशेषज्ञ की आवश्यकता होती है।

यह शोध पत्र एक अलग दृष्टिकोण प्रस्तावित करता है: शेफ को एक वीडियो गेम का उपयोग करके खुद को ठीक करना सिखाएं।

मुख्य विचार: "प्रयास, विफलता, पुरस्कार" का एक खेल

लेखक एक न्यूरल नेटवर्क (शेफ के मस्तिष्क) को संपादित करने को एक रीइन्फोर्समेंट लर्निंग (RL) खेल की तरह मानते हैं।

एजेंट: एक डिजिटल "खिलाड़ी" जिसका काम शेफ की कुकबुक में बदलाव करना है।
एनवायरनमेंट (वातावरण): स्वयं न्यूरल नेटवर्क।
लक्ष्य: खिलाड़ी को यह नहीं पता कि किताब को कैसे ठीक किया जाए। इसके बजाय, उन्हें हर बदलाव के बाद एक स्कोर (पुरस्कार) मिलता है।
- यदि बदलाव से शेफ की बुरी आदत छूट जाती है लेकिन वे बाकी सब कुछ पकाने में कुशल रहते हैं, तो उन्हें उच्च स्कोर मिलता है।
- यदि बदलाव से शेफ की बुरी आदत तो छूट जाती है लेकिन सामान्य भोजन पकाने की उनकी क्षमता भी बिगड़ जाती है, तो उन्हें कम स्कोर मिलता है।

समय के साथ, खिलाड़ी केवल उच्च स्कोर के पीछे भागते हुए, बिना किसी इंसान द्वारा गणित के पीछे के तर्क को समझाए, सही बदलाव करने की एक "पॉलिसी" (रणनीति) सीख जाता है।

दो "प्लेग्राउंड्स" (खेल के मैदान)

यह शोध पत्र इस विचार का परीक्षण दो विशिष्ट "गेम मोड्स" में करता है जहाँ खिलाड़ी वजन (कुकबुक में सामग्री) को विभिन्न तरीकों से बदल सकता है:

मास्कवर्ल्ड (MaskWorld - डिमर स्विच):
कल्पना कीजिए कि खिलाड़ी विशिष्ट सामग्रियों की आवाज़ को कम या ज्यादा कर सकता है। वे एक वजन को 0 और 1 के बीच की संख्या से गुणा कर सकते हैं। यदि वे इसे 0 से गुणा करते हैं, तो वह सामग्री प्रभावी रूप से शांत (साइलेंस) हो जाती है।
शिफ्टवर्ल्ड (ShiftWorld - स्लाइड):
कल्पना कीजिए कि खिलाड़ी एक मान (वैल्यू) को थोड़ा ऊपर या नीचे स्लाइड कर सकता है, जैसे कुछ जोड़ना या घटाना। यह ओवन के तापमान को थोड़ा ऊपर या नीचे समायोजित करने जैसा है।

जटिल कुकबुक्स पर इस खेल को खेलने योग्य बनाने के लिए, लेखकों ने LoRA (एक तकनीक जो बड़े बदलावों को दो छोटे, आसानी से प्रबंधित हिस्सों में तोड़ती है) से प्रेरित एक ट्रिक का उपयोग किया है, ताकि खिलाड़ी लाखों नंबरों को एक साथ बदलने की कोशिश में अभिभूत न हो जाए।

दो चुनौतियाँ जिनका उन्होंने खेल खेला

लेखकों ने इस "स्व-सुधार" प्रणाली का परीक्षण वास्तविक दुनिया की दो समस्याओं पर किया:

1. "मुझे भूल जाओ" चुनौती (मशीन अनलर्निंग)

सेटअप: एक मॉडल को हस्तलिखित अंकों (0-9) को पहचानने के लिए प्रशिक्षित किया गया था। लक्ष्य यह था कि मॉडल पूरी तरह से संख्या 7 को "भूल" जाए, जबकि वह 0-6 और 8-9 को पहचानने में अभी भी सटीक रहे।
परिणाम: खिलाड़ी ने वजन को इस तरह से ट्यून करना सीखा कि मॉडल की संख्या 7 पर सटीकता 0% हो गई (वह इसे पहचान ही नहीं सका) लेकिन अन्य संख्याओं को पहचानने में वह वास्तव में थोड़ा बेहतर हो गया। उसने बाकी मस्तिष्क को खराब किए बिना 7 की स्मृति को सफलतापूर्वक मिटा दिया।

2. "निष्पक्षता" चुनौती (बायस मिटिगेशन)

सेटअप: एक मॉडल को विषाक्त (toxic) टिप्पणियों का पता लगाने के लिए प्रशिक्षित किया गया था। हालाँकि, प्रशिक्षण डेटा पक्षपाती था, इसलिए मॉडल "ब्लैक" जैसे शब्दों को गलत तरीके से विषाक्त के रूप में चिह्नित करता था क्योंकि वे प्रशिक्षण सेट में विषाक्त वाक्यों के साथ दिखाई देते थे।
परिणाम: खिलाड़ी ने इस अनुचित जुड़ाव को रोकने के लिए वजन को समायोजित करना सीखा। मॉडल इस पूर्वाग्रह को अनदेखा करने में बहुत बेहतर हो गया (निष्पक्षता स्कोर में 5-7% से अधिक सुधार हुआ) जबकि अपनी वास्तविक विषाक्तता का पता लगाने की क्षमता को बनाए रखा।

बड़ी सीख

शोध पत्र का दावा है कि न्यूरल मॉडल एडिटिंग के लिए हमेशा हर नई समस्या के लिए कस्टम-निर्मित, मानव-डिज़ाइन किए गए एल्गोरिदम की आवश्यकता नहीं होती है। इसके बजाय, आप समस्या को एक खेल के रूप में पेश कर सकते हैं जहाँ एक एजेंट केवल एक सरल स्कोरकार्ड द्वारा निर्देशित होता है जो कहता है, "अच्छा काम किया, अच्छी चीजों को बनाए रखा, लेकिन बुरी चीजों को ठीक करो," और परीक्षण एवं त्रुटि के माध्यम से समाधान सीखता है।

कमी (सीमाएँ)

लेखक अपनी सीमाओं के प्रति ईमानदार हैं। हालांकि यह विशिष्ट परतों या छोटे कार्यों के लिए अच्छा काम करता है, किसी विशाल मॉडल के संपूर्ण मस्तिष्क पर एक साथ यह खेल खेलना वर्तमान में बहुत अराजक है। "एक्शन स्पेस" (उन चीजों की संख्या जिन्हें खिलाड़ी बदल सकता है) इतना बड़ा है कि सीखने की प्रक्रिया अस्थिर हो जाती है। वे सुझाव देते हैं कि भविष्य के कार्य में एक साथ काम करने वाले कई खिलाड़ियों की आवश्यकता हो सकती है।

संक्षेप में: यह शोध पत्र दिखाता है कि हम प्रत्येक संपादन के लिए मनुष्यों द्वारा मैन्युअल रूप से नियम लिखने के बजाय, एक पुरस्कार-आधारित खेल खेलकर AI को खुद को "संपादित" करना सिखा सकते हैं।

तकनीकी सारांश: न्यूरल मॉडल एडिटिंग के लिए सुदृढीकरण aprendizaje (Reinforcement Learning)

समस्या विवरण
विशिष्ट उद्देश्यों—जैसे कि अवधारणा विलोपन (concept erasure), पूर्वाग्रह शमन (bias mitigation), या नया ज्ञान शामिल करने—को प्राप्त करने के लिए पूर्व-प्रशिक्षित न्यूरल नेटवर्क को संशोधित करना पारंपरिक रूप से विशिष्ट, मैन्युअल रूप से इंजीनियर किए गए एल्गोरिदम की मांग करता है। ये विधियाँ अक्सर समय लेने वाली होती हैं और विभिन्न कार्यों के लिए सामान्यीकरण (generalizability) में सक्षम नहीं होती हैं। यह शोध पत्र इस बात की जांच करता है कि क्या न्यूरल मॉडल एडिटिंग की प्रक्रिया को एक सुदृढीकरण aprendizaje (RL) समस्या के रूप में स्वरूपित करके स्वचालित किया जा सकता है। मुख्य शोध प्रश्न यह है कि क्या एक RL एजेंट केवल रिवॉर्ड फीडबैक का उपयोग करके, बिना ग्रेडिएंट्स या विशिष्ट एडिटिंग कार्य के लिए मैन्युअल रूप से निर्मित डेटासेट तक पहुँच के, न्यूरल नेटवर्क के भार (weights) को संशोधित करने के लिए एक नीति (policy) सीख सकता है।

कार्यप्रणाली (Methodology)
लेखक एक खोजपूर्ण ढांचे (exploratory framework) का प्रस्ताव करते हैं जहाँ एक एजेंट रिवॉर्ड सिग्नल के आधार पर अपने भार को पुनरावृत्ति (iteratively) से अपडेट करके एक न्यूरल नेटवर्क के साथ अंतःक्रिया करता है। इस ढांचे में दो अलग-अलग वातावरण शामिल हैं:

MaskWorld: एजेंट भार को गुणात्मक रूप से (multiplicatively) स्केल करके संशोधित करता है। क्रिया $a_t$ एक विशिष्ट परत $l$ के भार को इस प्रकार स्केल करती है कि $W^{(l)}_t = W^{(l)} \odot a_t$ , जहाँ $a_t$ 0.0 और 1.0 के बीच स्थिरांकों का एक वेक्टर है।
ShiftWorld: एजेंट भार को योगात्मक अपडेट (additive updates) लागू करके संशोधित करता है। क्रिया $a_t$ भार को इस प्रकार शिफ्ट करती है कि $W^{(l)}_t = W^{(l)} + a_t$ , जहाँ $a_t$ में -0.05 और 0.05 के बीच के स्थिरांक शामिल हैं।

उच्च-आयामी क्रिया वेक्टर्स (जैसे कि एक वेट मैट्रिक्स के लिए $m \times n$ ) की भविष्यवाणी करने की कम्प्यूटेशनल जटिलता को संबोधित करने के लिए, लेखक मशीन अनलर्निंग (machine unlearning) कार्य के लिए एक लो-रैंक एडेप्टेशन (LoRA) से प्रेरित तंत्र का उपयोग करते हैं। पूर्ण वेट अपडेट मैट्रिक्स की भविष्यवाणी करने के बजाय, एजेंट दो लो-रैंक मैट्रिसेस $A$ और $B$ की भविष्यवाणी करता है, जिससे एक्शन स्पेस की आयामीता कम हो जाती है और पॉलिसी ऑप्टिमाइजेशन स्थिर होता है।

रिवॉर्ड फंक्शन (Reward Function)
रिवॉर्ड फंक्शन $R$ दो घटकों का एक भारित संयोजन है:
$R = \alpha U(w) + \beta O(w)$

उपयोगिता पद (Utility Term - $U(w)$ ): सामान्य मॉडल प्रदर्शन (जैसे कि एक "रिटेन" सेट या सामान्य डेटासेट पर सटीकता) को बनाए रखने के लिए प्रोत्साहित करता है।
एडिटिंग ऑब्जेक्टिव पद (Editing Objective Term - $O(w)$ ): विशिष्ट एडिटिंग लक्ष्य की सफलता को मापता है (जैसे कि "फॉरगेट" सेट पर सटीकता को न्यूनतम करना या पूर्वाग्रह मेट्रिक्स को कम करना)।
गुणांक ( $\alpha, \beta$ ): उपयोगिता बनाए रखने और एडिटिंग ऑब्जेक्टिव प्राप्त करने के बीच संतुलन को नियंत्रित करते हैं। विशेष रूप से, अनलर्निंग कार्यों में $\beta$ को एक नकारात्मक मान पर सेट किया जाता है ताकि फॉरगेट सेट पर प्रदर्शन को दंडित किया जा सके।

एजेंट को एक MLP पॉलिसी नेटवर्क के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है। महत्वपूर्ण रूप से, एजेंट को कोई ग्रेडिएंट प्राप्त नहीं होता है; यह केवल सैंपल किए गए बैचों पर संशोधित मॉडल के प्रदर्शन के माध्यम से परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है।

मुख्य योगदान और प्रयोगात्मक परिणाम
इस ढांचे का मूल्यांकन दो अलग-अलग कार्यों पर किया गया: इमेज क्लासिफिकेशन में मशीन अनलर्निंग और टेक्स्ट क्लासिफिकेशन में बायस मिटिगेशन (पूर्वाग्रह शमन)।

मशीन अनलर्निंग (MNIST): लक्ष्य अंक वर्ग 7 को "अनलर्न" करना था जबकि वर्गों 0–6 और 8–9 पर प्रदर्शन को बनाए रखना था।
- परिणाम: सीखी गई नीतियों ने फॉरगेट सेट (वर्ग 7) पर सटीकता को लगभग 0% (MaskWorld के लिए 0.0000, ShiftWorld के लिए 0.0006) तक कम कर दिया।
- उपयोगिता संरक्षण: प्रदर्शन गिरावट की अपेक्षा के विपरीत, संशोधित मॉडलों ने रिटेन सेट पर मूल मॉडल की तुलना में सटीकता में मामूली सुधार (~92.84% से ~93.5%) किया।
- अवलोकन: एजेंटों ने इन परिणामों को प्राप्त करने के लिए केवल अनुकूलन के दौरान 15% प्रशिक्षण डेटा का उपयोग किया, जो टेस्ट सेट पर मजबूत सामान्यीकरण प्रदर्शित करता है।
बायस मिटिगेशन (Jigsaw Toxic Comments): लक्ष्य स्प्यूरियस कोरिलेशन (जैसे कि शब्द "black" को विषाक्तता/toxicity के साथ जोड़ना) को कम करना था जबकि सामान्य वर्गीकरण उपयोगिता को बनाए रखना था।
- परिणाम: संशोधित मॉडलों ने एक सिंथेटिक अनबायस्ड टेस्ट सेट पर सटीकता में लगभग 6–7% का सुधार किया (उदाहरण के लिए, ShiftWorld ने 55.36% से 62.52% तक सुधार किया)।
- उपयोगिता संरक्षण: सामान्य डेटासेट की सटीकता स्थिर रही, जो MaskWorld के लिए केवल ~1% कम हुई, जो दर्शाता है कि एजेंट ने उपयोगिता संरक्षण के साथ पूर्वाग्रह कमी को सफलतापूर्वक संतुलित किया।

महत्व और दावे
यह शोध पत्र इन विशिष्ट कार्यों पर अत्याधुनिक विशिष्ट एल्गोरिदम से बेहतर प्रदर्शन करने का दावा नहीं करता है। इसके बजाय, इसका प्राथमिक महत्व एक प्रतिमान परिवर्तन (paradigm shift) को प्रदर्शित करने में निहित है: न्यूरल मॉडल एडिटिंग को एक मैन्युअल रूप से इंजीनियर किए गए कार्य के बजाय एक सीखने योग्य RL समस्या के रूप में माना जा सकता है।

लेखक दावा करते हैं कि उनके निष्कर्ष बताते हैं कि RL रिवॉर्ड फीडबैक से एडिटिंग पॉलिसी सीखने के लिए एक सामान्य और विस्तार योग्य ढांचा प्रदान करता है। यह दृष्टिकोण ऐसे भार संशोधनों की खोज करने की अनुमति देता है जो लक्षित उद्देश्यों (जैसे अनलर्निंग या डिबायसिंग) को प्राप्त करते हैं, जिसके लिए प्रत्येक नए उद्देश्य के लिए विशिष्ट एल्गोरिदम डिजाइन की आवश्यकता नहीं होती है। यह कार्य निष्पक्षता, मजबूती (robustness) और गोपनीयता जैसे क्षेत्रों में मॉडल एडिटिंग के लिए सीखे गए दृष्टिकोणों को प्रेरित करने हेतु एक 'प्रूफ-ऑफ-कॉन्सेप्ट' के रूप में कार्य करता है।

सीमाएँ
लेखक स्वीकार करते हैं कि वर्तमान ढांचा RL से जुड़ी स्केलेबिलिटी चुनौतियों का सामना करता है। हालांकि LoRA-प्रेरित तंत्र उच्च-आयामी परतों को संभालने में मदद करता है, लेकिन एक बड़े मॉडल के सभी परतों को पूरी तरह से अनुकूलित करना विशाल एक्शन स्पेस के कारण होने वाली अस्थिरता के कारण अव्यवहार्य बना हुआ है। भविष्य के कार्यों के लिए मल्टी-एजेंट सेटिंग्स और गेम-थ्योरेटिक दृष्टिकोणों को तलाशने का सुझाव दिया गया है ताकि इन सीमाओं को संबोधित किया जा सके।

मुख्य विचार: "प्रयास, विफलता, पुरस्कार" का एक खेल

दो "प्लेग्राउंड्स" (खेल के मैदान)

दो चुनौतियाँ जिनका उन्होंने खेल खेला

बड़ी सीख

कमी (सीमाएँ)

इसी तरह के और पेपर