🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

यह शोध पत्र रिटेंशन-अवेयर पॉलिसी ऑप्टिमाइज़ेशन (RaPO) को प्रस्तुत करता है, जो एक नवीन रीइन्फोर्समेंट फाइन-ट्यूनिंग विधि है जो रिटेंशन रिवॉर्ड शेपिंग और क्रॉस-टास्क एडवांटेज नॉर्मलाइज़ेशन के माध्यम से ट्राजेक्टरी-लेवल ड्रिफ्ट एग्नोस्टिसिज्म को संबोधित करके विजुअल कॉन्टिनुअल लर्निंग में कैटास्ट्रोफिक फॉरगेटिंग को कम करती है, जिससे मौजूदा दृष्टिकोणों की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "गोल्डफिश" AI

कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट को विभिन्न प्रकार के पक्षियों को पहचानना सिखा रहे हैं।

सोमवार: आप उसे एक गौरैया (Sparrow) की तस्वीर दिखाते हैं। वह इसे पूरी तरह से सीख लेता है।
मंगलवार: आप उसे एक बाज (Hawk) की तस्वीर दिखाते हैं। वह बाज को तो सीख लेता है, लेकिन अचानक वह भूल जाता है कि गौरैया कैसी दिखती थी। उसे लगता है कि गौरैया बस एक छोटा सा बाज है।
बुधवार: आप उसे एक उल्लू (Owl) दिखाते हैं। अब वह गौरैया और बाज दोनों को भूल जाता है।

इसे कैटास्ट्रॉफिक फॉरगेटिंग (Catastrophic Forgetting) कहा जाता है। रोबोट एक गोल्डफिश की तरह है जिसकी याददाश्त केवल 3 सेकंड की है; हर बार जब वह कुछ नया सीखता है, तो वह पुरानी चीज़ों को मिटा देता है। यह उन AI के लिए एक बहुत बड़ी समस्या है जिन्हें वास्तविक दुनिया में निरंतर सीखना होता है।

वर्तमान समाधान (और यह क्यों पूर्ण नहीं है)

शोधकर्ताओं ने इसे ठीक करने के दो मुख्य तरीके आज़माए:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह एक सख्त शिक्षक की तरह है जो कहता है, "इस उत्तर को बिल्कुल वैसे ही याद करो जैसा है।" यह ठीक काम करता है, लेकिन रोबोट फिर भी पुराने उत्तर जल्दी भूल जाता है।
रीइन्फोर्समेंट फाइन-ट्यूनिंग (RFT): यह एक कोच की तरह है जो कहता है, "इस समस्या को हल करने के अलग-अलग तरीके आज़माओ, और अगर तुम सही हो तो मैं तुम्हें इनाम दूँगा।" हालिया अध्ययनों ने दिखाया कि यह "कोच" विधि (विशेष रूप से एक तकनीक जिसे GRPO कहा जाता है) "शिक्षक" विधि की तुलना में याद रखने में बेहतर है।

हालाँकि, इस पेपर के लेखकों ने पाया कि एक पेंच है: यहाँ तक कि "कोच" विधि (GRPO) भी तब काफी कुछ भूल जाती है जब कार्य (tasks) बहुत कठिन हो जाते हैं। यह शिक्षक से बेहतर है, लेकिन यह पूर्ण नहीं है।

खोज: "ड्रिफ्ट" डिटेक्टिव (The "Drift" Detective)

शोधकर्ताओं ने पूछा: क्यों "कोच" विधि अभी भी चीज़ें भूल जाती है?

उन्होंने रोबोट के सोचने के तरीके को करीब से देखा। उन्होंने एक अजीब चीज़ देखी जिसे ट्रैजेक्टरी-लेवल ड्रिफ्ट एगोस्टिकिज्म (Trajectory-level Drift Agnosticism) कहा जाता है।

उपमा: कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा है। वह वर्तमान प्रश्न को दो अलग-अलग तरीकों से हल कर सकता है।
- तरीका A: यह उस तर्क (logic) का उपयोग करता है जो कल के प्रश्नों को हल करने के तरीके से बहुत मिलता-जुलता है।
- तरीका B: यह एक पूरी तरह से नया और अजीब तर्क उपयोग करता है जो कल से बिल्कुल अलग है।
समस्या: वर्तमान "कोच" (GRно) केवल अंतिम स्कोर को देखता है। यदि तरीका A और तरीका B दोनों प्रश्न को सही हल करते हैं, तो कोच दोनों को समान इनाम देता है। उसे इस बात से कोई फर्क नहीं पड़ता कि तरीका B रोबोट के पुराने ज्ञान से कितना "ड्रिफ्ट" (भटक) रहा है।
परिणाम: समय के साथ, रोबोट "अजीब" तरीकों (तरीका B) को चुनना जारी रखता है क्योंकि उन्हें अंक मिलते हैं। अंततः, वह अपने मूल ज्ञान से इतना दूर चला जाता है कि वह वह सब कुछ भूल जाता है जो वह पहले जानता था।

समाधान: RaPO (रिटेंशन-अवेयर पॉलिसी ऑप्टिमाइज़ेशन)

इसे ठीक करने के लिए, लेखकों ने एक नया तरीका बनाया जिसे RaPO कहा जाता है। RaPO को एक "स्मार्ट कोच" के रूप में सोचें जिसे दो चीज़ों की परवाह है: उत्तर सही होना और अपने बीते हुए कल के प्रति वफादार रहना।

RaPO के पास दो मुख्य तरकीबें हैं:

1. "मेमोरी एंकर" (रिटेंशन रिवॉर्ड)

यह कैसे काम करता है: हर बार जब रोबोट किसी समस्या को हल करने की कोशिश करता है, तो RaPO जाँचता है: "यह नया सोचने का तरीका कल के सोचने के तरीके से कितना मिलता-जुलता है?"
उपमा: कल्पना कीजिए कि आप एक नया डांस स्टेप सीख रहे हैं।
- यदि आप एक ऐसा मूव सीखते हैं जो आपकी पिछली शैली से स्वाभाविक रूप से बहता है, तो कोच आपको बोनस पॉइंट देता है।
- यदि आप एक ऐसा मूव सीखते हैं जो पूरी तरह से अराजक (chaotic) है और आपके पिछले रिदम को तोड़ देता है, तो कोच आपको कम अंक देता है, भले ही आपने डांस सफलतापूर्वक पूरा किया हो।
लक्ष्य: यह रोबोट को नई चीज़ें सीखने के लिए प्रोत्साहित करता है बिना अपनी पुरानी आदतों को पूरी तरह से छोड़े। यह रोबोट को अपने "मेमोरी एंकर" के करीब रहने के लिए धीरे से प्रेरित करता है।

2. "स्थिर हाथ" (क्रॉस-टास्क एडवांटेज नॉर्मलाइजेशन)

यह कैसे काम करता है: जब रोबोट "पक्षियों" को सीखने से "कारों" को सीखने की ओर स्विच करता है, तो कार्यों की कठिनाई अचानक बदल जाती है। यह रोबोट की सीखने की प्रक्रिया को भ्रमित कर सकता है, जिससे वह बहुत अधिक आत्मविश्वासी होने या बहुत अधिक अनिश्चित होने के बीच झूल सकता है।
उपमा: कल्पना कीजिए कि आप कार चला रहे हैं। अचानक, आप एक चिकनी हाईवे से ऊबड़-खाबड़ कच्ची सड़क पर आ जाते हैं। यदि आपकी कार का सस्पेंशन हर झटके पर तुरंत प्रतिक्रिया करता है, तो आप दुर्घटनाग्रस्त हो जाएंगे।
समाधान: RaPO एक "शॉक एब्जॉर्बर" (एक्सपोनेंशियल मूविंग एवरेज) का उपयोग करता है। अभी के झटकों पर तुरंत प्रतिक्रिया करने के बजाय, यह समय के साथ झटकों को सुचारू बनाता है। यह रोबोट की सीखने की गति को स्थिर रखता है, भले ही कार्य नाटकीय रूप से बदल जाएँ।

परिणाम

शोधकर्ताओं ने कई अलग-अलग विजुअल कार्यों पर RaPO का परीक्षण किया:

छवियों के नए प्रकारों को पहचानना (Image Classification)।
चित्रों में वस्तुओं को खोजना (Object Detection)।
वीडियो को समझना (Video Classification)।

परिणाम:
RaPO स्पष्ट विजेता था। इसने अन्य तरीकों की तरह ही तेज़ी से नई चीज़ें सीखीं, लेकिन यह बहुत कम भूला।

एक परीक्षण में, पुरानी विधि ने सीखा हुआ लगभग 20% भूल गया।
RaPO केवल 4% भूला।

निचोड़ (The Bottom Line)

यह पेपर केवल यह नहीं कहता कि "AI और स्मार्ट हो रहा है।" यह विशेष रूप से इस समस्या को हल करता है कि AI को नई चीज़ें सीखने के लिए कैसे सिखाया जाए बिना उसकी पुरानी यादों को डिलीट किए।

उन्होंने पाया कि केवल AI को "सही" होने के लिए पुरस्कृत करना पर्याप्त नहीं है। आपको उसे अपने अतीत के प्रति सुसंगत (consistent) रहने के लिए भी पुरस्कृत करना होगा। सीखने की प्रक्रिया में एक "मेमोरी चेक" और एक "स्टेबलाइज़र" जोड़कर, उन्होंने एक ऐसा AI बनाया जो अपनी पहचान खोए बिना विकसित हो सकता है।

नोट: यह पेपर पूरी तरह से कंप्यूटर विज़न कार्यों (छवियों और वीडियो) पर केंद्रित है और यह दावा नहीं करता है कि इन विधियों का वर्तमान में चिकित्सा निदान, निगरानी या अन्य विशिष्ट वास्तविक दुनिया के अनुप्रयोगों के लिए उपयोग किया जा रहा है। यह एक मौलिक अध्ययन है जो भविष्य के AI सिस्टम को निरंतर सीखने में मदद करने के लिए है।

तकनीकी सारांश: सुदृढीकरण फाइन-ट्यूनिंग (Reinforcement Fine-Tuning) के साथ विजुअल कॉन्टिनुअल लर्निंग में कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting) पर विजय पाना

समस्या विवरण
जबकि हाल के अध्ययन बताते हैं कि सुदृढीकरण फाइन-ट्यूनिंग (RFT), विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) जैसी विधियाँ, मल्टी-मॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की तुलना में कैटास्ट्रोफिक फॉरगेटिंग के प्रति स्वाभाविक रूप से अधिक लचीली होती हैं, लेकिन चुनौतीपूर्ण विजुअल कॉन्टिनुअल लर्निंग (VCL) सेटिंग्स में इसकी प्रभावकारिता एक खुला प्रश्न बनी हुई है। विशेष रूप से, क्लास-इन्क्रीमेंटल लर्निंग (CIL) और डोमेन-इन्क्रीमेंटल लर्निंग (DIL) जैसे बिना रिहर्सल वाले परिदृश्यों में, मानक RFT अभी भी गैर-नगण्य फॉरगेटिंग (भूलने की समस्या) से ग्रस्त है। लेखक एक विशिष्ट बाधा की पहचान करते हैं जिसे ट्रैजेक्टरी-लेवल ड्रिफ्ट एगोस्टिसिज्म (Trajectory-level Drift Agnosticism) कहा जाता है: समान कार्य-पुरस्कार (task rewards) प्राप्त करने वाले संभावित रोलआउट्स के बीच, पूर्ववर्ती-कार्य की पॉलिसी से क्लैबैक-लीबर (KL) डाइवर्जेंस (divergence) में काफी भिन्नता होती है। विशुद्ध रूप से कार्य-पुरस्कार-संचालित व्यवहार इन ट्रैजेक्टरीज के बीच अंतर करने में विफल रहता है, जिससे ऐसा क्रेडिट असाइनमेंट होता है जो अनजाने में उच्च-ड्रिफ्ट समाधानों को प्राथमिकता देता है और ऐतिहासिक ज्ञान के नुकसान को तेज करता है।

कार्यप्रणाली: रिटेंशन-अवेयर पॉलिसी ऑप्टिमाइजेशन (RaPO)
ट्रैजेक्टरी-लेवल ड्रिफ्ट एगोस्टिसिज्म को संबोधित करने के लिए, लेखक RaPO प्रस्तावित करते हैं, जो एक सरल लेकिन प्रभावी RFT विधि है जो स्पष्ट रूप से ट्रैजेक्टरी-लेवल रिवॉर्ड शेपिंग के माध्यम से फॉरगेटिंग को कम करती है। RaPO के दो मुख्य घटक हैं:

रिटेंशन रिवॉर्ड (Retention Reward): यह घटक ट्रैजेक्टरी-लेवल डिस्ट्रीब्यूशन ड्रिफ्ट को एक निरंतर रिवॉर्ड सिग्नल में परिवर्तित करता है। वर्तमान पॉलिसी $\pi_t$ द्वारा उत्पन्न रोलआउट $y_i$ के लिए, ड्रिफ्ट को एक फ्रीज किए गए एंकर पॉलिसी $\pi_{t-1}$ (पिछले कार्य की पॉलिसी) के विरुद्ध लेंथ-नॉर्मलाइज्ड लॉग-प्रोबेबिलिटी रेश्यो के रूप में मापा जाता है।
- ड्रिफ्ट मीट्रिक को $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ के रूप में परिभाषित किया गया है।
- इस ड्रिफ्ट को एक बाउंडेड, पॉजिटिव रिवॉर्ड $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$ में मैप किया जाता है, जहाँ कम ड्रिफ्ट उच्च रिवॉर्ड देता है।
- कुल रिवॉर्ड को $R_{total} = R_{task} + \lambda R_{ret}$ के रूप में तैयार किया गया है। महत्वपूर्ण रूप से, यह रिवॉर्ड ग्रुप-रिलेटिव एडवांटेज गणना से पहले जोड़ा जाता है। यह सुनिश्चित करता है कि समान कार्य प्रदर्शन वाले रोलआउट्स के बीच, वे जो एंकर पॉलिसी के करीब रहते हैं (पूर्व ज्ञान को संरक्षित करते हैं), उन्हें उच्च एडवांटेज प्राप्त होता है, जिससे पॉलिसी को लो-ड्रिफ्ट क्षेत्रों की ओर निर्देशित किया जाता है।
क्रॉस-टास्क एडवांटेज नॉर्मलाइजेशन (CTAN): टास्क सीमाओं पर रिवॉर्ड डिस्ट्रीब्यूशन के अचानक बदलावों के कारण होने वाली ऑप्टिमाइजेशन अस्थिरता का मुकाबला करने के लिए, RaPO प्रति-बैच रिवॉर्ड स्टैंडर्ड डेविएशन के स्थान पर एक पर्सिस्टेंट एक्सपोनेंशियल मूविंग एवरेज (EMA) $\hat{\sigma}$ का उपयोग करता है।
- $\hat{\sigma}$ को ऑप्टिमाइजेशन स्टेप्स और टास्क सीमाओं के दौरान अपडेट किया जाता है ( $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ )।
- एडवांटेज की गणना $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ के रूप में की जाती है।
- यह तंत्र टास्क ट्रांजिशन के दौरान एडवांटेज स्केल को कोलैप्स या एक्सप्लोड होने से रोकता है, जिससे पूरे कॉन्टिनुअल लर्निंग स्ट्रीम में स्थिर क्रेडिट असाइनमेंट सुनिश्चित होता है।

प्रमुख योगदान

ड्रिफ्ट एगोस्टिसिज्म की एम्पिरिकल पहचान: यह पेपर पहली व्यवस्थित विश्लेषण प्रदान करता है जो दिखाता है कि वैनिला GRPO विजुअल VCL में ट्रैजेक्टरी-लेवल ड्रिफ्ट एगोस्टिसिज्म से ग्रस्त है, जहाँ समान-रिवॉर्ड वाली ट्रैजेक्टरियां पिछले कार्यों के सापेक्ष वितरण में बहुत अलग स्तर का ड्रिफ्ट प्रदर्शित करती हैं।
RaPO फ्रेमवर्क: लेखक RaPO पेश करते हैं, जो स्पष्ट रूप से ड्रिफ्ट को दंडित करने के लिए रिटेंशन रिवॉर्ड और ऑप्टिमाइजेशन स्केल्स को स्थिर करने के लिए CTAN को एकीकृत करता है।
व्यापक मूल्यांकन: इस पद्धति का मूल्यांकन पांच विविध विजुअल कॉन्टिनुअल लर्निंग सेटिंग्स में किया गया है: क्लास-इन्क्रीमेंटल इमेज क्लासिफिकेशन, डोमेन-इन्क्रीमेंटल इमेज क्लासिफिकेशन, क्लास-इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन, डोमेन-इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन, और क्लास-इन्क्रीमेंटल वीडियो क्लासिफिकेशन।
प्रथम व्यवस्थित अन्वेषण: लेखकों के सर्वोत्तम ज्ञान के अनुसार, यह विजुअल कॉन्टिनुअल लर्निंग के लिए वर्िफायर-आधारित RFT की क्षमता का व्यवस्थित रूप से अन्वेषण करने वाला पहला कार्य है।

प्रायोगिक परिणाम
ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101, और Kinetics-200 जैसे डेटासेट्स पर व्यापक प्रयोगों से पता चलता है कि RaPO लगातार मजबूत बेसलाइन्स (SFT, EWC, LwF, और मानक GRPO सहित) को पछाड़ता है।

इमेज क्लासिफिकेशन: ImageNet-R (10 टास्क) पर, RaPO ने केवल 4.69% फॉरगेटिंग के साथ 85.92% की सटीकता प्राप्त की, जो GRPO (74.67% सटीकता, 20.02% फॉरगेटिंग) से काफी बेहतर है।
ऑब्जेक्ट डिटेक्शन: COCO (5 टास्क) पर, RaPO ने बॉक्स AP को 14.64% से बढ़ाकर 19.31% कर दिया और फॉरगेटिंग को 6.67% से घटाकर 1.39% कर दिया।
जनरलाइजेशन: RaPO ने वीडियो क्लासिफिकेशन और डोमेन-इन्क्रीमेंटल सेटिंग्स में मजबूत प्रदर्शन दिखाया, ऐतिहासिक ज्ञान को सुरक्षित रखते हुए नए कार्यों के लिए मजबूत प्लास्टिसिटी बनाए रखी।
एब्लेशन स्टडीज: लेखकों ने पुष्टि की कि रिटेंशन रिवॉर्ड और CTAN दोनों पूरक हैं; किसी एक को हटाने से प्रदर्शन गिर जाता है। यह पद्धति हाइपरपैरामीटर चयन के प्रति भी मजबूत पाई गई और अन्य पॉलिसी ऑप्टिमाइजेशन एल्गोरिदम (जैसे SAPO) पर लागू होने पर भी प्रभावी रही।

महत्व और दावे
पेपर का दावा है कि जबकि RFT स्वाभाविक रूप से SFT की तुलना में कैटास्ट्रोफिक फॉरगेटिंग के प्रति अधिक लचीला है, लेकिन बिना स्पष्ट हस्तक्षेप के चुनौतीपूर्ण विusal VCL के लिए यह अपर्याप्त है। RaPO ट्रैजेक्टरी-लेवल ड्रिफ्ट के विरुद्ध कार्य करके इसे संबोधित करता है, जो आर्किटेक्चरल बदलावों या डेटा रिप्ले की आवश्यकता के बिना ज्ञान-संरक्षण वाले रोलआउट्स को प्राथमिकता देता है। लेखक इस कार्य को जटिल इंजीनियरिंग के माध्यम से स्टेट-ऑफ-द-आर्ट बेंचमार्क प्राप्त करने के प्रयास के रूप में नहीं, बल्कि इस आधारभूत अन्वेषण के रूप में देखते हैं कि RFT को कॉन्टिनुअल लर्निंग के लिए कैसे अनुकूलित किया जा सकता है। वे निष्कर्ष निकालते हैं कि RaPO एक सरल, प्रभावी रणनीति प्रदान करता है जो MLLMs की मजबूत रीजनिंग और अनुकूलन क्षमताओं को बनाए रखते हुए कैटास्ट्रोफिक फॉरगेटिंग को काफी कम करता है, जिससे उनकी आशा है कि यह RFT-आधारित कॉन्टिनुअल लर्निंग में आगे के शोध को प्रेरित करेगा।