💬 NLP

Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

यह शोध पत्र जॉइंट फ्लैशबैक अडैप्टेशन (Joint Flashback Adaptation) का प्रस्ताव करता है, जो एक टास्क-अग्नोस्टिक विधि है जो पुराने कार्यों के संकेतों ("फ्लैशबैक्स") के एक सीमित सेट को पेश करके और व्यापक रिप्ले डेटा पर निर्भर किए बिना सुचारू ज्ञान साझाकरण की सुविधा के लिए लेटेंट टास्क के इंटरपोलेशन के माध्यम से, इंक्रीमेंटल इंस्ट्रक्शन ट्यूनिंग के दौरान लार्ज लैंग्वेज मॉडल्स में होने वाले कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करता है।

मूल लेखक: Yukun Zhao, Lingyong Yan, Zhenyang Li, Shuaiqiang Wang, Zhumin Chen, Zhaochun Ren, Dawei Yin

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yukun Zhao, Lingyong Yan, Zhenyang Li, Shuaiqiang Wang, Zhumin Chen, Zhaochun Ren, Dawei Yin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: AI की "गोल्डफिश वाली याददाश्त"

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक Large Language Model, या LLM) है जो गणित के सवाल हल करने और कविता लिखने में पहले से ही विशेषज्ञ है। अब आप उसे एक नया कौशल सिखाना चाहते हैं: कोडिंग।

समस्या क्या है? जैसे ही वह कोडिंग सीखना शुरू करता है, वह गणित करना भूलने लगता है। इसे "Catastrophic Forgetting" (विनाशकारी विस्मृति) कहा जाता है। यह एक गोल्डफिश (सुनहरी मछली) की तरह है: जैसे ही कोई नई याद आती है, पुरानी यादें मिट जाती हैं।

वास्तविक दुनिया में, हम छात्र को उसकी पुरानी किताबें (पुराना ट्रेनिंग डेटा) यूँ ही नहीं दे सकते क्योंकि:

प्राइवेसी (Privacy): हमारे पास उस मूल डेटा तक पहुँच नहीं है जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया गया था।
स्टोरेज (Storage): डेटा इतना विशाल है कि उसे संभाल कर रखना संभव नहीं है।
लागत (Cost): हर बार नया पाठ सिखाने के लिए उन पुरानी किताबों को फिर से पढ़ना बहुत महंगा और धीमा होगा।

समाधान: "जॉइंट फ्लैशबैक अडैप्टेशन" (JFA)

लेखक इस छात्र को बिना पुराने टेक्स्टबुक्स के सिखाने का एक नया तरीका प्रस्तावित करते हैं। वे अपने इस तरीके को Joint Flashback Adaptation (JFA) कहते हैं।

इसे एक "मेंटल जिम" (मानसिक व्यायामशाला) की तरह समझें जिसमें दो विशेष तरकीबें हैं:

तरकीब 1: "फ्लैशबैक" प्रॉम्प्ट्स (पोस्ट-इट नोट्स)

पुरानी पूरी टेक्स्टबुक को फिर से पढ़ने के बजाय, शिक्षक पुराने विषयों (गणित और कविता) से कुछ मुख्य प्रश्न (प्रॉम्प्ट्स) स्टिकी नोट्स पर लिख देता है। ये "फ्लैशबैक" हैं।

यह कैसे काम करता है: कोडिंग का नया पाठ सिखाते समय, शिक्षक कभी-कभी छात्र को इन स्टिकी नोट्स में से एक दिखाता है और पूछता है, "हे, याद है तुमने यह गणित का सवाल कैसे हल किया था?"
लक्ष्य: छात्र को स्टिकी नोट वाले सवाल का जवाब ठीक वैसे ही देना चाहिए जैसा कोडिंग सीखने से पहले देता था। यदि उसका उत्तर भटकने लगे, तो शिक्षक उसे धीरे से सुधारता है। यह बिना पूरी किताब के पुराने कौशल को जीवित रखता है।

तरकीब 2: "सीक्रेट ब्रिज" (जॉइंट टास्क लर्निंग)

यहाँ चतुराई भरा हिस्सा है। कभी-कभी, केवल कुछ स्टिकी नोट्स पर्याप्त नहीं होते। छात्र भ्रमित हो सकता है क्योंकि नया कोडिंग कार्य पुराने गणित कार्य से बहुत अलग महसूस होता है।

इसे ठीक करने के लिए, शिक्षक "लेटेंट टास्क" (Latent Tasks) (या सीक्रेट ब्रिजेस) बनाता है।

उपमा: कल्पना कीजिए कि छात्र कार चलाना (नया कार्य) सीख रहा है लेकिन उसे साइकिल चलाना (पुराना कार्य) याद रखने की आवश्यकता है। ये अलग लगते हैं। लेकिन इनके बीच एक "सीक्रेट ब्रिज" है: संतुलन (Balance)।
यह कैसे काम करता है: AI ऐसे "घोस्ट टास्क" (भूतिया कार्य) बनाता है जो पुराने कौशल और नए कौशल के बीच में स्थित होते हैं। यह वास्तविक कार्यों के साथ-साथ इन घोस्ट टास्क को भी सीखता है।
परिणाम: इस "ब्रिज" को सीखकर, छात्र को एहसास होता है कि कोडिंग का तर्क वास्तव में गणित के तर्क के समान है। यह नए ज्ञान को बेहतर तरीके से "पकड़ने" में मदद करता है और पुराने ज्ञान को फीका पड़ने से रोकता है। यह वैसा ही है जैसे यह समझना कि तैरना सीखना आपको गोताखोरी सीखने में मदद करता है, भले ही वे अलग गतिविधियाँ हों।

यह सब मिलकर कैसे काम करता है

पुनः पठन की आवश्यकता नहीं: मॉडल को विशाल पुराने डेटासेट की आवश्यकता नहीं है। केवल कुछ चुनिंदा "फ्लैशबैक" प्रश्नों की आवश्यकता है।
टास्क-एग्नोस्टिक (Task-Agnostic): मॉडल को यह जानने की आवश्यकता नहीं है कि "यह गणित का सवाल है" या "यह कोडिंग का सवाल है।" यह बस सहजता से अनुकूलित होना सीख जाता है, विषय चाहे जो भी हो।
संतुलन बनाना: सिस्टम एक विशेष गणितीय "खींचातानी" (Gradient Projection) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि जब वह छात्र को नए कौशल की ओर खींचता है, तो वह अनजाने में उसे पुराने कौशल से बहुत दूर न खींच ले।

यह एक बड़ी बात क्यों है?

दक्षता (Efficiency): आपको टेराबाइट्स पुराना डेटा स्टोर करने की आवश्यकता नहीं है। बस कुछ प्रॉम्प्ट्स ही काफी हैं।
प्राइवेसी (Privacy): चूंकि आप मूल प्रशिक्षण डेटा का उपयोग नहीं कर रहे हैं, इसलिए आपको निजी जानकारी लीक होने की चिंता करने की आवश्यकता नहीं है।
प्रदर्शन (Performance): परीक्षणों में, यह तरीका पिछले तरीकों की तुलना में बेहतर रहा। AI ने पुराने काम (जैसे गणित या सामान्य बातचीत) करने की क्षमता खोए बिना नई चीजें (जैसे कोडिंग या रीजनिंग) सीखीं।

निष्कर्ष (The Bottom Line)

यह शोध पत्र AI को निरंतर सीखने का एक तरीका देता है जैसे कि इंसान सीखते हैं। हर बार कुछ नया सीखने पर अपने दिमाग को ओवरराइट करने के बजाय, यह कुछ "मेमोरी ट्रिगर्स" (फ्लैशबैक) का उपयोग करता है और पुराने ज्ञान को सुरक्षित रखते हुए नए कौशल में महारत हासिल करने के लिए "वैचारिक पुल" (जॉइंट लर्निंग) बनाता है। यह एक ऐसे छात्र के बीच का अंतर है जो हाई स्कूल शुरू करते ही सब कुछ भूल जाता है, और एक ऐसे छात्र के बीच का अंतर है जो जीनियस बनने के लिए अपने प्राथमिक विद्यालय के ज्ञान का उपयोग करता है।

यहाँ शोध पत्र "Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning" (arXiv:2505.15467v1) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को जब नए कार्यों को क्रमिक रूप से (incrementally) सिखाया जाता है, तो वे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) की समस्या का सामना करते हैं। जब नए इंस्ट्रक्शन-फॉलोइंग कार्यों पर फाइन-ट्यून किया जाता है, तो मॉडल्स अक्सर पहले से प्राप्त ज्ञान को खो देते हैं। मौजूदा समाधान वास्तविक दुनिया के परिदृश्यों में महत्वपूर्ण सीमाओं से ग्रस्त हैं:

रीप्ले-आधारित विधियाँ (Replay-based methods): इनके लिए मूल प्रशिक्षण डेटा तक पहुँच की आवश्यकता होती है, जो गोपनीयता संबंधी चिंताओं या मालिकाना प्रतिबंधों के कारण अक्सर उपलब्ध नहीं होता है।
रेगुलराइजेशन-आधारित विधियाँ (Regularization-based methods): ये अक्सर अंडर- या ओवर-कन्स्ट्रेंट (under- or over-constraint) की समस्याओं का कारण बनती हैं या अप्रत्यक्ष रूप से पिछले डेटा की आवश्यकता रखती हैं।
पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) और एडैप्टर्स (Adapters): इन्हें कार्य-विशिष्ट पहचानकर्ताओं (task-IDs) की आवश्यकता हो सकती है, जिससे लचीलापन कम हो जाता है, या ये ज्ञान के संघर्षों (knowledge conflicts) को पूरी तरह से कम करने में विफल हो सकते हैं।

लक्ष्य एक मौजूदा, अच्छी तरह से संरेखित (well-aligned) LLM को नए कार्यों के अनुकूल बनाना है, जबकि पुराने कार्यों पर प्रदर्शन को बनाए रखना है, और इसके लिए न तो रीप्ले डेटा की आवश्यकता है और न ही कार्य विभेदीकरण (task differentiation) की।

2. कार्यप्रणाली: जॉइंट फ्लैशबैक अडैप्टेशन (Methodology: Joint Flashback Adaptation - JFA)

लेखक जॉइंट फ्लैशबैक अडैप्टेशन (JFA) प्रस्तावित करते हैं, जो एक टास्क-एग्नोस्टिक (task-agnostic) फ्रेमवर्क है जो सीमित "फ्लैशबैक" प्रॉम्प्ट्स और एक नवीन जॉइंट टास्क लर्निंग मैकेनिज्म को जोड़ता है।

A. फ्लैशबैक अडैप्टेशन फ्रेमवर्क (Flashback Adaptation Framework)

पूर्ण डेटासेट को रीप्ले करने के बजाय, JFA फ्लैशबैक के एक छोटे सेट का उपयोग करता है:

परिभाषा: पुराने कार्यों से लिए गए (बिना लेबल वाले) प्रॉम्प्ट्स की एक सीमित संख्या (या मैन्युअल रूप से तैयार किए गए)।
प्रतिबंध: फ्लैशबैक प्रॉम्प्ट्स को प्रोसेस करते समय मॉडल को एक रेफरेंस मॉडल (मूल प्री-ट्रेंड मॉडल) के समान आउटपुट उत्पन्न करने के लिए बाध्य किया जाता है।
लॉस फंक्शन (Loss Function):
- $L_{SFT}$ : नए कार्यों पर मानक सुपरवाइज्ड फाइन-ट्यूनिंग लॉस।
- $L_{DIV}$ : फ्लैशबैक प्रॉम्प्ट्स पर वर्तमान मॉडल और रेफरेंस मॉडल के बीच डाइवर्जेंस लॉस (ड्यूल KL डाइवर्जेंस)।
- कुल उद्देश्य (Total Objective): $L = L_{SFT} + \alpha \cdot L_{DIV}$ ।
ग्रेडिएंट प्रोजेक्शन (Gradient Projection): नए कार्य के लॉस को कम करने और भूलने (forgetting) को कम करने के बीच के संघर्षों को हल करने के लिए, लेखक संघर्षरत ग्रेडिएंट्स को ऑर्थोगोनलाइज करने हेतु PCGrad (ग्रेडिएंट प्रोजेक्शन) का उपयोग करते हैं।

B. जॉइंट टास्क लर्निंग (Joint Task Learning - JTL)

फ्लैशबैक्स की डेटा स्पैरसिटी (data sparsity) को संबोधित करने और ज्ञान साझाकरण (knowledge sharing) को सुगम बनाने के लिए, JFA 'लेटेंट टास्क' (latent tasks) को फ्लैशबैक्स और नए कार्यों के बीच इंटरपोलेशन के रूप में पेश करता है।

लेटेंट टास्क रिप्रेजेंटेशन (Latent Task Representation): प्रत्येक लेटेंट टास्क एक टुपल $(e_j, \Delta\theta_j)$ है, जहाँ $e_j$ एक वेक्टर की (key) है और $\Delta\theta_j$ एक वेट इंक्रीमेंट (LoRA-शैली के लो-रैंक मैट्रिसेस के माध्यम से संकलित) है।
इनिशियलाइजेशन (Initialization): $H$ ऑर्थोगोनल कीज़ (keys) को इनिशियलाइज़ किया जाता है। वेट इंक्रीमेंट्स को LoRA का उपयोग करके इनिशियलाइज़ किया जाता है (B के लिए रैंडम नॉर्मल, A के लिए ज़ीरो)।
रिट्रीवल (Retrieval): किसी भी इनपुट (नया कार्य या फ्लैशबैक) के लिए, मॉडल RoBERTa का उपयोग करके प्रॉम्प्ट को एनकोड करता है। यह इनपुट एनकोडिंग और लेटेंट कीज़ के बीच कोसाइन सिमिलरिटी के आधार पर सबसे अधिक समान शीर्ष- $k$ लेटेंट टास्क को रिट्रीव करता है।
री-पैरामीट्राइजेशन (Re-parameterization): एक विशिष्ट सैंपल के लिए मॉडल पैरामीटर्स को रिट्रीव किए गए वेट इंक्रीमेंट्स के इंटरपोलेशन द्वारा गतिशील रूप से समायोजित किया जाता है:
$\Theta'_{sample} = \Theta' + \sum_{j=1}^{k} D(q_i, e_j) \Delta\theta_j$
जहाँ $D$ सिमिलरिटी वेट है।
ट्रेनिंग (Training): मॉडल बेस पैरामीटर्स के साथ जॉइंट रूप से वेट इंक्रीमेंट्स ( $\Delta\theta$ ) को सीखता है, जिससे लेटेंट स्पेस के माध्यम से ज्ञान पुराने और नए कार्यों के बीच सुचारू रूप से प्रवाहित हो सके।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (JFA): एक निरंतर सीखने (continual learning) की विधि जिसमें केवल कुछ फ्लैशबैक प्रॉम्प्ट्स की आवश्यकता होती है (कोई लेबल नहीं, कोई रीप्ले डेटा नहीं) और यह टास्क-एग्नोस्टिक है (किसी टास्क-ID की आवश्यकता नहीं)।
जॉइंट टास्क लर्निंग मैकेनिज्म: फ्लैशबैक्स और नए कार्यों के बीच इंटरपोलेशन करने के लिए लेटेंट टास्क पेश करता है, जिससे डेटा स्पैरसिटी कम होती है और प्रभावी ज्ञान साझाकरण संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में नए कार्यों पर सामान्यीकरण (generalization) और पुराने कार्यों की क्षमताओं को बनाए रखने में श्रेष्ठ प्रदर्शन प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

सेटअप: Vicuna-13B और Llama-3.1-8B पर मूल्यांकन किया गया।
डेटासेट्स:
- नया कार्य (New Task): Super Natural Instructions (SNI) ट्रेनिंग सेट।
- पुराने कार्य (मूल्यांकन के लिए): GSM-8K, SVAMP (अरिथमेटिक रीजनिंग); ARC-Challenge, MMLU-Pro, BIG-Bench-Hard (जनरल रीजनिंग)।
बेसलाइन्स: वैनिला LLM, SFT, PACE, Replay (फुल डेटा), FROMP, और SLM।
प्रदर्शन:
- जनरलाइजेशन (Generalization): JFA ने सभी मेट्रिक्स (BLEU, ROUGE) में नए कार्य (SNI) पर सर्वश्रेष्ठ प्रदर्शन किया, जो SFT, PACE और अन्य CL विधियों से बेहतर रहा।
- फॉरगेटिंग मिटिगेशन (Forgetting Mitigation): JFA ने लगातार पुराने कार्यों (जैसे GSM-8K, BBH) पर सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ परिणाम दिया, जो स्टैंडर्ड SFT से काफी बेहतर था जो गंभीर भूलने (forgetting) से ग्रस्त था।
- दक्षता (Efficiency): JFA ने केवल 30 फ्लैशबैक प्रॉम्प्ट्स (प्रत्येक डेटासेट प्रकार के लिए 30) का उपयोग करके "Replay" (जो हजारों अतिरिक्त ट्रेनिंग सैंपल्स का उपयोग करता है) के प्रदर्शन के बराबर प्रदर्शन किया।
एब्लेशन स्टडीज (Ablation Studies):
- जॉइंट टास्क लर्निंग: JTL को हटाने से नए और पुराने दोनों कार्यों पर प्रदर्शन काफी गिर गया।
- फ्लैशबैक्स: 0 प्रॉम्प्ट्स का उपयोग करने से गंभीर भूलने (forgetting) की समस्या हुई; प्रदर्शन को स्थिर करने के लिए 10–20 प्रॉम्प्ट्स पर्याप्त थे।
- हाइपरपैरामीटर्स: विधि बैलेंस वेट $\alpha$ और लेटेंट टास्क ग्रुप साइज़ ( $C, Q, k$ ) में बदलाव के प्रति मजबूत (robust) है।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

व्यावहारिकता: JFA रीप्ले बफ़र्स की आवश्यकता को समाप्त करके निरंतर सीखने (continual learning) की डेटा गोपनीयता और स्टोरेज बाधाओं को हल करता है।
स्केलेबिलिटी: यह न्यूनतम ओवरहेड (कुछ प्रॉम्प्ट्स + लेटेंट टास्क वेक्टर्स) का उपयोग करके LLMs को बिना कैटास्ट्रフィック फॉरगेटिंग के हजारों नए कार्यों के अनुकूल होने में सक्षम बनाता है।
जनरलाइजेशन: दृष्टिकोण टास्क-एग्नोस्टिक है, जो इसे डायनेमिक, वास्तविक दुनिया के परिनियोजन (deployment) के लिए उपयुक्त बनाता है जहाँ कार्य की परिभाषाएँ पहले से ज्ञात नहीं हो सकती हैं।

सीमाएँ:

मॉडल डिपेंडेंसी: मुख्य रूप से स्ट्रॉन्ग, अलाइन्ड मॉडल्स पर सत्यापित किया गया है; कम गुणवत्ता वाले रेफरेंस टारगेट्स वाले कमजोर मॉडल्स पर प्रदर्शन अनवेरिफाइड है।
ग्रैनुलैरिटी (Granularity): विधि ग्लोबल नॉलेज शेयरिंग और लर्निंग बनाम रिटेंशन को संतुलित करने के लिए एक स्केलर वेट $\alpha$ पर निर्भर करती है। यह अभी तक उन विशिष्ट क्षमताओं के बीच सूक्ष्म अंतर नहीं कर सकती जिन्हें अपडेट करने की आवश्यकता है बनाम जिन्हें संरक्षित किया जाना चाहिए, जो भविष्य के कार्य के लिए एक दिशा है।