💬 NLP

Feedback Adaptation for Retrieval-Augmented Generation

यह शोध पत्र "फीडबैक अनुकूलन" (feedback adaptation) को रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) प्रणालियों के लिए एक महत्वपूर्ण मूल्यांकन आयाम के रूप में प्रस्तुत करता है, जिसमें सुधार अंतराल (correction lag) और फीडबैक-पश्चात प्रदर्शन (post-feedback performance) जैसे मेट्रिक्स का प्रस्ताव दिया गया है ताकि स्थिर मूल्यांकनों की सीमाओं को उजागर किया जा सके और यह प्रदर्शित किया जा सके कि प्रस्तावित इन्फरेंस-टाइम विधि, PatchRAG, बिना पुन: प्रशिक्षण (retraining) के तत्काल सुधार और सुदृढ़ सामान्यीकरण प्राप्त करती है।

मूल लेखक: Jihwan Bang, Seunghan Yang, Kyuhong Shim, Simyung Chang, Juntae Lee, Sungha Choi

प्रकाशित 2026-04-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jihwan Bang, Seunghan Yang, Kyuhong Shim, Simyung Chang, Juntae Lee, Sungha Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित सहायक है जिसका नाम RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) है। यह सहायक बोलने से पहले एक विशाल पुस्तकालय से तथ्यों को खोजकर आपके सवालों के जवाब देने में माहिर है।

हालाँकि, एक समस्या है: पुस्तकालयों को अपडेट होने में समय लगता है।

पुराना तरीका: "धीमा लाइब्रेरियन"

वर्तमान दुनिया में, यदि RAG कोई गलती करता है (मान लीजिए, वह आपको बताता है कि एक कानून 5 साल पहले बदला था, लेकिन वास्तव में वह पिछले हफ्ते बदला है), तो आपको एक विशेषज्ञ को बताना पड़ता है। फिर विशेषज्ञ को वापस पुस्तकालय जाना पड़ता है, किताबें फिर से लिखनी पड़ती हैं, अलमारियों को व्यवस्थित करना पड़ता है और लाइब्रेरियन को फिर से प्रशिक्षित करना पड़ता है।

इस प्रक्रिया को "रिट्रेनिंग" (Retraining) कहा जाता है।

समस्या: जब लाइब्रेरियन किताबें फिर से लिखने में व्यस्त होता है, तब भी वह आपको आपके नए सवालों के गलत जवाब देता रहता है। सुधार को "असर करने" में दिनों या हफ्तों का समय लग जाता है।
पेपर का अंतर्दृष्टि (Insight): लेखकों ने महसूस किया कि कोई भी यह नहीं मापता कि एक सहायक को अपनी गलती से सीखने में कितना समय लगता है, या वह भविष्य के समान प्रश्नों पर उस सबक को कितनी अच्छी तरह लागू करता है। वे इस गायब कड़ी को "फीडबैक एडाप्टेशन" (Feedback Adaptation) कहते हैं।

नया कॉन्सेप्ट: "करेक्शन लैग" बनाम "स्मार्ट जनरलाइजेशन"

यह पेपर एक AI सहायक को परखने के दो नए तरीके पेश करता है:

करेक्शन लैग (इंतजार का समय): आपके सुधार करने के बाद सहायक कितनी देर तक आपको गलत उत्तर देता रहता है?
- उपमा: यदि आप एक GPS को बताते हैं, "वह सड़क बंद है," तो क्या वह तुरंत आपको नया रास्ता दिखाता है, या वह अपडेट "डाउनलोड" होने के दौरान अगले 20 मिनट तक आपको एक डेड एंड (बंद रास्ते) की ओर ले जाता रहता है?
पोस्ट-फीडबैक परफॉरमेंस (एक स्मार्ट शिक्षार्थी): एक बार जब सहायक सुधार को सीख लेता है, तो क्या वह इसे समान स्थितियों में भी लागू करता है?
- उपमा: यदि आप GPS को बताते हैं "सड़क A बंद है," तो क्या वह यह भी समझ जाता है कि "सड़क B" (जो उसके ठीक बगल में है) भी बंद हो सकती है? या वह केवल "सड़क A बंद है" को याद रखता है और बाकी को अनदेखा कर देता है?

समाधान: "PatchRAG" (द स्टिकी नोट सिस्टम)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे PatchRAG कहा जाता है। पूरे पुस्तकालय को फिर से लिखने (रिट्रेनिंग) के बजाय, PatchRAG एक स्टिकी नोट सिस्टम का उपयोग करता है।

यह कैसे काम करता है: जब आप सहायक को सुधारते हैं, तो वह स्कूल वापस नहीं जाता। इसके बजाय, वह आपके सुधार को एक स्टिकी नोट पर लिखता है और उसे पुस्तकालय में प्रासंगिक किताबों के ठीक बगल में चिपका देता है।
जादू: अगली बार जब सहायक कोई सवाल खोजता है, तो वह उस स्टिकी नोट को तुरंत देख लेता है।
- जीरो लैग (Zero Lag): यह गलती को तुरंत ठीक कर देता है।
- स्मार्ट जनरलाइजेशन (Smart Generalization): क्योंकि स्टिकी नोट इस तरह से लिखा जाता है कि वह आपके प्रश्न के इरादे (Intent) को समझ सके (न कि केवल सटीक शब्दों को), इसलिए सहायक उस नोट का उपयोग अलग लेकिन संबंधित प्रश्नों के सही उत्तर देने के लिए कर सकता है।

एक वास्तविक उदाहरण

कल्पना कीजिए कि आप एक लीगल AI से पूछते हैं: "मुझे इस अनुबंध (Contract) को छोड़ने के लिए कितने दिनों का नोटिस देना होगा?"

पुराना उत्तर: "30 दिन।" (यह पुराना नियम है)।
आप कहते हैं: "दरअसल, नया कानून कहता है कि 14 दिन।"

पुराना सिस्टम (Retraining):
सिस्टम कहता है, "ठीक है, मैं अपने ट्रेनिंग डेटा को अपडेट कर दूँगा।" अगले 3 दिनों तक, यदि आप पूछते हैं, "6 महीने के अनुबंध के बारे में क्या?" तो यह अभी भी "30 दिन" ही कहेगा क्योंकि अपडेट पूरा नहीं हुआ है।

PatchRAG सिस्टम:
सिस्टम तुरंत एक स्टिकी नोट लिखता है: "नया नियम: अल्पकालिक अनुबंधों के लिए 14 दिन।"
अगले ही सेकंड, यदि आप पूछते हैं, "2 महीने के अनुबंध के बारे में क्या?" तो वह स्टिकी नोट को देखता है और कहता है, "14 दिन।" उसे इंतजार करने की जरूरत नहीं पड़ी; उसे बस नोट पढ़ने की जरूरत थी।

यह क्यों महत्वपूर्ण है

यह पेपर दिखाता है कि पुराने तरीके से AI को परखना (केवल अंतिम स्कोर देखना) एक बड़ी खामी को छुपाता है: AI अक्सर अपनी गलतियों से सीखने में धीमा होता है।

"स्टिकी नोट" दृष्टिकोण (PatchRAG) का उपयोग करके, हम ऐसे सहायक बना सकते हैं जो:

तुरंत सीखते हैं (अपडेट के लिए इंतजार किए बिना)।
गहराई से सीखते हैं (वे सुधार के कॉन्सेप्ट को समझते हैं, न कि केवल विशिष्ट शब्दों को)।

संक्षेप में, यह पेपर तर्क देता है कि एक वास्तव में स्मार्ट AI को केवल एक स्थिर विश्वकोश नहीं होना चाहिए; उसे एक जीवंत, सीखने वाला साथी होना चाहिए जो आपकी ओर इशारा करते ही अपनी गलतियों को ठीक कर सके, बिना किसी रीबूट की आवश्यकता के।

यहाँ शोध पत्र "Feedback Adaptation for Retrieval-Augmented Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम मुख्य रूप से स्थिर धारणाओं (static assumptions) के तहत मूल्यांकित किए जाते हैं, जहाँ मॉडल पैरामीटर्स और ज्ञान कोष (knowledge corpora) स्थिर होते हैं। हालाँकि, वास्तविक दुनिया के उपयोग में, RAG सिस्टम अक्सर गलत या पुराने आउटपुट का सामना करते हैं जिन्हें उपयोगकर्ता या विशेषज्ञ के फीडबैक के माध्यम से सुधारने की आवश्यकता होती है।

मौजूदा मूल्यांकन प्रोटोकॉल इस गतिशील वास्तविकता को संबोधित करने में विफल रहते हैं क्योंकि:

वे स्थिर टेस्ट सेट्स पर समग्र सटीकता (जैसे, EM, F1) पर ध्यान केंद्रित करते हैं।
वे यह नहीं मापते कि फीडबैक प्राप्त होने के बाद सिस्टम कितनी तेज़ी से अनुकूलित होता है।
वे यह भी नहीं मापते कि सिस्टम उस सुधार को भविष्य के अर्थपूर्ण (semantically related) प्रश्नों पर कितनी विश्वसनीयता से लागू करता है।

लेखकों का तर्क है कि फीडबैक के प्रति अनुकूलन (adaptation) एक अलग शोध समस्या है जिसके लिए एक नए मूल्यांकन ढांचे की आवश्यकता है, क्योंकि मानक बेंचमार्क इंटरैक्टिव सेटिंग्स में डायनेमिक्स को छिपा देते हैं और शुद्धता (correctness) को अनुकूलन क्षमता (adaptability) के साथ मिला देते हैं।

2. कार्यप्रणाली: फीडबैक अडैप्टेशन फ्रेमवर्क (Methodology: The Feedback Adaptation Framework)

यह शोध पत्र फीडबैक अडैप्टेशन (Feedback Adaptation) नामक एक नई समस्या सेटिंग पेश करता है, जिसे दो ऑर्थोगोनल मूल्यांकन अक्षों (orthogonal evaluation axes) द्वारा परिभाषित किया गया है:

A. मूल्यांकन अक्ष (Evaluation Axes)

करेक्शन लैग (Correction Lag):
- परिभाषा: फीडबैक प्रदान करने और सिस्टम द्वारा अर्थपूर्ण रूप से सुसंगत प्रश्नों के लिए सुधारा गया आउटपुट लगातार उत्पन्न करने के बीच का समय अंतराल।
- महत्व: ट्रेनिंग-आधारित विधियाँ (जैसे रीट्रेनिंग/फाइन-ट्यूनिंग) स्वाभाविक रूप से उच्च करेक्शन लैग का सामना करती हैं क्योंकि इसमें डेटा प्रोसेसिंग, मॉडल अपडेट और पुन: तैनाती के लिए समय की आवश्यकता होती है।
पोस्ट-फीडबैक परफॉरमेंस (Post-Feedback Performance):
- परिभाषा: प्रदान किए गए फीडबैक के साथ अर्थपूर्ण रूप से सुसंगत प्रश्नों पर सिस्टम की सटीकता।
- महत्व: यह मीट्रिक सुधार को सामान्यीकृत (generalize) करने की सिस्टम की क्षमता को अलग करता है। यह एक ऐसे सिस्टम के बीच अंतर करता है जो केवल एक विशिष्ट फीडबैक इंस्टेंस को याद रखता है, बनाम एक ऐसा सिस्टम जो भविष्य के समान प्रश्नों को संभालने के लिए अंतर्निहित नियम को आत्मसात करता है।

B. प्रस्तावित समाधान: पैचआरएजी (Proposed Solution: PatchRAG)

यह प्रदर्शित करने के लिए कि बिना रीट्रेनिंग के तत्काल अनुकूलन संभव है, लेखक PatchRAG का प्रस्ताव करते हैं, जो एक न्यूनतम इन्फरेंस-टाइम इंस्टेंशिएशन है।

मुख्य तंत्र: PatchRAG इन्फरेंस के समय फीडबैक को "पैच" (क्वेरी, सुधारा गया उत्तर, और साक्ष्य के टुपल्स) के रूप में संग्रहीत करके और जनरेशन के दौरान उन्हें रिट्रीव करके फीडबैक को शामिल करता है।
इंटेंट-कॉन्टेक्स्ट रिट्रीवल (Intent-Context Retrieval): यह प्रासंगिक फीडबैक को रिट्रीव करने के लिए एक डुअल-सिमिलरिटी स्कोरिंग फंक्शन का उपयोग करता है:
$S_i(q) = \lambda \cdot \text{sim}(q, q_i) + (1-\lambda) \cdot \text{sim}(q, c_i)$
- $q$ : वर्तमान उपयोगकर्ता क्वेरी।
- $q_i$ : फीडबैक टुपल में मूल क्वेरी (इन्टेंट मैचिंग)।
- $c_i$ : फीडबैक टुपल में सहायक साक्ष्य/संदर्भ (कॉन्टेक्स्ट ग्राउंडिंग)।
- $\lambda$ : इंटेंट सिमिलरिटी और कंटेंट रेलेवेंस को संतुलित करने के लिए एक पैरामीटर (0.5 निर्धारित)।
इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning): रिट्रीव किए गए फीडबैक पैच सीधे जनरेशन प्रॉम्प्ट में इंजेक्ट किए जाते हैं, जिससे LLM को बिना ग्रेडिएंट अपडेट के, नई जानकारी पर अपना आउटपुट आधारित करने की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

समस्या का निरूपण: RAG के लिए फीडबैक अडैप्टेशन को एक औपचारिक समस्या सेटिंग के रूप में पेश किया, जिससे ध्यान स्थिर सटीकता से हटकर डायनेमिक व्यवहार संबंधी विकास पर केंद्रित हुआ।
नए मीट्रिक्स: अनुकूलन की गति और सामान्यीकरण की विश्वसनीयता के बीच के ट्रेड-ऑफ को मापने के लिए करेक्शन लैग और पोस्ट-फीडबैक परफॉरमेंस को परिभाषित किया।
व्यावहारिक साक्ष्य: यह प्रदर्शित किया कि ट्रेनिंग-आधारित दृष्टिकोण एक संरचनात्मक ट्रेड-ऑफ का सामना करते हैं: करेक्शन लैग को कम करने (कम स्टेप्स में ट्रेनिंग करने) से पोस्ट-फीडबैक परफॉरमेंस काफी गिर जाता है, जबकि उच्च प्रदर्शन के लिए लंबे लैग समय की आवश्यकता होती है।
PatchRAG कार्यान्वयन: एक प्रूफ-ऑफ-कॉन्सेप्ट सिस्टम प्रदान किया जो शून्य करेक्शन लैग (तत्काल अनुकूलन) प्राप्त करता है और साथ ही मजबूत पोस्ट-फीडबैक परफॉरमेंस बनाए रखता है, जिससे यह सिद्ध होता है कि प्रभावी अनुकूलन के लिए रीट्रेनिंग अनिवार्य नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क: Natural Questions (NQ), TriviaQA, और HotpotQA पर मानक RAG बेसलाइन्स और ट्रेनिंग-आधारित अडैप्टेशन विधियों (जैसे RAFT, Golden-only) के विरुद्ध PatchRAG का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- PatchRAG ने सभी डेटासेट्स में उच्चतम पोस्ट-फीडबैक परफॉरमेंस (औसत F1/EM: 62.3) हासिल की, जो ट्रेनिंग-आधारित बेसलाइन्स (जैसे RAFT 57.3, Golden-only 56.1) से काफी बेहतर है।
- इसने फीडबैक इंजेक्शन के बाद सबसे बड़ा प्रदर्शन सुधार (+9.7 औसत सुधार) दिखाया, जबकि ट्रेनिंग-आधारित विधियों ने छोटे लाभ (+4.6 से +4.8) दिखाए।
करेक्शन लैग (Correction Lag):
- ट्रेनिंग-आधारित विधियों ने एक तीव्र ट्रेड-ऑफ दिखाया: लैग को कम करने के लिए ट्रेनिंग स्टेप्स को कम करने से प्रदर्शन में गिरावट आई।
- PatchRAG ने सटीकता से समझौता किए बिना तत्काल सुधार (न्यूनतम लैग) प्राप्त किया, जिससे यह ट्रेड-ऑफ कर्व को प्रभावी ढंग से तोड़ दिया।
अपूर्ण फीडबैक के प्रति मजबूती (Robustness to Imperfect Feedback):
- PatchRAG शोर वाले (noisy) फीडबैक (जैसे, दूषित उत्तर, अस्पष्ट स्पष्टीकरण) के साथ भी प्रभावी रहा, हालांकि प्रदर्शन धीरे-धीरे कम हुआ न कि अचानक गिरा।
- इसने दिखाया कि स्पष्ट उत्तर संकेत महत्वपूर्ण हैं; "अस्पष्ट" या "खाली" फीडबैक ने प्रदर्शन को काफी कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- रिट्रीवल स्ट्रैटेजी: मानक कंटेंट-ओनली रिट्रीवल (Q-to-C) फीडबैक को प्रसारित करने में विफल रहा। प्रस्तावित Intent-Context रिट्रीवल सेमेंटिक गैप को पाटने के लिए महत्वपूर्ण था।
- बैकबोन: फीडबैक अडैप्टेशन के लाभ विभिन्न रिट्रीवर्स (BM25, DPR, bge-m3) में सामान्य थे, हालांकि डेंस रिट्रीवर्स ने बेहतर सेमेंटिक मैचिंग के कारण बेहतर परिणाम दिए।

5. महत्व और निहितार्थ (Significance and Implications)

RAG मूल्यांकन को पुनर्परिभाषित करना: यह शोध पत्र तर्क देता है कि इंटरैक्टिव सिस्टम के लिए मानक सटीकता मीट्रिक्स अपर्याप्त हैं। प्रस्तावित अक्ष (Lag बनाम Performance) वर्तमान RAG प्रतिमानों की छिपी हुई संरचनात्मक सीमाओं को उजागर करते हैं।
डिप्लॉयमेंट दक्षता: यह प्रदर्शित करके कि इन्फरेंस-टाइम अडैप्टेशन (PatchRAG) ट्रेनिंग-आधारित विधियों से बेहतर हो सकता है, यह पेपर अधिक चुस्त, लागत प्रभावी RAG सिस्टम की ओर संकेत करता है जिन्हें अद्यतित रहने के लिए महंगी, आवधिक रीट्रेनिंग चक्रों की आवश्यकता नहीं है।
मेमोराइजेशन के बजाय जनरलाइजेशन: परिणामों से पता चलता है कि सफल फीडबैक अडैप्टेशन सेमेंटिक जनरलाइजेशन (सुधार के 'इन्टेंट' को समझना) पर निर्भर करता है, न कि केवल विशिष्ट फीडबैक इंस्टेंस के पैटर्न मिलान या मेमोराइजेशन पर।
भविष्य की दिशाएं: यह कार्य "ह्यूमन-इन-द-लूप" RAG सिस्टम के अनुसंधान के द्वार खोलता है जहाँ निरंतर, रीयल-टाइम फीडबैक सिस्टम के विकास को संचालित करता है, जिससे वर्तमान बेंचमार्क के स्टेटिक स्नैपशॉट मॉडल से आगे बढ़ा जा सके।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि फीडबैक अडैप्टेशन RAG व्यवहार का एक महत्वपूर्ण, पहले से अनदेखा किया गया आयाम है। यह सिद्ध करता है कि तत्काल, ट्रेनिंग-मुक्त अनुकूलन न केवल संभव है बल्कि गति और विश्वसनीयता दोनों के मामले में पारंपरिक रीट्रेनिंग विधियों से बेहतर है।