Reason Before You Retrieve: Agentic Planning for Multi-modal RAG
यह शोध पत्र MM-R2 का प्रस्ताव करता है, जो एक मल्टीमॉडल एजेंटिक फ्रेमवर्क है जो रिट्रीवल-ऑगमेंटेड जनरेशन को बेहतर बनाता है, क्योंकि यह रिट्रीवल लक्ष्यों के बारे में स्पष्ट रूप से तर्क देता है और नॉलेजमैप (KnowledgeMap) के माध्यम से सर्च स्पेस को व्यवस्थित करता है, जिसे बेंचमार्क डेटासेट्स पर बेहतर सटीकता और व्याख्यात्मकता प्राप्त करने के लिए एक नए ट्राजेक्टरी डेटासेट और दो-चरणीय पोस्ट-ट्रेनिंग रणनीति द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन एक एकल सुराग के बजाय, आपके पास किताबों, तस्वीरों और मानचित्रों का एक विशाल, अस्त-व्यस्त ढेर है जिसे एक बड़े बक्से में फेंक दिया गया है। यह "मल्टीमॉडल रिट्रीवल-ऑगमेंटेड जनरेशन" (mRAG) की दुनिया है। यह एक फैंसी तरीका है यह कहने का कि हम चाहते हैं कि कंप्यूटर तस्वीरों के बारे में तथ्यों को खोजने के लिए एक विशाल पुस्तकालय का उपयोग करके सवालों के जवाब दें। आमतौर पर, जब कोई कंप्यूटर ऐसा करने की कोशिश करता है, तो वह एक विशाल सुपरमार्केट में भागते-दौड़ते हुए एक घबराए हुए ग्राहक की तरह व्यवहार करता है: वह एक सवाल पकड़ता है, पूरे स्टोर में चिल्लाता है, और उम्मीद करता है कि शेल्फ पर मिलने वाली पहली कुछ चीजें सही होंगी। समस्या यह है कि कंप्यूटर अक्सर गलत चीजें पकड़ लेता है क्योंकि वह वास्तव में यह नहीं समझता कि वह क्या ढूंढ रहा है या स्टोर में वह वस्तु कहाँ छिपी हो सकती है। यह वैसा ही है जैसे "लाल कार" के लिए पूछना और लाल सेब की तस्वीर मिलना क्योंकि कंप्यूटर ने बस "लाल" शब्द देखा और जो भी पहली लाल चीज़ मिली उसे पकड़ लिया।
यहीं पर यह नया शोध पत्र आता है। शोधकर्ताओं ने महसूस किया कि इससे पहले कि आप खोजना शुरू करें, आपको रुककर सोचना होगा। वे अपने नए सिस्टम को MM-R2 कहते हैं, जिसका अर्थ है "रिट्रीव करने से पहले सोचें" (Reason Before You Retrieve)। बिना सोचे-समझे शून्य में चिल्लाने के बजाय, MM-R2 एक स्मार्ट जासूस की तरह काम करता है। पहले, यह तस्वीर और सवाल को एक साथ देखता है ताकि यह पता लगा सके कि सटीक "सुराग" (फोटो में विशिष्ट वस्तु) क्या है और किस प्रकार की जानकारी की आवश्यकता है। फिर, पूरे बिखरे हुए बक्से को खोजने के बजाय, यह पुस्तकालय के एक विशेष, व्यवस्थित मानचित्र का परामर्श लेता है जिसे "नॉलेजमैप" (KnowledgeMap) कहा जाता है। यह सही गलियारा चुनता है, सही किताब उठाता है, उसे पढ़ता है, और तय करता है कि क्या उसे कहीं और देखने की आवश्यकता है। शोध पत्र सुझाव देता है कि "पहले सोचने" के इस चरण को करके, कंप्यूटर सही उत्तर खोजने में बहुत बेहतर हो जाता है और यहाँ तक कि वह अपना काम भी दिखा सकता है, जिससे यह साबित होता है कि उसने रहस्य को कैसे सुलझाया।
जासूस की नई रणनीति
इस शोध पत्र का मुख्य विचार यह है कि कंप्यूटर वर्तमान में कार्रवाई में कूदने के लिए बहुत उत्सुक हैं। जब आप एक फोटो दिखाते हुए कंप्यूटर से पूछते हैं, "इस तस्वीर में किस प्रकार का पक्षी है?" तो वर्तमान सिस्टम अक्सर शब्दों और छवि को बस आपस में मिला देते हैं और एक साथ सब कुछ खोजना शुरू कर देते हैं। लेखक तर्क देते हैं कि यह एक गलती है। उन्होंने पाया कि ये सिस्टम भ्रमित हो जाते हैं क्योंकि उन्हें नहीं पता होता कि छवि का कौन सा हिस्सा महत्वपूर्ण है या उन्हें किस विशिष्ट तथ्य की आवश्यकता है। यह एक पुस्तकालय में "केक" शब्द के लिए हर एक किताब में खोजने के बजाय सीधे "बेकिंग" अनुभाग में जाने के बजाय केक की रेसिपी खोजने जैसा है।
इसे ठीक करने के लिए, टीम ने MM-R2 बनाया, एक ऐसा सिस्टम जो कंप्यूटर को खोजने से पहले रुकने और योजना बनाने के लिए मजबूर करता है। वे इस प्रक्रिया को तीन मजेदार चरणों में विभाजित करते हैं:
- "क्या" और "कहाँ" की योजना: खोजने से पहले, सिस्टम एक "रिट्रीवल स्टेट" (retrieval state) बनाता है। इसे एक आदर्श शॉपिंग लिस्ट लिखने के रूप में समझें। यह सूचना की आवश्यकता (मुझे क्या जानने की आवश्यकता है?), ग्राउंडेड रेफरेंट (फोटो में मैं किस विशिष्ट वस्तु के बारे में बात कर रहा हूँ?), और प्रतिबंधों (क्या मुझे तारीख चाहिए? स्थान? वैज्ञानिक नाम?) की पहचान करता है। यह कंप्यूटर को अप्रासंगिक विवरणों से विचलित होने से रोकता है।
- व्यवस्थित मानचित्र (KnowledgeMap): शोधकर्ताओं ने महसूस किया कि तथ्यों की एक सपाट, अव्यवस्थित सूची को खोजना अक्षम है। इसलिए, उन्होंने अपने पुस्तकालय को एक KnowledgeMap में व्यवस्थित किया। कल्पना कीजिए कि पुस्तकालय केवल किताबों का ढेर नहीं है, बल्कि लेबल किए गए डिब्बों का एक सेट है: "पक्षियों" के लिए एक डिब्बा, "कारों" के लिए एक, "इतिहास" के लिए एक। जब कंप्यूटर के पास अपनी शॉपिंग लिस्ट होती है, तो वह पूरे पुस्तकालय को नहीं खोजता; वह पहले यह तय करता है कि कौन सा डिब्बा खोलना है। इसे "रूटिंग" (routing) कहा जाता है।
- जासूसी लूप (The Detective Loop): एक बार जब कंप्यूटर सही डिब्बा (रिट्रीवल यूनिट) चुन लेता है, तो वह उस डिब्बे के अंदर विशिष्ट उत्तर के लिए खोज करता है। यदि उसे उत्तर मिल जाता है, तो बहुत अच्छा! यदि नहीं, तो वह एक अलग डिब्बा चुनने या अधिक विशिष्ट प्रश्न पूछने का निर्णय ले सकता है। वह तब तक यह करता रहता है जब तक कि उसके पास मामला सुलझाने के लिए पर्याप्त सबूत न हो जाएं।
उन्होंने कंप्यूटर को सोचना कैसे सिखाया
आप सोच सकते हैं, "एक कंप्यूटर एक जासूस की तरह योजना बनाना कैसे सीखता है?" लेखकों ने केवल कंप्यूटर को "स्मार्ट बनो" नहीं कहा। इसके बजाय, उन्होंने एक विशाल प्रशिक्षण डेटासेट बनाया जिसे MM-R2-Traj कहा जाता है। इस डेटासेट में "विचार प्रक्रियाओं" के 9,00,000 उदाहरण शामिल हैं।
कल्पना कीजिए कि एक शिक्षक एक छात्र को पहेली सुलझाने का तरीका दिखाता है। शिक्षक केवल उत्तर नहीं देता; वह चरणों को दिखाता है: "पहले, कोने के टुकड़ों को देखें। फिर, रंग के आधार पर छाँटें। फिर, इन दोनों को जोड़ने का प्रयास करें।" शोधकर्ताओं ने एक "शिक्षक" AI का उपयोग इन चरण-दर-चरण कहानियों को उत्पन्न करने के लिए किया। उन्होंने छात्र AI को सिखाया कि:
- चित्र और प्रश्न का विश्लेषण करके एक योजना कैसे बनाई जाए।
- सही "डिब्बा" (KnowledgeMap यूनिट) कैसे चुना जाए।
- उस डिब्बे के अंदर एक विशिष्ट प्रश्न कैसे पूछा जाए।
- जो पाया गया उसका सारांश कैसे दिया जाए।
- यह तय करना कि क्या वह समाप्त हो गया है या उसे फिर से देखने की आवश्यकता है।
उन्होंने कंप्यूटर को दो चरणों में प्रशिक्षित किया। पहले, उन्होंने सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग किया, जो एक छात्र द्वारा शिक्षक के नोट्स को बुनियादी नियम सीखने के लिए कॉपी करने जैसा है। फिर, उन्होंने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग किया, जो एक खेल की तरह है जहाँ छात्र विभिन्न रणनीतियों को आजमाता है, और यदि उसे सही उत्तर मिलता है, तो उसे उच्च स्कोर मिलता है। यदि उसे गलत उत्तर मिलता है, तो वह अगली बार एक अलग रास्ता आज़माना सीखता है। इसने कंप्यूटर को सही चुनाव करने में बहुत कुशल बना दिया।
परिणाम: स्मार्ट और स्पष्ट
जब उन्होंने दो बड़ी चुनौतियों—InfoSeek (13 लाख इमेज-क्वेश्चन पेयर्स वाला डेटासेट) और Encyclopedic VQA (विश्वकोश-शैली के ज्ञान का परीक्षण)—पर MM-R2 का परीक्षण किया, तो परिणाम प्रभावशाली थे।
InfoSeek टेस्ट पर, MM-R2 कुल मिलाकर 54.3% बार सही उत्तर देता है। यह अन्य स्मार्ट सिस्टम की तुलना में एक बड़ी छलांग है, जो आमतौर पर 46-47% के आसपास रहते हैं। टेस्ट के विशिष्ट "अनसीन-क्वेश्चन" (Unseen-Question) वाले हिस्से पर (जहाँ कंप्यूटर को उन सवालों को संभालना होता है जो उसने पहले कभी नहीं देखे), MM-R2 ने 56.0% स्कोर किया, जो पिछले सर्वश्रेष्ठ से काफी आगे है। Encyclopedic VQA टेस्ट पर भी, यह 39.4% तक पहुँच गया, जो दर्शाता है कि यह तब भी अच्छा काम करता है जब सवाल बहुत विशिष्ट और कठिन हों।
लेकिन शोध पत्र एक चीज़ जो केवल सही स्कोर प्राप्त करने से भी अधिक महत्वपूर्ण है, उस पर जोर देता है: पारदर्शिता। क्योंकि MM-R2 अपने चरणों की योजना बनाता है, हम वास्तव में देख सकते हैं कि उसने समस्या को कैसे हल किया।
- बेहतर रूटिंग: सिस्टम ने 74% बार सही "डिब्बा" (KnowledgeMap यूनिट) सही ढंग से चुना, जबकि पुराने सिस्टमों के लिए यह केवल 23% था। इसने गलत जगहों पर समय बर्बाद करना बंद कर दिया।
- स्पष्ट व्याख्याएँ: जब सिस्टम ने अपने उत्तर की व्याख्या की, तो यह अधिक संक्षिप्त और केंद्रित था। "फिडेलिटी" (Fidelity) स्कोर (जो यह जाँचता है कि क्या उत्तर वास्तव में मिले हुए साक्ष्यों से आया है) 0.90 था, जिसका अर्थ है कि उत्तर लगभग पूरी तरह से उन तथ्यों पर आधारित था जो उसने खोजे थे, न कि केवल अनुमान लगाने पर।
इसका क्या अर्थ है
शोध पत्र सुझाव देता है कि "सब कुछ खोजने" का पुराना तरीका अब अपनी सीमा पर पहुँच रहा है। कंप्यूटर को रिट्रीव करने से पहले तर्क करने के लिए मजबूर करके, हम ऐसे सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं बल्कि अधिक भरोसेमंद भी हैं। वे केवल अनुमान नहीं लगाते; वे एक तार्किक पथ का पालन करते हैं, अपने काम की जाँच करते हैं, और आपको दिखा सकते हैं कि उन्होंने उत्तर कैसे पाया। यह एक अराजक खोज (scavenger hunt) और एक अच्छी तरह से नियोजित जासूसी मिशन के बीच का अंतर है। हालांकि शोधकर्ता नोट करते हैं कि यह मल्टीमॉडल AI का एक विशिष्ट दृष्टिकोण है और यह दुनिया की हर समस्या को हल नहीं करता है, लेकिन परिणाम बताते हैं कि कार्य करने से पहले सोचने के लिए एक क्षण लेना स्मार्ट कंप्यूटर के भविष्य के लिए एक शक्तिशाली रणनीति है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।