A-MapReduce: Executing Wide Search via Agentic MapReduce
A-MapReduce एक नवीन मल्टी-एजेंट फ्रेमवर्क है जो व्यापक खोज कार्यों को समानांतर, क्षैतिज रूप से संरचित पुनर्प्राप्ति प्रक्रियाओं में बदलने के लिए मैप-रिड्यूस प्रतिमान का लाभ उठाता है, जिससे मौजूदा अनुक्रमिक एजेंटिक प्रणालियों की तुलना में अत्याधुनिक प्रदर्शन और महत्वपूर्ण दक्षता लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र A-MapReduce: Executing Wide Search via Agentic MapReduce का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "अनंत गलियारा" बनाम "पुस्तकालय"
कल्प_िए कि आपके पास एक बहुत ही बुद्धिमान सहायक (एक AI एजेंट) है और आप उससे एक ऐसा प्रश्न पूछते हैं जिसके लिए बहुत सारी जानकारी खोजने की आवश्यकता है।
- Deep Search (गहन खोज) वैसा ही है जैसे आप अपने सहायक से एक जटिल गणित की समस्या हल करने के लिए कहते हैं। वे तर्क में गहराई तक जाते हैं, एक के बाद एक, चरण-दर-चरण सोचते हैं। यह अच्छी तरह काम करता है।
- Wide Search (व्यापक खोज) वैसा है जैसे आप अपने सहायक से कहें: "मुझे पेरिस के शीर्ष 100 रेस्तरां, उनके पते और उनकी स्टार रेटिंग ढूंढ कर दें।"
वर्तमान AI सिस्टम इस "Wide Search" को उसी तरह करने की कोशिश करते हैं जैसे वे "Deep Thinking" करते हैं: वे एक लंबे, एकल गलियारे में चलते हैं, पहले एक रेस्तरां देखते हैं, फिर दूसरा, फिर अगला।
- समस्या: यदि सूची बहुत बड़ी है, तो सहायक भटक जाता है। वे भूल जाते हैं कि उन्होंने पहले क्या पाया था, वे एक ही रेस्तरां को दो बार देख लेते हैं, या सूची पूरी करने से पहले ही उनका समय समाप्त हो जाता है। यह एक विशाल पुस्तकालय को एक समय में एक गलियारे की तरह साफ़ करने जैसा है, जहाँ आप थक जाते हैं और भूल जाते हैं कि आपने कौन सी किताबें पहले ही देख ली हैं।
समाधान: A-MapReduce (एक "असेंबली लाइन" दृष्टिकोण)
लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे A-MapReduce कहा जाता है। वे कंप्यूटर विज्ञान से एक अवधारणा (MapReduce) लेते हैं और उसे AI एजेंटों पर लागू करते हैं।
A-MapReduce को एक अकेले व्यक्ति के रूप में नहीं, बल्कि एक अत्यधिक संगठित फैक्ट्री असेंबली लाइन के रूप में सोचें।
1. "Map" चरण: इसे विभाजित करना
एक अकेले एजेंट द्वारा सब कुछ करने के बजाय, सिस्टम एक प्रोजेक्ट मैनेजर की तरह कार्य करता है।
- उदाहरण: कल्पना करें कि आपको शिफ्टिंग के लिए 1,000 बक्से पैक करने हैं। एक व्यक्ति द्वारा एक बार में एक बक्सा ले जाने के बजाय, प्रोजेक्ट मैनेजर सभी 1,000 बक्सों की एक सूची (Task Matrix) बनाता है।
- यह क्या करता है: यह बड़े प्रश्न ("100 रेस्तरां ढूंढें") को 100 छोटे, विशिष्ट कार्यों में तोड़ देता है ("रेस्तरां A के लिए जानकारी खोजें," "रेस्तरां B के लिए जानकारी खोजें")।
- जादू: यह केवल सूची नहीं बनाता; यह यह भी तय करता है कि उन्हें सबसे अच्छे तरीके से कैसे समूहबद्ध (group) किया जाए। शायद यह उन्हें पड़ोस के आधार पर समूहबद्ध करता है ताकि एजेंटों को बहुत दूर न जाना पड़े। इसे Adaptive Batching कहा जाता है।
2. "Reduce" चरण: इसे एक साथ जोड़ना
- उदाहरण: एक बार जब 10 श्रमिकों (सर्च एजेंटों) की एक टीम (जो एक साथ/parallel में काम कर रही है) द्वारा 100 बक्से पैक कर लिए जाते हैं, तो वे सभी अपने बक्से एक केंद्रीय स्टेशन पर लाते हैं।
- यह क्या करता है: एक "Reducer" एजेंट इन सभी अलग-अलग सूचनाओं के टुकड़ों को लेता है और उन्हें एक पूर्ण, व्यवस्थित तालिका में जोड़ देता है। यदि कोई हिस्सा गायब है, तो सिस्टम जानता है कि ठीक करने के लिए कौन सा बॉक्स खोलना है, बजाय इसके कि वह शुरू से शुरू करे।
सफलता का रहस्य: "अनुभवात्मक स्मृति" (Experience Memory)
यह शोध पत्र एक विशेष विशेषता पेश करता है जिसे Experiential Memory कहा जाता है। यह सिस्टम का बिना किसी मानव शिक्षक के "अपनी गलतियों से सीखने" का तरीका है।
- उदाहरण: कल्पना करें कि एक अनुभवी शेफ है जिसने एक ही व्यंजन को 100 बार बनाया है।
- स्मृति के बिना: हर बार जब आप व्यंजन मांगते हैं, तो शेफ शून्य से शुरुआत करता है, शायद टोस्ट जला देता है या मसाला भूल जाता है, क्योंकि उसे पिछली बार क्या हुआ था याद नहीं रहता।
- स्मृति के साथ: शेफ के पास एक "रेसिपी नोटबुक" है। काम शुरू करने से पहले, वह नोटबुक देखता है। इसमें लिखा है: "पिछली बार, हमने सामग्री को रंग के आधार पर समूहबद्ध किया था, और इससे 10 मिनट बचे। साथ ही, हम ओवन का तापमान चेक करना भूल गए थे, इसलिए इसे ठीक करें।"
- पेपर में यह कैसे काम करता है:
- जब सिस्टम एक कार्य पूरा करता है, तो वह इस बात पर एक नोट सहेजता है कि क्या अच्छा रहा और क्या नहीं।
- अगली बार जब उसे समान प्रश्न मिलता है, तो वह इन नोट्स को निकाल लेता है।
- यह इन नोट्स का उपयोग यह तय करने के लिए करता है कि: "क्या मुझे 10 कार्यकर्ता भेजने चाहिए या 50? क्या मुझे शहर या कीमत के आधार पर समूह बनाना चाहिए?"
- समय के साथ, सिस्टम तेज़, सस्ता और अधिक सटीक होता जाता है क्योंकि यह अपने पिछले अनुभव के आधार पर अपनी "असेंबली लाइन" को लगातार बेहतर बनाता रहता है।
यह क्यों महत्वपूर्ण है (परिणाम)
इस शोध पत्र ने पांच अलग-अलग बेंचमार्क (जैसे "WideSearch" और "DeepWideSearch") पर इस सिस्टम का परीक्षण किया और इसकी तुलना अन्य शीर्ष AI सिस्टम से की।
- यह तेज़ है: क्योंकि यह एक धीमी लाइन के बजाय समानांतर श्रमिकों (एक साथ काम करने वाले कई एजेंटों) का उपयोग करता है, इसने अन्य सिस्टमों की तुलना में कार्यों को 45.8% तेज़ी से पूरा किया।
- यह सस्ता है: क्योंकि यह काम को दोबारा करने या भटकने में समय बर्बाद नहीं करता, इसलिए इसने समान या बेहतर परिणाम प्राप्त करने के लिए कम पैसे (API लागत) का उपयोग किया।
- यह स्मार्ट है: इसने सटीकता (F1 स्कोर) पर बेहतर अंक प्राप्त किए क्योंकि इसने पूरी सूची का बेहतर प्रबंधन किया, जिससे यह सुनिश्चित हुआ कि कोई भी आइटम छूटा नहीं है।
एक वाक्य में सारांश
A-MapReduce विशाल मात्रा में जानकारी की एक अराजक, धीमी खोज को एक सुव्यवस्थित, समानांतर फैक्ट्री लाइन में बदल देता है जो पिछले अनुभवों से सीखकर हर बार काम पूरा करने पर अधिक स्मार्ट और कुशल होती जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।