Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
यह शोध पत्र एक संज्ञानात्मक-संरचित बहुविध एजेंट (Cognitive-structured Multimodal Agent) प्रस्तुत करता है जो संरचित अमूर्तीकरण और पुनर्प्राप्ति के साथ एक एपिसोडिक मेमोरी में दृश्य सूचना को बाह्य करके दीर्घ-अवधि वाले कार्यों में मोनोलिथिक एकीकृत मॉडलों की सीमाओं को दूर करता है, जो बड़े बेसलाइन की तुलना में बेहतर सटीकता और दक्षता प्राप्त करते हुए एक स्केलेबल टूल-ऑगमेंटेड परिनियोजन ढांचा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त के साथ एक लंबी, गहरी बातचीत करने की कोशिश कर रहे हैं जो खुद भी एक कलाकार है। आप उससे उस पहाड़ के बारे में बात करना चाहते हैं जिसे आपने देखा, फिर उसका एक चित्र बनाना चाहते हैं, फिर उस चित्र में मौसम बदलना चाहते हैं, फिर जीव विज्ञान (biology) की एक किताब में देखे गए एक कोशिका (cell) पर ज़ूम इन करना चाहते हैं, फिर उस कोशिका को एडिट करना चाहते हैं, और अंत में, वापस उसी पहाड़ पर जाकर उसमें एक उल्कापात (meteor shower) जोड़ना चाहते हैं।
आज के अधिकांश "सुपर-स्मार्ट" AI मॉडल इस काम को करने के लिए आपके द्वारा भेजे गए हर एक शब्द और चित्र को अपने सक्रिय मस्तिष्क (जिसे "कॉन्टेक्स्ट विंडो" कहा जाता है) में रखने की कोशिश करते हैं। यह एक लाइब्रेरी की किताबों को हाथ में पकड़कर एक ही समय में एक पन्ना पढ़ने की कोशिश करने जैसा है। जैसे-जैसे बातचीत लंबी होती जाती है, आपके हाथ भर जाते हैं, आप चीजें गिरा देते हैं, और आप यह भूलने लगते हैं कि कौन सी किताब किस कहानी से संबंधित थी। यह पेपर इसे "विजुअल टोकन एक्सप्लोजन" (visual token explosion) कहता है, और तर्क देता है कि केवल AI के मस्तिष्क को बड़ा बनाना (अधिक पैरामीटर्स जोड़ना) इस समस्या को ठीक नहीं करता है; यह केवल लाइब्रेरी को ढोने के लिए और भारी बना देता है।
पेपर का बड़ा विचार: "स्मार्ट लाइब्रेरियन" एजेंट
पूरे पुस्तकालय को AI के हाथों में ठूंसने के बजाय, लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे कॉग्निटिव-स्ट्रक्चर्ड मल्टीमॉडल एजेंट (Cognitive-structured Multimodal Agent) कहा जाता है। इस एजेंट को केवल एक मस्तिष्क के रूप में नहीं, बल्कि तीन विशिष्ट भूमिकाओं वाली एक अत्यधिक संगठित टीम के रूप में सोचें:
- द परसेप्चुअल एब्स्ट्रैक्शन इंजन (PAE): यह "लाइब्रेरियन" है। जब आप इसे एक तस्वीर दिखाते हैं, तो यह पूरे विशाल इमेज फ़ाइल को सक्रिय चैट में नहीं रखता है। इसके बजाय, यह जल्दी से एक संक्षिप्त सारांश कार्ड (टैग्स, विवरण और एक छोटे थंबनेल के साथ) लिखता है और उसे एक विशेष एपिसोडिक विजुअल मेमोरी में सुरक्षित कर देता है। यह एक किताब के कवर की फोटो लेने और उस पर एक वाक्य का सारांश लिखने जैसा है, और फिर भारी किताब को शेल्फ पर रख देना है।
- द कॉग्निटिव रिट्रीवल इंजन (CoRE): यह "सर्चर" (खोजने वाला) है। जब आप 15 टर्न पहले की किसी चीज़ के बारे में सवाल पूछते हैं, तो सर्चर लाइब्रेरी के हर कार्ड को नहीं देखता है। यह केवल उन विशिष्ट कार्डों को खोजने के लिए एक स्मार्ट पॉलिसी का उपयोग करता है जो आपके वर्तमान प्रश्न के लिए प्रासंगिक हैं।
- द मल्टीमॉडल एक्जीक्यूटिव कंट्रोलर (MEC): यह "मैनेजर" है। यह देखता है कि आपने क्या पूछा है, सर्चर द्वारा खोजे गए विशिष्ट कार्डों को लेता है, और निर्णय लेता है: "क्या हमें एक नया चित्र बनाना चाहिए? पुराने को एडिट करना चाहिए? या बस चैट करनी चाहिए?" इसके बाद यह निर्देशों को सही टूल तक भेजता है।
यह क्यों महत्वपूर्ण है (परिणाम)
लेखकों ने इस टीम का परीक्षण "भारी लाइब्रेरी" वाले दृष्टिकोण (मोनोलिथिक मॉडल्स) के विरुद्ध किया, जिसके लिए उन्होंने M2CA-Bench नामक एक नया बेंचमार्क बनाया, जिसमें विषय बदलने या बहुत पीछे की छवियों की तुलना करने जैसे कठिन कार्य शामिल हैं।
उन्होंने यह पाया:
- सटीकता (Accuracy): उनके 8-बिलियन-पैरामीटर वाले एजेंट ने अंग्रेजी में रिट्रीवल कार्यों के 91.4% कार्य सही ढंग से किए। इसके विपरीत, उनके द्वारा टेस्ट किए गए सबसे बड़े "ऑल-इन-वन" मॉडल्स (32-बिलियन पैरामीटर्स) केवल लगभग 83.2% ही सही कर पाए। कठिन सवालों पर यह अंतर और बढ़ गया, जहाँ बड़े मॉडल्स 20 टर्न पहले के विवरण याद रखने में संघर्ष कर रहे थे।
- गति (Speed): क्योंकि एजेंट पूरे पुस्तकालय के बजाय केवल कुछ प्रासंगिक कार्डों को देखता है, इसलिए यह लगभग दोगुना तेज़ था। इसने प्रति टर्न 12.7 सेकंड का समय लिया, जबकि उन मॉडल्स ने 23.1 सेकंड लिए जिन्होंने सब कुछ पढ़ने की कोशिश की थी।
- गुणवत्ता (Quality): क्योंकि एजेंट को सही चित्र याद थे, इसलिए उनके द्वारा बनाए या एडिट किए गए चित्र बहुत बेहतर थे। लेखकों ने इसे दूसरे AI के स्कोर के माध्यम से मापा, और उनके एजेंट ने कुल मिलाकर 8.49 (10 में से) स्कोर किया, जो 32-बिलियन बेसलाइन से बेहतर था।
उन्होंने क्या खारिज किया
यह पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि "बड़ा होना हमेशा बेहतर होता है।" उन्होंने दिखाया कि बिना मेमोरी सिस्टम के केवल एक विशाल मॉडल (जैसे 32B बेसलाइन्स) को स्केल करने से "सिमेंटिक ड्रिफ्ट" (semantic drift) होता है, जहाँ AI भूल जाता है कि वह क्या बात कर रहा था या छवियों को मिला देता है। उन्होंने यह भी पाया कि केवल टेक्स्ट सारांश का उपयोग करने से (विजुअल थंबनेल के बिना) कठिन कार्यों में बुरी तरह विफलता मिली, जिससे सटीकता गिरकर लगभग 24.4% रह गई। यह सुझाव देता है कि विजुअल मेमोरी के लिए, आपको केवल टेक्स्ट विवरण के बजाय एक विजुअल "थंबनेल" रखने की वास्तव में आवश्यकता है।
उन्होंने एजेंट को कैसे सिखाया?
आप सोच सकते हैं, "एजेंट को कैसे पता चलता है कि कौन सा कार्ड निकालना है?" लेखकों ने गौर किया कि मौजूदा डेटासेट्स AI को पुराने चित्र कैसे खोजे जाते हैं, यह नहीं सिखाते थे। इसलिए, उन्होंने एक यूनिफाइड सिनेरियो इंजन (Unified Scenario Engine) बनाया। यह एक टूल है जो स्वचालित रूप से हजारों नकली बातचीत उत्पन्न करता है, जिसमें यह भी शामिल है कि प्रत्येक चरण पर किस छवि को याद रखा जाना चाहिए (सही उत्तर के साथ)। उन्होंने इसका उपयोग अपने एजेंट को दो चरणों में प्रशिक्षित करने के लिए किया:
- पहले, उन्होंने मानक प्रशिक्षण (SFT) का उपयोग करके सर्चर को सही कार्ड खोजने के लिए सिखाया।
- फिर, उन्होंने रीइन्फोर्समेंट लर्निंग (RL) तकनीक का उपयोग किया। इस चरण में, एजेंट को इनाम तभी मिलता है जब वह सही कार्ड चुनता है और अंतिम परिणाम अच्छा होता है। इसने लाइब्रेरियन (PAE) को बाद में मदद करने के लिए विशेष रूप से बेहतर सारांश कार्ड लिखने के लिए प्रशिक्षित किया।
निष्कर्ष (The Takeaway)
लेखक सुझाव देते हैं कि लंबी, जटिल बातचीत जिनमें चित्र, टेक्स्ट और ड्राइंग शामिल हैं, उनके लिए एक स्ट्रक्चर्ड मेमोरी सिस्टम एक बेहतर रास्ता है, न कि केवल AI के मस्तिष्क को बड़ा बनाना। उन्होंने CMA-Harness नामक एक टूल भी जारी किया है जो वेब सर्च और इमेज एडिटिंग टूल्स के साथ इस पूरे सिस्टम को जोड़ता है, जो यह दिखाता है कि विशेषज्ञों की यह "टीम" वाला दृष्टिकोण वास्तविक दुनिया में काम करता है।
संक्षेप में: एक साथ सब कुछ याद करने की कोशिश न करें। एक अच्छे लाइब्रेरियन बनें, अपने कार्ड व्यवस्थित रखें, और केवल उन्हीं को निकालें जिनकी आपको आवश्यकता है। ऐसे ही आप लंबे खेल में जीत सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।