कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका कंप्यूटर केवल एक तस्वीर को "देखता" नहीं या एक वाक्य को "पढ़ता" नहीं है, बल्कि वह यह समझता है कि एक तस्वीर, एक वाक्य, गहराई का एक नक्शा और किनारों का एक रेखाचित्र (sketch) सभी एक ही वास्तविकता का वर्णन करने वाली अलग-अलग भाषाएँ हैं। लंबे समय तक, आर्टिफिशियल इंटेलिजेंस एक ऐसे विशेषज्ञ की तरह रहा है जो केवल एक बोली बोल सकता है; एक मॉडल कहानियाँ लिखने में बहुत अच्छा हो सकता है लेकिन चित्र बनाने में बहुत खराब, या वस्तुओं को पहचानने में अद्भुत हो सकता है लेकिन इस बात से अनजान कि वे कितनी दूर हैं। वैज्ञानिक इन विभिन्न प्रकार के डेटा—जिन्हें वे "मोडालिटीज" (modalities) कहते हैं—के लिए एक "यूनिवर्सल ट्रांसलेटर" बनाने की कोशिश कर रहे हैं, ताकि एक अकेला मस्तिष्क इनके बीच सहजता से स्विच कर सके। सबसे बड़ी चुनौती यह figuring out करना रही है कि एक ही मस्तिष्क को इन सभी भाषाओं को बिना हर जोड़ी के लिए एक अलग अनुवादक की आवश्यकता के धाराप्रवाह बोलना कैसे सिखाया जाए।

यहाँ MODUS आता है, जो एक नए प्रकार का AI मॉडल है जो एक कुशल बहुभाषी (polyglot) की तरह कार्य करता है। अलग-अलग कामों के लिए अलग-अलग हिस्सों वाली एक विशाल, भारी मशीन बनाने के बजाय, शोधकर्ताओं ने एक "डिकोडर-ओनली" (decoder-only) मस्तिष्क बनाया है। इसे एक ऐसे कहानीकार के रूप में सोचें जो एक कहानी सुनता है और फिर उसे आगे बढ़ाता है, चाहे वह कहानी किसी भी भाषा में सुनाई गई हो। चाहे आप इसे एक फोटो, एक टेक्स्ट विवरण, एक डेप्थ मैप (जो दिखाता है कि वस्तुएं कितनी दूर हैं), या किनारों का एक रेखाचित्र दें, MODUS उन सभी को टोकन्स (जैसे वाक्य में शब्द) के एक एकल, निरंतर प्रवाह (stream) के रूप में मानता है। इसे गहराई के लिए विशेष उपकरणों या टेक्स्ट के लिए विशेष उपकरणों की आवश्यकता नहीं है; यह बस अनुक्रम (sequence) में अगले हिस्से की भविष्यवाणी करता है। इसका मतलब है कि यह एक फोटो ले सकता है और डेप्थ मैप बना सकता है, या डेप्थ मैप लेकर फोटो बना सकता है, या उन्हें एक साथ जोड़ सकता है: फोटो → किनारे → गहराई → नई फोटो, यह सब एक ही बार में। पेपर दिखाता है कि यह दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है, जिससे मॉडल अपने काम की जाँच करने (self-verification) और कई चरणों के माध्यम से सुसंगत चित्र बनाने जैसे जटिल कार्य करने में सक्षम होता है, और वह भी एक ही, एकीकृत आर्किटेक्चर का उपयोग करते हुए।

द पॉलीग्लॉट ब्रेन: MODUS कैसे काम करता है

कल्पना कीजिए कि आपका एक दोस्त है जो कहानियाँ सुनाने में बहुत माहिर है। यदि आप उसे बिल्ली की एक तस्वीर देते हैं, तो वह उसका वर्णन कर सकता है। यदि आप उसे बिल्ली का विवरण देते हैं, तो वह उसे बना सकता है। अब, कल्पना कीजिए कि वही दोस्त आपको यह भी बता सकता है कि बिल्ली कितनी दूर है, या उसके बाहरी आकार का एक रेखाचित्र बना सकता है, या यहाँ तक कि यह भी समझा सकता है कि बिल्ली क्या महसूस कर रही है, और यह सब बिना अपना व्यक्तित्व बदले या प्रत्येक कार्य के लिए एक अलग मस्तिष्क की आवश्यकता के। यह अनिवार्य रूप से वही है जो MODUS करता है।

अतीत में, AI मॉडल अक्सर कई अलग-अलग औजारों वाले स्विस आर्मी नाइफ की तरह बनाए जाते थे: टेक्स्ट के लिए एक ब्लेड, इमेज के लिए एक, डेप्थ के लिए एक। यदि आप डेप्थ मैप से इमेज पर जाना चाहते हैं, तो आपको विभिन्न मॉडलों की एक श्रृंखला की आवश्यकता हो सकती है, जिनमें से प्रत्येक अगले को बैटन (baton) सौंपता है। यह पेपर तर्क देता है कि यह अक्षम और बोझिल है। इसके बजाय, MODUS एक डिकोडर-ओनली दृष्टिकोण का उपयोग करता है। सरल शब्दों में, एक "डिकोडर" एक प्रकार का AI है जो एक अनुक्रम के अगले हिस्से की भविष्यवाणी करके सीखता है। इसे "टेलीफोन" के खेल की तरह समझें जहाँ AI पिछले सभी चीजों के आधार पर अगले शब्द, अगले पिक्सेल या अगली डेप्थ वैल्यू का अनुमान लगाने की कोशिश कर रहा है।

MODUS का जादू यह है कि यह सब कुछ एक अनुक्रम (sequence) के रूप में मानता है।

• टेक्स्ट शब्दों का एक अनुक्रम है।
• इमेज को छोटे पैच में तोड़ा जाता है और नंबरों के एक अनुक्रम में बदल दिया जाता है।
• डेप्थ मैप और सरफेस नॉर्मल्स (जो दिखाते हैं कि सतह किस दिशा में है) को भी अनुक्रमों में बदल दिया जाता है।

क्योंकि सब कुछ केवल एक अनुक्रम है, MODUS को अलग-अलग कामों के लिए अलग-अलग "हेड्स" (विशेषीकृत भाग) की आवश्यकता नहीं होती है। यह बस इनपुट अनुक्रम को देखता है और आउटपुट अनुक्रम की भविष्यवाणी करता है। यदि आप इसे एक फोटो देते हैं और डेप्थ मैप मांगते हैं, तो यह फोटो को कहानी की "शुरुआत" के रूप में लेता है और डेप्थ मैप को उसके "निरंतरता" (continuation) के रूप में लेता है। यदि आप इसे एक डेप्थ मैप देते हैं और फोटो मांगते हैं, तो यह स्क्रिप्ट को उलट देता है।

द "एनी-टू-एनी" सुपरपावर

पेपर इसे Any-to-Any मॉडलिंग कहता है। यह किसी भी संयोजन के इनपुट लेने और किसी भी संयोजन के आउटपुट उत्पन्न करने की क्षमता है।

• इनपुट: एक कमरे की फोटो। आउटपुट: कमरे का टेक्स्ट विवरण।
• इनपुट: एक कमरे का टेक्स्ट विवरण। आउटपुट: कमरे की फोटो।
• इनपुट: एक कमरे की फोटो। आउटपुट: एक डेप्थ मैप (दिखाता है कि फर्नीचर कितनी दूर है)।
• इनपुट: एक डेप्थ मैप। आउटपुट: एक फोटो।

अधिकांश पिछले मॉडल केवल विशिष्ट जोड़ियाँ कर सकते थे, जैसे "टेक्स्ट टू इमेज" या "इमेज टू टेक्स्ट।" MODUS उन दीवारों को तोड़ देता है। यह उन चीजों को भी कर सकता है जो अन्य मॉडलों को अजीब लग सकती हैं, जैसे कि एक "कनी एज" (किनारों का रेखाचित्र) को सीधे डेप्थ मैप में बदलना, या एक फोटो और एक टेक्स्ट प्रॉम्प्ट को मिलाकर सरफेस नॉर्मल मैप बनाना।

द सीक्रेट सॉस: यूनिफॉर्म सैंपलिंग और स्टेज्ड ट्रेनिंग

आप सोच सकते हैं, "यदि यह केवल अगले टोकन की भविष्यवाणी कर रहा है, तो यह कठिन क्यों है?" शोधकर्ताओं ने कुछ पेचीदा बिंदु पाए।

पहला, मोडालिटी कन्फ्यूजन (modality confusion) की समस्या थी। जब मॉडल इमेज या डेप्थ मैप जेनरेट करना सीख रहा था, तो वह कभी-कभी भ्रमित हो जाता था। उससे डेप्थ मैप जेनरेट करने के लिए कहा जा सकता था लेकिन वह गलती से एज मैप बना देता था। पेपर ने पाया कि यह इसलिए हुआ क्योंकि उन्होंने प्रशिक्षण के दौरान "टाइम स्टेप्स" को सैंपल करने का तरीका चुना था। कल्पना कीजिए कि आप एक धुंधले ढेर से शुरू करके धीरे-धीरे उसे स्पष्ट बनाकर एक चित्र बनाने के लिए मॉडल को प्रशिक्षित कर रहे हैं। यदि आप प्रक्रिया के मध्य में (जहाँ यह अभी भी धुंधला है) बहुत अधिक समय बिताते हैं और बिल्कुल शुरुआत में (जहाँ मॉडल तय करता है कि वह क्या बना रहा है) पर्याप्त समय नहीं देते हैं, तो मॉडल इस बारे में भ्रमित हो जाता है कि उसे क्या बनाना चाहिए।

इसे ठीक करने के लिए, टीम ने यूनिफॉर्म टाइमस्टेप सैंपलिंग का उपयोग किया। प्रक्रिया के मध्य चरणों पर ध्यान केंद्रित करने के बजाय, उन्होंने यह सुनिश्चित किया कि मॉडल शुरुआती चरणों (मोडालिटी तय करना) और अंतिम चरणों (विवरणों को परिष्कृत करना) को समान रूप से अभ्यास करे। इससे मॉडल को विवरणों की चिंता करने से पहले यह सीखने में मदद मिली कि, "ठीक है, मैं एक डेप्थ मैप बना रहा हूँ।"

दूसरा, उन्होंने एक स्टेज्ड ट्रेनिंग दृष्टिकोण का उपयोग किया। उन्होंने सब कुछ एक साथ मॉडल पर नहीं डाला।

1. चरण 1: उन्होंने इसे टेक्स्ट और बाउंडिंग बॉक्स जैसी 1D चीजों के मूल सिद्धांत सिखाए (ग्राउंडिंग)।
2. चरण 2: उन्होंने इसमें डेप्थ, सरफेस नॉर्मल्स और एड्ज जैसी 2D स्थानिक चीजें जोड़ीं।
3. चरण 3: उन्होंने इसे एक साथ कई इनपुट को संभालने (मल्टी-कंडीशन) और उन्हें जोड़ने के लिए प्रशिक्षित किया।

इस चरण-दर-चरण दृष्टिकोण ने मॉडल को बिना अभिभूत हुए सीखने में मदद की, जिससे वह अपने पहले से सीखे हुए टेक्स्ट और इमेज के ज्ञान को प्राप्त कर सका और फिर उस ज्ञान को नए प्रकार के डेटा तक विस्तारित कर सका।

चेन्ड जनरेशन और सेल्फ-वेरिफिकेशन

MODUS की सबसे शानदार विशेषताओं में से एक चेन्ड जनरेशन (Chained Generation) है। क्योंकि मॉडल हर चीज़ को एक एकल अनुक्रम के रूप में मानता है, यह अगले चरण के लिए अपने स्वयं के आउटपुट का उपयोग कर सकता है।

• कल्पना कीजिए कि आप एक टेक्स्ट विवरण से 3D दृश्य उत्पन्न करना चाहते हैं।
• सीधे "टेक्स्ट" से "3D सीन" पर जाने के बजाय, MODUS यह कर सकता है: टेक्स्ट → एज स्केच → डेप्थ मैप → फाइनल इमेज।
• एज स्केच मॉडल को लेआउट समझने में मदद करता है, डेप्थ मैप इसे ज्यामिति (geometry) समझने में मदद करता है, और फाइनल इमेज इस ठोस आधार पर बनाई जाती है।

पेपर दिखाता है कि यह चेनिंग अंतिम परिणाम को बहुत अधिक सुसंगत बनाती है। यदि आप सीधे टेक्स्ट से इमेज पर जाने की कोशिश करते हैं, तो मॉडल लेआउट गलत कर सकता है। लेकिन एक मध्यवर्ती चरण (जैसे एज स्केच) के माध्यम से जाने से, मॉडल रंगों और विवरणों को जोड़ने से पहले संरचना को "लॉक इन" कर लेता है।

एक और उपयोगी ट्रिक है क्रॉस-मोडल सेल्फ-वेरिफिकेशन (Cross-Modal Self-Verification)। चूंकि MODUS किसी भी मोडालिटी को जेनरेट कर सकता है, इसलिए यह अपने काम की जाँच कर सकता है।

• यदि MODUS एक टेक्स्ट प्रॉम्प्ट से इमेज जेनरेट करता है, तो वह तुरंत एक "ग्राउंडिंग" मैप (दिखाता है कि वस्तुएं कहाँ हैं) जेनरेट कर सकता है या इमेज के बारे में एक प्रश्न (VQA) पूछ सकता है।
• यदि जेनरेट की गई इमेज इस तरह से चेक करने पर टेक्स्ट विवरण से मेल नहीं खाती है, तो मॉडल इसे छोड़ सकता है और फिर से प्रयास कर सकता है।
• पेपर ने पाया कि इस सेल्फ-चेकिंग पद्धति का उपयोग करने से जेनरेट की गई छवियों की गुणवत्ता में सुधार हुआ, जिससे वे बिना किसी बाहरी टूल के प्रॉम्प्ट के प्रति अधिक सटीक बनीं।

परिणाम: एक सिंगल मॉडल टू रूल देम ऑल

शोधकर्ताओं ने MODUS-DATASET नामक एक विशाल डेटासेट पर MODUS का परीक्षण किया, जिसमें 29 मिलियन नमूने हैं जहाँ इमेज को इन सभी विभिन्न एनोटेशन (डेप्थ, एड्ज, टेक्स्ट, आदि) के साथ जोड़ा गया है। उन्होंने इस डेटा पर मॉडल को प्रशिक्षित किया और पाया कि यह हर क्षेत्र में बहुत अच्छा प्रदर्शन करता है।

• यह विजुअल ग्राउंडिंग (इमेज में टेक्स्ट के आधार पर वस्तुओं को खोजना) को विशेष मॉडलों के समान ही अच्छी तरह से कर सकता है।
• यह उच्च सटीकता के साथ डेप्थ और सरफेस नॉर्मल्स का अनुमान लगा सकता है।
• यह टेक्स्ट से इमेज जेनरेट करने में अन्य शीर्ष मॉडलों के बराबर प्रदर्शन करता है।
• महत्वपूर्ण रूप से, यह यह सब एक ही मॉडल के साथ करता है। आपको डेप्थ के लिए एक अलग मॉडल, एड्ज के लिए दूसरा और टेक्स्ट के लिए तीसरा डाउनलोड करने की आवश्यकता नहीं है।

पेपर स्पष्ट रूप से नोट करता है कि जबकि पिछले मॉडल अक्सर विशेषज्ञ "सिंगल-टास्क" विशेषज्ञों के प्रदर्शन से मेल खाने में संघर्ष करते थे, MODUS एक साथ सब कुछ करने की लचीलापन प्रदान करते हुए उनके साथ प्रतिस्पर्धी होने में सक्षम है। यह सुझाव देता है कि "डिकोडर-ओनली" दृष्टिकोण मल्टीमॉडल AI के भविष्य के लिए एक शक्तिशाली आधार है, जो किसी भी नए काम के लिए जटिल, कस्टम आर्किटेक्चर की आवश्यकता के बिना विविध प्रकार के डेटा को संभालने में सक्षम है।

संक्षेप में, MODUS एक अधिक एकीकृत AI की ओर एक कदम है—एक ऐसा AI जो दुनिया को डेटा की अलग-अलग श्रेणियों के रूप में नहीं, बल्कि एक एकल, परस्पर जुड़ी कहानी के रूप में देखता है जिसे किसी भी भाषा में बताया, फिर से बताया और अनुवादित किया जा सकता है।