OmniGAIA: Towards Native Omni-Modal AI Agents
यह शोध पत्र OmniGAIA को प्रस्तुत करता है, जो वीडियो, ऑडियो और इमेज मोडैलिटीज के माध्यम से जटिल तर्क और टूल-उपयोग कार्यों पर ओम्नी-मोडल एजेंटों के मूल्यांकन के लिए एक व्यापक बेंचमार्क है, साथ ही OmniAtlas को भी प्रस्तुत करता है, जो उन्नत रणनीतियों के साथ प्रशिक्षित एक नेटिव ओम्नी-मोडल फाउंडेशन एजेंट है ताकि वर्तमान द्वि-मोडल मॉडलों और अगली पीढ़ी के वास्तविक दुनिया के एआई सहायकों के बीच के अंतर को पाटा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट पर्सनल असिस्टेंट बनाने की कोशिश कर रहे हैं, जैसे कि एक डिजिटल बटलर जो इंसान की तरह देख, सुन और बात कर सके।
अभी, अधिकांश AI असिस्टेंट ऐसे द्विभाषी लोगों की तरह हैं जो एक समय में केवल दो भाषाएँ ही बोल सकते हैं। वे एक तस्वीर को देखकर उसका वर्णन करने में (Vision + Language) या एक गाना सुनकर उसके बोल बताने में (Audio + Language) माहिर हैं। लेकिन वे तब संघर्ष करते हैं जब आप उनसे एक साथ तीन इंद्रियों का उपयोग करने वाला कोई जटिल काम करने को कहते हैं: जैसे एक वीडियो देखना, बैकग्राउंड शोर सुनना, सबटाइटल्स पढ़ना और फिर किसी पहेली को सुलझाने के लिए इंटरनेट पर अधिक जानकारी खोजने जाना।
यह पेपर इस समस्या को ठीक करने के लिए दो बड़ी चीजें पेश करता है: OmniGAIA नामक एक विशाल टेस्ट और OmniAtlas नामक एक नया सुपर-एजेंट।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. समस्या: "दो-चैनल" की सीमा (The "Two-Channel" Limitation)
वर्तमान AI को एक ऐसे जासूस की तरह समझें जिसके पास कैमरा और माइक्रोफ़ोन तो है, लेकिन वह उनका प्रभावी ढंग से एक साथ उपयोग नहीं कर सकता। यदि आप उन्हें एक पुल का वीडियो दिखाते हैं और पूछते हैं, "जब यहाँ एक प्रसिद्ध फिल्म फिल्माई गई थी, तब यह पुल कितना पुराना था?", तो AI भ्रमित हो सकता है। वह पुल को तो देख सकता है लेकिन ऑडियो संकेतों को अनदेखा कर सकता है, या वह तथ्यों की जाँच करने के बजाय अपने अनुमान के आधार पर जवाब दे सकता है।
2. समाधान भाग A: "OmniGAIA" परीक्षा
शोधकर्ताओं ने OmniGAIA नामक एक नया, बहुत कठिन टेस्ट बनाया है।
- उपमा (Analogy): एक डिटेक्टिव एजेंसी के लिए फाइनल एग्जाम की कल्पना करें। साधारण सवाल जैसे "कार का रंग क्या है?" पूछने के बजाय, यह परीक्षा जासूस को 10 मिनट का एक वीडियो क्लिप देती है जिसमें बैकग्राउंड शोर है, एक ऐतिहासिक घटना के बारे में एक विशिष्ट प्रश्न है, और एक नियम है: "अपना उत्तर लिखने से पहले आपको तथ्यों को सत्यापित करने के लिए इंटरनेट का उपयोग करना होगा।"
- यह क्या टेस्ट करता है:
- Multi-Sense (बहु-इंद्रिय): क्या AI एक ही समय में वीडियो देख सकता और ऑडियो सुन सकता है?
- Tool Use (उपकरण का उपयोग): क्या AI यह समझ पाता है कि उसे उत्तर नहीं पता, इसलिए वह तथ्यों को खोजने के लिए वेब ब्राउज़र खोलता है?
- Logic (तर्क): क्या वह कड़ियों को जोड़ सकता है? (जैसे, "वीडियो कहता है कि पुल जूलियट में है। मुझे नाम खोजने के लिए 'जूलियट ब्रिजेस' को सर्च करना होगा, फिर निर्माण की तारीख खोजने के लिए सर्च करना होगा, फिर कुछ गणित करना होगा।")
परिणाम: यह परीक्षा बेहद कठिन है। यहाँ तक कि सबसे स्मार्ट AI (Gemini-3-Pro) भी केवल 62% सही उत्तर दे पाया। एक लोकप्रिय ओपन-सोर्स AI (Qwen-3-Omni) केवल 13% सही था। यह दर्शाता है कि हमें अभी लंबा रास्ता तय करना है!
3. समाधान भाग B: "OmniAtlas" एजेंट
चूँकि टेस्ट बहुत कठिन था, शोधकर्ताओं ने इस टेस्ट को पास करने के लिए OmniAtlas नामक एक नया AI एजेंट बनाया।
- उपमा: OmniAtlas को एक ऐसे जासूस के रूप में सोचें जिसने एक नया तरीका सीखा है: "सक्रिय धारणा" (Active Perception)।
- पुराना AI: एक ऐसे व्यक्ति की तरह जो पूरे शहर की धुंधली फोटो को घूर रहा है, और दूर की चीजों का अनुमान लगाने की कोशिश कर रहा है।
- OmniAtlas: एक ऐसे जासूस की तरह जो कहता है, "वीडियो का वह हिस्सा बहुत धुंधला है, मुझे उस विशिष्ट 5-सेकंड के क्लिप पर ज़ूम करना चाहिए," या "यहाँ ऑडियो धीमा है, मुझे बस उस एक वाक्य को फिर से सुनना चाहिए।" यह केवल पूरे वीडियो को निगलता नहीं है; यह चुनता है कि उसे कहाँ देखना और सुनना है।
- प्रशिक्षण (Training): उन्होंने OmniAtlas को हजारों उदाहरण दिखाकर प्रशिक्षित किया कि इन पहेलियों को कैसे हल किया जाए। उन्होंने "Hindsight-Guided Tree Exploration" नामक विधि का उपयोग किया।
- रूपक (Metaphor): कल्पना कीजिए कि एक जासूस अपराध को सुलझाने की कोशिश कर रहा है। वह एक रास्ता आज़माता है, महसूस करता है कि वह एक गलत रास्ता था, और फिर वापस जाकर दूसरा रास्ता आज़माता है। OmniAtlas को इन सभी "गलत रास्तों" (गलतियों) को देखने, यह समझने के लिए प्रशिक्षित किया गया कि वह कहाँ गलत हुआ (क्या उसने ऑडियो गलत सुना? क्या उसने गलत वेबसाइट खोजी?) और उस विशिष्ट चरण को ठीक करना सीखने के लिए।
4. परिणाम: एक बड़ी छलांग
जब उन्होंने OmniAtlas को टेस्ट किया:
- इसने ओपन-सोर्स AI के स्कोर को 13% से बढ़ाकर 20% कर दिया। AI की दुनिया में यह एक बहुत बड़ी छलांग है!
- मुख्य सबक: शोधकर्ताओं ने पाया कि केवल AI को "बड़ा" बनाना (अधिक ब्रेन पावर जोड़ना) ज्यादा मददगार नहीं था। असली सफलता का मंत्र यह था कि AI को टूल्स का उपयोग करना (जैसे सर्च इंजन) और अपने काम की जाँच करना सिखाया जाए।
सारांश
- दुनिया: हमें ऐसे AI की आवश्यकता है जो वास्तविक दुनिया में हमारी मदद करने के लिए देख, सुन और साथ में सोच सके।
- टेस्ट (OmniGAIA): एक कठिन नया एग्जाम जो AI को अपनी सभी इंद्रियों का उपयोग करने और उत्तर खोजने के लिए इंटरनेट पर जाने के लिए मजबूर करता है।
- नायक (OmniAtlas): एक नया AI जो केवल अनुमान लगाने के बजाय विवरणों पर "ज़ूम इन" करना और टूल्स का समझदारी से उपयोग करना सीखता है।
निचोड़: हम ऐसे AI से आगे बढ़ रहे हैं जो केवल "देखता और सुनता" है, बल्कि ऐसे AI की ओर बढ़ रहे हैं जो एक सच्चे मानव सहायक की तरह जांच, सत्यापन और कार्य कर सकता है। यह पेपर उस भविष्य की ओर एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।