← नवीनतम पेपर
💻 computer science

Unified Multimodal Uncertain Inference

यह शोध पत्र यूनिफाइड मल्टीमॉडल अनसर्टेन इन्फरेंस (UMUI) प्रस्तुत करता है, जो एक नया कार्य है जिसमें टेक्स्ट, ऑडियो और वीडियो मोडैलिटीज के बीच कैलिब्रेटेड प्रोबेबिलिस्टिक रीजनिंग की आवश्यकता होती है, और CLUE मॉडल का प्रस्ताव देता है जो मौजूदा बेसलाइन्स की तुलना में काफी कम पैरामीटर्स के साथ अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

प्रकाशित 2026-04-13
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में। पुराने दिनों में, आप शायद अपने सहायक से बस पूछते, "क्या संदिग्ध दोषी है?" और वे "हाँ" या "नहीं" में सीधा जवाब देते। लेकिन असल जिंदगी इतनी सरल नहीं है। कभी-कभी आप एक सायरन सुनते हैं, एक टूटी हुई खिड़की देखते हैं, और एक नोट पढ़ते हैं, और आप सोचते हैं, "मुझे 85% यकीन है कि उन्होंने यह किया है, लेकिन मैं 100% निश्चित नहीं हूँ।"

यह पेपर AI को उस तरह से सोचने के लिए सिखाने के बारे में है जैसे वह एक जासूस सोचता है, लेकिन एक सुपरपावर के साथ: यह एक साथ सुन सकता है, देख सकता है और पढ़ सकता है, और फिर आपको बिल्कुल सटीक रूप से बता सकता है कि वह अपने उत्तर के प्रति कितना आश्वस्त है।

यहाँ उनके काम का विवरण दिया गया है, यूनिफाइड मल्टीमॉडल अनसर्टेन इन्फरेंस (UMUI), और उनका नया AI तरीका, CLUE, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।

1. समस्या: "बाइनरी" रोबोट

आज के अधिकांश AI मॉडल कठोर रोबोटों की तरह हैं। यदि आप उन्हें कार दुर्घटना का वीडियो दिखाते हैं और पूछते हैं, "क्या कार पेड़ से टकराई?", तो वे आमतौर पर एक पक्ष चुनने के लिए मजबूर हो जाते हैं: सत्य (True) या असत्य (False)

लेकिन इंसान इस तरह काम नहीं करते। यदि आप खराब ऑडियो के साथ कार दुर्घटना का एक धुंधला वीडियो देखते हैं, तो आप सोच सकते हैं, "यह एक पेड़ जैसा दिखता है, लेकिन ऑडियो अस्पष्ट है। मैं कहूँगा कि इसकी 70% संभावना है।"

  • अंतराल (The Gap): वर्तमान AI "हाँ" या "नहीं" कहने में तो बहुत अच्छा है, लेकिन "मैं 70% आश्वस्त हूँ" कहने में बहुत बुरा है।
  • मल्टीमॉडल उलझन (The Multimodal Mess): इससे भी बुरा यह है कि जब आप वीडियो, ऑडियो और टेक्स्ट को मिलाते हैं, तो अधिकांश AI भ्रमित हो जाते हैं। वह स्क्रीन पर लिखे टेक्स्ट पर बहुत अधिक ध्यान केंद्रित करने के कारण ऑडियो में बज रहे सायरन को अनदेखा कर सकता है, या इसके विपरीत।

2. समाधान: "CLUE" का परिचय

लेखकों ने एक नया कार्य बनाया जिसे UMUI (यूनिफाइड मल्टीमॉडल अनसर्टेन इन्फरेंस) कहा जाता है। इसे एक प्रशिक्षण मैदान के रूप में सोचें जहाँ AI को सुरागों के मिश्रण (एक वीडियो क्लिप, एक साउंड फ़ाइल और एक वाक्य) को देखना होता है और एक साधारण हाँ/ना के बजाय एक संभावना स्कोर (0% से 100%) देना होता है।

इसे हल करने के लिए, उन्होंने एक नया AI मॉडल बनाया जिसे CLUE (कैलिब्रेटेड लेटेंट अनसर्टेन्टी एस्टीमेशन) कहा जाता है। CLUE कैसे काम करता है, यहाँ तीन सरल रूपकों (metaphors) का उपयोग करके बताया गया है:

A. "विशेषज्ञों का पैनल" (सेल्फ-कंसिस्टेंट टीचर कैलिब्रेशन)

कल्पना कीजिए कि आप एक तरबूज के वजन का अनुमान लगाने की कोशिश कर रहे हैं। यदि आप एक व्यक्ति से पूछते हैं, तो वह बहुत गलत हो सकता है। लेकिन यदि आप पाँच विशेषज्ञों से पूछते हैं, उन्हें स्वतंत्र रूप से अनुमान लगाने के लिए कहते हैं, और फिर उनके उत्तरों का औसत लेते हैं, तो आपको एक बहुत अधिक विश्वसनीय संख्या प्राप्त होती है।

  • CLUE क्या करता है: यह उत्तर उत्पन्न करने के लिए एक "टीचर AI" का उपयोग करता है। शिक्षक से एक बार पूछने के बजाय, यह उससे पाँच बार पूछता है। फिर यह उन उत्तरों का औसत निकालता है ताकि एक "गोल्ड स्टैंडर्ड" लेबल बनाया जा सके। यह छात्र मॉडल (CLUE) को सिखाता है कि अनिश्चितता सामान्य है और "सत्य" अक्सर एक सीमा (range) होता है, न कि केवल एक बिंदु।

B. "डायल" बनाम "लाइट स्विच" (लेटेंट डिस्ट्रीब्यूशन कॉन्फिडेंस)

अधिकांश AI मॉडल एक लाइट स्विच की तरह होते हैं: वे या तो चालू (True) हैं या बंद (False)।

  • पुराना तरीका: AI एक नंबर जैसे "0.8" को एक शब्द की तरह बोलने की कोशिश करता है। लेकिन चूंकि यह शब्दों को बोलने के लिए बना है, इसलिए यह विशिष्ट नंबरों (0.5, 0.8, 0.9) पर अटक जाता है और इनके बीच के सूक्ष्म अंतर को व्यक्त नहीं कर पाता।
  • CLUE का तरीका: CLUE एक डिमेर स्विच या वॉल्यूम डायल की तरह है। नंबर बोलने की कोशिश करने के बजाय, यह अपने दिमाग के अंदर एक छिपे हुए "डायल" को देखता है जिसमें 100 अलग-अलग सेटिंग्स हैं। यह उस सटीक स्थान की ओर इशारा करना सीखता है जो "82.4% आश्वस्त" का प्रतिनिधित्व करता है। यह इसे अपनी धारणा के बारे में अविश्वसनीय रूप से सटीक बनाता है।

C. "विशेष कक्षा" (मोडैलिटी-स्पेसिफिक बैचिंग)

एक ऐसी कक्षा की कल्पना करें जहाँ शिक्षक एक ही समय में छात्रों के एक ही समूह को गणित, संगीत और पेंटिंग तीनों सिखाने की कोशिश करता है। यह बहुत अराजक है। गणित के छात्र संगीत से विचलित हो जाते हैं, और चित्रकार समीकरणों से भ्रमित हो जाते हैं।

  • समस्या: जब AI को टेक्स्ट, ऑडियो और वीडियो को बेतरतीब ढंग से मिला हुआ प्रशिक्षित किया जाता है, तो "सिग्नल" बहुत शोर भरा हो जाता है। टेक्स्ट छोटा होता है; वीडियो लंबा होता है। वे ध्यान खींचने के लिए आपस में लड़ते हैं।
  • CLUE का समाधान: CLUE प्रशिक्षण को एक विशेष कक्षा की तरह व्यवस्थित करता है। यह सभी टेक्स्ट उदाहरणों को एक साथ रखता है, फिर सभी ऑडियो को, फिर सभी वीडियो को। यह "शोर" को कम रखता है और मॉडल को सब कुछ मिलाने से पहले प्रत्येक इंद्रिय (sense) के विशिष्ट नियमों को सीखने में मदद करता है।

3. परिणाम: छोटा लेकिन शक्तिशाली

इस पेपर का सबसे आश्चर्यजनक हिस्सा मॉडल का आकार है।

  • दिग्गज (The Giants): उन्होंने अपने मॉडल की तुलना विशाल AI मॉडल (32 बिलियन पैरामीटर्स) से की। ये सुपर कंप्यूटर की तरह हैं।
  • अंडरडॉग (The Underdog): उनका CLUE मॉडल बहुत छोटा है (केवल 3 बिलियन पैरामीटर्स)।
  • परिणाम: छोटा CLUE मॉडल दिग्गजों को हरा देता है। यह टेक्स्ट, ऑडियो और वीडियो में सटीक संभावना स्कोर देने में उन विशाल मॉडलों की तुलना में बेहतर था।

यह क्यों मायने रखता है?

एक AI डॉक्टर की कल्पना करें जो एक्स-रे (वीडियो), रोगी की आवाज की रिकॉर्डिंग (ऑडियो) और उनके मेडिकल इतिहास (टेक्स्ट) का विश्लेषण कर रहा है।

  • पुराना AI: "रोगी को निमोनिया है।" (आत्मविश्वासी, लेकिन शायद गलत)।
  • CLUE: "एक्स-रे के आधार पर निमोनिया की 85% संभावना है, लेकिन ऑडियो स्पष्ट नहीं है, इसलिए मैं कुल मिलाकर केवल 60% आश्वस्त हूँ।"

यह "कैलिब्रेटेड अनसर्टेन्टी" (परिकलित अनिश्चितता) उच्च-जोखिम वाले कार्यों के लिए महत्वपूर्ण है। यह मनुष्यों को बताता है कि उन्हें AI पर कब भरोसा करना चाहिए और कब दोबारा जांच करनी चाहिए। यह AI को आत्मविश्वास के साथ गलत होने से रोकता है और ईमानदारी से अनिश्चित होना सिखाता है।

संक्षेप में: यह पेपर AI को "हाँ या ना" का अनुमान लगाना छोड़कर, यह कहना सिखाता है कि, "मैं इसके बारे में कितना आश्वस्त हूँ," विशेषज्ञ औसत, सटीक आंतरिक डायल और व्यवस्थित प्रशिक्षण के मिश्रण का उपयोग करके। और उन्होंने इसे एक ऐसे मॉडल के साथ किया जो एक लैपटॉप पर भी चल सकता है, और विशाल सुपर कंप्यूटरों को भी मात दे सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →