Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
यह अध्ययन प्रदर्शित करता है कि GPT-4.1 और Claude Sonnet 4.6 जैसे फ्रंटियर LLMs, Flickr30k पर Google के नेटिव मल्टीमॉडल Gemini Embedding 2 के समान रिट्रीवल प्रदर्शन प्राप्त करते हैं, हालांकि पूर्ववर्ती (Gemini) प्रीकंप्यूटेबल एम्बेडिंग्स के कारण लो-लेटेंसी अनुप्रयोगों के लिए बेहतर बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप घास के एक विशाल, अस्त-व्यस्त ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं। लेकिन यहाँ एक मोड़ है: वह सुई केवल धातु का एक टुकड़ा नहीं है; वह एक तस्वीर है, और आप उसका वर्णन शब्दों के माध्यम से कर रहे हैं। यह मल्टीमॉडल रिट्रीवल (multimodal retrieval) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें यह सीखती हैं कि जो वे देखती हैं (छवियाँ) उन्हें जो वे पढ़ती हैं (टेक्स्ट) उससे कैसे जोड़ना है। वर्षों तक, इसे करने का मानक तरीका दो अलग-अलग "दिमाग" बनाना था: एक जो टेक्स्ट को पढ़ता है और उसे एक गुप्त कोड में बदल देता है, और दूसरा जो तस्वीरों को देखता है और उन्हें एक अलग गुप्त कोड में बदल देता है। कंप्यूटर फिर इन दोनों कोडों को मिलाने की कोशिश करता है, जैसे कि बहुत ज़ोर से आँखें सिकोड़कर एक चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश करना।
हाल ही में, दो नए सुपर-टूल्स ने अखाड़े में प्रवेश किया है। पहला, फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें अविश्वसनीय रूप से स्मार्ट, सर्वज्ञ पुस्तकालयाध्यक्षों (librarians) के रूप में सोचें जो 25 तस्वीरों के ढेर और एक वाक्य को देख सकते हैं, फिर तुरंत हर फोटो को पढ़ सकते हैं, उनकी आपस में तुलना कर सकते हैं, और सबसे अच्छा मिलान चुन सकते हैं। दूसरा, नेटिवली मल्टीमॉडल एम्बेडिंग्स (Natively Multimodal Embeddings)। ये एक सार्वभौमिक अनुवादक (universal translator) की तरह हैं जो शुरुआत से ही "छवि" और "टेक्स्ट" दोनों को धाराप्रवाह बोलता है, सब कुछ एक एकल, एकीकृत गुप्त कोड में बदल देता है बिना इसके कि दो अलग-अलग दिमागों को आपस में बात करने की आवश्यकता हो। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या हमें हर फोटो को पढ़ने और उनकी तुलना करने के लिए सुपर-स्मार्ट लाइब्रेरियन की ज़रूरत है, या क्या सार्वभौमिक अनुवादक अकेले काम करने के लिए पर्याप्त तेज़ और सटीक है? यह मायने रखता है क्योंकि यदि लाइब्रेरियन बहुत धीमा है, तो आप उन्हें सड़क पर चलते समय अपनी फोटो गैलरी खोजने जैसे रियल-टाइम ऐप्स के लिए उपयोग नहीं कर सकते।
यह पेपर Flickr30k नामक एक डेटासेट का उपयोग करके इन दोनों दृष्टिकोणों के बीच एक उच्च-दांव वाली दौड़ आयोजित करता है, जिसमें 31,000 छवियाँ और मानव-लिखित विवरण शामिल हैं। इस दौड़ को वास्तव में निष्पक्ष और कठिन बनाने के लिए, शोधकर्ताओं ने केवल यादृच्छिक (random) तस्वीरें मॉडलों पर नहीं फेंकीं। उन्होंने "हार्ड नेगेटिव्स" (hard negatives) बनाए जो सही उत्तर के बहुत समान दिखते हैं लेकिन पूरी तरह से सही नहीं होते, जिन्हें सबसे स्मार्ट सिस्टम को भी चकमा देने के लिए डिज़ाइन किया गया था। उन्होंने चार दिग्गजों का परीक्षण किया: जेमिनी एम्बेडिंग 2 (Gemini Embedding 2) और अमेज़न नोवा 2 (Amazon Nova 2) (सार्वभौमिक अनुवादक) बनाम जीपीटी-4.1 (GPT-4.1) और क्लाउड सोनेट 4.6 (Claude Sonnet 4.6) (सुपर-स्मार्ट लाइब्रेरियन)।
परिणाम स्पीडस्टर्स के लिए चौंकाने वाले लेकिन सटीकता के शौकीनों के लिए राहत भरे थे। जब सही उत्तर प्राप्त करने की बात आई, तो सार्वभौमिक अनुवादक और सुपर-स्मार्ट लाइब्रेरियन बिल्कुल बराबरी पर थे। अध्ययन में पाया गया कि जेमिनी एम्बेडिंग 2, जीपीटी-4.1, और क्लाउड सोनेट 4.6 सांख्यिकीय रूप से एक समान प्रदर्शन करते हैं। वे इतने करीब थे कि आप केवल सटीकता के आधार पर उनमें अंतर नहीं कर सकते थे; उन सभी ने इन पेचीदा परिदृश्यों में सही छवि को लगभग 80% बार चुना। यह पेपर इस विचार को स्पष्ट रूप से खारिज करता है कि लाइब्रेरियन सटीकता में बहुत अधिक श्रेष्ठ हैं, यह दिखाते हुए कि नए एम्बेडिंग मॉडल भी घास के ढेर में सही सुई खोजने में उतने ही तेज हैं। हालाँकि, एक मॉडल, अमेज़न नोवा 2, पीछे रह गया, जिसने सही उत्तर लगभग 13 प्रतिशत अंक कम बार प्राप्त किया, संभवतः इसलिए क्योंकि इसे इस विशिष्ट प्रकार की इमेज सर्च के बजाय सामान्य कार्यों के लिए सेट किया गया था।
लेकिन असली कहानी केवल सटीकता की दौड़ में कौन जीतता है, इसके बारे में नहीं है; यह इस बारे में है कि कौन मैराथन पूरी करता है। यहीं पर दोनों दृष्टिकोण पूरी तरह से अलग हो जाते हैं। सुपर-स्मार्ट लाइब्रेरियन (LLMs) को हर एक प्रश्न के लिए समूह की हर एक फोटो को देखना पड़ता है। शोधकर्ताओं ने इसे मापा और पाया कि 1,000 क्वेरीज़ को रैंक करने में लाइब्रेरियन को 6,100 सेकंड (जीपीटी-4.1 के लिए) और 9,415 सेकंड (क्लाउड सोनेट 4.6 के लिए) से अधिक समय लगा। यह घंटों के इंतज़ार के बराबर है। इसके विपरीत, सार्वभौमिक अनुवादक (एम्बेडिंग मॉडल) अलग तरह से काम करते हैं। वे सभी तस्वीरों के लिए गुप्त कोड को एक बार पहले से ही कैलकुलेट (pre-calculate) कर सकते हैं, जैसे कि लाइब्रेरी में जाने से पहले ही हर किताब पर बारकोड लगाना। एक बार जब यह "प्री-कंप्यूटेशन" पूरा हो जाता है, तो 1,000 क्वेरीज़ के लिए सही फोटो खोजने में एम्बेडिंग मॉडल्स को 2 सेकंड से भी कम समय लगा।
लेखकों का निष्कर्ष है कि जबकि सुपर-स्मार्ट लाइब्रेरियन तर्क करने और छवियों की अगल-बगल तुलना करने में प्रतिभाशाली हैं, सार्वभौमिक अनुवादक उन चीज़ों के लिए स्पष्ट विजेता हैं जिन्हें तुरंत होने की आवश्यकता है। यदि आप एक ऐसा ऐप बना रहे हैं जहाँ उपयोगकर्ता को पलक झपकते ही छवियों के बड़े संग्रह को खोजना है, तो एम्बेडिंग मॉडल बेहतर विकल्प हैं। लाइब्रेरियन अभी भी उपयोगी हैं यदि आपका फोटो कलेक्शन हर सेकंड बदलता है या बहुत छोटा है, जिससे प्री-कैल्कुलेशन स्टेप बेकार हो जाता है, लेकिन गति और पैमाने (scale) के लिए, नए एम्बेडिंग मॉडल्स ने साबित कर दिया है कि वे दिग्गजों की सटीकता का मुकाबला करते हुए हज़ार गुना तेज़ी से चल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।