कल्पना कीजिए कि आप एक विशाल पुस्तकालय में हैं जहाँ हर किताब के कवर पर एक तस्वीर है, और हर तस्वीर के बगल में एक कहानी लिखी है। आपका काम एक सटीक मिलान ढूँढना है: एक तस्वीर जो एक विशिष्ट वाक्य के साथ मेल खाती हो, या एक वाक्य जो एक विशिष्ट फोटो का वर्णन करता हो। यह इमेज-टेक्स्ट रिट्रीवल (image-text retrieval) की दुनिया है, एक ऐसी सुपरपावर जिसका उपयोग सर्च इंजन, शॉपिंग ऐप्स और डिजिटल आर्ट गैलरी द्वारा देखने वाली चीज़ को पढ़ने वाली चीज़ से जोड़ने के लिए किया जाता है। लंबे समय से, कंप्यूटर इस काम में बहुत अच्छे हो गए हैं, वे किसी दृश्य के सामान्य भाव को समझने के लिए "ग्लोबल" (वैश्विक) दृश्यों का उपयोग करते हैं। लेकिन पेचीदा हिस्सा यह है: कभी-कभी, भले ही कंप्यूटर आपको मिलानों की एक सूची दे दे, लेकिन उसे यह नहीं पता होता कि वह वास्तव में सही है या नहीं। वह बहुत आश्वस्त हो सकता है लेकिन पूरी तरह से गलत हो सकता है, या वह भ्रमित हो सकता है क्योंकि दो तस्वीरें लगभग एक जैसी दिखती हैं। वास्तविक दुनिया में, कंप्यूटर पर कब भरोसा करना है, यह जानना उतना ही महत्वपूर्ण है जितना कि उत्तर प्राप्त करना। यदि एक सर्च इंजन कह सके, "मैं इस एक के बारे में काफी आश्वस्त हूँ, लेकिन मैं उस आखिरी वाले पर केवल अनुमान लगा रहा हूँ," तो वह एक बहुत अधिक सहायक उपकरण बन जाता है।

यह ठीक वही समस्या है जिसे वेई चेन और युहांग चेन अपनी नई रिसर्च में हल करते हैं। उन्होंने गौर किया कि हालांकि कंप्यूटर मिलानों की सूचियों को रैंक करने में माहिर हैं, लेकिन वे अक्सर हमें यह बताने में विफल रहते हैं कि वह रैंकिंग कितनी "अस्थिर" है। इसे ठीक करने के लिए, उन्होंने CRU (क्रॉस-ग्रैनुलैरिटी रैंकिंग अनसर्टेन्टी - Cross-granularity Ranking Uncertainty) नामक एक नया सिस्टम बनाया। इसे दो अलग-अलग जासूसों को रहस्य सुलझाने के लिए काम पर रखने जैसा समझें। एक जासूस, "ग्लोबल" एजेंट, बड़ी तस्वीर देखता है: "क्या यह समुद्र तट का दृश्य है? हाँ।" दूसरा जासूस, "लोकल" एजेंट, सूक्ष्म विवरणों पर ध्यान केंद्रित करता है: "क्या व्यक्ति ने लाल जूते पहने हैं? हाँ। क्या वहां एक नीला छाता है? नहीं।" आमतौर पर, वे सहमत होते हैं। लेकिन जब वे असहमत होते हैं—जब ग्लोबल एजेंट कहता है "बीच (समुद्र तट)!" लेकिन लोकल एजेंट देखता है "पहाड़ पर लाल जूते"—तो वह एक बड़ा रेड फ्लैग (चेतावनी का संकेत) है। CRU इस असहमति का उपयोग एक "वोरी स्कोर" (चिंता स्कोर) की गणना करने के लिए करता है। यदि स्कोर अधिक है, तो सिस्टम जानता है कि उत्तर गलत हो सकता है। शोधकर्ताओं ने पाया कि दोनों जासूसों की बात सुनकर और यह जाँचकर कि क्या वे आपस में बहस कर रहे हैं, उनका सिस्टम न केवल बेहतर मिलान पाता है, बल्कि यह भी जानता है कि उसे ठीक कब कहना चाहिए, "हे, मुझे इस बारे में यकीन नहीं है," जिससे पूरी खोज प्रक्रिया अधिक स्मार्ट और विश्वसनीय हो जाती है।

दो जासूस और वरी स्कोर (The Two Detectives and the Worry Score)

इमेज-टेक्स्ट रिट्रीवल की दुनिया में, कंप्यूटर आमतौर पर एक फोटो और एक वाक्य को गणितीय संख्याओं (जिन्हें एम्बेडिंग्स कहा जाता है) में बदलकर उन्हें मिलाने की कोशिश करते हैं और देखते हैं कि वे कितने करीब हैं। पारंपरिक तरीके अक्सर एक एकल "ग्लोबल" दृश्य पर निर्भर करते हैं, जो कमरे के दूसरी ओर से पेंटिंग को देखने जैसा है। आप बता सकते हैं कि यह एक लैंडस्केप है, लेकिन आप शायद यह मिस कर दें कि कोने में बैठा कुत्ता वास्तव में एक बिल्ली है। अन्य तरीके "लोकल" विवरणों को देखने की कोशिश करते हैं, जैसे विशिष्ट शब्दों को छवि के विशिष्ट हिस्सों से मिलाना, लेकिन यह धीमा और अव्यवस्थित हो सकता है।

इस पेपर के लेखक तर्क देते हैं कि त्रुटियों को खोजने का सबसे अच्छा तरीका एक बड़ा, अधिक जटिल मॉडल बनाना नहीं है, बल्कि इन दोनों तरीकों के बीच के अंतर को सुनना है। उन्होंने एक फ्रेमवर्क बनाया जहाँ कंप्यूटर दो न्यायाधीशों के पैनल की तरह कार्य करता है।

1. ग्लोबल जज: मुख्य विचार प्राप्त करने के लिए पूरी छवि और वाक्य को देखता है।
2. लोकल जज: बारीक विवरणों की जांच करने के लिए छवि के छोटे पैच और विशिष्ट शब्दों को देखता है।

एक आदर्श दुनिया में, दोनों जज शीर्ष मिलानों पर सहमत होंगे। लेकिन वास्तविक दुनिया में, वे अक्सर असहमत होते हैं। हो सकता है कि ग्लोबल जज को लगे कि "सूर्यास्त" की तस्वीर "सूर्यास्त" के वाक्य से मेल खाती है, लेकिन लोकल जज नोटिस करे कि वाक्य में "समुद्र के ऊपर सूर्यास्त" लिखा है और छवि वास्तव में एक रेगिस्तान के ऊपर सूर्यास्त की है।

CRU कैसे काम करता है: "असहमति" डिटेक्टर (How CRU Works: The "Disagreement" Detector)

CRU का जादू इस असहमति को मापने के तरीके में निहित है। केवल यह पूछने के बजाय कि, "आप कितने आश्वस्त हैं?" (जो भ्रामक हो सकता है यदि कंप्यूटर आत्मविश्वास के साथ गलत है), CRU दो विशिष्ट प्रश्न पूछता है:

• एम्बिग्युटी (अस्पष्टता): क्या कंप्यूटर भ्रमित है? यदि दोनों जज कई अलग-अलग छवियों पर अपने वोट फैला रहे हैं, तो सिस्टम जानता है कि उत्तर धुंधला है।
• डिसएग्रीमेंट (असहमति): क्या न्यायाधीश आपस में लड़ रहे हैं? यदि ग्लोबल जज 100% आश्वस्त है कि इमेज A सबसे अच्छी है, लेकिन लोकल जज 100% आश्वस्त है कि इमेज B सबसे अच्छी है, तो यह एक संघर्ष है।

CRU इन दोनों भावनाओं को एक एकल "अनसर्टेन्टी स्कोर" (अनिश्चितता स्कोर) में जोड़ देता है। यदि स्कोर कम है, तो सिस्टम आश्वस्त है और रैंकिंग संभवतः सही है। यदि स्कोर अधिक है, तो सिस्टम जानता है कि कुछ गड़बड़ है।

जो इसे खास बनाता है वह यह है कि इसे कंप्यूटर के दिमाग को कई बार चलाने की आवश्यकता नहीं है (जैसे कि अन्य तरीके जो एक ही टेस्ट को बार-बार चलाकर अनुमान लगाने की कोशिश करते हैं)। यह सब एक ही पास (single pass) में करता है। यह एक ही बार में मामले को सुलझाने वाले दो जासूसों के पास होने और फिर तुरंत अपने नोट्स की तुलना करने जैसा है कि क्या वे एक ही पृष्ठ पर हैं।

परिणाम: केवल तेज़ नहीं, बल्कि स्मार्ट (The Results: Smarter, Not Just Faster)

शोधकर्ताओं ने अपने नए सिस्टम का परीक्षण तीन प्रसिद्ध डेटासेट्स पर किया: Flickr30K-1K, MS-COCO-1K, और MS-COCO-5K। ये मूल रूप से फोटो और कैप्शन के विशाल पुस्तकालय हैं जिनका उपयोग AI को प्रशिक्षित करने के लिए किया जाता है।

यहाँ उन्हें क्या मिला:

• बेहतर सटीकता (Better Accuracy): CRU ने न केवल गलतियों को पकड़ने में बेहतर प्रदर्शन किया; इसने वास्तव में बेहतर मिलान भी खोजा। Flickr30K-1K टेस्ट पर, इसने 520.4 का स्कोर (जिसे rSum कहा जाता है) प्राप्त किया। MS-COCO-1K पर, इसने 535.1 छुआ, और बड़े MS-COCO-5K पर, इसने 446.9 का स्कोर किया। ये संख्याएँ पिछले सर्वोत्तम तरीकों से अधिक थीं, जिसका अर्थ है कि सिस्टम ने सही फोटो अधिक बार खोजी।
• बेहतर त्रुटि पहचान (Better Error Detection): जब त्रुटियों को पहचानने की बात आई, तो CRU एक चैंपियन था। सबसे मजबूत पिछले तरीके (जिसे PCME++ कहा जाता है) की तुलना में, CRU ने त्रुटियों का पता लगाने की क्षमता (AUROC द्वारा मापा गया) में 4.3 से 4.6 अंक का सुधार किया।
• कैलिब्रेशन (Calibration): यह "ईमानदार होने" के लिए एक फैंसी शब्द है। यदि कोई सिस्टम कहता है कि वह 90% आश्वस्त है, तो उसे 90% बार सही होना चाहिए। CRU अन्य तरीकों की तुलना में इसमें बहुत बेहतर था। इसने "एक्सपेक्टेड कैलिब्रेशन एरर" (ECE) को घटाकर 0.023 तक कर दिया, जिसका अर्थ है कि इसके आत्मविश्वास स्तर वास्तविकता के बहुत करीब थे।
• सिलेक्टिव रिट्रीवल (Selective Retrieval): यह कहने की क्षमता है कि, "मैं इस बारे में निश्चित नहीं हूँ, इसलिए मैं इसे छोड़ दूँगा।" जब शोधकर्ताओं ने सिस्टम को सबसे अनिश्चित उत्तरों को छोड़ने के लिए कहा, तो त्रुटि दर काफी कम हो गई। CRU ने सर्वश्रेष्ठ बेसलाइन की तुलना में "एरिया अंडर द रिस्क-कवरेज कर्व" (AURC) को 16.4% से 21.6% तक कम कर दिया। इसका मतलब है कि केवल उन अनुमानों को अनदेखा करके जिनके बारे में वह निश्चित नहीं था, सिस्टम बहुत अधिक विश्वसनीय हो गया।

यह क्यों मायने रखता है

पेपर यह सुझाव देता है कि ग्लोबल और लोकल मैचिंग को केवल स्कोर प्राप्त करने के चरणों के रूप में देखने के बजाय, उन्हें "पूरक विचारों" (complementary opinions) के रूप में मानकर, हम ऐसे सिस्टम बना सकते हैं जो न केवल सटीक हैं बल्कि आत्म-जागरूक भी हैं। लेखक स्पष्ट रूप से इस विचार को खारिज करते हैं कि इस तरह की अंतर्दृष्टि प्राप्त करने के लिए आपको हजारों बार चलने वाले जटिल, संभाव्य (probabilistic) मॉडल की आवश्यकता है। इसके बजाय, वे दिखाते हैं कि दो अलग-अलग "दृष्टिकोणों" के बीच असहमति की जाँच करने वाला एक सरल, डिटरमिनिस्टिक (एक-बार वाला) पास पर्याप्त है।

वे यह भी नोट करते हैं कि हालांकि सिस्टम बेहतरीन है, लेकिन यह पूर्ण नहीं है। यह उस डेटा पर निर्भर करता है जिस पर इसे प्रशिक्षित किया गया है, और यदि दुनिया नाटकीय रूप से बदल जाती है (जैसे कि लोगों द्वारा फोटो लेने या कैप्शन लिखने के तरीके में अचानक बदलाव), तो सिस्टम को पुन: कैलिब्रेट करने की आवश्यकता हो सकती है। लेकिन फिलहाल के लिए, CRU इमेज-सर्च इंजन को अधिक कुशल बनाने का एक व्यावहारिक तरीका प्रदान करता है जो न केवल आपको एक उत्तर देता है, बल्कि यह भी बताता है कि आप उस पर कितना भरोसा कर सकते हैं। यह एक अंधे खोज को एक ऐसी बातचीत में बदल देता है जहाँ कंप्यूटर जानता है कि उसे कब कहना है, "मुझे लगता है कि मैं जानता हूँ, लेकिन मुझे एक बार फिर से जाँच लेने दें।"