कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन यहाँ आपका अपराध स्थल कोई घटना नहीं, बल्कि इंटरनेट पर पोस्ट की गई एक तस्वीर और एक वाक्य है। कभी-कभी वाक्य झूठ होता है, कभी-कभी तस्वीर नकली होती है, और कभी-कभी दोनों आपस में मेल ही नहीं खाते। यह "मल्टीमॉडल मिसइन्फॉर्मेशन" (बहुविध गलत सूचना) की दुनिया है, जहाँ वैज्ञानिक कंप्यूटर को इन डिजिटल चालों को पहचानने के लिए प्रशिक्षित करते हैं। वे जिन उपकरणों का उपयोग करते हैं उन्हें लार्ज मल्टीमॉडल मॉडल्स (या संक्षेप में LVLMs) कहा जाता है। इन मॉडल्स को अत्यंत बुद्धिमान, अनुभवी जासूसों के रूपके रूप में समझें जो छवियों को देख सकते हैं और पाठ (टेक्स्ट) पढ़ सकते हैं। लेकिन यहाँ एक पेंच है: यहाँ तक कि सबसे स्मार्ट जासूस भी भ्रमित हो सकता है यदि उसके पास एक अच्छी कार्ययोजना न हो। वे एक मज़ेदार तस्वीर को देखकर मान सकते हैं कि कहानी सच है, या वे एक मामूली विवरण से विचलित होकर बड़े झूठ को मिस कर सकते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम इन डिजिटल जासूसों को अधिक सुसंगत और विश्वसनीय कैसे बना सकते हैं, बिना उन्हें हर नई चाल सीखने के लिए अपना पूरा दिमाग फिर से प्रशिक्षित (रिट्रेन) किए?

यह पेपर एक चतुर नई रणनीति पेश करता है जिसे "वेरिफिकेशन-नोटबुक लर्निंग" (VNL) कहा जाता है। जासूस के दिमाग को फिर से जोड़ने (जो कठिन और महंगा है) या उन्हें केवल पिछले केस फाइलों का ढेर थमाने (जो धीमा और अव्यवस्थित है) के बजाय, शोधकर्ता जासूस को एक विशेष, पहले से लिखा हुआ नोटबुक देते हैं। नए मामले हल करने से पहले, वे पिछली गलतियों और सफलताओं का अध्ययन करने में समय बिताते हैं। वे नियमों का एक सेट लिखते हैं, जैसे "हमेशा जांचें कि क्या फोटो में मौजूद वस्तु वास्तव में अस्तित्व में है" या "सिर्फ इसलिए इसे बेमेल (मिसमैच) न कहें क्योंकि टेक्स्ट थोड़ा अस्पष्ट है।" यह नोटबुक संक्षिप्त है, पढ़ने में आसान है, और जासूस के काम करने के दौरान समान रहती है।

शोधकर्ताओं ने पाया कि यह दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है। जब उन्होंने अपने "नोटबुक-निर्देशित" जासूस का अन्य तरीकों के विरुद्ध परीक्षण किया, तो उसने पहेलियों को अधिक सटीकता से हल किया। उदाहरण के लिए, चार अलग-अलग प्रकार के झूठों वाले एक परीक्षण में, नोटबुक विधि ने 73.2% का स्कोर प्राप्त किया, जो अगले सबसे अच्छे तरीके से काफी आगे था। पेपर सुझाव देता है कि इन स्पष्ट, लिखित नियमों का होना कंप्यूटर को सामान्य जाल में फंसने से बचने में मदद करता है, जैसे कि एक तस्वीर में दिखने वाले नकली ड्रैगन को गलत कैप्शन के साथ भ्रमित करना। मुख्य खोज यह है कि कंप्यूटर के आंतरिक कोड को बदलने की आवश्यकता नहीं है ताकि उसे स्मार्ट बनाया जा सके; आपको बस उसे सोचने के लिए एक बेहतर, पहले से बना गाइड देने की आवश्यकता है।

जासूस की दुविधा

कल्पना कीजिए कि आप अपने फोन को स्क्रॉल कर रहे हैं और आपको एक पोस्ट दिखता है जिसमें एक बिल्ली की तस्वीर है जिसने टक्सीडो पहना हुआ है और कैप्शन लिखा है, "यह बिल्ली न्यूयॉर्क की नई मेयर है।" क्या यह झूठ है? खैर, बिल्ली असली नहीं है (यह एक फोटो है), कैप्शन गलत है, और दोनों मेल नहीं खाते। लेकिन क्या होगा अगर तस्वीर असली होती, और कैप्शन सिर्फ एक मजाक होता? या क्या होगा अगर तस्वीर असली होती, लेकिन कैप्शन दावा करता कि बिल्ली किसी दूसरे शहर से है?

यह ऑनलाइन मिसइन्फॉर्मेशन की अस्त-व्यस्त वास्तविकता है। यह केवल एक "नकली" पोस्ट को पहचानने के बारे में नहीं है; यह समझने के बारे में है कि झूठ कहाँ छिपा है। क्या टेक्स्ट झूठ बोल रहा है? क्या इमेज बदली हुई है? या क्या वे बस दो असंबंधित चीजें हैं जिन्हें आपस में जोड़ दिया गया है? वैज्ञानिक इसे "सोर्स-अवेयर" (स्रोत-जागरूक) डिटेक्शन कहते हैं।

लंबे समय तक, हमने इसे कंप्यूटर को बेहतर तर्क करने के लिए सिखाकर ठीक करने की कोशिश की है। हम उन्हें कहते हैं, "हे, टेक्स्ट को देखो, फिर तस्वीर को देखो, फिर उनकी तुलना करो।" हमने यहाँ तक कि जटिल सिस्टम बनाए हैं जहाँ कंप्यूटर जवाबों पर बहस करने वाले एजेंटों की एक टीम के रूप में कार्य करता है। लेकिन एक समस्या है: हर बार जब कंप्यूटर एक नया पोस्ट देखता है, तो उसे नियमों को शून्य से समझना पड़ता है। यह एक ऐसे जासूस की तरह है जो हर एक केस के बाद अपना प्रशिक्षण मैनुअल भूल जाता है। वे एक केस को पूरी तरह से हल कर सकते हैं, लेकिन अगले केस के लिए सबक भूल जाते हैं।

नोटबुक समाधान

इस पेपर के लेखक, जुनयुआन तान ने एक अलग दृष्टिकोण आज़माने का निर्णय लिया। कंप्यूटर को पारंपरिक अर्थों में "सीखने" (जिसमें उसके आंतरिक सेटिंग्स को बदलना शामिल है, जैसे कि एक छात्र के मस्तिष्क को फिर से प्रशिक्षित करना) के बजाय, उन्होंने कंप्यूटर को एक वेरिफिकेशन नोटबुक दी।

इस नोटबुक को एक 'चीट शीट' या फील्ड गाइड की तरह समझें जिसे एक अनुभवी जासूस अपने साथ रखता है। इसमें हल किए गए हर एक केस की फाइलें नहीं हैं; वह बहुत भारी हो जाएगा। इसके बजाय, इसमें उन मामलों से सीखे गए सबक हैं।

• निर्णय के नियम: "यदि टेक्स्ट एक तथ्यात्मक दावा करता है, तो तस्वीर की चिंता करने से पहले पहले उसकी जाँच करें।"
• बचने योग्य गलतियाँ: "सिर्फ इसलिए बेमेल (मिसमैच) न मानें क्योंकि टेक्स्ट थोड़ा अस्पष्ट है।"
• साक्ष्य संकेत: "यदि आप ऐसी वस्तु देखते हैं जो भौतिक रूप से असंभव दिखती है, तो वह विजुअल डिस्टॉर्शन (दृश्य विकृति) का संकेत है।"

यहाँ जादू कैसे होता है:

1. सीखने का चरण: कंप्यूटर (जिसे वे "वेरिफायर" कहते हैं) अभ्यास के कुछ उदाहरणों को देखता है। वह अपने वर्तमान नोटबुक का उपयोग करके उन्हें हल करने का प्रयास करता है।
2. संपादक (द एडिटर): सिस्टम का दूसरा हिस्सा (संपादक) वेरिफायर के काम को देखता है। यदि वेरिफायर ने गलती की, तो संपादक पूछता है, "आपने ऐसा क्यों किया?" और फिर अगली बार इस गलती को रोकने के लिए नोटबुक में एक नया नियम लिखता है।
3. फ्रीज़ (स्थिर करना): एक बार जब नोटबुक लिख दी जाती है, तो इसे लॉक कर दिया जाता है। कंप्यूटर का दिमाग (LVLM) बिल्कुल वैसा ही रहता है। यह अपने आंतरिक कोड को नहीं बदलता है। यह बस गाइड के रूप में नोटबुक का उपयोग करता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस विचार का परीक्षण MMFakeBench नामक एक डेटासेट पर किया, जिसमें हजारों कैप्शन और चित्र वाले पोस्ट हैं। वे यह देखना चाहते थे कि क्या नोटबुक कंप्यूटर को चार प्रकार के पोस्ट के बीच अंतर करने में मदद कर सकती है:

1. ओरिजिनल (मूल): सब कुछ सच है और मेल खाता है।
2. टेक्स्टुअल डिस्टॉर्शन (मौलिक विकृति): टेक्स्ट एक झूठ है।
3. विजुअल डिस्टॉर्शन (दृश्य विकृति): इमेज नकली है।
4. मिसमैच (बेमेल): टेक्स्ट और इमेज आपस में मेल नहीं खाते।

परिणाम प्रभावशाली थे। नोटबुक विधि ने "मैक्रो-F1" नामक एक मीट्रिक पर 73.2% का स्कोर किया, जो एक फैंसी तरीका है यह कहने का कि यह सभी प्रकार के झूठों को पकड़ने में अच्छा था, न कि केवल आसान वाले। यह अन्य तरीकों से बहुत बेहतर था।

• एक मानक "डायरेक्ट" दृष्टिकोण (बिना नोटबुक के केवल कंप्यूटर से पूछना) ने लगभग 63.4% स्कोर किया।
• एक जटिल प्रणाली जो कई चरणों और बाहरी खोज उपकरणों का उपयोग करती है (जिसे MMD-Agent कहा जाता है) ने 57.3% स्कोर किया।

पेपर का सुझाव है कि नोटबुक इसलिए काम करती है क्योंकि यह बिखरे हुए, अस्थायी विचारों को स्पष्ट, स्थायी नियमों में बदल देती है। यह केवल अधिक जानकारी होने के बारे में नहीं है; यह इस बारे में है कि उस जानकारी का उपयोग करने के लिए आपके पास सही निर्देश हों।

नोटबुक क्यों जीतती है

इस पद्धति की सबसे शानदार बात यह है कि यह पारदर्शी है। यदि आप जानना चाहते हैं कि कंप्यूटर ने निर्णय क्यों लिया, तो आप बस नोटबुक पढ़ सकते हैं। आप उस सटीक नियम को देख सकते जिसका उसने पालन किया। यह अन्य तरीकों के विपरीत है जहाँ कंप्यूटर का निर्णय एक "ब्लैक बॉक्स" जैसा महसूस होता है—आपको उत्तर तो मिलता है, लेकिन आप नहीं जानते कि वह वहाँ कैसे पहुँचा।

शोधकर्ताओं ने यह भी पाया कि नोटबुक ने कंप्यूटर को कठिन हिस्सों में बेहतर बनाने में मदद की। उदाहरण के लिए, एक परीक्षण मामले में, कैप्शन में लिखा था "ब्लैक कैनरी असली है" (एक सुपरहीरो के संदर्भ में), और तस्वीर में एक पक्षी दिखाया गया था। बिना नोटबुक वाले कंप्यूटर ने कहा होगा, "टेक्स्ट और पिक्चर मेल नहीं खाते, इसलिए यह मिसमैच है।" लेकिन नोटबुक में एक नियम था: "पहले यह जांचें कि क्या टेक्स्ट स्वयं तथ्यात्मक रूप से गलत है।" इसलिए, कंप्यूटर ने सही ढंग से पहचान लिया कि टेक्स्ट ही झूठ था (टेक्स्टुअल डिस्टॉर्शन), न कि मिसमैच।

एक अन्य उदाहरण में समुद्र तट पर एक विमान की तस्वीर थी जिसके पीछे एक नकली ड्रैगन था। बिना नोटबुक वाले कंप्यूटर ने शायद ड्रैगन पर ध्यान केंद्रित किया होता और कहा, "टेक्स्ट में ड्रैगन का जिक्र नहीं है, इसलिए यह मिसमैच है।" लेकिन नोटबुक में एक नियम था: "यदि चित्र में कुछ असंभव है, तो वह विजुअल डिस्टॉर्शन है।" इसलिए, कंप्यूटर ने सही ढंग से फ्लैग किया कि समस्या इमेज में है।

निष्कर्ष

यह पेपर दिखाता है कि हमें अपने AI मॉडल्स को स्मार्ट बनाने के लिए हमेशा उन्हें बड़ा या अधिक जटिल बनाने की आवश्यकता नहीं होती है। कभी-कभी, हमें बस उन्हें एक बेहतर गाइड देने की आवश्यकता होती है। पिछली गलतियों से सीखे गए सबक को कैप्चर करने वाला एक "वेरिफिकेशन नोटबुक" बनाकर, शोधकर्ता एक स्थिर, अपरिवर्तित AI मॉडल को मिसइन्फॉर्मेशन को पहचानने में बहुत बेहतर प्रदर्शन करने में मदद करने में सक्षम रहे।

लेखक सुझाव देते हैं कि यह बेहतर वेरिफिकेशन सिस्टम बनाने का एक व्यावहारिक तरीका है। यह हल्का है, आसानी से जांचा जा सकता है, और इसके लिए पहले से मौजूद विशाल AI मॉडल्स को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह एक याद दिलाता है कि कभी-कभी, सीखने का सबसे अच्छा तरीका यह नहीं है कि आप खुद को बदलें, बल्कि जो आपने सीखा है उसे लिख लें ताकि अगली बार आप उसे भूल न जाएं।