TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs
TGIF एक हल्का, टेक्स्ट-गाइडेड इंटर-लेयर फ्यूजन मॉड्यूल पेश करता है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में विजुअल ग्राउंडिंग को बढ़ाने और बिना एनकोडर अपडेट के मतिभ्रम (hallucinations) को कम करने के लिए कई फ्रोजन एनकोडर लेयर्स से विजुअल फीचर्स को गतिशील रूप से संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखा रहे हैं। आप उसे एक कैमरा (आंखें) और एक सुपर-स्मार्ट दिमाग देते हैं जो बात करना जानता है (भाषा मॉडल)। साथ मिलकर, वे एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" बनाते हैं, जो तस्वीरों के बारे में सवालों के जवाब देने में सक्षम एक डिजिटल जासूस है। लेकिन एक पेंच है: कभी-कभी, यह जासूस स्मार्ट दिखने के लिए इतना उत्सुक हो जाता है कि वह चीजें बना बनाता है। यदि आप उसे पार्क की एक तस्वीर दिखाते हैं और पूछते हैं, "क्या वहां कोई कुत्ता है?" तो वह आत्मविश्वास से "हाँ" कह सकता है क्योंकि पार्कों में कुत्ते आम होते हैं, भले ही तस्वीर खाली हो। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर रोबोट को अधिक सावधान होने के लिए सिखाने या उसके बोलने के तरीके को बदलने की कोशिश करते हैं। लेकिन यह नया शोध पत्र, जिसका शीर्षक TGIF है, सुझाव देता है कि समस्या वास्तव में यह हो सकती है कि रोबोट क्या देख रहा है। एक कैमरे के लेंस के बारे में सोचें जो अलग-अलग गहराई पर फोकस कर सकता है। एक 'शैलो फोकस' (shallow focus) लेंस के ठीक सामने की खुरदरी आकृतियों और रंगों को देखता है, जबकि एक 'डीप फोकस' (deep focus) बड़े दृश्य और उसके पीछे के अर्थ को देखता है। आज के अधिकांश रोबोट केवल एक निश्चित लेंस सेटिंग के माध्यम से देखने में फंसे हुए हैं—आमतौर पर वह "डीप" वाला जो बड़े विचारों को समझता है लेकिन छोटी बारीकियों को छोड़ देता है। लेखकों ने पाया कि सवाल के आधार पर, रोबोट को लेंस बदलने की आवश्यकता होती है। कभी-कभी उसे एक छोटे कप को पहचानने के लिए शैलो फोकस की आवश्यकता होती है; अन्य समय में, उसे एक जटिल दृश्य को समझने के लिए डीप फोकस की आवश्यकता होती है। यदि रोबोट गलत काम के लिए गलत लेंस का उपयोग करता है, तो वह अनुमान लगाने लगता है।
शोधकर्ताओं की एक टीम, जो कनेक्टिकट विश्वविद्यालय, NVIDIA और स्टैनफोर्ड से है, ने TGIF (टेक्स्ट-गाइडेड इंटर-लेयर फ्यूजन) नामक एक चतुर नया गैजेट प्रस्तावित किया है। कल्पना कीजिए कि रोबलेट का कैमरा केवल एक लेंस नहीं है, बल्कि 24 अलग-अलग लेंसों का एक ढेर है, जिनमें से प्रत्येक दुनिया को थोड़ा अलग तरीके से देखता है। आमतौर पर, रोबोट अंतिम लेंस को छोड़कर बाकी सभी को अनदेखा कर देता है। TGIF एक स्मार्ट, टेक्स्ट-पढ़ने वाले मैनेजर की तरह कार्य करता है। जब आप कोई प्रश्न पूछते हैं, तो TGIF शब्दों को पढ़ता है और तुरंत निर्णय लेता है कि किन लेंसों का उपयोग करना है। यदि आप पूछते हैं, "उस साइन पर क्या लिखा है?" तो वह जानता है कि उसे उन मध्यवर्ती परतों (middle layers) पर ध्यान केंद्रित करना है जो स्पष्ट टेक्स्ट स्ट्रोक देखती हैं। यदि आप पूछते हैं, "क्या वहां एक बिल्ली है?" तो वह यह सुनिश्चित करने के लिए शुरुआती परतों की जांच कर सकता है कि वह केवल "बिल्ली" शब्द के आधार पर अनुमान तो नहीं लगा रहा है।
टीम ने इस विचार का परीक्षण LLaVA-1.5 नामक एक लोकप्रिय रोबोट मॉडल पर किया। उन्होंने कैमरा या दिमाग को नहीं बदला; उन्होंने बस इस छोटे से मैनेजर को जोड़ा जो टेक्स्ट के आधार पर विभिन्न परतों के दृश्यों को मिलाने का काम करता है। परिणाम उत्साहजनक थे। उन परीक्षणों पर जो रोबोटों द्वारा देखी गई चीजों के बारे में झूठ बोलने को पकड़ने के लिए डिज़ाइन किए गए थे, TGIF ने रोबोट को बहुत अधिक बार सच बोलने में मदद की। उदाहरण के लिए, POPE नामक एक बेंचमार्क पर, रोबोट की सटीकता लगभग 81% से बढ़कर लगभग 88% हो गई। यह चित्रों में टेक्स्ट पढ़ने (OCR) और विशिष्ट विवरणों को पहचानने में भी बेहतर हो गया, जबकि सामान्य पहेलियों को हल करने की इसकी क्षमता पहले जितनी ही मजबूत रही।
यह शोध पत्र सुझाव देता है कि हैलुसिनेशन को रोकने का रहस्य केवल रोबोट को "ईमानदार" होने के लिए प्रशिक्षित करना नहीं है, बल्कि उसे काम के लिए सही स्तर का विवरण चुनने की लचीलापन देना है। टेक्स्ट को विजुअल फोकस निर्देशित करने देकर, रोबोट अपनी कल्पना पर निर्भर रहने के बजाय वास्तविक पिक्सेल पर ध्यान केंद्रित करने लगता है। लेखकों ने पाया कि यह दृष्टिकोण हल्का है, जिससे रोबोट की सोचने की प्रक्रिया में बहुत कम अतिरिक्त समय या मेमोरी खर्च होती है। हालांकि उन्होंने यह दावा नहीं किया कि उन्होंने दुनिया की हर समस्या को हल कर लिया है, लेकिन उनके प्रयोगों ने दृढ़ता से संकेत दिया है कि विजुअल लेयर्स को गतिशील रूप से मिलाना AI को अधिक विश्वसनीय और कल्पना आधारित होने से रोकने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।