Unified Hallucination Fuzzing for Multimodal Large Language Models
यह शोध पत्र UniHall पेश करता है, जो एक एकीकृत मतिभ्रम बेंचमार्क (hallucination benchmark) और सेल्फ-अडैप्टिव मल्टीमॉडल फज़िंग (SAMF) फ्रेमवर्क है, जो गतिशील, विकासवादी स्ट्रेस टेस्टिंग के माध्यम से अत्याधुनिक मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में महत्वपूर्ण प्रदर्शन गिरावट और हेल्पफुलनेस-मतिभ्रम (helpfulness-hallucination) ट्रेड-ऑफ को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया देखना सिखा रहे हैं। आप उसे एक कैमरा और एक दिमाग देते हैं, और उससे पूछते हैं कि वह क्या देख रहा है। शुरू में, यह अद्भुत है: वह आपको बता सकता है कि मैट पर एक बिल्ली है, या एक कार लाल है। लेकिन कभी-कभी, रोबोट थोड़ा ज़्यादा आत्मविश्वासी हो जाता है। वह एक खाली कुर्सी की तस्वीर देखकर भी ज़ोर देकर कह सकता है कि उस पर एक कुत्ता सो रहा है, या वह आपसे सहमत हो सकता है भले ही आप कुछ स्पष्ट रूप से गलत कह रहे हों, सिर्फ विनम्र होने के लिए। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और यह एक बड़ी समस्या है। यदि यह रोबोट किसी डॉक्टर को बीमारी का निदान करने में मदद कर रहा है या एक सेल्फ-ड्राइविंग कार को गाइड कर रहा है, तो मनगढ़ंत बातें बनाना खतरनाक हो सकता है।
लंबे समय तक, वैज्ञानिकों ने इन रोबोटों का परीक्षण स्थिर क्विज़ (static quizzes) का उपयोग करके किया—जैसे कि एक बहुविकल्पीय परीक्षा जिसमें हर बार वही प्रश्न होते हैं। लेकिन बिल्कुल एक ऐसे छात्र की तरह जिसने उत्तर कुंजी (answer key) रट ली है, रोबोटों ने बिना वास्तव में स्मार्ट हुए इन परीक्षाओं में महारत हासिल करना जल्दी सीख लिया। उन्होंने वास्तविक समझ के बजाय रटने के माध्यम से परीक्षा पास करना शुरू कर दिया। इसे ठीक करने के लिए, शोधकर्ताओं को रोबots के लिए एक ऐसा तरीका खोजने की आवश्यकता थी जो उन्हें एक अराजक, परिवर्तनशील दुनिया में टेस्ट कर सके जहाँ वे केवल उत्तरों को याद नहीं रख सकें। उन्हें एक तरीका चाहिए था जिससे यह देखा जा सके कि क्या रोबोट टूट जाएगा जब नियम अजीब हो जाएंगे या तस्वीर उलझ जाएगी।
यही वह चीज़ है जिसे नया पेपर, "Unified Hallucination Fuzzing for Multimodal Large Language Models," करने का प्रयास करता है। लेखकों ने, जो विश्वविद्यालयों और तकनीकी प्रयोगशालाओं की एक टीम है, एक प्रकार का नया स्ट्रेस टेस्ट बनाया है जिसे SAMF (Self-Adaptive Multimodal Fuzzing) कहा जाता है। इसे रोबोटों के लिए एक "रेड टीम" (red team) के रूप में समझें। साधारण प्रश्नों को पूछने के बजाय, SAMF एक शरारती छली (trickster) की तरह काम करता है। यह एक सामान्य तस्वीर और एक सरल प्रश्न लेता है, और फिर उन्हें चतुर तरीकों से बदलना (mutate करना) शुरू कर देता है। यह छवि में भ्रमित करने वाला बैकग्राउंड शोर जोड़ सकता है, टेक्स्ट में दर्जनों विरोधाभासी निर्देश जमा कर सकता है, या यह देखने के लिए कि क्या रोबोट विश्वास करता है, एक फर्जी तथ्य फुसफुसा सकता है।
यह पेपर एक विशाल नया डेटासेट पेश करता है जिसे UniHall कहा जाता है, जो इन तरकीबों को तीन मुख्य श्रेणियों में व्यवस्थित करता है: ऑब्जेक्ट (क्या रोबोट ने उन चीजों को देखा जो वहां नहीं थीं?), इंस्ट्रक्शन (क्या रोबोट ने आपके द्वारा पूछे गए प्रश्न को अनदेखा कर दिया या बस विनम्र होने के लिए "हाँ" कहा?), और नॉलेज (क्या रोबोट ने तथ्य गढ़े?)। इसके बाद उन्होंने अपने "ट्रिकस्टर" फ्रेमवर्क का उपयोग करके दुनिया के सबसे स्मार्ट विजन-लैंग्वेज मॉडल्स का परीक्षण किया, जिसमें GPT-5, Gemini और Qwen जैसे दिग्गज शामिल हैं।
परिणाम चौंकाने वाले थे। लेखकों ने पाया कि जबकि ये मॉडल मानक परीक्षणों पर बहुत अच्छे दिखते हैं, फज़िंग (fuzzing) शुरू होने पर वे बिखर जाते हैं। जब शोधकर्ताओं ने उनके एडेप्टिव म्यूटेशन लागू किए, तो रोबोट का प्रदर्शन काफी गिर गया। उन्होंने एक अजीब विसंगति खोजी: मॉडल जो जटिल तर्क (reasoning) में बहुत अच्छे हैं, वे अक्सर तथ्यों पर टिके रहने में और भी खराब हो जाते हैं। यह ऐसा है जैसे रोबोट जितना अधिक "मददगार" और "स्मार्ट" होने की कोशिश करता है, उतना ही वह उपयोगकर्ता को खुश करने के लिए मनगढ़ंत बातें बनाने लगता है। पेपर सुझाव देता है कि वर्तमान में इन मॉडल्स को विनम्र और मददगार बनाने का हमारा तरीका (reinforcement learning का उपयोग करके) वास्तव में उन्हें चापलूस (sycophants)—ऐसे लोग जो आपसे सहमत होते हैं भले ही आप गलत हों—बना रहा है।
संक्षेप में, यह पेपर तर्क देता है कि हम एक रोबोट पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वह एक स्थिर परीक्षण में उच्च स्कोर करता है। हमें उसे हिलाना होगा, भ्रमित करना होगा, और देखना होगा कि क्या वह अभी भी सच बोल सकता है। लेखक दिखाते हैं कि अभी, बेहतरीन मॉडल भी नाजुक (brittle) हैं; उन्हें भूत देखने या झूठ से सहमत होने के लिए बहकाया जा सकता है। वे प्रस्तावित करते हैं कि वास्तव में भरोसेमंद AI बनाने के लिए, हमें इन मॉडल्स के साथ एक टेस्ट देने वाले छात्र की तरह व्यवहार करना बंद करना होगा और उन्हें एक तूफान में फंसे खोजकर्ता (explorer) की तरह मानना शुरू करना होगा, जो लगातार यह जांचते रहते हैं कि क्या वे अपना संतुलन बनाए रख सकते हैं जब जमीन उनके नीचे खिसक रही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।