Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models
UncertaiNLP वर्कशॉप द्वारा आयोजित SHROOM-Visions 2026 साझा कार्य (shared task) ने चार भाषाओं में लार्ज विजन-लैंग्वेज मॉडल्स में सूक्ष्म-स्तरीय मतिभ्रम (fine-grained hallucinations) का पता लगाने और उन्हें वर्गीकृत करने के लिए मॉडल-अज्ञेय (model-agnostic) सिस्टम विकसित करने हेतु 27 टीमों को सफलतापूर्वक संलग्न किया, जिसने SHEEP डेटासेट का उपयोग करके बेसलाइन की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्राप्त किए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर की एक नई पीढ़ी ने एक साथ देखना और बोलना सीख लिया है। ये सिस्टम, जिन्हें लार्ज विजन-लैंग्वेज मॉडल के रूप में जाना जाता है, एक तस्वीर को देख सकते हैं और उसे धाराप्रवाह वाक्यों में वर्णित कर सकते हैं, या जो वे देखते हैं उसके बारे में प्रश्न उत्तर दे सकते हैं। वे उल्लेखनीय रूप से सक्षम हैं, फिर भी वे एक विशिष्ट प्रकार की त्रुटि से ग्रस्त हैं जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है। यह किसी मृगतृष्णा की तरह कोई दृश्य भ्रम नहीं है, बल्कि एक मौखिक भ्रम है: कंप्यूटर ऐसा टेक्स्ट तैयार करता है जो सुनने में आत्मविश्वासी और व्याकरणिक रूप से सटीक लगता है लेकिन तथ्यात्मक रूप से गलत या उस छवि से पूरी तरह से असंबंधित होता है जिसे वह देख रहा है। यह ऐसी वस्तु का आविष्कार कर सकता है जो वहां मौजूद नहीं है, रंग को गलत तरीके से वर्णित कर सकता है, या किसी संकेत को गलत पढ़ सकता है। जैसे-जैसे ये उपकरण दैनिक जीवन में अधिक सामान्य होते जा रहे हैं, जैसे कि डॉक्टरों को स्कैन पढ़ने में मदद करने से लेकर यात्रियों की सहायता करने तक, इन आत्मविश्वासी झूठों को पकड़ने की क्षमता एक महत्वपूर्ण सुरक्षा मुद्दा बन गई है।
इस चुनौती से निपटने के लिए, शोधकर्ताओं ने SHROOM-Visions 2026 नामक एक वैश्विक प्रतियोगिता आयोजित की। इसका लक्ष्य एक बेहतर इमेज-जेनेरेटर बनाना नहीं था, बल्कि त्रुटियों का एक बेहतर डिटेक्टर बनाना था। दुनिया भर से सत्ताईस टीमों ने भाग लिया, जिन्होंने सैकड़ों अलग-अलग कंप्यूटर सिस्टम प्रस्तुत किए जो एक छवि, एक प्रश्न और एक उत्पन्न उत्तर को स्कैन करने, फिर ठीक से पहचान करने के लिए डिज़ाइन किए गए थे कि कौन से शब्द झूठ थे और वे किस प्रकार के झूठ थे। इस प्रतियोगिता में चार भाषाओं: अंग्रेजी, चीनी, फ्रेंच और इतालवी में बीस हजार उदाहरणों का एक विशाल संग्रह उपयोग किया गया। महत्वपूर्ण रूप से, शोधकर्ताओं केवल अन्य कंप्यूटरों द्वारा की गई त्रुटियों पर निर्भर नहीं रहे, जो पक्षपाती या दोहराव वाली हो सकती हैं। इसके बजाय, उन्होंने हजारों ऐसे उदाहरण शामिल किए जहाँ मनुष्यों ने जानबूझकर छवियों के गलत विवरण लिखे थे, जिससे यह सुनिश्चित हुआ कि परीक्षण डेटा मजबूत और किसी विशिष्ट मशीन की विचित्रताओं से स्वतंत्र हो।
परिणामों से पता चला कि जबकि कंप्यूटरों ने महत्वपूर्ण प्रगति की है, यह कार्य अभी भी कठिन बना हुआ है। प्रतियोगिता के सर्वश्रेष्ठ सिस्टम ने इन त्रुटियों को पहचानने और वर्गीकृत करने में मध्यम स्तर की सटीकता हासिल की, जो बुनियादी बेसलाइन तरीकों से तीस से चालीस अंकों के अंतर से काफी बेहतर प्रदर्शन करते हैं। हालांकि, शीर्ष प्रदर्शन करने वालों ने भी पूर्ण स्कोर प्राप्त नहीं किया। सबसे सफल सिस्टम लगभग आधे समय में हैलुसिनेटेड (भ्रमित) शब्द के स्थान को सही ढंग से पहचानने और त्रुटि के प्रकार को समान विश्वसनीयता के साथ वर्गीकृत करने में सक्षम थे। यह सुझाव देता है कि हालांकि हम मशीनों को उनके अपने आउटपुट की निगरानी करना सिखाने में बेहतर हो रहे हैं, लेकिन दृश्य संदर्भ में सत्य और कल्पना के बीच अंतर करने की समस्या अभी भी हल होना बाकी है।
डेटा के विश्लेषण से एक आश्चर्यजनक निष्कर्ष सामने आया। शोधकर्ताओं ने पाया कि टीमों की रैंकिंग उतनी स्थिर नहीं थी जितनी कि एक साधारण स्कोर सूची सुझा सकती है। जब एक ही सिस्टम का परीक्षण डेटा के विभिन्न उपसमुच्चयों (subsets) पर किया गया, तो उनकी सापेक्ष स्थिति काफी बदल गई। एक टीम जो परीक्षणों के एक समूह में स्पष्ट अग्रणी दिखाई देती थी, वह दूसरे में काफी नीचे गिर सकती थी। यह अस्थिरता इंगित करती है कि इन डिटेक्टरों का प्रदर्शन इस बात के प्रति अत्यधिक संवेदनशील है कि परीक्षण डेटा कैसे बनाया गया है। कुछ सिस्टम अन्य मशीनों द्वारा उत्पन्न डेटा पर असाधारण रूप से अच्छा प्रदर्शन करते थे लेकिन मानव-लिखित त्रुटियों का सामना करने पर संघर्ष करते थे, जबकि अन्य में इसके विपरीत रुझान देखा गया। यह सुझाव देता है कि किसी सिस्टम की सफलता केवल उसकी कच्ची बुद्धिमत्ता के बारे में नहीं है, बल्कि इस बारे में भी है कि उसका प्रशिक्षण डेटा उस विशिष्ट प्रकार की त्रुटि के कितने करीब है जिसे उसे ढूंढने के लिए कहा गया है।
प्रतियोगिता ने त्रुटियों की जटिलता को भी उजागर किया। शोधकर्ताओं ने हैलुसिनेशन को पांच अलग-अलग श्रेणियों में वर्गीकृत किया: ऐसी चीज़ का आविष्कार करना जो अस्तित्व में नहीं है, दृश्यमान चीज़ का गलत वर्णन करना, छवि के भीतर टेक्स्ट को गलत पढ़ना, वस्तुओं की गलत गिनती करना, और अन्य विविध त्रुटियां। सिस्टमों ने पाया कि कुछ प्रकार की त्रुटियां पकड़ना दूसरों की तुलना में आसान था। उदाहरण के लिए, गिनती की गलतियाँ किसी वस्तु के गुणों के सूक्ष्म गलत विवरण की तुलना में पकड़ना आम तौर पर आसान था। इसके अलावा, कठिनाई भाषा के अनुसार भिन्न थी, जिसमें अंग्रेजी सबसे चुनौतीपूर्ण भाषा साबित हुई, जबकि चीनी में थोड़ा उच्च औसत प्रदर्शन देखा गया।
अंततः, SHROOM-Visions 2026 कार्य ने यह प्रदर्शित किया कि हैलुसिनेशन का पता लगाना एक सूक्ष्म समस्या है जिसके लिए सफलता के केवल एक एकल मीट्रिक से अधिक की आवश्यकता होती है। शोधकर्ताओं ने पाया कि एक त्रुटि का स्थान खोजने की प्रणाली की क्षमता और त्रुटि के प्रकार को सही ढंग से लेबल करने की क्षमता संबंधित लेकिन अलग कौशल हैं। एक सिस्टम गलत शब्दों को खोजने में अच्छा हो सकता है लेकिन यह समझाने में कमजोर हो सकता है कि वे क्यों गलत हैं। अध्ययन इस निष्कर्ष पर पहुँचता है कि इन उपकरणों को वास्तव में विश्वसनीय बनाने के लिए, भविष्य के मूल्यांकन को इस अनिश्चितता को ध्यान में रखना चाहिए और मशीनों द्वारा उत्पन्न डेटा के बजाय विविध, मानव-सूचित डेटा का उपयोग करना चाहिए। आगे का रास्ता ऐसे बेंचमार्क बनाने में निहित है जो तकनीक के तीव्र परिवर्तनों के प्रति लचीले हों, यह सुनिश्चित करते हुए कि आज हम जो डिटेक्टर बना रहे हैं वे उन मॉडलों की निगरानी करते हुए प्रभावी बने रहें जो निरंतर विकसित हो रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।