Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation
यह अध्ययन प्रकट करता है कि जबकि छोटे विजन-लैंग्वेज मॉडल वास्तविक छवि क्षरण (image degradation) के तहत अपनी त्रुटियों के बारे में सटीक आंतरिक आत्म-ज्ञान रखते हैं, वे इस अनिश्चितता को मौखिक रूप से व्यक्त करने में विफल रहते हैं, जिससे आंतरिक टोकन संभाव्यता (internal token probability), घोषित आत्मविश्वास की तुलना में विलंबन (deferral) के लिए एक बेहतर संकेत बन जाती है, हालांकि गंभीर कम-प्रकाश स्थितियों के तहत दोनों ही संकेत अविश्वसनीय हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे शहर में घूम रहे हैं और आपके साथ एक बहुत ही बुद्धिमान, लेकिन नन्हा सा रोबोट गाइड है। इस रोबोट के पास आँखों के रूप में एक कैमरा है और बोलने के लिए एक आवाज़ है। इसका काम चीज़ों को देखना और बताना है कि वे क्या हैं। लेकिन इसमें एक पेच है: शहर बहुत अस्त-व्यस्त है। कभी सूरज बहुत तेज़ चमक रहा होता है, कभी एकदम अंधेरा होता है, और कभी आपके कैमरे का लेंस धुंधला या हिलता हुआ होता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "अस्त-व्यस्त" तस्वीरों को डिग्रेडेड इमेजेस (degraded images) कहा जाता है।
जब इस तरह का रोबोट किसी खराब तस्वीर के कारण भ्रमित होता है, तो उसे यह पता होना चाहिए कि कब कहना है, "मुझे नहीं पता, किसी इंसान से पूछो," बजाय इसके कि वह गलत उत्तर देने के लिए आत्मविश्वास से अनुमान लगाए। अनिश्चितता को पहचानने की इस क्षमता को अनसर्टेनिटी (uncertainty) कहा जाता है। अनिश्चितता दिखाने के दो तरीके हैं। पहला है वर्बलाइज्ड कॉन्फिडेंस (verbalized confidence): रोबोट बस ज़ोर से कहता है, "मैं 90% पक्का हूँ!" दूसरा है इंटरनल कॉन्फिडेंस (internal confidence): रोबोट के दिमाग के अंदर एक गुप्त, शांत संकेत जो यह मापता है कि उसके विचार कितने डगमगा रहे हैं, भले ही वह एक शब्द भी न बोले। अधिकांश लोग मानते हैं कि यदि रोबोट आत्मविश्वास दिखाता है, तो वह शायद सही होगा। लेकिन क्या होगा अगर रोबोट एक बुरा झूठा है? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है।
द स्टोरी ऑफ द साइलेंट सिग्नल (मौन संकेत की कहानी)
इस अध्ययन में, शोधकर्ताओं ने दो छोटे, ओपन-सोर्स रोबोट गाइड्स (जिन्हें Qwen2-VL और SmolVLM कहा जाता है) को एक कठिन परीक्षा से गुज़ारा। उन्होंने उन्हें केवल साफ, एकदम सही तस्वीरें नहीं दिखाईं। इसके बजाय, उन्होंने भोजन की 100 तस्वीरें लीं और उन्हें जानबूझकर छह अलग-अलग तरीकों से खराब कर दिया: गुणवत्ता को कम करना (जैसे JPEG फाइल), मोशन ब्लर (गति के कारण धुंधलापन), रोशनी को इतना कम करना कि वे लगभग अंधेरे हो जाएं, आँखों को चुंधिया देने वाली चमक जोड़ना, कैमरा तिरछा करना, या छवि को सिकोड़ना और खींचना। उन्होंने प्रत्येक प्रकार की खराबी के लिए तीन अलग-अलग स्तरों पर ऐसा किया।
रोबोटों को हर एक खराब तस्वीर में भोजन का अनुमान लगाना था। फिर, शोधकर्ताओं ने दो चीजें जांचीं:
- क्या रोबट ने कहा, "मैं आश्वस्त हूँ!" या "मैं पक्का नहीं हूँ"? (वर्बलाइज्ड सिग्नल)
- रोबोट का गुप्त, आंतरिक स्कोर क्या था कि उसके सही होने की कितनी संभावना थी? (इंटरनल सिग्नल)
बड़ा आश्चर्य: वह रोबोट जो अपनी गलती मानने को तैयार नहीं है
परिणाम कुछ ऐसे थे जैसे किसी ऐसे जादूगर को देखना जो अपना काम करने में बहुत बुरा है लेकिन फिर भी झुककर कहता है, "यह एकदम सटीक था!"
वर्बलाइज्ड सिग्नल (रोबोट का मुँह):
जब आत्मविश्वास बताने के लिए कहा गया, तो रोबोट अविश्वसनीय रूप से जिद्दी थे। तस्वीर चाहे कितनी भी खराब क्यों न हो, चाहे वह कितनी भी धुंधली या अंधेरी क्यों न हो, वे कहते रहे कि वे लगभग 87% से 90% पक्के हैं। यहाँ तक कि जब तस्वीर इतनी अंधेरी थी कि रोबोट केवल तुक्का लगा रहा था (सही उत्तर केवल 22% बार मिल रहा था), तब भी वह आत्मविश्वास से कहता रहा, "मैं 87% पक्का हूँ!" ऐसा लग रहा था जैसे रोबोट का कॉन्फिडेंस डायल टूट गया हो और "हाई" पर अटक गया हो। वास्तव में, एक रोबोट के लिए, आत्मविश्वास का नंबर देना इतना कठिन था कि उसने ज्यादातर जवाब देने से ही मना कर दिया, और बिना किसी नंबर के केवल भोजन का नाम बताया।
इंटरनल सिग्नल (रोबोट का दिमाग):
हालाँकि, जब शोधकर्ताओं ने रोबोट के दिमाग के अंदर झाँका ताकि उनके गुप्त "टोकन प्रोबेबिलिटीज" (यह मापने का एक शानदार तरीका कि रोबोट का गणित कितना पक्का था) देख सकें, तो उन्हें कुछ बिल्कुल अलग मिला। रोबोट का आंतरिक संकेत वास्तव में बहुत ईमानदार था! जब तस्वीर साफ थी, तो आंतरिक स्कोर उच्च था। जब तस्वीर धुंधली या अंधेरी थी, तो आंतरिक स्कोर काफी गिर गया। यह गुप्त संकेत गलतियों को पकड़ने में इतना अच्छा था कि वह सही और गलत उत्तर के बीच अंतर बता सकता था, जिसकी सटीकता 92% से 99% तक थी।
"लो लाइट" (कम रोशनी) का जाल
हालाँकि, कहानी में एक डरावना क्षण भी आया। जब शोधकर्ताओं ने तस्वीरों को अत्यधिक अंधेरा (गंभीर अंडरएक्सपोज़र स्तर) बना दिया, तो दोनों संकेत विफल हो गए। रोबोट की सटीकता गिर गई ( 99% से गिरकर 22% हो गई), और यहाँ तक कि ईमानदार आंतरिक संकेत भी काम करना बंद कर गया। वह सही अनुमान और गलत अनुमान के बीच अंतर नहीं कर सका। ऐसा लग रहा था जैसे अंधेरा इतना घना था कि रोबोट के गुप्त दिमाग में भी धुंध छा गई।
इसका आपके लिए क्या अर्थ है
तो, शोधकर्ताओं ने क्या सीखा?
- रोबोट के मुँह पर भरोसा न करें। यदि आप एक छोटे रोबोट गाइड से पूछते हैं कि वह कितना आश्वस्त है, तो वह झूठ बोलेगा और कहेगा कि वह बहुत आश्वस्त है, भले ही वह पूरी तरह से खो गया हो। यह शोध पत्र दिखाता है कि यह "कहा गया आत्मविश्वास" (stated confidence) यह जानने के लिए बेकार है कि कब रुकना है और किसी इंसान से मदद मांगनी है।
- रोबोट के दिमाग पर भरोसा करें (ज्यादातर)। गुप्त आंतरिक गणित बहुत बेहतर है। वह जानता है कि वह भ्रमित है और इसे एक कंप्यूटर सिस्टम को संकेत दे सकता है, जिससे सिस्टम कह सकता है, "ठीक है, मैं पक्का नहीं हूँ, चलिए एक इंसान से चेक करवाते हैं।"
- लेकिन अंधेरे से सावधान रहें। यदि आप इन रोबोटों का उपयोग बहुत अंधेरे कमरे या रात में कर रहे हैं, तो आप इस बात पर भरोसा नहीं कर सकते कि रोबोट आपको बताएगा कि वह विफल हो रहा है। आपको एक अलग "सुरक्षा जांच" (safety check) की आवश्यकता होगी ताकि यह सुनिश्चित हो सके कि रोबोट के प्रयास करने से पहले तस्वीर बहुत अंधेरी तो नहीं है।
संक्षेप में, छोटे AI रोबोट अपने कोड के भीतर गहराई में जानते हैं कि वे गलत हैं, लेकिन वे इसे ज़ोर से नहीं कहेंगे। वे उस छात्र की तरह हैं जो परीक्षा के प्रश्न का गलत उत्तर देता है लेकिन फिर भी हाथ उठाकर कहता है, "मैं इस बारे में पूरी तरह से पक्का हूँ!" उन्हें पकड़ने का एकमात्र तरीका उनके गुप्त रफ वर्क (scratch paper) को देखना है, न कि उनकी बातों को सुनना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।