Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers
यह शोध पत्र विटनेस एविडेंस पोर्टफोलियो (WEP) को प्रस्तुत करता है, जो एक व्हाइट-बॉक्स, इन्फरेंस-टाइम जोखिम पहचान पद्धति है जो व्याख्या योग्य साक्ष्य मार्गों (evidence routes) को उत्पन्न करने के लिए परत-दर-परत दृश्य योगदानों का विश्लेषण करती है, जिससे बिना इमेज परटर्बेशन, बैकवर्ड पास या बाहरी सत्यापनकर्ताओं की आवश्यकता के क्लोज्ड मल्टीमॉडल उत्तरों की विश्वसनीयता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप तस्वीरों के बारे में सवालों के जवाब देने के लिए एक बहुत ही बुद्धिमान, बहुत आत्मविश्वासी रोबोट को काम पर रख रहे हैं। आप उसे एक बगीचे की फोटो दिखाते हैं और पूछते हैं, "क्या यहाँ गाजरें हैं?" रोबोट तुरंत चिल्लाकर कहता है, "नहीं!" और उसे 99% यकीन है। लेकिन क्या होगा अगर रोबोट वास्तव में छवि के कोने में लिखे शब्द "बगीचा" (garden) को देख रहा है, या किसी रैंडम बादल को देख रहा है, और बस अंदाज़ा लगा रहा है? यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की पेचीदा दुनिया है। ये वे AI सिस्टम हैं जो छवियों को "देख" सकते हैं और टेक्स्ट को "पढ़" सकते हैं, और जवाब देने के लिए उन्हें मिलाते हैं। बड़ी समस्या केवल सही उत्तर पाने की नहीं है; बल्कि यह जानने की है कि AI कब आत्मविश्वास के साथ गलत हो रहा है। वास्तविक दुनिया में, हमें यह जानने की आवश्यकता है कि क्या हम एक रोबोट के उत्तर पर भरोसा कर सकते हैं या हमें दोबारा जांच करनी चाहिए। यह शोध पत्र इस प्रश्न को संबोधित करता है: हम कैसे बता सकते हैं कि रोबोट का आत्मविश्वास वास्तविक है, या यह तस्वीर के गलत हिस्से के आधार पर लगाया गया एक भाग्यशाली अनुमान मात्र है?
यहाँ विटनेस एविडेंस पोर्टफोलियो (WEP) आता है, जिसे फेइक्सियांग लियू और सहयोगियों द्वारा इन AI रोबोटों के लिए एक जासूस के रूप में विकसित किया गया है। सोचिए कि AI के मस्तिष्क को एक विशाल पुस्तकालय के रूप में, जहाँ उसकी सोचने की प्रक्रिया की हर परत ब्रेडक्रंब्स (रोटी के टुकड़ों) का एक निशान छोड़ती है। आमतौर पर, हम केवल उस अंतिम उत्तर को देखते हैं जो रोबोट देता है। हालाँकि, WEP उन "ब्रेडक्रंब्स" की जाँच करने के लिए पीछे जाता है जो रोबोट के सोचने के उस सेकंड के दौरान पीछे छोड़े गए थे। यह दो सरल प्रश्न पूछता है: रोबोट ने अपने साक्ष्य के लिए कहाँ देखा, और वह साक्ष्य कितना सघन (tightly focused) था?
यहाँ बताया गया है कि WEP कैसे काम करता है, एक चंचल उपमा का उपयोग करते हुए। कल्पना कीजिए कि रोबोट "गाजर केस" को सुलझाने की कोशिश कर रहा है एक जासूस है।
- द विटनेस मैप (साक्षी मानचित्र): सबसे पहले, WEP "साक्षियों" की पहचान करता है। यदि प्रश्न गाजरों के बारे में है, तो साक्षी वे चित्र के हिस्से हैं जो वास्तव में गाजरों जैसे दिखते हैं।
- द एविडेंस ट्रेल (साक्ष्य का मार्ग): जैसे-जैसे रोबोट सोचता है, वह "हस्ताक्षरित साक्ष्य" (signed evidence) एकत्र करता है। यह एक स्कोरकार्ड की तरह है जहाँ सकारात्मक संख्याएँ कहती हैं "यह उत्तर का समर्थन करता है" और नकारात्मक संख्याएँ कहती हैं "यह उत्तर के विरुद्ध है।" WEP ठीक से पता लगाता है कि चित्र के किन हिस्सों ने रोबoret के अंतिम "नहीं" में योगदान दिया।
- दो जाँचें:
- प्रोवेनेंस (Provenance - "कहाँ" की जाँच): क्या रोबोट का सकारात्मक साक्ष्य वास्तव में गाजर के साक्षियों पर पड़ा? या क्या यह गलती से एक बैकग्राउंड बाड़ (fence) या चार्ट के शीर्षक पर गिर गया? यदि रोबोट कहता है "कोई गाजर नहीं है" लेकिन उसका सकारात्मक साक्ष्य एक बाड़ पर अटका हुआ है, तो WEP इसे जोखिम भरा घोषित कर देता है।
- कंसंट्रेशन (Concentration - "फोकस" की जाँच): क्या रोबोट का साक्ष्य सही जगह पर सघन रूप से पैक है, या यह एक भ्रमित व्यक्ति की तरह पूरी छवि में बिखरा हुआ है? यदि साक्ष्य हर जगह फैला हुआ है, तो यह संकेत देता है कि रोबोट देख नहीं रहा है बल्कि केवल अंदाज़ा लगा रहा है।
शोधकर्ताओं ने इस "जासूसी किट" का परीक्षण तीन अलग-अलग AI मॉडल (Qwen3-VL, LLaVA, और InternVL) और चार अलग-अलग चुनौतीपूर्ण विजुअल प्रश्नों के सेट पर किया। उन्होंने पाया कि WEP आत्मविश्वास के साथ गलत उत्तरों को पकड़ने में अविश्वसनीय रूप से सक्षम है। वास्तव में, मॉडलों और परीक्षणों के सभी 12 संयोजनों में, WEP ने त्रुटियों को रैंक करने की क्षमता में औसतन 0.134 (त्रुटि औसत परिशुद्धता/Error Average Precision के रूप में मापा गया) का सुधार किया। इसका अर्थ है कि यदि आपके पास समीक्षा के लिए उत्तरों की एक सूची है, तो WEP आपको रोबोट के आत्मविश्वास स्कोर को अकेले देखने की तुलना में गलतियों को बहुत तेज़ी से खोजने में मदद करता है।
जो इसे विशेष बनाता है वह यह है कि WEP को रोबोट को फिर से प्रयास करने, चित्र बदलने, या काम की जाँच करने के लिए दूसरे रोबोट का उपयोग करने के लिए कहने की आवश्यकता नहीं है। यह उसी "सोचने के पथ" का उपयोग करता है जो रोबोट ने पहली बार लिया था, बस उसके द्वारा छोड़े गए आंतरिक नोट्स पर एक नज़र डालता है। टीम ने यह भी साबित किया कि यह इसलिए काम करता है क्योंकि साक्ष्य वास्तव में प्रश्न से मेल खाता है, न कि केवल किसी रैंडम गणितीय ट्रिक के कारण। जब उन्होंने साक्ष्य को इधर-उधर बदल दिया ताकि वह प्रश्न से मेल न खाए, तो सिस्टम काम करना बंद कर दिया, जिससे पता चला कि साक्ष्य का "कहाँ" और "कितना केंद्रित" होना वास्तव में मायने रखता है।
संक्षेप में, WEP हमें AI विजन के अंदर झाँकने का एक तरीका देता है। यह रोबोट के उत्तर को नहीं बदलता है, लेकिन यह हमें एक "रिस्क स्कोर" देता है जो बताता है, "हे, यह उत्तर आत्मविश्वासी है, लेकिन रोबोट गलत चीज़ को देख रहा था।" यह हमें सुरक्षित सिस्टम बनाने की अनुमति देता है जहाँ हम रोबोट पर तब भरोसा कर सकते हैं जब वह सही हो, और उसे तब पकड़ सकते हैं जब वह आत्मविश्वास के साथ गलत हो, और यह सब बिना किसी अतिरिक्त उपकरण या गति को धीमा किए किया जा सकता है। यह एक बहुत ही सतर्क इंटर्न की तरह है जो अंतिम रिपोर्ट फाइल करने से पहले चुपचाप जासूस के नोट्स की जाँच करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।