Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated
यह शोध पत्र तर्क देता है कि शहरी धारणा (urban perception) में विजन-लैंग्वेज मॉडल्स के लिए बेंचमार्क को मानव असहमति और परहेज (abstention) को वैध माप परिणामों के रूप में मानने, मॉडल संरेखण (alignment) के साथ अंतर-एनोटेटर विश्वसनीयता की रिपोर्ट करने, और शहरी शासन अनुप्रयोगों को बेहतर समर्थन देने के लिए लेबल स्पेस को एक संदेहास्पद/परक्राम्य कलाकृति (negotiable artifact) के रूप में रूपरेखाबद्ध करने के लिए विकसित होना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक शहर की सड़क का वर्णन करना सिखाने की कोशिश कर रहे हैं, न कि केवल कारों या पेड़ों को गिनकर, बल्कि यह बताकर कि वह सड़क कैसा महसूस कराती है। क्या वह सुरक्षित है? क्या वह स्वागत करने वाली है? क्या वह आरामदायक है?
यह शोध पत्र तर्क देता है कि जब हम इन "विज़न-लैंग्वेज मॉडल्स" (रोबोट जो देखते हैं और बात करते हैं) का परीक्षण करते हैं, तो हम एक बड़ी गलती कर रहे होते हैं यदि हम उनके उत्तरों को एक साधारण गणितीय परीक्षण की तरह मानते हैं जिसमें केवल एक सही उत्तर होता है। इसके बजाय, हमें इन परीक्षणों को एक टाउन हॉल मीटिंग की तरह मानने की आवश्यकता है जहाँ लोगों के अलग-अलग विचार होते हैं।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के मुख्य विचारों का विवरण दिया गया है:
1. समस्या: "एक सही उत्तर" का जाल
कल्पना कीजिए कि आप 12 अलग-अलग लोगों को एक पार्क की तस्वीर दिखाते हैं और पूछते हैं, "क्या यह पार्क सुरक्षित है?"
- व्यक्ति A कहता है, "हाँ, यह बहुत सुरक्षित है।"
- व्यक्ति B कहता, "नहीं, रात में यह खतरनाक महसूस होता है।"
- व्यक्ति C कहता है, "मैं इस तस्वीर से नहीं बता सकता।"
पारंपरिक रोबोट परीक्षण में, हम इन सभी उत्तरों को एक एकल "ग्राउंड ट्रुथ" (जैसे, "सुरक्षित") में जबरदस्ती फिट कर देंगे। यदि रोबोट "असुरक्षित" कहता है, तो हम उसे गलत मान लेंगे। यदि वह "सुरक्षित" कहता है, तो हम उसे सही मान लेंगे।
शोध पत्र का तर्क: यह अनुचित है। यहाँ "सत्य" कोई एकल तथ्य नहीं है; यह विचारों का एक जटिल मिश्रण है। यदि हम असहमति को अनदेखा करते हैं, तो हमें लग सकता है कि रोबोट विफल हो रहा है जबकि वास्तव में वह केवल एक वैध मानवीय राय को प्रतिबिंबित कर रहा है।
2. समाधान: "विश्वसनीयता-जागरूक" स्कोरकार्ड
लेखक सुझाव देते हैं कि हमें इन रोबोटों के लिए एक नए प्रकार के रिपोर्ट कार्ड की आवश्यकता है। केवल एक स्कोर (जैसे 85%) देने के बजाय, रिपोर्ट कार्ड में यह भी दिखाया जाना चाहिए:
- इंसानों के बीच कितनी असहमति थी: यदि इंसान इस बात पर सहमत नहीं हो सकते कि एक सड़क "सुरक्षित" है या नहीं, तो रोबोट को अनुमान लगाने के लिए दंडित नहीं किया जाना चाहिए।
- किसने कहा "मुझे नहीं पता": कभी-कभी, सबसे अच्छा उत्तर "मैं निर्णय नहीं ले सकता" होता है। यदि एक रोबोट अनुमान लगाता है जब उसे चुप रहना चाहिए था, तो वह एक समस्या है।
उपमा: इसे मौसम के पूर्वानुमान की तरह समझें। यदि 12 मौसम विज्ञानी एक तूफान को देखते हैं और 6 कहते हैं "बारिश" और 6 कहते हैं "बर्फबारी", तो एक अच्छे पूर्वानुमान को केवल एक को चुनकर यह नहीं कहना चाहिए कि "यह बारिश है।" उसे कहना चाहिए, "यहाँ 50/50 का विभाजन है, और यहाँ अनिश्चितता है।"
3. प्रयोग: मॉन्ट्रियल स्ट्रीट टेस्ट
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशिष्ट परीक्षण बनाया:
- दृश्य: उन्होंने मॉन्ट्रियल की सड़कों की 100 तस्वीरें लीं (कुछ वास्तविक फोटो, कुछ कंप्यूटर-जनित)।
- निर्णायक: उन्होंने स्थानीय सामुदायिक समूहों के 12 वास्तविक लोगों से इन सड़कों का 30 विभिन्न विषयों (जैसे, "क्या यह साफ है?" या "क्या यह समावेशी महसूस होता है?") पर वर्णन करने के लिए कहा।
- रोबोट: उन्होंने 7 अलग-अलग AI मॉडलों से बिल्कुल उसी निर्देशों का उपयोग करके उन्हीं सड़कों का वर्णन करने के लिए कहा।
उन्होंने क्या पाया:
- "आसान" चीजें: जब प्रश्न किसी स्पष्ट चीज़ के बारे में था (जैसे, "क्या वहाँ पेड़ हैं?"), तो इंसानों के बीच काफी सहमति थी, और रोबोटों ने अच्छा प्रदर्शन किया।
- "कठिन" चीजें: जब प्रश्न भावनाओं के बारे में था (जैसे, "क्या यह आरामदायक है?"), तो इंसानों के बीच बहुत असहमति थी। रोबोट भी संघर्ष कर रहे थे, लेकिन दिलचस्प बात यह थी कि वे कभी-कभी मानवीय असहमति के पैटर्न के साथ भी असहमत थे।
- "मौन" का मुद्दा: इंसानों ने अक्सर कहा, "मैं निर्णय नहीं ले सकता।" हालाँकि, रोबोट अक्सर फिर भी अनुमान लगाने की कोशिश करते थे। यह व्यवहार में एक बेमेल (mismatch) है।
4. "परक्राम्य" (Negotiated) दृष्टिकोण
यह शोध पत्र तर्क देता है कि इन परीक्षणों को पत्थर की लकीर नहीं होना चाहिए। इन्हें परक्राम्य होना चाहिए।
उपमा: कल्पना कीजिए कि एक शहर के लिए एक रेसिपी है। यदि शहर में रहने वाले लोग कहते हैं, "यह सामग्री (सुरक्षा की परिभाषा) हमारे लिए समझ में नहीं आती," तो रेसिपी को केवल अनदेखा नहीं किया जाना चाहिए। लोगों और वैज्ञानिकों को एक साथ बैठकर उस रेसिपी को फिर से लिखना चाहिए।
लेखक कहते हैं कि जब हम इन रोबोटों का उपयोग शहरों के बारे में निर्णय लेने के लिए करते हैं (जैसे, पार्क कहाँ बनाना है या सड़क की निगरानी कैसे करनी है), तो हमें निम्नलिखित करना चाहिए:
- असहमति को दिखाएं: इस तथ्य को न छिपाएं कि लोग इस बात पर बहस करते हैं कि "सुरक्षित" का क्या अर्थ है।
- नियमों को लचीला रखें: यदि समुदाय कहता है कि नियम गलत हैं, तो हमारे पास परीक्षण को बदलने और उसे फिर से चलाने की क्षमता होनी चाहिए।
- अनिश्चितता के बारे में ईमानदार रहें: यदि रोबोट सुनिश्चित नहीं है, या यदि इंसान सुनिश्चित नहीं हैं, तो वह अनिश्चितता अंतिम रिपोर्ट में दिखाई देनी चाहिए।
सारांश
यह शोध पत्र हमें बताता है कि जब हम यह समझने के लिए AI का उपयोग करते हैं कि लोग अपने शहरों के बारे में कैसा महसूस करते हैं, तो हम केवल एक "सही" उत्तर की तलाश नहीं कर सकते। हमें यह स्वीकार करना होगा कि लोग असहमत होते हैं। इन रोबोटों के लिए एक अच्छा परीक्षण हमें यह दिखाना चाहिए कि इंसानों के बीच कितनी असहमति थी और रोबोट ने कितनी बार अनुमान लगाने से इनकार किया, न कि केवल एक एकल संख्या देना जो यह दिखावा करती है कि दुनिया सरल और स्पष्ट है।
यदि हम ऐसा नहीं करते हैं, तो हम ऐसे रोबोट बना सकते हैं जो सोचते हैं कि वे "स्मार्ट" हैं क्योंकि वे एक मनगढ़ंत औसत के साथ सहमत हैं, जबकि वास्तव में वे हमारे समुदायों में हो रही वास्तविक, जटिल और महत्वपूर्ण बातचीत को पूरी तरह से मिस कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।