ThermEval: A Structured Benchmark for Evaluation of Vision-Language Models on Thermal Imagery
यह शोध पत्र ThermEval प्रस्तुत करता है, जो 55,000 विजुअल क्वेश्चन आंसरिंग पेयर्स और डेंस टेम्परेचर मैप्स के एक नवीन डेटासेट से युक्त एक व्यापक बेंचमार्क है, यह प्रदर्शित करने के लिए कि वर्तमान विजन-लैंग्वेज मॉडल अपने RGB-केंद्रित प्रायर्स (priors) पर निर्भरता के कारण थर्मल इमेजरी रीजनिंग में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली छात्र है जिसने पुस्तकालय की हर किताब पढ़ ली है और अब तक बनी हर फिल्म देख ली है। यह छात्र जो देखता है उसका वर्णन करने में माहिर है: "यह एक लाल सेब है," "वह एक धूप वाला समुद्र तट है," "वह एक खुश कुत्ता है।" वह RGB विजन का विशेषज्ञ है—रंग, बनावट और प्रकाश के लेंस के माध्यम से दुनिया को देखने में, ठीक वैसे ही जैसे हमारी मानवीय आँखें देखती हैं।
लेकिन अब, कल्पना कीजिए कि आप उस छात्र को नाइट-विज़न गॉगल्स (थर्मल कैमरे) थमा देते हैं। अचानक, दुनिया पूरी तरह से बदल जाती है। वहां कोई लाल सेब या नीला आकाश नहीं है। इसके बजाय, सब कुछ गर्मी (heat) का एक चमकता हुआ मानचित्र है। एक गर्म इंजन जलते हुए सूरज जैसा दिखता है; एक ठंडा पत्थर ठंडे चंद्रमा जैसा दिखता है।
यह शोध पत्र, ThermEval, उन नाइट-विज़न गॉगल्स का उपयोग करते समय हमारे उस प्रतिभाशाली छात्र का एक 'रिपोर्ट कार्ड' है। लेखकों ने पाया कि हालांकि छात्र चित्रों का वर्णन करने में बहुत अच्छा है, लेकिन वह गर्मी को समझने में बहुत खराब है।
समस्या: "रंगों से अंधा" AI (The "Colorblind" AI)
वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स या VLMs) मुख्य रूप से दुनिया की तस्वीरों पर प्रशिक्षित होते हैं। वे जानते हैं कि दिन के उजाले में "व्यक्ति" कैसा दिखता है। लेकिन थर्मल इमेज व्यक्ति को नहीं दिखातीं; वे एक हीट सिग्नेचर (ताप हस्ताक्षर) दिखाती हैं।
लेखकों ने एक सरल प्रश्न पूछा: यदि आप एक AI को किसी व्यक्ति की थर्मल इमेज दिखाते हैं, तो क्या वह आपको बता सकता है कि उसका माथा कितना गर्म है? क्या वह बता सकता है कि एक व्यक्ति दूसरे से अधिक गर्म है या नहीं?
उत्तर, दुर्भाग्य से, स्पष्ट रूप से "नहीं" था।
समाधान: ThermEval (द "हीट टेस्ट")
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशाल परीक्षा बनाई जिसे ThermEval कहा गया। इसे एक विशेष ड्राइविंग टेस्ट की तरह समझें, लेकिन कार चलाने के बजाय, AI को गर्मी की दुनिया में "ड्राइव" करना है।
उन्होंने सात अलग-अलग कौशलों को कवर करने वाले 55,000 प्रश्न बनाए:
- "क्या यह एक फोटो है?" टेस्ट: क्या AI एक सामान्य फोटो और एक हीट मैप के बीच अंतर कर सकता है? (अधिकांश कर सके)।
- "कलर शिफ्ट" टेस्ट: थर्मल कैमरे अक्सर गर्मी दिखाने के लिए विभिन्न कलर पैलेट (जैसे "मैग्मा" या "विरिडिस") का उपयोग करते हैं। यदि आप रंग बदलते हैं, तो क्या AI भ्रमित हो जाता है? (हाँ, कई हुए)।
- "भीड़ गणना" टेस्ट: इस हीट मैप में कितने लोग हैं? (थोड़ा डगमगाता हुआ)।
- "थर्मामीटर" टेस्ट: क्या AI छवि के किनारे पर दिए गए छोटे कलर बार को पढ़ सकता है जो थर्मामीटर की तरह काम करता है? (कई बुरी तरह विफल रहे, उन्होंने "33.5" के बजाय "335 डिग्री" जैसी संख्याएं 'हैलुसिनेट' कीं)।
- "गर्म बनाम ठंडा" टेस्ट: बाईं ओर वाला व्यक्ति अधिक गर्म है या दाईं ओर वाला? (AI अक्सर अनुमान लगाता था कि मनुष्य आमतौर पर कैसा महसूस करते हैं, न कि वास्तविक छवि को देखकर)।
- "सटीक तापमान" टेस्ट: इस नाक का सटीक तापमान क्या है? (AI अक्सर केवल "37°C" का अनुमान लगाता था क्योंकि यह मानव शरीर का औसत तापमान है, वास्तविक छवि को अनदेखा करते हुए)।
- "दूरी" टेस्ट: क्या AI जानता है कि जब आप दूर होते हैं तो गर्मी कैसी दिखती है? (अधिकांश विफल रहे)।
परिणाम: AI गर्मी को "हैलुसिनेट" (भ्रमित) कर रहा है
परिणाम आश्चर्यजनक थे। यहाँ तक कि सबसे बड़े, सबसे शक्तिशाली AI मॉडल (कुछ जिनमें सैकड़ों अरब पैरामीटर्स हैं) भी इन परीक्षणों में विफल रहे।
- "किताबी ज्ञान" का जाल: AI हीट मैप को नहीं देख रहा था। वह अपने प्रशिक्षण डेटा से जो जानता था उसके आधार पर अनुमान लगा रहा था। यदि पूछा जाता, "मानव माथा कितना गर्म होता है?", तो वह कहेगा "37°C" क्योंकि उसने यह किताबों में सीखा है, भले ही छवि में बुखार वाला 40°C या ठंडा 30°C दिखाया गया हो। वह दृश्य साक्ष्य (visual evidence) को अनदेखा कर रहा था और लैंग्वेज प्रायर्स (language priors) (जो वह सत्य होने की अपेक्षा करता है) पर निर्भर था।
- "कलरबार" का भ्रम: कई मॉडल छवि के किनारे पर दिए गए थर्मामीटर स्केल को भी नहीं पढ़ सके। यह किसी को नक्शा देने और फिर उससे नक्शे के विवरण को अनदेखा करके जमीन का अनुमान लगाने के लिए कहने जैसा है।
- "फाइन-ट्यूनिंग" का समाधान: शोधकर्ताओं ने AI को विशेष रूप से हीट मैप पढ़ना सिखाने की कोशिश की (सुपरवाइज्ड फाइन-ट्यूनिंग)। इससे बहुत मदद मिली! AI बहुत बेहतर हो गया, लगभग मानव प्रदर्शन के बराबर। लेकिन यह अभी भी पूर्ण नहीं था। यह एक छात्र को एक विशिष्ट परीक्षा पास करने के लिए सिखाने जैसा है, लेकिन वह वास्तव में गर्मी के भौतिक विज्ञान (physics of heat) को नहीं समझता।
यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या हुआ? AI अभी हीट मैप नहीं पढ़ सकता।" लेकिन यह वास्तविक जीवन के लिए एक बड़ी बात है। थर्मल कैमरों का उपयोग किया जाता है:
- खोज और बचाव (Search and Rescue): रात में जंगलों में खोए हुए लोगों को खोजने के लिए।
- मेडिकल स्क्रीनिंग: बिना छुए बुखार का पता लगाने के लिए।
- सेल्फ-ड्राइविंग कारें: घने अंधेरे में पैदल यात्रियों को देखने के लिए।
- औद्योगिक सुरक्षा: आग लगने से पहले अत्यधिक गर्म होने वाले बिजली के तारों को खोजने के लिए।
यदि अंधेरे में कार चला रहा AI एक गर्म चट्टान और एक गर्म इंसान के बीच अंतर नहीं कर पाता, या यदि मेडिकल AI बुखार का सटीक माप नहीं ले पाता, तो लोगों को चोट लग सकती है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI एक ऐसे अत्यंत बुद्धिमान कलाकार की तरह है जिसने कभी सूरज को महसूस नहीं किया है। वे सूरज की तस्वीर का सटीक वर्णन कर सकते हैं, लेकिन वे नहीं समझते कि गर्मी वास्तव में कैसा महसूस होती है।
इसे ठीक करने के लिए, हम केवल AI को बड़ा या स्मार्ट नहीं बना सकते। हमें उन्हें ज़ीरो से पुनः प्रशिक्षित (retrain) करने की आवश्यकता है ताकि वे केवल सुंदर रंगों को ही नहीं, बल्कि गर्मी जैसे भौतिक संकेतों को भी समझ सकें। ThermEval बेंचमार्क उस नई पीढ़ी के AI बनाने की दिशा में पहला कदम है जो वास्तव में तापमान की अदृश्य दुनिया को "देख" सके।
संक्षेप में: हमने एक टेस्ट बनाया यह देखने के लिए कि क्या AI थर्मामीटर पढ़ सकता है। वे विफल रहे। अब हमें पता है कि हमें जीवन बचाने के लिए उन्हें क्या सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।