← नवीनतम पेपर
💻 computer science

Thermo-VL: Extending Vision-Language Models to Thermal Infrared Perception

Thermo-VL एक नवीन विजन-लैंग्वेज मॉडल है जो एक नए पेश किए गए RGB-थर्मल डेटासेट और बेंचमार्क के माध्यम से एक फ्रोजन Molmo-7B बैकबोन में एक ट्रेन करने योग्य थर्मल एनकोडर और एक टेक्स्ट-गाइडेड डुअल-अटेंशन फ्यूजन मॉड्यूल को एकीकृत करके कम रोशनी वाले बोध (low-light perception) को बढ़ाता है, जिससे सुदृढ़ क्रॉस-स्पेक्ट्रम रीजनिंग सक्षम होती है।

मूल लेखक: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

प्रकाशित 2026-05-22
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास Molmo नाम का एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट सहायक है। यह रोबोट सामान्य दिन के उजाले (RGB छवियों) में ली गई तस्वीरों को देखने और उनसे जुड़े सवालों के जवाब देने में विशेषज्ञ है। यह जानता है कि कुत्ता कैसा दिखता है, कार कहाँ खड़ी है, और यह सूर्यास्त का सुंदर वर्णन भी कर सकता है।

हालाँकि, एक समस्या है: Molmo अंधेरे में अंधा है। यदि आप इसे रात में, घने कोहरे में, या धुएं के बीच ली गई फोटो दिखाते हैं, तो यह भ्रमित हो जाता है। यह छाया में खड़े व्यक्ति को या कार के गर्म इंजन को नहीं देख पाता क्योंकि यह पूरी तरह से परावर्तित प्रकाश (reflected light) पर निर्भर करता, जो वहां मौजूद नहीं है।

Thermo-VL वह समाधान है जिसे शोधकर्ताओं ने इसे ठीक करने के लिए बनाया है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

1. "नाइट विजन गॉगल्स" अपग्रेड

रोबोट को शुरुआत से ही अंधेरे में देखना सिखाने के बजाय (जो धीमा हो सकता है और इससे वह दिन में देखना भूल सकता है), शोधकर्ताओं ने Molmo को विशेष नाइट-विज़न गॉगल्स दिए।

  • गॉगल्स (थर्मल एनकोडर): ये गॉगल्स रोशनी के बजाय "गर्मी" देखते हैं। वे पूर्ण अंधकार में भी एक गर्म इंसान या एक गर्म कार का पता लगा सकते हैं।
  • रणनीति: शोधकर्ताओं ने मूल "दिन के उजाले वाली आँखों" (RGB भाग) को स्थिर और अछूता रखा। उन्होंने केवल नए "नाइट विजन" वाले हिस्से को प्रशिक्षित किया। इस तरह, Molmo धूप में देखने की अपनी क्षमता नहीं खोता, बल्कि अंधेरे में देखने की क्षमता भी प्राप्त कर लेता है।

2. "स्मार्ट ट्रांसलेटर" (फ्यूजन मॉड्यूल)

आप केवल नाइट-विज़न इमेज को डे-लाइट इमेज के ऊपर चिपकाकर यह उम्मीद नहीं कर सकते कि रोबोट उसे समझ जाएगा। रोबोट को यह जानने की जरूरत है कि कब हीट विजन का उपयोग करना है और क्या खोजना है।

यहीं पर टेक्स्ट-गाइडेड फ्यूजन (Text-Guided Fusion) आता है। इसे एक स्मार्ट ट्रांसलेटर या एक ऑर्केस्ट्रा के कंडक्टर के रूप में सोचें।

  • सवाल ही 'स्कोर' है: जब आप रोबोट से पूछते हैं, "क्या रास्ते पर कोई व्यक्ति है?", तो आपका सवाल एक संगीत स्कोर की तरह काम करता है।
  • कंडक्टर का काम: फ्यूजन मॉड्यूल आपके सवाल को सुनता है। यदि आप किसी व्यक्ति के बारे में पूछते हैं, तो यह "हीट विजन" वाले हिस्से को गर्म आकृतियों पर ध्यान केंद्रित करने के लिए कहता है। यदि आप कार के बारे में पूछते हैं, तो यह इंजन की गर्मी पर ध्यान केंद्रित करता है।
  • गेटेड रेसिडुअल (Gated Residual): ट्रांसलेटर डे-लाइट इमेज को बदलता नहीं है; यह गर्मी की जानकारी को इसमें इंजेक्ट (inject) करता है। कल्पना कीजिए कि यह सूप में नमक का एक चुटकी डाल देने जैसा है। आप सूप को नमक से बदलते नहीं हैं; आप स्वाद बढ़ाने के लिए बस पर्याप्त मात्रा में इसे जोड़ते हैं। रोबट मूल दृश्य को देखता है, लेकिन अब इसमें "हीट हाइलाइट्स" ठीक वहीं होते हैं जहाँ सवाल ने पूछा था।

3. "ट्रेनिंग जिम" (डेटासेट)

इस नए सिस्टम को सिखाने के लिए, शोधकर्ता पुराने फोटो का उपयोग नहीं कर सकते थे क्योंकि उनमें ज्यादातर सवाल जुड़े नहीं होते हैं। उन्होंने रोबोट के लिए एक जिम बनाया:

  • वर्कआउट: उन्होंने हजारों इमेज जोड़े बनाए: एक सामान्य फोटो और उसी दृश्य की एक "हीट" फोटो।
  • कोच: उन्होंने इन जोड़ों के लिए सवाल और जवाब उत्पन्न करने के लिए AI का उपयोग किया, जिसमें "वहाँ कितने लोग हैं?" या "क्या रास्ता साफ है?" जैसी चीजें शामिल थीं।
  • परीक्षा (Thermo-VL-Bench): उन्होंने एक सख्त टेस्ट भी बनाया। उन्होंने मैन्युअल रूप से सवालों की जांच की ताकि यह सुनिश्चित हो सके कि रोबोट अनुमान लगाकर नकल न कर सके। यह टेस्ट विशेष रूप से यह जांचता है कि क्या रोबोट अंधेरे में या जब प्रकाश और गर्मी दोनों उपलब्ध हों, तो पहेलियों को हल कर सकता है।

4. परिणाम: यह क्यों मायने रखता है

जब उन्होंने Thermo-VL को टेस्ट किया:

  • दिन में: इसने मूल रोबोट (Molmo) के समान प्रदर्शन किया। नए गॉगल्स ने इसे भ्रमित नहीं किया।
  • अंधेरे में: यह उन चीजों को खोजने में बहुत बेहतर रहा जिन्हें मूल रोबोट ने मिस कर दिया था।
  • संयोजन (Combination): जब रोबोट डे-लाइट फोटो और हीट फोटो दोनों का एक साथ उपयोग कर सकता था, तो वह एक सुपर-डिटेक्टिव बन गया। वह उन सवालों के जवाब दे सका जिन्हें वह पहले बिल्कुल भी नहीं संभाल पाता था।

निष्कर्ष

पेपर का दावा है कि Thermo-VL एक तरीका है जिससे एक स्मार्ट, केवल डे-लाइट वाले रोबोट को उसकी मौजूदा बुद्धिमत्ता को नुकसान पहुंचाए बिना अंधेरे में देखने की क्षमता दी जा सकती है। यह एक "हीट-सेंसिंग" मस्तिष्क जोड़कर ऐसा करता है जो आपके सवालों को सुनता है और केवल वही हीट विवरण दिखाता है जिनकी उसे आवश्यकता होती है, जिससे बाकी रोबोट का ज्ञान सुरक्षित रहता है।

पेपर से महत्वपूर्ण नोट: लेखक चेतावनी देते हैं कि यह वर्तमान में एक रिसर्च प्रोटोटाइप है। यह कम रोशनी वाले दृश्यों को समझने के लिए एक शक्तिशाली उपकरण है, लेकिन यह अभी तक महत्वपूर्ण सुरक्षा कार्यों (जैसे स्वायत्त ड्राइविंग) के लिए पूरी तरह तैयार या तैनात करने योग्य सिस्टम नहीं है क्योंकि यह युग्मित (paired) छवियों पर निर्भर करता है और गलतियाँ भी कर सकता है। वे यह भी नोट करते हैं कि इसके प्रशिक्षण के लिए उपयोग किए गए डेटा में से कुछ हिस्सा अन्य AI द्वारा उत्पन्न किया गया था, इसलिए इसमें कुछ खामियां या पूर्वाग्रह हो सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →