Test-Time Scaling for Small VLMs on Multilingual Visual MCQ
यह शोध पत्र यह प्रदर्शित करता है कि छोटे बहुभाषी विजन-लैंग्वेज मॉडल्स के लिए, टेस्ट-टाइम स्केलिंग लाभ मुख्य रूप से जटिल खोज या सत्यापन तंत्र के बजाय प्रॉम्प्ट पारसेबिलिटी (parseability) और पर्याप्त डिकोडिंग बजट सुनिश्चित करने से संचालित होते हैं, जिसमें विजुअल मल्टीपल-चॉइस बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए अंतर्निहित पॉलिसी मॉडल सबसे महत्वपूर्ण कारक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा, बहु-भाषी पहेली को सुलझाने की कोशिश कर रहे हैं जहाँ सुराग चित्रों के अंदर छिपे हुए हैं। आपके पास इन पहेलियों को सुलझाने के लिए छोटे, स्मार्ट रोबोटों (जिन्हें "विज़न-लैंग्वेज मॉडल्स" कहा जाता है) की एक टीम है। लंबे समय तक, लोगों को लगा कि इन पहेलियों को सुलझाने का रहस्य एक ऐसी अति-जटिल मशीन बनाना था जो रोबोट की सोच के हर एक कदम की जांच कर सके, या रोबोट को अपने जवाबों को तब तक फिर से लिखने के लिए कहना जब तक कि वे एकदम सही न हो जाएं।
लेकिन यह पेपर, जिसे यूनिवर्सिटी ऑफ एम्स्टर्डम के शोधकर्ताओं द्वारा इमेजCLEF 2026 प्रतियोगिता के लिए लिखा गया है, कहता है: "इतना भी जल्दबाजी न करें! रहस्य कोई फैंसी मशीन नहीं है; यह बस रोबोट को अपने वाक्यों को पूरा करने के लिए अधिक समय देना है।"
बड़ी खोज: अधिक शब्द, कम सोच
शोधकर्ताओं ने एक विशाल सेट (11 अलग-अलग भाषाएं, 20 विषय) पर कई अलग-अलग रणनीतियों का परीक्षण किया ताकि यह देखा जा सके कि इन छोटे रोबोटों को बेहतर तर्क करने में वास्तव में क्या मदद करता है। उन्होंने पाया कि सबसे महत्वपूर्ण बात यह नहीं थी कि खोज का तरीका कितना चतुर था, बल्कि यह था कि रोबोट को बोलने के लिए कितनी लंबी अनुमति दी गई थी।
इसे एक छात्र की परीक्षा की तरह समझें।
- पुराना तरीका: आप छात्र को कहते हैं, "बहुत गहराई से सोचो, अपना काम चेक करो और एक आदर्श निबंध लिखो," लेकिन आप उन्हें यह करने के लिए केवल 1,000 शब्द देते हैं। वे अपने दिमाग में सही उत्तर ढूंढ सकते हैं, लेकिन वे अंतिम अक्षर (A, B, C, D, या E) लिखने से पहले ही शब्दों की सीमा खत्म होने के कारण रुक जाते हैं। उनका तर्क तो सही होता है लेकिन वे टेस्ट में फेल हो जाते हैं क्योंकि वे कभी अपना उत्तर दर्ज ही नहीं कर पाते।
- नया तरीका: आप छात्र को कहते हैं, "बस अपने विचार लिखो, लेकिन तुम 2,048 शब्दों तक का उपयोग कर सकते हो।" अचानक, उनके पास अपनी कहानी पूरी करने और वास्तव में उत्तर अक्षर लिखने के लिए पर्याप्त जगह होती है।
शोधकर्ताओं ने इसे बहुत बारीकी से मापा। जब उन्होंने शब्द सीमा को 1,000 से बढ़ाकर 2,048 टोकन कर दिया, तो सटीकता 3.7 प्रतिशत अंक बढ़ गई। यह एक बड़ी जीत है! लेकिन जब उन्होंने रोबोट को 8 के बजाय 16 अलग-अलग "चेन ऑफ थॉट" (विचारों की श्रृंखला) उत्पन्न करने के लिए कहकर अधिक उत्तर प्राप्त करने की कोशिश की, तो स्कोर केवल 0.15 प्रतिशत अंक ही बढ़ा। यह एक छात्र को एक ही निबंध को एक बार के बजाय 16 बार लिखने के लिए कहने जैसा है; यदि वे पहले से ही शब्द सीमा की समस्या से जूझ रहे थे, तो इससे ज्यादा फर्क नहीं पड़ता।
क्या काम नहीं आया (वे "कूल" विचार जो विफल रहे)
शोधकर्ताओं ने कुछ बहुत ही परिष्कृत (sophisticated) तरकीबें आजमाईं जो सुनने में तो काम करती हुई लगती हैं, लेकिन डेटा ने दिखाया कि वे काम नहीं आईं।
- "स्टेप-बाय-स्टेप" कोच: उन्होंने एक विशेष "प्रोसेस रिवॉर्ड मॉडल" (PRM) का उपयोग करने की कोशिश की जो एक कोच की तरह काम करे, रोबोट के तर्क के हर कदम की जांच करे और उसे 'बीम सर्च' की तरह मार्गदर्शन दे। उन्हें लगा कि यह रोबोट को स्वतंत्र रूप से अनुमान लगाने देने से बेहतर होगा। परिणाम: यह सरल विधि की तुलना में वास्तव में खराब रहा, जिससे स्कोर 0.39 प्रतिशत अंक गिर गया और इसमें 8.7 गुना अधिक कंप्यूटिंग पावर खर्च हुई। पता चला कि कोच चित्रों को समझने में भ्रमित हो गया और रोबोट को वापस सही रास्ते पर लाने में विफल रहा।
- "जज" रोबोट: उन्होंने एक दूसरे रोबोट को जज के रूप में जोड़ने की कोशिश की, जो सभी उत्तरों को पढ़े और सबसे अच्छा चुनाव करे। उन्होंने दो प्रकार के मॉडल आजमाए: एक जिसे आलोचक के रूप में प्रशिक्षित किया गया था और दूसरा जो केवल एक स्मार्ट जेनेरेटिव मॉडल था। परिणाम: दोनों में से कोई भी "बहुमत के वोट" (जो उत्तर सबसे अधिक बार आया उसे चुनना) की सरल विधि को नहीं हरा सका। वास्तव में, स्मार्ट रोबोट के मामले में, जजों ने चीजों को थोड़ा और खराब कर दिया। पेपर का सुझाव है कि ऐसा इसलिए हुआ क्योंकि जज यह अंतर नहीं कर सके कि सही उत्तर और गलत उत्तर के बीच क्या अंतर है जब उत्तर बहुत करीब थे।
- सेल्फ-करेक्शन (स्वयं सुधार): उन्होंने देखा कि क्या रोबोट को अपनी गलतियों को सुधारने की अनुमति देने से मदद मिलती है। परिणाम: नहीं। इस स्तर पर, रोबोट को अपने उत्तरों को फिर से लिखने देने से अक्सर स्थिति और खराब हो जाती है।
असली हीरो: खुद रोबोट
सबसे बड़ा उछाल किसी नई रणनीति से नहीं आया; यह रोबोट को बदलने से आया। जब उन्होंने एक पुराने मॉडल (Qwen2.5-VL-7B) को एक नए, छोटे मॉडल (Qwen3.5-4B) से बदला, तो स्कोर 11.4 प्रतिशत अंक बढ़ गया। यह सुझाव देता है कि एक स्मार्ट "दिमाग" (पॉलिसी मॉडल) होना एक फैंसी "सोचने की प्रक्रिया" (सर्च मेथड) होने से कहीं अधिक महत्वपूर्ण है।
"फिक्स-इट" (सुधारने वाला) ट्रिक
एक छोटी सी समस्या थी: कभी-कभी, पर्याप्त शब्द होने के बावजूद, रोबमा मॉडल एक बेहतरीन स्पष्टीकरण लिखता था लेकिन अंतिम अक्षर (A, B, C, आदि) लिखना भूल जाता था। शोधकर्ताओं ने एक सरल "गाइडेड रिपेयर" ट्रिक खोजी: यदि रोबोट ने अक्षर नहीं लिखा, तो उन्होंने बस उसे एक सिंगल टोकन के लिए "Answer: [A/B/C/D/E]" कहने के लिए मजबूर कर दिया। इसने शेष 2.67% प्रश्नों की समस्या को हल कर दिया जो विफल हो रहे थे, जिससे अंतर लगभग समाप्त हो गया।
अंतिम स्कोर
नए रोबोट (Qwen3.5-4B), उदार शब्द सीमा (2,048 टोकन), 16 प्रयासों की मांग, और सरल "फिक्स-इट" ट्रिक को मिलाकर, टीम ने अंतिम टेस्ट पर 84.1% सटीकता हासिल की। इसने उन्हें लीडरबोर्ड पर प्रथम स्थान दिलाया।
मुख्य निष्कर्ष
मुख्य सबक यह है कि छोटे विज़न-लैंग्वेज मॉडल्स के लिए, जटिल एल्गोरिदम के बजाय इंजीनियरिंग विवरण अधिक मायने रखते हैं। यदि आप मॉडल को अपना विचार पूरा करने के लिए पर्याप्त जगह देते हैं (टोकन बजट) और एक ऐसा प्रॉम्प्ट देते हैं जो उसे उत्तर देने के लिए मजबूर करे, तो आपको जटिल सर्च ट्री या जजों के साथ उसे समझाने की कोशिश करने के बजाय बेहतर परिणाम मिलते हैं। पेपर का सुझाव है कि जब तक हमारे पास बेहतर मॉडल नहीं होते, तब तक सबसे अच्छी रणनीति केवल मॉडल को अधिक देर तक बोलने देने और उसके फॉर्मेट को ठीक करने की है, न कि जटिल सर्च ट्री या जजों के साथ उसे मात देने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।