MM-THEBench: Do Reasoning MLLMs Think Reasonably?
यह शोध पत्र MM-THEBench को प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के मध्यवर्ती तर्क चरणों (intermediate reasoning steps) में मतिभ्रम (hallucinations) का मूल्यांकन करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है, जो मौजूदा मूल्यांकनों के उस अंतराल को संबोधित करता है जो पोस्ट-ट्रेन्ड रीजनिंग मॉडल्स की आंतरिक विचार प्रक्रियाओं की अनदेखी करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास जासूसों की एक टीम है जो बेहद बुद्धिमान और बहु-प्रतिभाशाली है (ये रीजनिंग मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स, या MLLMs हैं)। ये जासूस चित्र देखने, चार्ट पढ़ने या वीडियो देखने और फिर रहस्य सुलझाने में माहिर हैं।
अतीत में, ये जासूस केवल अपना अंतिम उत्तर चिल्लाकर देते थे: "संदिग्ध बटलर है!" लेकिन हाल ही में, उन्हें बोलने से पहले सोचने के लिए (out loud) प्रशिक्षित किया गया है। वे अपने निष्कर्ष तक कैसे पहुँचे, यह समझाने के लिए सुरागों और तार्किक चरणों (जिसे चेन-ऑफ-थॉट्स या CoTs कहा जाता है) की एक लंबी सूची लिखते हैं।
समस्या क्या है? कभी-कभी, भले ही जासूस चरणों की एक लंबी, शानदार सूची लिखे, कुछ चरण पूरी तरह से झूठ (hallucinations) हो सकते हैं। फिर भी, किस्मत के सहारे या झूठ को अनदेखा करके, वे सही अंतिम उत्तर चिल्ला देते हैं।
यह शोध पत्र इन जासूसों को उनके सोचने की प्रक्रिया के दौरान झूठ बोलने के रंगे हाथों पकड़ने के लिए MM-THEBENCH नामक एक नया टूल पेश करता है।
नया जासूसी प्रशिक्षण मैदान: MM-THEBENCH
MM-THEBENCH को एक उच्च-तकनीकी "झूठ पकड़ने वाले टेस्ट" (Lie Detector Test) के रूप में सोचें, जो विशेष रूप रूप से केवल अंतिम उत्तर के लिए नहीं, बल्कि सोचने की प्रक्रिया के लिए डिज़ाइन किया गया है।
1. झूठ के तीन प्रकार (वर्गीकरण/Taxonomy)
लेखकों ने महसूस किया कि जब एक जासूस झूठ बोलता है, तो वह आमतौर पर तीन श्रेणियों में आता है। उन्होंने उन्हें पकड़ने के लिए एक चेकलिस्ट बनाई:
- "नकली याददाश्त" वाला झूठ (ज्ञान/Knowledge): जासूस स्कूल में सीखी गई किसी तथ्य को मनगढ़ंत बनाता है। उदाहरण: "मैं पक्के तौर पर जानता हूँ कि एफिल टॉवर लंदन में है।" (यह नहीं है)।
- "खराब दृष्टि" वाला झूठ (अनुभूति/Perception): जासूस फोटो को देखता है लेकिन ऐसी चीजें देखता है जो वहां नहीं हैं। उदाहरण: "मुझे चित्र में एक लाल कार दिख रही है," जबकि कार वास्तव में नीली है। (यह गलत है)।
- "खराब तर्क" वाला झूठ (तर्क/Reasoning): जासूस सही चीजें देखता है लेकिन उन्हें गलत तरीके से जोड़ता है। उदाहरण: "कार नीली है, और नीली कारें तेज़ होती हैं, इसलिए यह एक फेरारी है।" (खराब तर्क)।
2. ग्रेडिंग सिस्टम (रुब्रिक्स/Rubrics)
केवल यह जाँचने के बजाय कि अंतिम उत्तर सही है या गलत, MM-THEBENCH जासूस की सोच को छोटे-छोटे परमाणु चरणों (atomic steps) में तोड़ देता है।
- कल्पना कीजिए कि एक गणित की समस्या है। "गोल्ड स्टैंडर्ड" समाधान में 5 विशिष्ट चरण होते हैं।
- सिस्टम जासूस की 20-चरणीय सोच प्रक्रिया की उन 5 गोल्ड स्टेप्स के साथ तुलना करता है।
- यह पूछता है: "क्या आपने वास्तव में कार देखी? क्या आप त्रिभुज के नियम के बारे में जानते थे? क्या आपने गणित सही किया?"
- यह हर एक चरण के लिए स्कोर देता है, और ठीक-ठीक बताता है कि "झूठ" कहाँ हुआ।
उन्होंने क्या पाया (परिणाम)
लेखकों ने दुनिया के 14 सबसे स्मार्ट जासूसी मॉडलों (GPT-5, Claude और Gemini जैसे बड़े नामों सहित) का इस नए टेस्ट के साथ परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
1. "सही उत्तर" का जाल
सिर्फ इसलिए कि एक जासूस को सही अंतिम उत्तर मिल गया है, इसका मतलब यह नहीं है कि उसने सही सोचा।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। वह बकवास का एक पैराग्राफ लिखता है, नंबर मनगढ़ंत बनाता है, और गलत तर्क देता है, लेकिन फिर वह अंतिम नंबर का अनुमान लगाता है और सही उत्तर पा लेता है।
- निष्कर्ष: कई मॉडलों को सही उत्तर मिला, भले ही उनकी "सोचने की प्रक्रिया" मतिभ्रम (hallucinations) से भरी थी। सोचने की प्रक्रिया उनके द्वारा समस्या को हल करने का एक सच्चा विवरण नहीं थी।
2. "खराब दृष्टि" बनाम "खराब तर्क" का अंतर
यह एक आश्चर्यजनक खोज थी:
- अनुभूति मतिभ्रम (खराब दृष्टि): ये अक्सर होते हैं। मॉडल अक्सर वस्तुओं या रंगों को गलत पहचानते हैं। हालाँकि, यह शायद ही कभी अंतिम उत्तर को खराब करता है। मॉडल कार को नीला होने के बजाय लाल समझ सकता है, लेकिन फिर भी वह यह पता लगा लेता है कि कार चल रही है।
- तर्क मतिभ्रम (खराब तर्क): ये दुर्लभ हैं, लेकिन घातक हैं। यदि मॉडल तर्क में गलती करता है (जैसे, "यदि A है तो B होगा" जबकि वास्तव में "यदि A है तो C होगा"), तो अंतिम उत्तर लगभग हमेशा गलत होता है।
- सीख: एक ऐसे जासूस से बेहतर है जिसकी दृष्टि खराब हो, बजाय एक ऐसे जिसके दिमाग में खराबी हो।
3. "ओवरथिंकिंग" (जरूरत से ज्यादा सोचना) की समस्या
शोध पत्र ने पाया कि जब मॉडलों को लंबे समय तक सोचने के लिए मजबूर किया जाता है (अधिक चरण), तो वे जरूरी नहीं कि अधिक स्मार्ट हो जाते हैं।
- उपमा: कल्पना कीजिए कि एक जासूस नोट्स लिखता रहता है। पहले 5 नोट्स शानदार हैं। अगले 15 नोट्स बस उसका बड़बड़ाना, खुद को दोहराना या नई बातें मनगढ़ंत बनाना हैं।
- निष्कर्ष: जैसे-जैसे सोच लंबी होती जाती है, "सटीकता" (precision) गिरती जाती है। मॉडल जगह भरने के लिए बहुत सारे अतिरिक्त, बेकार या मतिभ्रम वाले चरण उत्पन्न करते हैं। वे "ओवरथिंकिंग" कर रहे हैं और सच्चाई से दूर भटक रहे हैं।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र का तर्क है कि हम अब केवल मॉडल द्वारा दिए गए अंतिम उत्तर पर भरोसा नहीं कर सकते। हमें यह देखना होगा कि वे वहाँ कैसे पहुँचे।
MM-THEBENCH एक आवर्धक लेंस (magnifying glass) की तरह है जो हमें जासूस की नोटबुक देखने के लिए मजबूर करता है। यह हमें दिखाता है कि हालांकि ये AI मॉडल समस्याओं को हल करने में बेहतर हो रहे हैं, लेकिन उनकी आंतरिक "सोच" अक्सर अव्यवस्थित, छोटे-छोटे झूठ से भरी और कभी-कभी वास्तविकता से पूरी तरह से कटी हुई होती है। उन्हें वास्तव में विश्वसनीय बनाने के लिए, हमें उनकी सोचने की प्रक्रिया को ठीक करने की आवश्यकता है, न कि केवल उनके अंतिम उत्तरों को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।