💻 computer science

Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

यह शोधपत्र PatternEval प्रस्तुत करता है, जो हाइब्रिड-थिंकिंग (hybrid-thinking) MLLMs के थिंकिंग (thinking) और नॉन-थिंकिंग (non-thinking) मोड के बीच रिस्पॉन्स पैटर्न में व्यवस्थित मिसअलाइनमेंट (misalignment) को उजागर करने वाला एक डायग्नोस्टिक बेंचमार्क है, और PatternRL का प्रस्ताव करता है, जो टास्क परफॉरमेंस को बनाए रखते हुए इन व्यवहारों को अलाइन करने के लिए पैटर्न-विशिष्ट दंड (pattern-specific penalties) के साथ एक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है।

मूल लेखक: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Ya

प्रकाशित 2026-08-14

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दोस्त से बात कर रहे हैं जो तस्वीरें देख सकता है, चार्ट पढ़ सकता है और पेचीदा पहेलियाँ सुलझा सकता है। कभी-कभी, आप इस रोबोट को समस्या पर चरण-दर-चरण काम करने के लिए अतिरिक्त समय देते हुए "गहराई से सोचने" (think hard) के लिए कहते हैं। अन्य समय में, जब आप एक त्वरित उत्तर चाहते हैं, तो आप इसे "बस अनुमान लगाने" (just guess) या लंबी सोचने की प्रक्रिया के बिना सीधा जवाब देने के लिए कहते हैं। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है—ऐसे AI सिस्टम जो टेक्स्ट और इमेज दोनों को समझ सकते हैं। वैज्ञानिक खुद से एक बड़ा सवाल पूछ रहे हैं: क्या जवाब सिर्फ "सही" है? या "क्या रोबोट एक ही तरह से व्यवहार करता है चाहे वह गहराई से सोच रहा हो या बस अनुमान लगा रहा हो?" यदि रोबोट सोचने के बाद एक सटीक उत्तर देता है, लेकिन फिर त्वरित उत्तर के लिए पूछे जाने पर अपने गुप्त विचारों को उजागर कर देता है, खुद को दोहराता है, या खुद का खंडन करता है, तो यह एक समस्या है। हम चाहते हैं कि हमारा AI, चाहे हम उसे कितना भी समय दें, विश्वसनीय और विनम्र बना रहे।

यह शोध पत्र, जिसका शीर्षक "Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs" है, ठीक इसी समस्या की गहराई में जाता है। शोधकर्ताओं ने पाया कि सबसे स्मार्ट AI मॉडल्स में भी एक अजीब "दोहरा व्यक्तित्व" (split personality) होता है। जब उन्हें धीरे-धीरे सोचने की अनुमति दी जाती है, तो वे शांत, पेशेवर विशेषज्ञों की तरह व्यवहार करते हैं। लेकिन जब उन्हें तेज़ और बिना सोचे-समझे काम करने के लिए मजबूर किया जाता है, तो वे अक्सर अव्यवस्थित होने लगते हैं: वे अनजाने में अपने अंतिम उत्तर में अपनी आंतरिक "सोचने की प्रक्रिया" को लीक कर देते हैं, एक ही वाक्य को बार-बार दोहराते हैं, एक ही समय में दो विपरीत बातें कहते हैं, या बिना वास्तव में कोई काम किए तर्क देने का नाटक करते हैं।

इसे साबित करने के लिए, टीम ने एक विशेष परीक्षण बनाया जिसे PatternEval कहा जाता है, जो एक "पकड़ने वाला" (gotcha) एग्जाम की तरह है जिसे विशेष रूप से इन अव्यवस्थित व्यवहारों को पकड़ने के लिए डिज़ाइन किया गया है। उन्होंने 2,415 पेचीदा इमेज और टेक्स्ट पहेलियों पर 25 अलग-अलग AI मॉडल्स (Qwen, Kimi और Claude जैसे बड़े नामों सहित) का परीक्षण किया। परिणाम आंखें खोलने वाले थे: यहाँ तक कि सबसे उन्नत मॉडल्स ने भी अपने "सोचने" (thinking) और "न सोचने" (non-thinking) मोड के बीच एक बड़ा अंतर दिखाया। वास्तव में, कई मॉडल्स के लिए, तेज़, बिना सोचे-समझे वाला मोड बातचीत के बुनियादी नियमों का पालन करने में लगभग 48% बार विफल रहा, जबकि धीमा सोचने वाला मोड बहुत अधिक व्यवस्थित था।

इसे ठीक करने के लिए, लेखकों ने एक नई प्रशिक्षण विधि बनाई जिसे PatternRL कहा जाता है। इसे एक छात्र को पढ़ाने जैसा समझें कि न केवल गणित सही करना है, बल्कि बिना कुछ बिखेरे या दोहराए सफाई से लिखना भी है। उन्होंने एक "जज" AI (जिसे PatternRM कहा जाता है) को इन चार विशिष्ट बुरी आदतों को पहचानने के लिए प्रशिक्षित किया:

चैन-ऑफ-थॉट लीकेज (Chain-of-thought leakage): अंतिम उत्तर में गुप्त "सोचने के चरणों" को उजागर करना।
रिस्पॉन्स रिपिटिशन (Response repetition): बिना किसी कारण के एक ही बात को दो बार कहना।
लॉजिकल कॉन्ट्राडिक्शन (Logical contradiction): एक ही चीज़ के बारे में "हाँ" और "ना" दोनों कहना।
परफॉर्मेटिव रीजनिंग (Performative reasoning): बिना किसी वास्तविक साक्ष्य का उपयोग किए तर्क देने का नाटक करना।

जब उन्होंने इस नए प्रशिक्षण को दो विशिष्ट मॉडल्स (Qwen3-VL-4B और Qwen3-VL-8B) पर लागू किया, तो तेज़ मोड में अव्यवस्थित व्यवहार काफी कम हो गया—लगभग 13 से 14 प्रतिशत अंक—बिना मॉडल्स की सही उत्तर देने की क्षमता को नुकसान पहुँचाए। हालाँकि, शोधकर्ताओं ने एक छोटा सा ट्रेड-ऑफ भी नोट किया: मॉडल्स बहुत कठिन गणित और तर्क वाले कार्यों पर थोड़े कम सटीक हो गए, जिससे पता चलता है कि उन्हें "साफ-सुथरा" होने के लिए मजबूर करने से कभी-कभी उनकी रचनात्मक (लेकिन अव्यवस्थित) तरीकों से समस्या हल करने की क्षमता रुक जाती है।

संक्षेप में, यह पेपर सुझाव देता है कि केवल इसलिए कि एक AI किसी समस्या को हल कर सकता है, इसका मतलब यह नहीं है कि वह इंसानों से बात करने के लिए तैयार है। वास्तव में मददगार होने के लिए, AI को न केवल क्या कहना है, बल्कि कैसे कहना है, इस पर भी प्रशिक्षित करने की आवश्यकता है, ताकि यह सुनिश्चित हो सके कि वह चाहे वह सोचने में लंबा समय ले रहा हो या त्वरित उत्तर दे रहा हो, वह विनम्र और सुसंगत बना रहे।

तकनीकी सारांश: शुद्धता से परे: हाइब्रिड-थिंकिंग MLLMs में रिस्पॉन्स व्यवहारों का बेंचमार्किंग और अलाइनमेंट

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को तेजी से हाइब्रिड-थिंकिंग इंटरफेस के साथ तैनात किया जा रहा है, जो दो अलग-अलग इन्फरेंस मोड प्रदान करते हैं: एक डेलिब्रेटिव थिंकिंग मोड (तर्क के लिए अतिरिक्त टेस्ट-टाइम कंप्यूटेशन आवंटित करना) और एक नॉन-थिंकिंग मोड (सख्त लेटेंसी और टोकन बजट के तहत सीधे उत्तर लौटाना)। हालांकि ये मोड रीजनिंग बजट में भिन्न होते हैं, लेकिन उनसे उपयोगकर्ता-केंद्रित गुणवत्ता मानकों को समान रूप से संतुष्ट करने की अपेक्षा की जाती है।

यह शोध एक महत्वपूर्ण अंतराल की पहचान करता है: केवल शुद्धता (Correctness) पर्याप्त नहीं है। एक मॉडल नॉन-थिंकिंग मोड में तथ्यात्मक रूप से सही उत्तर दे सकता है, लेकिन साथ ही इसमें अवांछनीय रिस्पॉन्स व्यवहार प्रदर्शित हो सकते हैं, जैसे कि आंतरिक तर्क ट्रेसेस (internal reasoning traces) का लीक होना, सामग्री की पुनरावृत्ति, तार्किक विरोधाभास, या बिना सूचना लाभ के प्रदर्शनकारी तर्क (performative reasoning) करना। लेखक इन दोनों मोड के बीच उपयोगकर्ता-दृश्य व्यवहारों में इस विसंगति को रिस्पॉन्स-पैटर्न मिसअलाइनमेंट (response-pattern misalignment) कहते हैं। वर्तमान अनुकूलन रणनीतियां अक्सर उत्तर की शुद्धता या दक्षता को प्राथमिकता देती हैं, जो दिए गए रिस्पॉन्स के 'रूप' (form) को नियंत्रित करने में विफल रहती हैं, जिससे एक व्यवस्थित मिसअलाइनमेंट होता है जहाँ नॉन-थिंकिंग इंटरफेस अपने थिंकिंग समकक्षों की तुलना में काफी उच्च विफलता दर प्रदर्शित करते हैं।

2. कार्यप्रणाली (Methodology)

2.1 PatternEval: एक विफलता-समृद्ध डायग्नोस्टिक बेंचमार्क

इस मिसअलाइनमेंट को मापने के लिए, लेखक PatternEval पेश करते हैं, जो तीन कार्य परिवारों में फैले 2,415 मल्टीमॉडल प्रॉम्प्ट्स वाला एक बेंचमार्क है:

विजुअल परसेप्शन और ग्राउंडिंग (VG): इसमें OOD परसेप्शन, कंटेंट रिकग्निशन, ग्राउंडिंग और फैक्टुअलिटी शामिल है।
OCR और स्ट्रक्चर्ड-इमेज अंडरस्टैंडिंग (OS): इसमें OCR और चार्ट अंडरस्टैंडिंग शामिल है।
मल्टीमॉडल नॉलेज रीजनिंग (KR): इसमें STEM, नॉलेज और जनरल रीजनिंग टास्क शामिल हैं।

PatternEval विशेष रूप से चार आवर्ती रिस्पॉन्स-पैटर्न विफलताओं का परीक्षण करने के लिए बनाया गया है:

चेन-ऑफ-थॉट (CoT) लीकेज: अंतिम उपयोगकर्ता-दृश्य उत्तर में आंतरिक प्रक्रिया ट्रेसेस, ड्राफ्ट विश्लेषण, या थिंकिंग मार्कर्स का दिखाई देना।
रिस्पॉन्स रिपिटिशन (Rep): वाक्यों, सिमेंटिक कंटेंट या संरचना की अनावश्यक पुनरावृत्ति।
लॉजिकल कॉन्ट्राडिक्शन (Con): एक ही रिस्पॉन्स के भीतर परस्पर असंगत दावे।
परफॉर्मेटिव रीजनिंग (PR): बिना किसी सूचना लाभ के अनसपोर्टेड रीजनिंग रैपर्स या विश्लेषण।

मूल्यांकन प्रोटोकॉल:

जज (Judges): एक वेरीफायर जज (Qwen3-Max) कार्य की शुद्धता ( $c$ ) का आकलन करता है, जबकि एक पैटर्न जज (इमेज एक्सेस के साथ Seed-2.0-Pro) चार विफलता प्रकारों ( $b_{cot}, b_{rep}, b_{con}, b_{pr}$ ) के लिए बाइनरी लेबल असाइन करता है।
मेट्रिक्स: बेंचमार्क एक्यूरेसी ($Acc $) और **ट्रिगर रेट** ($ Trigger $) रिपोर्ट करता है, जिसे कम से कम एक विफलता पैटर्न प्रदर्शित करने वाले रिस्पॉन्स के अनुपात के रूप में परिभाषित किया गया है। मोड के बीच के अंतर को$ \Delta_{pat} = Trigger_{NT} - Trigger_{T}$ के रूप में मापा जाता है।

2.2 PatternRM और PatternRL: सुदृढीकरण शिक्षण (Reinforcement Learning) के माध्यम से अलाइनमेंट

पहचानी गई मिसअलाइनमेंट को संबोधित करने के लिए, लेखक एक पोस्ट-ट्रेनिंग फ्रेमवर्क प्रस्तावित करते हैं:

PatternRM (रिवॉर्ड मॉडल): एक विशेष रिवॉर्ड मॉडल जिसे 57,578 एनोटेटेड इंस्टेंस पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया गया है। यह उत्पन्न टेक्स्ट के आधार पर चार विफलता लेबल की भविष्यवाणी करता है (दक्षता के लिए केवल टेक्स्ट-ओनली इनपुट)। इसे मानव-अलाइन्ड पैटर्न जज के करीब पहुंचने के लिए प्रशिक्षित किया गया है।
PatternRL (रीइन्फोर्समेंट लर्निंग): एक पॉलिसी ऑप्टिमाइजेशन विधि जो रिवॉर्ड फंक्शन में पैटर्न-विशिष्ट दंड (penalties) को शामिल करती है।
- रिवॉर्ड डिज़ाइन: अंतिम रिवॉर्ड $r$ , शुद्धता के लिए एक वेरीफायर रिवॉर्ड ( $s_{ver}$ ) और एक ऑक्जिलरी पैटर्न रिवॉर्ड ( $s_{pat}$ ) को जोड़ता है।
- $s_{pat} = -z \cdot \min(0.1, \sum w_p \hat{b}^p_{RM})$ , जहाँ $w$ प्रत्येक विफलता प्रकार के लिए वेट (weights) हैं (CoT और Rep के लिए अधिक, Con और PR के लिए कम)।
- यह डिज़ाइन सुनिश्चित करता है कि गलत उत्तरों को शून्य रिवॉर्ड मिले, जबकि सही उत्तरों को दंडित किया जाए यदि वे अवांछनीय पैटर्न प्रदर्शित करते हैं, बिना प्राथमिक शुद्धता उद्देश्य को ओवरराइड किए।

3. मुख्य परिणाम (Key Results)

3.1 बेंचमार्क निष्कर्ष (PatternEval)

25 मॉडल कॉन्फ़िगरेशन (Qwen, Kimi, Seed, Claude, Mimo, और GPT परिवारों सहित) पर मूल्यांकन से पता चलता है:

व्यवस्थित मिसअलाइनमेंट (Systematic Misalignment): नॉन-थिंकिंग इन्फरेंस लगातार थिंकिंग इन्फरेंस की तुलना में उच्च विफलता दर प्रदर्शित करता है। सभी मॉडल्स के लिए अंतर ( $\Delta_{pat}$ ) सकारात्मक है, और कुछ फ्रंटियर मॉडल्स में यह अंतर 48.64 प्रतिशत अंक तक ऊंचा है (जैसे, Kimi-K2.6)।
प्रमुख विफलता मोड: CoT लीकेज और रिस्पॉन्स रिपिटिशन सबसे प्रचलित विफलताएं हैं, विशेष रूप से नॉन-थिंकिंग मोड में।
कैपेबिलिटी बनाम अलाइनमेंट: मॉडल स्केल बढ़ाने (जैसे, Qwen3.5 सीरीज़ में 4B से 397B तक) से टास्क एक्यूरेसी में सुधार होता है लेकिन यह क्रॉस-मोड ट्रिगर गैप को समान रूप से कम नहीं करता है। बड़े मॉडल्स में भी गैप काफी बड़ा (21–26 प्रतिशत अंक) बना रहता है।
लंबाई सहसंबंध (Length Correlation): रिस्पॉन्स लेंथ और ट्रिगर रेट के बीच एक मजबूत सकारात्मक सहसंबंध है (थिंकिंग मोड में $r=0.84$ , नॉन-थिंकिंग मोड में $r=0.64$ )। गलत उत्तर आमतौर पर लंबे और अधिक विफलता-प्रवण होते हैं।

3.2 पोस्ट-ट्रेनिंग परिणाम (PatternRL)

Qwen3-VL-4B और Qwen3-VL-8B पर प्रयोगों से सिद्ध होता है:

विफलताओं में कमी: PatternRL, शुद्धता-मात्र बेसलाइन (BaseRL) की तुलना में नॉन-थिंकिंग ट्रिगर रेट को काफी कम कर देता है।
- Qwen3-VL-4B: ट्रिगर में 13.08 प्रतिशत अंक की कमी आई।
- Qwen3-VL-8B: ट्रिगर में 14.35 प्रतिशत अंक की कमी आई।
एक्यूरेसी ट्रेड-ऑफ: जबकि PatternRL 8B मॉडल में बेसलाइन के सापेक्ष कुल एक्यूरेसी को बनाए रखता है, यह टास्क परफॉरमेंस में एक मामूली ट्रेड-ऑफ भी लाता है, विशेष रूप से 4B मॉडल के लिए जहाँ गणित और लॉजिक कार्यों में एक्यूरेसी थोड़ी कम हो जाती है।
सामान्यीकरण (Generalization): यह विधि विभिन्न कार्य परिवारों (VG, OS, KR) में रिस्पॉन्स-पैटर्न विफलताओं को प्रभावी ढंग से कम करती है, जिसके लिए अलग-अलग मोड के लिए अलग मॉडल की आवश्यकता नहीं होती है।

4. योगदान (Contributions)

रिस्पॉन्स-पैटर्न अलाइनमेंट का निर्धारण: यह पेपर रिस्पॉन्स-पैटर्न अलाइनमेंट को उत्तर की शुद्धता के पूरक आवश्यकता के रूप में परिभाषित करता है, यह रेखांकित करते हुए कि उपयोगकर्ता-दृश्य व्यवहार को विभिन्न इन्फरेंस मोडों में सुसंगत रहना चाहिए।
PatternEval बेंचमार्क: एक विफलता-समृद्ध डायग्नोस्टिक सेट का परिचय जो हाइब्रिड-थिंकिंग इंटरफेस के तहत चार विशिष्ट उपयोगकर्ता-दृश्य विफलताओं का परीक्षण करता है, जो अत्याधुनिक मॉडल्स में एक सुसंगत मिसअलाइनमेंट गैप को उजागर करता है।
PatternRM और PatternRL फ्रेमवर्क: एक रिस्पॉन्स-लेवल रिवॉर्ड मॉडल और एक रीइन्फोर्समेंट लर्निंग रणनीति का विकास जो स्पष्ट रूप से रिस्पॉन्स-पैटर्न विफलताओं को दंडित करता है। यह दृष्टिकोण टास्क परफॉरमेंस को काफी हद तक सुरक्षित रखते हुए मिसअलाइनमेंट को सफलतापूर्वक कम करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि नियंत्रण योग्य रीजनिंग प्रयास (controllable reasoning effort) अस्थिर रिस्पॉन्स व्यवहार की कीमत पर नहीं आना चाहिए। यह प्रदर्शित करता है कि मजबूत टास्क परफॉरमेंस गारंटी नहीं देती कि विभिन्न इन्फरेंस इंटरफेस के बीच रिस्पॉन्स पैटर्न स्थिर रहेंगे। PatternEval और PatternRL पेश करके, लेखक हाइब्रिड-थिंकिंग MLLMs को प्रशिक्षित करने के लिए एक व्यावहारिक ढांचा प्रदान करते हैं ताकि यह सुनिश्चित किया जा सके कि नॉन-थिंकिंग मोड न केवल सही बल्कि सुसंगत, संक्षिप्त और अनपेक्षित प्रक्रिया वर्णन (process narration) से मुक्त उत्तर प्रदान करें।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि PatternRL विफलताओं को कम करता है, लेकिन यह उन्हें पूरी तरह से समाप्त नहीं करता है, जो यह सुझाव देता है कि मौलिक सुधार के लिए केवल RL के बजाय शुरुआती प्रशिक्षण चरणों (जैसे SFT) के दौरान उच्च-गुणवत्ता वाले पर्यवेक्षण डेटा और बाधाओं की आवश्यकता हो सकती है। इसके अतिरिक्त, वे एक क्षमता-आधारित ट्रेड-ऑफ देखते हैं, जहाँ छोटे मॉडल पैटर्न-जागरूक अनुकूलन द्वारा लगाए गए प्रतिबंधों से अधिक प्रभावित हो सकते हैं।