LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing
यह शोध पत्र यह पहचान करता है कि मानक तर्क दृष्टिकोण और सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (RLVR), व्यक्तिपरक सत्यापन कार्यों पर "तर्क पतन" (reasoning collapse) का कारण बनकर विफल हो जाते हैं, और एक सशर्त लंबाई-दंडित प्रशिक्षण एल्गोरिदम प्रस्तावित करता है जो विशिष्ट सामाजिक-भाषाई व्यक्तित्वों (socio-linguistic personas) के अनुकूल तर्क शैलियों को अपनाने के लिए एक गतिशील रूटिंग आर्किटेक्चर के साथ मिलकर प्रदर्शन को पुन: स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक निष्पक्ष न्यायाधीश बनना सिखाने की कोशिश कर रहे हैं। विज्ञान की दुनिया में, इस रोबोट को 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है, और यह एक डिजिटल मस्तिष्क की तरह है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आमतौर पर, जब हम इन रोबोटों को कठिन समस्याओं को हल करने के लिए तैयार करना चाहते हैं, तो हम उन्हें "ज़ोर से सोचना" सिखाते हैं। इसे चेन-ऑफ-थॉट (Chain-of-Thought) कहा जाता है: केवल उत्तर का अनुमान लगाने के बजाय, रोबोट चरण-दर-चरण स्पष्टीकरण लिखता है, जैसे कोई छात्र गणित के टेस्ट में अपना काम दिखाता है। यह गणित और कोडिंग के लिए अद्भुत रूप से काम करता है क्योंकि वहां एक एकल, निर्विवाद "सही" उत्तर होता है, और रोबोट एक सख्त नियम पुस्तिका के विरुद्ध अपने काम की जांच कर सकता है।
लेकिन क्या होगा जब काम गणित जैसा न हो? क्या होगा यदि रोबोट को किसी व्यक्तिपरक (subjective) चीज़ का निर्णय लेना हो, जैसे "क्या यह मूवी रिव्यू बहुत बुरा है?" या "क्या यह चैट संदेश सांस्कृतिक रूप से संवेदनशील है?" इन मामलों में, कोई एक सही उत्तर नहीं होता; यह मानवीय भावनाओं, संदर्भ और लहजे पर निर्भर करता है। यह पेचीदा दुनिया विषयपरक कार्यों (subjective tasks) की है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या वही "काम दिखाने" वाली रणनीति, जो इन रोबोटों को गणित में जीनियस बनाती है, उन्हें मानवीय भावनाओं का बेहतर निर्णायक भी बना सकती है? यदि हम एक रोबोट को भावनाओं से जुड़े प्रश्न पर बहुत अधिक सोचने के लिए मजबूर करते हैं, तो क्या वह स्मार्ट हो जाता है, या वह भ्रमित हो जाता है?
रोबोट का पहचान संकट: जब बहुत अधिक सोचना भारी पड़ जाता है
यह शोध पत्र एक आश्चर्यजनक खोज की कहानी बताता है: मानवीय भावनाओं को परखने वाले रोबोटों के लिए, उन्हें "अपना काम दिखाने" के लिए मजबूर करना अक्सर उन्हें बेहतर बनाने के बजाय बदतर बना देता है। शोधकर्ताओं ने नेटफ्लिक्स के वास्तविक डेटा का उपयोग करते हुए पाया कि जब उन्होंने उन्नत AI मॉडलों को विषयपरक कार्यों पर अपने प्रसिद्ध "चेन-ऑफ-थॉट" तर्क का उपयोग करने के लिए कहा, तो मॉडल वास्तव में अधिक गलतियाँ करने लगे।
यह एक पेशेवर शेफ से सैंडविच बनाते समय हर एक कट और स्टिर (चलाने) को समझाने के लिए कहने जैसा है। गणित की समस्या के लिए, चरणों को समझाना मदद करता है। लेकिन एक सैंडविच के लिए, शेफ स्पष्टीकरण में इतना उलझ सकता है कि वह खाने का स्वाद लेना ही भूल जाए। अध्ययन में पाया गया कि कई विषयपरक कार्यों के लिए, "बिना तर्क वाला" रोबोट (जो बस एक त्वरित उत्तर देता था) वास्तव में "तर्क करने वाले" रोबोट की तुलना में अधिक सटीक था।
महान "रीजनिंग कोलैप्स" (तर्क का पतन)
शोधकर्ताओं ने गहराई से जांच की और उन्हें एक अजीब गड़बड़ी मिली जिसे वे रीजनिंग कोलैप्स (Reasoning Collapse) कहते हैं। कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने के लिए प्रशिक्षित कर रहे हैं। यदि आप कुत्ते को गेंद लाने के लिए पुरस्कृत करते हैं, तो वह गेंद लाना सीख जाता है। लेकिन क्या होगा यदि आप गलती से कुत्ते को गेंद लाने के बजाय तेज़ दौड़ने के लिए पुरस्कृत कर देते हैं? कुत्ता गेंद लाना पूरी तरह से छोड़ सकता है और बस गोल-गोल घूमना शुरू कर सकता है क्योंकि इनाम पाने का यह सबसे तेज़ तरीका है।
AI मॉडलों के साथ भी बिल्कुल यही हुआ। शोधकर्ताओं ने इन रोबोटों को विषयपरक कार्यों पर बेहतर तर्क करना सिखाने के लिए RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) नामक एक शक्तिशाली प्रशिक्षण पद्धति का उपयोग किया। स्मार्ट होने के बजाय, रोबोटों को एहसास हुआ कि एक लंबा, विचारशील स्पष्टीकरण लिखना महंगा और धीमा है। उन्होंने खोज निकाला कि वे बिना सोचे-समझे जल्दी से अनुमान लगाकर भी वही "पुरस्कार" (एक सही उत्तर) प्राप्त कर सकते हैं।
इसलिए, रोबोट "कोलैप्स" हो गए। उन्होंने अपने चरण-दर-चरण विचार लिखना बंद कर दिया और जुआरी की तरह अनुमान लगाना शुरू कर दिया। उनके सोचने की औसत लंबाई सैकड़ों शब्दों से घटकर लगभग शून्य हो गई। पेपर दिखाता है कि मानक प्रशिक्षण विधियाँ, जो गणित के लिए बहुत अच्छा काम करती हैं, वास्तव में इन रोबकों को मानवीय भावनाओं के बारे में सोचते समय सोचने का त्याग करने के लिए बहका देती हैं।
जादुई समाधान: "लेंथ पेनल्टी" (लंबाई का दंड)
इसे ठीक करने के लिए, लेखकों ने एक नया तरीका बनाया, जिसे वे कंडीशनल लेंथ-पेनलाइज्ड रिवॉर्ड (conditional length-penalized reward) कहते हैं। इसे एक सख्त शिक्षक की तरह समझें जो कहता है, "आप एक सही उत्तर के लिए गोल्ड स्टार पा सकते हैं, लेकिन केवल तभी, जब आप यह भी समझाएं कि वह क्यों है, इसके लिए एक पूरा पैराग्राफ लिखें।"
यदि रोबोट सही उत्तर का अनुमान लगाता है लेकिन पर्याप्त शब्द नहीं लिखता है, तो उसे कोई स्टार नहीं मिलता। यदि वह एक लंबा पैराग्राफ लिखता है लेकिन उत्तर गलत देता है, तो भी उसे कोई स्टार नहीं मिलता। उसे पुरस्कार तभी मिलता है जब वह दोनों कार्य करता है: थोड़ा सोचता भी है और सही उत्तर भी देता है।
इस सरल नियम ने "कोलैप्स" को रोक दिया। रोबोटों को अपनी सोचने की प्रक्रिया को जीवित रखने के लिए मजबूर किया गया। परिणाम प्रभावशाली थे: कुछ कार्यों पर, इस पद्धति ने न केवल समस्या को ठीक किया; बल्कि इसने उन्हें पहले से भी बेहतर प्रदर्शन करने में सक्षम बनाया, यहाँ तक कि उनके मूल "बिना तर्क वाले" संस्करणों को भी पीछे छोड़ दिया। उदाहरण के लिए, "क्वेरी सेंसिटिविटी" (Query Sensitivity) के कार्य पर, इस सुधार ने रोबोट की सटीकता स्कोर (macro-F1) को 0.749 से बढ़ाकर 0.85 बाँक 0.851 कर दिया।
"पर्सोना" का मोड़: एक ही आकार सबके लिए उपयुक्त नहीं है
इस सुधार के बावजूद, शोधकर्ताओं ने एक और अजीब बात देखी। उन्होंने पाया कि सोचने का तरीका स्वयं सोचने जितना ही महत्वपूर्ण था। उन्होंने रोबोटों का परीक्षण 1,500 विभिन्न "पर्सोना" (व्यक्तित्व) का उपयोग करके किया—मूल रूप से अलग-अलग चरित्र आवाजें या व्यक्तित्व, जैसे कि "एक सख्त पुलिस अधिकारी," "एक दयालु दादी," या "एक कूल किशोर।"
उन्होंने पाया कि रोबोट की सटीकता इस बात पर बहुत अधिक बदल जाती थी कि वह किस व्यक्तित्व का नाटक कर रहा है। एक कार्य पर, "सर्वश्रेष्ठ" पर्सोना ने 0.792 का स्कोर प्राप्त किया, जबकि "सबसे खराब" पर्सोना का स्कोर केवल 0.416 था। यह एक बहुत बड़ा अंतर है! यह सुझाव देता है कि रोबोट की "सोचने की शैली" को स्थिति से मेल खाना चाहिए। एक रोबोट जो सख्त नियम लागू करने वाला बनने की कोशिश कर रहा है, वह एक मिलनसार चैट मॉडरेटर होने में विफल हो सकता है, और इसके विपरीत भी।
पेपर भविष्य के लिए एक नया ब्लूप्रिंट सुझाता है: हर रोबोट को एक ही कठोर, गणितीय तरीके से सोचने के लिए मजबूर करने के बजाय, हमें उन्हें एक गिरगिट (chameleon) की तरह होना सिखाना चाहिए। रोबोट को काम के आधार पर अपना "सोचने का व्यक्तित्व" बदलने में सक्षम होना चाहिए। यदि कार्य सुरक्षा के बारे में है, तो वह "सख्त प्रवर्तक" की टोपी पहनता है। यदि कार्य मददगार होने के बारे में है, तो वह "सहानुभूतिपूर्ण मित्र" की टोपी पहनता है।
यह आपके लिए क्या मायने रखता है
यह अध्ययन उन सभी के लिए एक बड़ी चेतावनी है जो मानवीय सामग्री को परखने के लिए AI बना रहे हैं। यह साबित करता है कि आप "गणित के जीनियस" प्रशिक्षण विधियों को "मानवीय भावनाओं" वाले कार्यों पर सीधे कॉपी-पेस्ट नहीं कर सकते। यदि आप ऐसा करते हैं, तो AI सोचना पूरी तरह से बंद कर सकता है और केवल अनुमान लगाना शुरू कर सकता है।
अच्छी खबर यह है कि लेखकों के पास एक समाधान है। अपने नए "लेंथ पेनल्टी" वाले तरीके का उपयोग करके, हम रोबोटों को ढहने (collapse) से रोक सकते हैं। और "पर्सोना" विचार को देखकर, हम ऐसे रोबोट बना सकते हैं जो न केवल स्मार्ट हों, बल्कि सामाजिक रूप से भी जागरूक हों, जिन्हें पता हो कि विशिष्ट स्थिति के लिए कैसे सोचना है। यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी स्मार्ट होने का सबसे अच्छा तरीका यह जानना है कि कब कंप्यूटर की तरह सोचना बंद करें और इंसान की तरह सोचना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।