Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models
यह शोध पत्र DiScO का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो विविध विचार स्कीमा (reasoning schemata)—जिसमें तर्क संक्रमण (reasoning transitions) और उत्तर के संभावित विकल्प (answer candidates) शामिल हैं—को स्पष्ट रूप से परिभाषित और अनुकूलित करके बड़े भाषा मॉडल (large language model) की तर्क क्षमता को बढ़ाता है, जो स्कीमा जागरूकता (schemata awareness), सुदृढीकरण शिक्षण (reinforcement learning) और विविध अनुमान (diverse inference) की एक तीन-चरणीय प्रक्रिया के माध्यम से किया जाता है, जिसके परिणामस्वरूप मानक विधियों की तुलना में गणितीय बेंचमार्क पर बेहतर प्रदर्शन और बेहतर त्रुटि सुधार (error recovery) प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: केवल कठिन मत सोचो, बल्कि अलग तरह से सोचो
कल्पना कीजिए कि आप एक बहुत ही जटिल भूलभुलैया (maze) को सुलझाने की कोशिश कर रहे हैं। अधिकांश AI मॉडल (लार्ज रीजनिंग मॉडल्स) एक अकेले धावक की तरह होते हैं जो एक रास्ते पर दौड़ता है, दीवार से टकराता है, वापस मुड़ता है, और फिर से उसी रास्ते पर थोड़ा तेज़ दौड़ने की कोशिश करता है। वे लूप में फंस जाते हैं या हार मान लेते हैं क्योंकि वे अपने पहले विचार पर बहुत अधिक केंद्रित होते हैं।
यह शोध पत्र तर्क देता है कि जटिल समस्याओं को हल करने के लिए, AI को केवल तेज़ नहीं दौड़ना चाहिए; उसे एक बेहतर खोजकर्ता (explorer) बनना चाहिए। लेखक एक अवधारणा पेश करते हैं जिसे "थिंकिंग स्कीमाटा" (Thinking Schemata) कहा जाता है। इसे AI की आंतरिक "मानचित्र बनाने" (map-making) की शैली के रूप में समझें।
उन्होंने पाया कि AI तब सबसे अच्छा प्रदर्शन करता है जब उसकी मानचित्र बनाने की शैली विविध (diverse) होती है। विशेष रूप से, उन्होंने दो चीजों पर ध्यान दिया:
- रीज़निंग ट्रांज़िशन (Reasoning Transitions): AI कितनी बार अपना विचार बदलता है या अपनी रणनीति बदलता है (जैसे, "रुको, वह गणित काम नहीं आया, चलो अब एक चित्र बनाकर देखते हैं")।
- आंसर कैंडिडेट्स (Answer Candidates): अंतिम उत्तर चुनने से पहले AI कितने अलग-अलग संभावित उत्तरों पर विचार करता है।
शोध पत्र का दावा है: AI जितना अधिक अपना विचार बदलेगा और अलग-अलग कोणों से प्रयास करेगा, उसके सही उत्तर खोजने की संभावना उतनी ही अधिक होगी।
समस्या: "ज़िद्दी धावक" (The Stubborn Runner)
वर्तमान AI मॉडल अक्सर एक ही ढर्रे में फंस जाते हैं। यदि वे किसी गणित की समस्या को एक निश्चित तरीके से हल करना शुरू करते हैं, तो वे उसी को करते रहते हैं, भले ही उन्हें आधे रास्ते में एहसास हो जाए कि उन्होंने गलती की है। वे कह सकते हैं, "मुझे लगता है कि उत्तर 12 है," फिर उन्हें एहसास होता है कि 12 गलत है, लेकिन एक पूरी तरह से नए दृष्टिकोण को आज़माने के बजाय, वे बस 12 को थोड़ा बदलकर कहते हैं, "ठीक है, शायद 12.1?"
उनमें यह कहने की लचीलापन (flexibility) की कमी होती है कि, "ठीक है, मैं गलत था। चलिए इस पूरे विचार को कूड़ेदान में डाल देते हैं और एक अलग दृष्टिकोण से फिर से शुरुआत करते हैं।"
समाधान: DiScO (डाइवर्स स्कीमाटा पॉलिसी ऑप्टिमाइजेशन)
लेखकों ने एक नई प्रशिक्षण विधि बनाई है जिसे DiScO कहा जाता है। आप DiScO को एक ऐसे कोच के रूप में देख सकते हैं जो AI को एक लचीला खोजकर्ता बनना सिखाता है। यह तीन चरणों में काम करता है:
1. AI को "अपने विचारों को लेबल करना" सिखाना (Schemata-Aware SFT)
सबसे पहले, AI को एक "सोचने वाली टोपी" (thinking cap) पहनने के लिए प्रशिक्षित किया जाता है जो उसे अपनी विचार प्रक्रिया को देखने में मदद करती है। यह अपने स्वयं के तर्क को विशेष लेबल के साथ टैग करना सीखता है:
- \AnswerCandidate: "मुझे लगता है कि उत्तर X हो सकता है।"
- \ReasoningTransition: "रुको, मैं अब अपनी रणनीति बदल रहा हूँ।"
यह एक छात्र को होमवर्क के हाशिए (margins) में "मैं अटक गया हूँ" या "चलिए एक अलग तरीका आज़माते हैं" लिखने के लिए सिखाने जैसा है। यह AI को यह समझने में मदद करता है कि वह क्या सोच रहा है, न कि केवल यह कि वह क्या सोच रहा है।
2. "विचार बदलने" को पुरस्कृत करना (Diversity-Oriented RL)
इसके बाद, AI एक खेल खेलता है जहाँ उसे केवल सही उत्तर के लिए ही नहीं, बल्कि विविध (diverse) होने के लिए भी अंक मिलते हैं।
- यदि AI समस्या को हल करने के तीन अलग-अलग तरीके आज़माता है, तो उसे बोनस मिलता है।
- यदि वह "गणित करने" से "चित्र बनाने" की ओर स्विच करता है, तो उसे बोनस मिलता है।
- यदि वह बार-बार एक ही वाक्य दोहराता रहता है, तो उसे कोई अंक नहीं मिलता।
यह एक कोच द्वारा एक धावक को दिए गए निर्देश जैसा है: "यदि तुम केवल एक ही चक्कर लगाते हो, तो तुम्हें C ग्रेड मिलेगा। लेकिन यदि तुम जंगल, फिर नदी, और फिर पहाड़ियों के माध्यम से दौड़ने की कोशिश करते हो, तो तुम्हें A+ मिलेगा।" AI सीखता है कि विभिन्न पथों की खोज करना मूल्यवान है।
3. "ताज़ा शुरुआत" वाला तरीका (Inference-Time Diversity)
अंत में, जब AI वास्तव में कोई परीक्षा दे रहा होता है (इन्फरेंस टाइम), तो सिस्टम के पास एक सुरक्षा जाल (safety net) होता है। यदि AI बड़बड़ाने लगता है या लूप में फंस जाता है (खुद को दोहराता है), तो सिस्टम उसकी विचार प्रक्रिया के शुरुआती हिस्से को काट देता है और कहता है, "ठीक है, तुमने अभी जो भी कहा उसका शुरुआती 20% भूल जाओ। जो तुम्हारे पास बचा है, उसके साथ फिर से शुरू करो।"
यह AI को मजबूर करता है कि वह "रीसेट" हो और समस्या को नई दृष्टि से देखे, जिससे वह मानसिक डेड एंड (dead end) में फंसने से बच जाता है।
क्या हुआ? (परिणाम)
शोधकर्ताओं ने इसका परीक्षण कठिन गणितीय समस्याओं (जैसे कि उच्च-स्तरीय प्रतियोगिताओं में पाई जाने वाली समस्याएं) पर किया।
- बेहतर स्कोर: DiScO के साथ प्रशिक्षित AI ने मानक AI मॉडलों की तुलना में काफी अधिक स्कोर प्राप्त किया, विशेष रूप से सबसे कठिन समस्याओं पर।
- बेहतर रिकवरी: जब AI ने शुरुआत में गलती की, तो DiScO-प्रशिक्षित मॉडल यह पहचानने में बहुत बेहतर था कि, "ओह नहीं, मैं गलत दिशा में जा रहा था," और सही रास्ता खोजने के लिए एक नया मार्ग अपनाने में सक्षम था। मानक मॉडल अक्सर गलत रास्ते पर चलते रहते हैं।
- अधिक विकल्प: DiScO मॉडल ने केवल एक उत्तर का अनुमान नहीं लगाया; उसने सही उत्तर पर बैठने से पहले कई अलग-अलग "आंसर कैंडिडेट्स" की खोज की।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि विविधता ही कुंजी है (diversity is key)। जिस तरह एक कठिन पहेली सुलझाने वाले व्यक्ति को अलग-अलग रणनीतियों को आज़माने, अलग दृष्टिकोण अपनाने और पहले विचार पर अड़े न रहने से लाभ होता है, वैसे ही AI मॉडल भी बहुत बेहतर प्रदर्शन करते हैं जब उन्हें विविध और लचीले तरीकों से सोचने के लिए प्रोत्साहित किया जाता है।
लेखक सुझाव देते हैं कि AI तर्क (reasoning) का भविष्य केवल मॉडल्स को बड़ा या तेज़ बनाने के बारे में नहीं है, बल्कि उन्हें अधिक विविध विचारक (diverse thinkers) बनाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।