Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road
यह शोधपत्र फाइन-ट्यून किए गए रीजनिंग मॉडल्स में "रीजनिंग श्रिंकेज" (तर्क संकुचन) की घटना की जांच करता है, जिसमें प्रशिक्षण डेटा में अस्पष्ट निर्णय-बिंदु परिदृश्यों की व्यापकता को प्राथमिक कारण के रूप में पहचाना गया है और यह प्रदर्शित किया गया है कि लक्षित डेटा संश्लेषण और विविधता-जागरूक डिकोडिंग इस कवरेज हानि को प्रभावी ढंग से कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को भूलभुलैया (maze) सुलझाना सिखा रहे हैं। आप चाहते हैं कि वह चाहे जो भी रास्ता चुने, वह बाहर निकलने का रास्ता ढूंढ सके, लेकिन आप यह भी चाहते हैं कि वह तेज़ और सटीक हो।
यह शोध पत्र एक अजीब समस्या की जांच करता है जो तब होती है जब हम उन्नत AI मॉडल (जैसे वे जो जटिल गणित या तर्क करते हैं) को "रीजनिंग" (तर्क करने वाले) विशेषज्ञ बनाने के लिए प्रशिक्षित करते हैं। हम इस समस्या को "कवरेज श्रिंकेज" (Coverage Shrinkage) कहते हैं।
यहाँ शोधकर्ताओं द्वारा दी गई सरल व्याख्या है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
समस्या: "सिकुड़ता हुआ" नक्शा
जब इन AI मॉडलों को प्रशिक्षित किया जाता है, तो वे उत्तर तक पहुँचने के लिए एक सबसे अच्छे रास्ते को खोजने में बहुत माहिर हो जाते हैं। यदि आप उनसे एक बार कोई प्रश्न पूछते हैं, तो उनकी सही उत्तर देने की संभावना बहुत अधिक होती है (इसे pass@1 कहा जाता है)।
हालाँकि, यदि आप उन्हें एक ही प्रश्न 10 या 100 बार पूछते हैं ताकि यह देखा जा सके कि वे इसे हल करने के कितने अलग-अलग तरीके अपना सकते हैं, तो वे विविधता देना बंद कर देते हैं। वे सभी एक ही सटीक उत्तर देने लगते हैं, या इससे भी बुरा, वे सभी एक ही गलत रास्ते पर फंस जाते हैं। उनका समाधानों का "नक्शा" सिकुड़ गया है। उन्होंने विभिन्न रास्तों को खोजने की अपनी क्षमता खो दी है।
अपराधी: "रास्ते में मोड़" (Forks in the Road)
शोधकर्ताओं का तर्क है कि ऐसा इसलिए नहीं है क्योंकि AI का सीखने का एल्गोरिदम टूटा हुआ है। इसके बजाय, समस्या प्रशिक्षण डेटा (training data) में निहित है।
एक कहानी की कल्पना करें जहाँ एक पात्र सड़क के मोड़ पर पहुँचता है।
- वास्तविक दुनिया: पात्र बाएँ या दाएँ जा सकता है। दोनों रास्ते वैध लग सकते हैं, लेकिन केवल एक ही खजाने तक ले जाता है।
- प्रशिक्षण डेटा: कहानी का पात्र केवल दाएँ रास्ते पर चलते हुए दिखाया जाता है। यह कभी नहीं बताता कि उसने दाएँ को क्यों चुना, या यह भी नहीं बताता कि बायाँ रास्ता एक विकल्प था।
शोधकर्ता इन क्षणों को "फोर्क्स इन द रोड" (Forks in the Road) कहते हैं। ये निर्णय के वे बिंदु हैं जहाँ मॉडल को कई वैध विकल्पों के बीच से एक चुनना होता है, लेकिन डेटा केवल एक ही रास्ता दिखाता है।
क्योंकि मॉडल केवल एक ही रास्ता चलते हुए देखता है, वह एक बुरी आदत सीख लेता है: "मुझे वही पहला विकल्प चुनना चाहिए जो सही लगे, और मुझे इस बात पर 100% आश्वस्त होना चाहिए कि मैं सही हूँ, भले ही मैं न हूँ।" वह अन्वेषण करना बंद कर देता है। वह "बाएँ" रास्ते पर विचार करना बंद कर देता है क्योंकि कहानी में कभी भी उस रास्ते का उल्लेख नहीं किया गया था।
प्रयोग: सिद्धांत को सिद्ध करना
शोधकर्ताओं ने दो चतुर सेटअप के साथ परीक्षण किया:
स्टार ग्राफ (भूलभुलैया):
उन्होंने एक सरल गणितीय पहेली बनाई जो एक तारे के आकार की भूलभुलैया जैसी थी। शुरुआत में, दो रास्ते थे। केवल एक ही उत्तर तक ले जाता था।- ग्रुप A को ऐसे डेटा पर प्रशिक्षित किया गया जिसमें मॉडल भूलभुलैया में आगे बढ़ते हुए एक मोड़ पर चुनाव करता हुआ दिखाया गया था।
- ग्रुप B को उत्तर से वापस शुरुआत की ओर पीछे चलते हुए दिखाया गया (जहाँ कोई चुनाव करने की आवश्यकता नहीं थी)।
- परिणाम: ग्रुप A (जिन्हें चुनाव करना पड़ा) ने वैकल्पिक रास्ते खोजने की अपनी क्षमता खो दी। ग्रुप B ने अपना पूरा नक्शा बरकरार रखा। इसने सिद्ध किया कि बिना पर्याप्त जानकारी के निर्णय लेने की क्रिया ही सिकुड़न का कारण बनती है।
स्टाइल स्विच (कोड बनाम शब्द):
उन्होंने उन गणितीय समस्याओं को देखा जिन्हें कोड लिखकर या साधारण अंग्रेजी लिखकर हल किया जा सकता है।- परिदृश्य 1: उन्होंने मॉडल को मिश्रित समस्याएं दीं, लेकिन प्रत्येक समस्या में केवल एक ही समाधान शैली थी (कुछ कोड थीं, कुछ शब्दों में)।
- परिनामक 2: उन्होंने मॉडल को वही मिश्रण दिया, लेकिन हर एक समस्या के लिए, उन्होंने कोड समाधान और शब्द समाधान दोनों दिखाए।
- परिणाम: परिदृश्य 1 में, मॉडल भ्रमित हो गया और छोटे, अप्रासंगिक संकेतों (जैसे शब्दों के क्रम) के आधार पर एक शैली चुनने लगा, जिससे उसकी विविधता कम हो गई। परिदृश्य 2 में, जहाँ मॉडल ने एक ही समस्या के लिए दोनों विकल्प देखे, वह लचीला बना रहा और अपना "नक्शा" विस्तृत बनाए रखा।
"स्प्यूरियस क्यूज़" (बुरे संकेत/Spurious Cues)
चूंकि मॉडल को इन "मोड़ों" पर बिना सही उत्तर जाने निर्णय लेने के लिए मजबूर किया जाता है, इसलिए वह स्प्यूरियस क्यूज़ (नकली संकेतों) को पकड़ने लगता है।
- उदाहरण: यदि समस्या "Let" शब्द से शुरू होती है, तो मॉडल तय कर सकता है, "ठीक है, मैं 'बैकट्रैकिंग' सोचने की शैली का उपयोग करूँगा।" यदि यह "To" से शुरू होती है, तो मॉडल तय कर सकता है, "ठीक है, मैं 'लीनियर' शैली का उपयोग करूँगा।"
- मॉडल वास्तव में गणित के बारे में नहीं सोच रहा है; वह बस पहले शब्द पर प्रतिक्रिया दे रहा है। यह उसे कमजोर (brittle) बनाता है। यदि आप पहला शब्द बदल देते हैं, तो मॉडल सोचने के पूरी तरह से अलग (और शायद खराब) तरीके पर स्विच कर सकता है।
समाधान: पहले कदम को हिलाना (Wiggling the First Step)
शोध पत्र पूरे मॉडल को फिर से प्रशिक्षित किए बिना इसे ठीक करने के दो तरीके सुझाता है:
- बेहतर डेटा डिज़ाइन: प्रशिक्षण डेटा बनाते समय, केवल अलग-अलग प्रकार की समस्याओं को मिलाएँ ही नहीं। प्रत्येक विशिष्ट समस्या के लिए, मॉडल को उसे हल करने के कई वैध तरीके दिखाएं। यह मॉडल को सिखाता है कि "इस मोड़ पर, दोनों रास्ते संभव हैं।"
- "पहला शब्द" वाला तरीका: चूंकि मॉडल अपने द्वारा उत्पन्न पहले शब्द पर अटक जाता है, शोधकर्ताओं ने पाया कि वे शुरुआत को "हिलाकर" (jiggle) इसे ठीक कर सकते हैं। विभिन्न सामान्य शब्दों (जैसे "Okay," "Let's," या "To") के साथ शुरू करने के लिए मॉडल को मजबूर करके, वे उन अलग-अलग सोचने की शैलियों को अनलॉक कर सकते हैं जो कहीं खो गई थीं।
- उपमा: यह एक अटके हुए दरवाजे की तरह है। मॉडल को लगता है कि दरवाजा लॉक है, लेकिन यदि आप हैंडल को थोड़ा अलग दिशा में धकेलते हैं (पहला शब्द बदलते हैं), तो दरवाजा खुल जाता है, और मॉडल उन सभी रास्तों को याद कर लेता है जिन्हें वह जानता था।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि AI मॉडल विविधतापूर्ण होना नहीं "भूलते" हैं। वे बस एक अकेले रास्ते पर लॉक (अटक) हो जाते हैं क्योंकि उनके प्रशिक्षण डेटा ने उन्हें बिना विकल्पों को दिखाए, "रास्ते के मोड़ों" पर अंधे निर्णय लेने के लिए मजबूर किया। इन विकल्पों को डेटा में प्रस्तुत करने के तरीके को बदलकर, या उत्तर की शुरुआत में मॉडल को थोड़ा सा धक्का देकर, हम उस खोई हुई विविधता को वापस पा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।