Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM
यह शोध पत्र स्टेप-लेवल सेल्फ-कंसिस्टेंसी ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (SSC-GRPO) को प्रस्तुत करता है, जो एक नवीन विधि है जो कई रीजनिंग रोलआउट्स के माध्यम से सेल्फ-कंसिस्टेंसी स्कोर के आधार पर स्टेप-लेवल रिवार्ड्स प्रदान करके लार्ज लैंग्वेज मॉडल्स में कॉन्टेक्स्ट-सेंसिटिव तथ्यात्मक मतिभ्रम (hallucinations) को कम करती है, जिससे गणितीय तर्क और मतिभ्रम बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेहद बुद्धिमान, अति-रचनात्मक रोबोट को एक रहस्य सुलझाने के लिए सिखा रहे हैं। यह रोबोट पुस्तकालय की लगभग हर किताब पढ़ चुका है और इंसानों की तरह बात कर सकता है, लेकिन इसकी एक अजीब आदत है: कभी-कभी, जब यह किसी लंबी कहानी में गहराई से उतर जाता है, तो यह खुद ही तथ्य गढ़ने लगता है। यह आत्मविश्वास के साथ कह सकता है, "बटलर ने मोमबत्ती से हत्या की," भले ही सुराग स्पष्ट रूप से माली की ओर इशारा कर रहे हों। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। ऐसा नहीं है कि रोबोट जानबूझकर झूठ बोल रहा है; यह बस इसलिए होता है क्योंकि उसका दिमाग अपने ही विचारों की लंबी श्रृंखला में इतना उलझ जाता है कि वह भूल जाता है कि वह वास्तव में क्या जानता है।
लंबे समय तक, वैज्ञानिकों को लगा कि ये गलतियाँ इसलिए होती हैं क्योंकि रोबोट को उत्तर पता ही नहीं था। लेकिन क्या होगा अगर रोबोट को उत्तर पता है, लेकिन वह उस कहानी से भ्रमित हो जाता है जो वह खुद को सुना रहा है? यही वह पहेली है जिसे यह शोध पत्र सुलझाता है। शोधकर्ता देख रहे हैं कि कैसे ये AI मॉडल कदम-दर-कदम सोचते हैं, जैसे कोई जासूस नोटबुक पर सुराग लिख रहा हो। उन्होंने पाया कि रोबोट अक्सर अपने ही पैरों में उलझ जाता है, इसलिए नहीं कि उसमें ज्ञान की कमी है, बल्कि इसलिए क्योंकि उसके द्वारा लिखी जा रही कहानी का संदर्भ (context) उसे सच भुला देता है। इसे ठीक करने के लिए, उन्होंने एक नई प्रशिक्षण विधि बनाई है जो एक "स्व-जांच" (self-check) प्रणाली की तरह काम करती है, जो रोबोट को रुकने और पूछने के लिए सिखाती है, "रुको, क्या यह वाक्य उस सब के साथ मेल खाता है जो मैंने अभी लिखा है?"
समस्या: रोबोट का "ब्रेन फॉग" (Brain Fog)
मिलिए लार्ज लैंग्वेज मॉडल (LLM) से। इसे एक सुपर-स्मार्ट तोते के रूप में समझें जिसने पूरी इंटरनेट को याद कर लिया है। जब आप उससे कोई कठिन गणित का सवाल पूछते हैं, तो वह केवल उत्तर नहीं देता; वह समस्या को हल करने के लिए "सोचने" की कोशिश करता है, कदम-दर-कदम तर्क की एक लंबी श्रृंखला लिखता है। यह जटिल पहेलियों को सुलझाने के लिए बहुत अच्छा है, लेकिन इसमें एक दोष है। जैसे-जैसे विचार की श्रृंखला लंबी होती जाती है, रोबोट कभी-कभी "संदर्भ-संवेदनशील" (context-sensitive) हो जाता है।
कल्पना कीजिए कि आप अपने दिमाग में एक गणित की समस्या हल कर रहे हैं। आप जानते हैं कि होता है। लेकिन फिर, आप एक जादूगर के बारे में कहानी लिखना शुरू करते हैं जो एक मंत्र पढ़ता है जिससे संख्याएं फलों में बदल जाती हैं। अचानक, आपका दिमाग भ्रमित हो जाता है, और आप लिख सकते हैं, "तो, निश्चित रूप से एक केला है।" आप जानते हैं कि यह 300 है, लेकिन आपने जो खुद को कहानी सुनाई, उसने आपको भुला दिया।
शोधकर्ताओं ने पाया कि AI के साथ भी बिल्कुल यही होता है। वे इसे कॉन्टेक्स्ट-सेंसिटिव फैक्टुअल हैलुसिनेशन (Context-Sensitive Factual Hallucination) कहते हैं। रोबोट के दिमाग में सही तथ्य वास्तव में मौजूद होते हैं, लेकिन लंबे तर्क की प्रक्रिया का "शोर" उसे गलती करने के लिए मजबूर कर देता है। यह एक ऐसे संगीतकार की तरह है जो एक गाना पूरी तरह से बजाना जानता है, लेकिन दर्शकों के शोर से इतना विचलित हो जाता है कि गलत सुर लगा देता है।
खोज: यह ज्ञान की कमी नहीं है
यह समझने के लिए, टीम ने जासूसों की तरह काम किया। उन्होंने एक ऐसे रोब का लिया जिसने तर्क की लंबी श्रृंखला में गलती की थी और उससे एक सरल प्रश्न पूछा: "यदि मैं केवल उस एक गलत वाक्य को अलग कर दूँ और आपसे उसके बारे में अकेले पूछूँ, तो क्या आप इसे सही बता पाएंगे?"
इसका उत्तर लगभग हमेशा हाँ था।
जब उन्होंने उस गलती को अलग किया, तो रोबोट ने कहा, "ओह, बिल्कुल! का मान 300 है, केला नहीं!" इससे साबित हुआ कि रोबोट के पास ज्ञान की कमी नहीं थी; वह बस संदर्भ से भ्रमित हो गया था। वास्तव में, उनके विश्लेषण से पता चला कि इन रीजनिंग मॉडल्स द्वारा की जाने वाली गलतियों में से लगभग 70% इसी प्रकार का "ब्रेन फॉग" है, जहाँ मॉडल सच जानता है लेकिन अपनी ही कहानी में उलझ जाता है।
समाधान: "सेल्फ-कंसिस्टेंसी" कोच
तो, आप रोबोट को अपनी ही कहानी से भ्रमित होने से कैसे रोक सकते हैं? लेखकों ने एक नई प्रशिक्षण विधि बनाई जिसे SSC-GRPO (Step-Level Self-Consistency Group Relative Policy Optimization) कहा जाता है। यह बोलने में थोड़ा कठिन है, तो आइए इसे एक खेल के उदाहरण से समझते हैं।
कल्पना कीजिए कि आप 8 रोबोटों की एक टीम को एक ही पहेली को एक साथ हल करने के लिए प्रशिक्षित कर रहे हैं।
- द रोलआउट (The Rollout): प्रत्येक रोबोट अपना स्वयं का चरण-दर-चरण समाधान लिखता है।
- स्व-जांच (The Self-Check): केवल यह जांचने के बजाय कि अंतिम उत्तर सही है या नहीं, सिस्टम रोबोटों को अपने चरणों की तुलना करने के लिए कहता है। "रोबोट A, क्या आपका दूसरा चरण उस चीज़ से मेल खाता है जो रोबोट B और रोबोट C ने लिखा है?"
- पुरस्कार (The Reward): यदि किसी रोबोट का चरण उस चीज़ से मेल खाता है जो दूसरे कह रहे हैं (उच्च निरंतरता/consistency), तो उसे उच्च स्कोर मिलता है। यदि वह पटरी से उतर जाता है और कुछ अजीब कहता है जिससे कोई और सहमत नहीं है (कम निरंतरता), तो उसे कम स्कोर मिलता है।
यहाँ जादू यह है कि रोबोट खुद अपना जज बनता है। उसे यह बताने के लिए किसी मानव शिक्षक या तथ्यों के डेटाबेस की आवश्यकता नहीं है कि वह गलत है। उसे बस अपने "साथियों" (अपने ही अन्य संस्करणों) को देखने और यह महसूस करने की आवश्यकता है कि, "अरे, मैं अकेला हूँ जो कह रहा है कि उत्तर केला है। यह शायद गलत है।"
सिस्टम फिर इन स्कोर का उपयोग उन विशिष्ट चरणों को "पुरस्कार" देने और उन चरणों को "दंड" देने के लिए करता है जो सुसंगत (consistent) थे और जो हैलुसिनेशन थे। समय के साथ, रोबोट उन चरणों पर भरोसा करना सीख जाता है जो समूह में तर्कसंगत हैं और कहानी में फिट होने के लिए तथ्य गढ़ना बंद कर देता है।
परिणाम: स्मार्ट और अधिक ईमानदार रोबोट
टीम ने इस नई विधि का परीक्षण उपलब्ध सबसे कठिन गणित और तर्क चुनौतियों पर किया। उन्होंने Qwen3 और Llama3 जैसे मॉडल्स का उपयोग किया। परिणाम प्रभावशाली थे।
- बेहतर गणित: मानक गणित परीक्षणों पर, इस नई विधि ने रोबोटों को पहले की तुलना में उच्च स्कोर प्राप्त करने में मदद की। उदाहरण के लिए, एक परीक्षण में, नई विधि ने मानक प्रशिक्षण विधियों की तुलना में लगभग 1.8% का सुधार किया।
- कम हैलुसिनेशन: सबसे महत्वपूर्ण बात यह है कि रोबोटों ने वे "संदर्भ-संवेदनशील" गलतियाँ बहुत कम कीं। कितनी बार वे अपनी कहानियों से भ्रमित हुए, यह संख्या काफी कम हो गई।
- बाहरी मदद की आवश्यकता नहीं: अन्य विधियों के विपरीत जिनमें रोबोट को एक विशाल विश्वकोश में तथ्यों को खोजने की आवश्यकता होती है (जो धीमा और महंगा है), यह विधि केवल रोबोट के अपने मस्तिष्क का उपयोग करके खुद की जांच करती है।
शोधकर्ताओं ने प्रशिक्षण के दौरान एक और दिलचस्प बात देखी: जैसे-जैसे रोबोट सीखते गए, उनकी "निरंतरता" (consistency) बढ़ती गई। वे अपने आप से अधिक सहमत होने लगे, और भ्रमित करने वाले चरणों की संख्या कम हो गई। यह एक ऐसे छात्र को देखने जैसा था जो विचलित और भ्रमित अवस्था से बदलकर केंद्रित और आत्मविश्वासी हो गया हो।
यह क्यों महत्वपूर्ण है
यह शोध पत्र AI की एक बड़ी समस्या को ठीक करने का एक नया तरीका सुझाता है: गलत होते हुए भी आत्मविश्वास से भरी आवाज़ में बोलना। यह महसूस करते हुए कि रोबोट अक्सर उत्तर जानता है लेकिन बस कहानी में खो जाता है, लेखकों ने इसे ट्रैक पर रहने के लिए सिखाने का एक तरीका खोजा है।
उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे मापा। उन्होंने दिखाया कि जब आप गलती को अलग करते हैं, तो ज्ञान वहीं होता है। उन्होंने साबित किया कि उनकी नई विधि इन विशिष्ट प्रकार की त्रुटियों को कम करती है। हालांकि शोध पत्र में उल्लेख है कि इसे चलाने के लिए थोड़े अधिक कंप्यूटर पावर की आवश्यकता होती है (क्योंकि रोबोटों को कई बार खुद की जांच करनी पड़ती है), लेकिन AI को अधिक विश्वसनीय बनाने के लिए यह बदलाव सार्थक लगता है।
संक्षेप में, लेखकों ने AI को एक नया उपकरण दिया है: एक दर्पण। केवल कहानी के अगले कदम को आगे देखने के बजाय, रोबोट अब पीछे मुड़कर पूछना सीखता है, "क्या यह उस सब के साथ फिट बैठता है जो मैंने अब तक कहा है?" और ऐसा करके, वह तथ्य गढ़ना बंद कर देता है और सच बोलना शुरू कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।