Logic-Regularized Verifier Elicits Reasoning from LLMs
यह शोध पत्र LOVER को प्रस्तुत करता है, जो एक अनसुपरवाइज्ड (unsupervised) वेरीफायर है जो बिना किसी महंगी सुपरवाइज्ड डेटा के, ऑफ-द-शेल्फ (off-the-shelf) LLMs से मजबूत तर्क प्राप्त करने के लिए रीजनिंग पाथ्स पर तार्किक बाधाओं का लाभ उठाता है, और सुपरवाइज्ड बेसलाइन्स के समान प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान लेकिन कभी-कभी अति-आत्मविश्वासी मित्र है (AI) जिसे पहेलियाँ सुलझाना पसंद है। जब आप उससे कोई कठिन गणित का सवाल पूछते हैं, तो वह केवल एक उत्तर नहीं देता; बल्कि वह उस तक पहुँचने के अपने पूरे सफर की एक कहानी लिखता है। कभी-कभी यह कहानी शानदार होती है, और कभी-कभी वह अपने ही तर्क में खोकर कोई मूर्खतापूर्ण गलती कर बैठता है।
समस्या यह है: आप बिना खुद उत्तर कुंजी (answer key) चेक किए कैसे जान सकते हैं कि कौन सी कहानी सही है?
आमतौर पर, कंप्यूटर को इन कहानियों को चेक करना सिखाने के लिए, हमें हजारों उत्तरों को पढ़ने और यह कहने के लिए मानव विशेषज्ञों को काम पर रखना पड़ता है कि, "हाँ, यह सही है" या "नहीं, यह गलत है।" यह महंगा है, धीमा है, और कभी-कभी सभी विशेषज्ञ एक ही तरह से सोचते हैं, जिससे वे चतुर लेकिन असामान्य समाधानों को छोड़ देते हैं।
यह शोध पत्र एक नया टूल पेश करता है जिसे LOVER (लॉजिक-रेगुलराइज्ड वेरीफायर) कहा जाता है, जो AI के लिए एक स्वयं-जांच करने वाले आंतरिक दिशा-सूचक यंत्र (internal compass) की तरह कार्य करता है। इसे किसी मानव शिक्षक की आवश्यकता नहीं है; यह स्वयं को तर्क के नियमों का उपयोग करके सिखाता है।
यह कैसे काम करता है, यहाँ कुछ सरल रूपकों (metaphors) का उपयोग किया गया है:
1. "क्या होगा अगर" का खेल (कंट्रास्टिव असर्शन - Contrastive Assertions)
केवल AI की अंतिम कहानी को देखने के बजाय, LOVER "क्या होगा अगर?" का खेल खेलता है।
- यह AI की कहानी लेता है और उसमें एक टैग जोड़ देता है कि, "यह एक सत्य उत्तर है।"
- फिर, यह उसी कहानी को लेता है और उसमें एक टैग जोड़ देता है कि, "यह एक असत्य उत्तर है।"
यह AI के आंतरिक मस्तिष्क (इसके हिडन लेयर्स) से पूछता है: "जब मैं कहता हूँ कि यह सत्य है, तो क्या यह कहानी सच लगती है? क्या यह कहानी तब भी गलत लगती है जब मैं इसे असत्य कहता हूँ?" यह AI को अपने स्वयं के काम के बारे में वास्तव में क्या "विश्वास" है, उसे प्रकट करने में मदद करता है।
2. खेल के तीन नियम (लॉजिकल कंस्ट्रेंट्स - Logical Constraints)
चूँकि AI को ईमानदार रखने के लिए कोई मानव शिक्षक नहीं है, इसलिए LOVER इन तीन सख्त "घर के नियमों" का पालन करता है:
- नियम #1: पलटना नियम (नेगेशन कंसिस्टेंसी - Negation Consistency)
यदि AI सोचता है कि एक कहानी "सत्य" है, तो उसे उसी कहानी को "असत्य" लेबल के साथ "असत्य" भी मानना चाहिए। वे दोनों सही नहीं हो सकते, और वे दोनों गलत भी नहीं हो सकते। वे एक-दूसरे के विपरीत होने चाहिए। - नियम #2: टीम का नियम (इंट्रा-ग्रुप कंसिस्टेंसी - Intra-group Consistency)
कल्पना कीजिए कि AI 10 अलग-अलग कहानियाँ बनाता है, और उनमें से 3 कहानियाँ एक ही अंतिम संख्या (जैसे, "42") पर समाप्त होती हैं। भले ही वहां तक पहुँचने के रास्ते अलग-अलग हों, यदि वे सभी एक ही अंतिम उत्तर पर सहमत होते हैं, तो LOVER मानता है कि वे सभी संभवतः एक साथ सही (या एक साथ गलत) हैं। वे उन्हें एक टीम की तरह मानता है। - नियम #3: एक विजेता का नियम (इंटर-ग्रुप कंसिस्टेंसी - Inter-group Consistency)
यदि AI की कहानियाँ "42", "100" और "7" पर समाप्त होती हैं, तो उनमें से केवल एक समूह ही सही उत्तर हो सकता है। LOVER सिस्टम को केवल एक विजेता समूह चुनने के लिए मजबूर करता है, जिससे AI यह कहने से रुक जाता है कि, "वास्तव में, 42, 100 और 7 सभी इस गणित के प्रश्न के सही उत्तर हैं।"
3. परिणाम: एक स्व-सुधार करने वाला न्यायाधीश (A Self-Improving Judge)
AI को उसके अपने आंतरिक विचारों का पालन करने के लिए मजबूर करके, LOVER एक स्व-सुधार करने वाला न्यायाधीश बन जाता है।
- होमवर्क की जरूरत नहीं: इसे मानव द्वारा ग्रेड किए गए उत्तरों के डेटासेट की आवश्यकता नहीं है। यह स्वयं द्वारा उत्पन्न "अनलेबल" डेटा का उपयोग करता है।
- किसी के भी साथ काम करता है: यह आज उपलब्ध किसी भी मानक AI मॉडल के साथ काम करता है।
- अनुमान लगाने से बेहतर: परीक्षणों में, यह विधि बहुमत मतदान (Majority Voting) या संभावना संख्याओं (CoT-Decoding) को देखने की तुलना में बहुत बेहतर थी। इसने लगभग उतना ही प्रदर्शन किया जितना कि यदि इसे मानव विशेषज्ञों द्वारा प्रशिक्षित किया गया होता, लेकिन बिना उस लागत के।
मुख्य निष्कर्ष (The Bottom Line)
LOVER को एक तर्क-आधारित फिल्टर के रूप में समझें। यह AI के बिखरे हुए और विविध विचारों को लेता है, उन्हें तीन नियमों के सेट (लॉजिकल सीव्स) से गुजारता है, और निरर्थक बातों को छानकर अलग कर देता है, जिससे सबसे विश्वसनीय तर्क पथ पीछे रह जाते हैं। यह साबित करता है कि आपको हर परीक्षा को ग्रेड करने के लिए मानव की आवश्यकता नहीं है यदि आप छात्र को तर्क के नियमों का उपयोग करके स्वयं को ग्रेड करना सिखा सकें।
सीमाओं पर ध्यान दें: शोध पत्र में उल्लेख किया गया है कि इस टूल को काम करने के लिए AI के "आंतरिक मस्तिष्क" (इसके हिडन स्टेट्स) को देखने की आवश्यकता होती है। इसका अर्थ है कि यह उन ओपन-सोर्स मॉडल्स के साथ बहुत अच्छा काम करता है जहाँ आप कोड देख सकते हैं, लेकिन इसे "ब्लैक बॉक्स" मॉडल्स (जैसे कुछ कमर्शियल चैटबॉट्स) पर उपयोग नहीं किया जा सकता जहाँ आप अंदर नहीं देख सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।