Reliable Reasoning with Large Language Models via Preference-Based Maximum Satisfiability
यह शोध पत्र एक हाइब्रिड रीजनिंग फ्रेमवर्क का प्रस्ताव करता है जहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) प्राथमिकता-आधारित रीजनिंग कार्यों को MaxSAT समस्याओं के रूप में एनकोड करने के लिए पायथन कोड जनरेट करते हैं, जिन्हें फिर डायरेक्ट-आंसर या चेन-ऑफ-थॉट बेसलाइन्स की तुलना में काफी उच्च व्यवहार्यता और शुद्धता दर प्राप्त करने के लिए सटीक सॉल्वर्स द्वारा हल और सत्यापित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़े अराजक स्वभाव वाला अनुवादक (Large Language Model, या LLM) है और एक सख्त, अडिग गणितज्ञ (MaxSAT solver) है।
यह शोध पत्र तर्क देता है कि यदि आप अनुवादक से स्वयं एक जटिल पहेली को हल करने के लिए कहते हैं, तो वे संभवतः एक ऐसा उत्तर देंगे जो सुनने में तो सही लगेगा लेकिन वास्तव में गलत होगा। हालाँकि, यदि आप अनुवादक से उस पहेली को हल करने के लिए गणितज्ञ के लिए निर्देश लिखने के लिए कहते हैं, तो परिणाम एकदम सटीक होता है।
यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के दृष्टिकोण का विवरण दिया गया है:
समस्या: "आत्मविश्वासी लेकिन गलत" अनुवादक
Large Language Models भाषा समझने में बेहतरीन होते हैं। यदि आप उनसे कहें, "बिल्ली के बारे में एक कहानी लिखो," तो वे इसे खूबसूरती से करते हैं। लेकिन यदि आप उनसे कहें, "छह कार्यों (jobs) को एक मशीन पर इस तरह शेड्यूल करें कि कार्य A, कार्य B से पहले हो, और कार्य C को दोपहर 2 बजे तक पूरा करने का प्रयास करें," तो वे अक्सर विफल हो जाते हैं।
शोध पत्र इसे "भ्रम" (hallucination) की समस्या कहता है। मॉडल कह सकता है, "ठीक है, मैं कार्य A को दोपहर 1 बजे और कार्य B को 2 बजे रख दूँगा," लेकिन वह भूल जाता है कि कार्य B को वास्तव में कार्य A से पहले होना चाहिए। यह आत्मविश्वास से भरा लगता है, लेकिन तर्क टूटा हुआ होता है। यह एक ऐसे टूर गाइड की तरह है जो शहर के बारे में सभी तथ्य जानता है लेकिन आपको ऐसे निर्देश देता रहता है जो आपको नदी में ले जाते हैं।
समाधान: "वास्तुकार और निर्माता"
लेखक काम करने का एक नया तरीका प्रस्तावित करते हैं जिसे हाइब्रिड दृष्टिकोण कहा जाता है। LLM को सुलझाने वाले (solver) के रूप में पूछने के बजाय, हम उसे वास्तुकार (architect) के रूप में पूछते हैं।
- वास्तुकार (LLM): आप LLM को अपनी समस्या साधारण अंग्रेजी में बताते हैं: "मेरे पास ये कार्य हैं, ये नियम हैं, और मेरी कुछ प्राथमिकताएँ हैं।" LLM इसे हल करने की कोशिश नहीं करता। इसके बजाय, वह आपकी अंग्रेजी को Python कोड निर्देशों के एक विशिष्ट सेट में अनुवादित करता है। इसे एक वास्तुकार द्वारा ब्लूप्रिंट (नक्शा) बनाने के रूप में समझें।
- निर्माता (MaxSAT Solver): कंप्यूटर उस ब्लूप्रिंट (Python कोड) को लेता है और उसे एक विशेष उपकरण को सौंप देता है जिसे MaxSAT solver कहा जाता है। यह उपकरण एक अत्यंत सख्त निर्माता की तरह है जो ब्लूप्रिंट का अक्षरशः पालन करता है। यह हर एक नियम की जाँच करता है। यदि ब्लूप्रिंट कहता है "कार्य A, कार्य B से पहले," तो निर्माता सुनिश्चित करता है कि ऐसा ही हो। यदि कोई संघर्ष (conflict) होता है, तो वह सबसे महत्वपूर्ण नियमों को संतुष्ट करने का गणितीय रूप से सटीक तरीका खोज लेता है।
- निरीक्षक (सत्यापन/Verification): शोध पत्र में एक सुरक्षा चरण जोड़ा गया है। भले ही निर्माता पूर्ण हो, टीम अंतिम घर की जाँच एक "कैनोनिकल" (पूर्ण) ब्लूप्रिंट से करती है ताकि यह सुनिश्चित किया जा सके कि वास्तुकार ने मूल अनुरोध को गलत न समझा हो।
"MaxSAT" क्यों?
शोध पत्र गणित की एक विशिष्ट प्रकार की समस्या का उपयोग करता है जिसे Maximum Satisfiability (MaxSAT) कहा जाता है।
- कठोर बाधाएं (Hard Constraints): ये वे चीजें हैं जो "अनिवार्य" हैं। (जैसे, "कार्य A को कार्य B से पहले होना चाहिए")। यदि आप इन्हें तोड़ते हैं, तो समाधान अमान्य हो जाता है।
- कोमल बाधाएं (Soft Constraints - प्राथमिकताएं): ये वे चीजें हैं जो "अच्छी होती हैं"। (जैसे, "मैं चाहूंगा कि कार्य C जल्दी समाप्त हो जाए")। यदि आप इसे नहीं कर पाते हैं, तो यह ठीक है, लेकिन आपको "दंड" (penalty) मिलता है।
MaxSAT solver का काम सभी "अनिवार्य" शर्तों को पूरा करना और "प्राथमिकताओं" के लिए "दंड" को कम करना है। यह गारंटी देता है कि समाधान नियमों के अनुसार सर्वोत्तम संभव समाधान है।
प्रयोगों ने क्या दिखाया
शोधकर्ताओं ने इस "वास्तुकार + निर्माता" टीम का परीक्षण उन मॉडलों के विरुद्ध किया जिन्होंने पहेलियों को अकेले हल करने की कोशिश की (Direct Answer) या जो चरण-दर-चरण सोचने की कोशिश करते हैं (Chain-of-Thought)।
- सोलो मॉडल (Solo Models): जब शेड्यूलिंग या लॉजिक पहेलियों को हल करने के लिए कहा गया, तो वे मॉडल जो सब कुछ अपने "दिमाग" में करने की कोशिश करते थे, वे लगभग 100% बार विफल रहे। उन्होंने ऐसे उत्तर दिए जो अच्छे दिखते थे लेकिन नियमों को तोड़ देते थे।
- हाइब्रिड टीम: जब LLM ने सॉल्वर के लिए कोड लिखा, तो सफलता दर नाटकीय रूप रूप से बढ़ गई। कुछ मामलों में, 80% से अधिक समाधान एकदम सही थे।
- "योजना" (Plan) चरण: शोध पत्र ने पाया कि यदि LLM कोड लिखने से पहले एक "योजना" (चरों और नियमों की एक सूची) लिखता है, तो मजबूत मॉडल और भी बेहतर प्रदर्शन करते हैं। हालाँकि, कमजोर मॉडलों के लिए, यह अतिरिक्त चरण कभी-कभी उन्हें भ्रमित कर देता है, जिससे स्थिति और खराब हो जाती है।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमें AI पर तर्क और अनुकूलन (optimization) का भारी काम करने के लिए भरोसा नहीं करना चाहिए। इसके बजाय, हमें AI पर हमारी मानवीय इच्छाओं को एक ऐसी भाषा में अनुवादित करने के लिए भरोसा करना चाहिए जिसे एक सख्त, तार्किक मशीन समझ सके।
LLM को "इंटरफ़ेस" (अनुवादक) और MaxSAT solver को "मस्तिष्क" (तर्क इंजन) के रूप में उपयोग करके, हमें दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त होता है: प्राकृतिक भाषा समझने की क्षमता और गणितीय रूप से सही, इष्टतम समाधान की गारंटी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।