LogicIF: Towards Complex Logic Instruction Following
यह शोध पत्र LogicIFGen को पेश करता है, जो कोड से सत्यापन योग्य तर्क-समृद्ध (logic-rich) निर्देश उत्पन्न करने के लिए एक स्वचालित ढांचा है, और LogicIFEval को, जो 426 ऐसे कार्यों का एक बेंचमार्क है, यह प्रकट करने के लिए कि वर्तमान अत्याधुनिक LLMs जटिल तार्किक निर्देशों का पालन करने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को रेसिपी (विधि) का पालन करना सिखा रहे हैं। यदि रेसिपी कहती है "दो अंडे डालें," तो रोबोट आमतौर पर इसमें काफी अच्छा होता है। लेकिन क्या होगा यदि रेसिपी एक जटिल, कई पन्नों की कहानी हो जिसमें लूप (loops), "यदि यह होता है तो यह करें," और एक साथ बदलते हुए दर्जनों अलग-अलग सामग्रियों का हिसाब रखना शामिल हो? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो वे सुपर-स्मार्ट एआई चैटबॉट्स हैं जिनके बारे में आपने सुना होगा। ये मॉडल कविताएँ लिखने या सामान्य ज्ञान के प्रश्नों के उत्तर देने में बेहतरीन हैं, लेकिन वे मूल रूप से पैटर्न-मैचिंग मशीनें हैं। उन्हें वाक्य में अगले शब्द का अनुमान लगाने के लिए प्रशिक्षित किया जाता है, न कि अनिवार्य रूप से एक सख्त, तार्किक कंप्यूटर की तरह काम करने के लिए जो बिना किसी चूक के चरण-दर-चरण योजना का पालन करता है। वैज्ञानिकों ने लंबे समय से यह सोचा है: क्या ये एआई "दिमाग" वास्तव में तर्क पर आधारित निर्देशों का पालन कर सकते हैं, जैसे कि कोई जटिल बोर्ड गेम की नियम पुस्तिका या कंप्यूटर प्रोग्राम, बिना भ्रमित हुए या मनगढ़ंत बातें किए?
यह प्रश्न महत्वपूर्ण है क्योंकि जैसे-जैसे हम एआई को अधिक गंभीर कार्य करने के लिए कहते हैं—जैसे कि कोड को ठीक करना (debugging), वैज्ञानिक प्रयोगों की योजना बनाना, या जटिल कार्यों का प्रबंधन करना—निर्देश कठिन होते जाते हैं। वे सरल अनुरोधों से बदलकर जटिल तार्किक पहेलियाँ बन जाते हैं। यदि एआई तर्क का पालन नहीं कर सकता, तो वह आपको आत्मविश्वास के साथ गलत उत्तर दे सकता है, जो कि कुछ वास्तविक बनाने की कोशिश करते समय खतरनाक हो सकता है। आप जो शोध पत्र पढ़ने जा रहे हैं, वह इसी समस्या की गहराई में जाता है, और यह परीक्षण करता है कि क्या आज के सबसे स्मार्ट एआई वास्तव में एक तार्किक भूलभुलैया का पालन कर सकते हैं या वे केवल बाहर निकलने का रास्ता अनुमान लगा लेते हैं।
शोध पत्र: LogicIF – क्या एआई नियमों का पालन कर सकता है?
इस शोध पत्र के लेखक, जो विश्वविद्यालयों और ज़ूम (Zoom) के शोधकर्ताओं की एक टीम है, ने एआई को एक नई चुनौती के साथ परखने का निर्णय लिया जिसे वे LogicIF (लॉजिक इंस्ट्रक्शन फॉलोइंग) कहते हैं। इसे एआई के लिए एक "लॉजिक जिम" की तरह समझें। उन्हें एआई से कहानी लिखने के बजाय, उन्हें एक बहुत ही विशिष्ट, जटिल नियमों के सेट का पालन करने वाले मानव कैलकुलेटर की तरह कार्य करने के लिए कहा जाता है, जो साधारण अंग्रेजी में लिखे गए हों।
इन परीक्षणों को बनाने के लिए, टीम ने एक चतुर मशीन बनाई जिसे LogicIFGen कहा जाता है। कल्पना कीजिए कि आपके पास एक गुप्त कोड (एक कंप्यूटर प्रोग्राम) है जो कुछ पेचीदा करता है, जैसे कि संख्याओं की एक सूची को सॉर्ट करना और साथ ही यह भी गिनना कि उसे कितनी बार अदला-बदली (swap) करनी पड़ी। यह मशीन उस कोड को लेती है, स्वयं कोड को छिपा देती है, और उसे एक लंबे, विस्तृत, संवादात्मक निर्देश मैनुअल में अनुवादित करती है। यह एक जटिल वीडियो गेम लेवल को एक गाइड में लिखने जैसा है जो कहता है, "पहले, लाल गड्ढे के ऊपर से कूदें। फिर, यदि आपको नीला सिक्का दिखाई दे, तो उसे उठा लें। यदि नहीं, तो बाईं ओर जाएँ।" एआई को इस गाइड को पढ़ना होगा और चरण-दर-चरण आगे बढ़ते हुए एक गेम कैरेक्टर की तरह व्यवहार करना होगा, ताकि सही परिणाम प्राप्त किया जा सके, और वह भी मूल कोड देखे बिना।
शोधकर्ताओं ने इस मशीन के माध्यम से दो मुख्य चीजें बनाईं:
- LogicIFEval (परीक्षण): 426 कठिन निर्देशों वाला एक बेंचमार्क। ये प्रतिस्पर्धी कोडिंग वेबसाइटों पर पाए जाने वाले कठिन प्रोग्रामिंग पहेलियों से लिए गए थे। निर्देश "सत्यापन योग्य" (verifiable) होने के लिए डिज़ाइन किए गए हैं, जिसका अर्थ है कि मूल कोड को चलाकर एक सही उत्तर की जांच की जा सकती है।
- LogicIFTrain (अभ्यास): 27,324 निर्देशों वाला एक विशाल प्रशिक्षण सेट। यह एआई के लिए एक अभ्यास कार्यपुस्तिका की तरह है जिससे वह इन जटिल नियमों को सीख सके।
बड़ी खोज: एआई तर्क में संघर्ष कर रहा है
जब उन्होंने दुनिया के 21 सबसे उन्नत एआई मॉडल्स (OpenAI, Anthropic और Google के बड़े नामों सहित) पर यह परीक्षण चलाया, तो परिणाम थोड़े चौंकाने वाले थे। यहाँ तक कि सबसे स्मार्ट मॉडल्स, जैसे कि शीर्ष-स्तरीय "सोचने वाले" मॉडल्स भी, केवल लगभग 85% निर्देशों को सही कर सके। लेकिन सबसे बड़ी बात यह है कि अधिकांश अन्य मॉडल्स, जिनमें कुछ बहुत लोकप्रिय ओपन-सोर्स मॉडल्स भी शामिल हैं, का स्कोर 60% से कम था। उनमें से कुछ तो 10% से भी कम सही कर पाए।
यह स्पष्ट है कि जबकि ये एआई बुद्धिमान दिखने में माहिर हैं, वे अक्सर तब विफल हो जाते हैं जब उनसे तर्क के चरणों की एक कड़ी का सख्ती से पालन करने के लिए कहा जाता है। वे या तो चरण छोड़ देते हैं, अपना "स्कोर" (जैसे कि उन्होंने कितनी बार लूप चलाया) ट्रैक करना भूल जाते हैं, या बस अंतिम उत्तर का अनुमान लगा लेते हैं बिना वास्तव में काम किए। शोध पत्र में पाया गया कि जैसे-जैसे निर्देश अधिक जटिल होते गए (अधिक लूप, अधिक "यदि-तो" नियम), एआई का प्रदर्शन तेजी से गिर गया।
"सोचना" मदद करता है (लेकिन यह कोई जादुई छड़ी नहीं है)
शोधकर्ताओं ने कुछ दिलचस्प देखा: वे मॉडल्स जिन्हें अपना अंतिम उत्तर देने से पहले ज़ोर से "सोचने" (think out loud) की अनुमति दी गई थी, वे बेहतर प्रदर्शन करते हैं। यह वैसा ही है जैसे यदि आप किसी छात्र से कहें, "गणित की समस्या हल करने से पहले अपने चरणों को लिखने के लिए एक मिनट लें।" इन "सोचने वाले" मॉडल्स ने गति धीमी की, अपनी चालों की योजना बनाई, और कुछ जालों से बच गए। हालांकि, इस अतिरिक्त समय के साथ भी, वे गलतियाँ करते रहे, जो यह सिद्ध करता कि जटिल तर्क का पालन करना एक कठिन कौशल है जिसे अभी तक महारत हासिल नहीं हुई है।
अच्छी खबर: हम उन्हें प्रशिक्षित कर सकते हैं
शोध पत्र ने केवल समस्या की ओर इशारा ही नहीं किया; इसने एक समाधान भी दिया। टीम ने अपने विशाल अभ्यास सेट (LogicIFTrain) का उपयोग करके एक छोटे एआई मॉडल को रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करके सिखाया। उन्होंने मॉडल को केवल तभी पुरस्कृत किया जब उसने दोनों—अंतिम उत्तर सही और सभी मध्यवर्ती चरणों को सही ढंग से ट्रैक करना—को सही ढंग से पूरा किया।
परिणाम? प्रशिक्षित मॉडल एक तर्क चैंपियन बन गया। इसने परीक्षण पर अपने स्कोर में 16.7 अंक का सुधार किया। इससे भी अधिक आश्चर्यजनक बात यह है कि इस प्रशिक्षण ने केवल तर्क पहेलियों में ही मदद नहीं की। मॉडल अन्य चीजों में भी बेहतर हुआ, जैसे गणित की समस्याओं को हल करना, कोड लिखना और कठिन सामान्य ज्ञान के प्रश्नों के उत्तर देना। यह सुझाव देता है कि सख्त तर्क का पालन करना सीखना साइकिल चलाने सीखने जैसा है: एक बार जब आप संतुलन बनाना सीख जाते हैं, तो आप अन्य चीजें भी बेहतर कर सकते हैं।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि हालांकि वर्तमान एआई मॉडल शक्तिशाली हैं, लेकिन जटिल, चरण-दर-चरण तर्क के मामले में उनमें एक बड़ी कमी है। वे प्रक्रिया का वास्तव में अनुकरण करने के बजाय केवल पैटर्न का अनुमान लगाने पर निर्भर रहते हैं। हालांकि, कोड का उपयोग करके इन तार्किक निर्देशों को उत्पन्न करके और मॉडल्स को हर एक चरण पर ध्यान देने के लिए प्रशिक्षित करके, हम उनके स्पष्ट रूप से सोचने की क्षमता को महत्वपूर्ण रूप से बढ़ा सकते हैं। यह एक अनुस्मारक है कि एआई को जटिल कार्यों में एक सहायक साथी बनने के लिए, उसे न केवल यह सीखना होगा कि क्या कहना है, बल्कि यह भी कि कैसे सोचना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।