Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities
यह शोध पत्र इस बात की जांच करता है कि कैसे विभिन्न औपचारिक ज्ञान प्रतिनिधित्व (Knowledge Representation) संकेतन और एक नवीन न्यायवाक्य वर्गीकरण पद्धति (SEF), ओपन-सोर्स कॉमन लॉजिक ग्रामर कंस्ट्रक्शन (CLGC) फ्रेमवर्क के माध्यम से प्राकृतिक भाषा इनपुट के एक प्रतिस्पर्धी और तेज़ विकल्प के रूप में, छोटे भाषा मॉडलों (Small Language Models) की न्यायवाक्य तर्क क्षमताओं को बढ़ाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सोचना सिखाने की कोशिश कर रहे हैं। आप यह मान सकते हैं कि यदि आप रोबोट को पढ़ने के लिए पर्याप्त किताबें दे देंगे, तो वह अंततः किसी तर्क संबंधी पहेली, जैसे कि कोई पहेली या गणित की समस्या को हल करना सीख जाएगा। लेकिन यहाँ एक पेच है: रोबots (या "लैंग्वेज मॉडल्स", जैसा कि वैज्ञानिक उन्हें कहते हैं) सुपर-फास्ट तोते की तरह हैं। वे मानवीय भाषण और कहानियाँ लिखने की नकल करने में अद्भुत हैं, लेकिन जब आप उनसे सख्त तार्किक नियमों का पालन करने के लिए कहते हैं, तो वे अक्सर भ्रमित हो जाते हैं। वे उत्तर का अनुमान इस आधार पर लगा सकते हैं कि वाक्य सुनने में कैसा लगता है, न कि इस आधार पर कि उसका वास्तव में क्या अर्थ है। यह एक बड़ी समस्या है क्योंकि हम चाहते हैं कि ये AI उपकरण विश्वसनीय सहायक हों, न कि केवल बातूनी दोस्त जो तथ्य बना लेते हैं। इसे ठीक करने के लिए, शोधकर्ता इन रोबोट्स को विभिन्न भाषाओं में "बोलना" सिखाने की कोशिश कर रहे हैं। कुछ भाषाएँ हमारे रोज़मर्रा के शब्दों (प्राकृतिक भाषा) की तरह होती हैं, जबकि अन्य सख्त गणितीय सूत्रों या कोड (औपचारिक अंकन) की तरह होती हैं। बड़ा सवाल यह है कि क्या एक सख्त, तार्किक कोड में बोलना एक रोबोट को सामान्य अंग्रेजी में बोलने की तुलना में बेहतर तरीके से सोचने में मदद करता है?
यह शोध पत्र, जिसका शीर्षक "Are you Talking Logic to Me?" है, सीधे इसी सवाल की गहराई में जाता है। लेखकों ने, जो फ्रांस के शोधकर्ताओं की एक टीम है, यह परीक्षण करने का निर्णय लिया कि क्या पहेली सुलझाने के लिए रोबोट द्वारा उपयोग की जाने वाली "भाषा" को बदलने से वह अधिक स्मार्ट बन सकता है। उन्होंने एक विशिष्ट प्रकार की पहेली पर ध्यान केंद्रित किया जिसे "सिलोगिज्म" (syllogism) कहा जाता है। सिलोगिज्म को एक तीन-भाग वाली तर्क श्रृंखला के रूप में सोचें: "सभी बिल्लियाँ रोएँदार होती हैं। फ्लफी एक बिल्ली है। इसलिए, फ्लफी रोएँदार है।" यदि रोबोट इसे सही ढंग से नहीं कर पाता है, तो उस पर अधिक जटिल कार्यों के लिए भरोसा नहीं किया जा सकता। शोधकर्ताओं ने इन पहेलियों के मौजूदा डेटासेट लिए और उन्हें कई अलग-अलग "औपचारिक" भाषाओं में अनुवादित किया, जिसमें मानक कंप्यूटर तर्क (जैसे FOL) से लेकर अधिक अमूर्त, प्रतीक-प्रधान कोड (जैसे TFLPLUS) और यहाँ तक कि उनके द्वारा बनाए गए कुछ नए, सरल संस्करण (जैसे "MINIFOL") शामिल थे। इसके बाद उन्होंने इन पgetों का परीक्षण "स्मॉल लैंग्वेज मॉडल्स" (SLMs) पर किया—जो उन विशाल AI मॉडल्स के हल्के, ऊर्जा-कुशल संस्करण हैं जिनके बारे में हम खबरों में सुनते हैं।
टीम ने केवल रोबोट्स के सामने पहेलियाँ नहीं फेंकी; उन्होंने दो अलग-अलग शिक्षण विधियों का उपयोग किया। पहला, उन्होंने "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) का उपयोग किया, जो एक क्रैश कोर्स की तरह है जहाँ वे रोबोट को पहेलियाँ और उनके सही उत्तर बार-बार दिखाते हैं जब तक कि वह पैटर्न सीख न जाए। दूसरा, उन्होंने "ज़ीरो-शॉट" (ZS) परीक्षण का उपयोग किया, जहाँ वे बस रोबोट को एक नई पहेली और निर्देशों का एक सेट सौंप देते हैं, और बिना किसी पूर्व अभ्यास के उसे मौके पर ही इसे समझने के लिए कहते हैं। उन्होंने निर्देशों में "रेफरेंस शीट" जोड़ने का भी प्रयास किया, जिससे रोबोट को पहेली के प्रकार की परिभाषा (जैसे "यह एक डिसजंक्टिव सिलोगिज्म है") मिली, ताकि यह देखा जा सके कि क्या यह अतिरिक्त संदर्भ मदद करता है।
उन्होंने क्या पाया? यह सच है कि रोबोट कौन सी "भाषा" बोलता है यह बहुत मायने रखता है, लेकिन यह इस पर निर्भर करता है कि रोबोट ने कितनी पढ़ाई की है। जब रोबोट को एक क्रैश कोर्स (SFT) दिया गया, तो परिणाम आश्चर्यजनक थे। छोटे डेटासेट पर, सबसे अमूर्त, प्रतीक-प्रधान भाषाएँ (जैसे TFLPLUS) सामान्य अंग्रेजी से बेहतर काम करती थीं, भले ही रोबोट ने अपने प्रारंभिक प्रशिक्षण के दौरान बहुत अधिक अंग्रेजी देखी थी। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि इन अमूर्त भाषाओं के प्रतीक कम भ्रमित करने वाले और सरल होते हैं जिन्हें रोबोट आसानी से प्रोसेस कर सकता है। हालाँकि, जब डेटासेट बड़ा हुआ, तो रोबोटों ने अंग्रेजी और एक संक्षिप्त कोड (CLIF) के मिश्रण को पसंद करना शुरू कर दिया। यह संयोजन रोबोटों को अधिक सावधान बनाता था और गलत अनुमान लगाने की संभावना को कम करता था, खासकर जब उत्तर "अज्ञात" (Unknown) हो।
"ज़ीरो-शॉट" परीक्षणों में, जहाँ रोबोटों को अपने पहले से मौजूद ज्ञान पर निर्भर रहना था, परिणाम थोड़े मिले-जुले रहे। सबसे अच्छी भाषा पूरी तरह से इस बात पर निर्भर थी कि किस विशिष्ट रोबोट मॉडल का परीक्षण किया जा रहा है। कुछ मॉडल, जिन्हें बहुत अधिक गणित और तर्क डेटा पर प्रशिक्षित किया गया था, अमूर्त कोड के साथ बेहतर प्रदर्शन करते थे। अन्य, जो मुख्य रूप से टेक्स्ट पर प्रशिक्षित थे, अंग्रेजी जैसे प्रारूपों के साथ बेहतर प्रदर्शन करते थे। दिलचस्प बात यह है कि निर्देशों में "रेफरेंस शीट" परिभाषाओं को जोड़ने से कुछ मॉडलों को मदद मिली लेकिन दूसरों को नुकसान पहुँचा, जो यह सुझाव देता है कि सभी रोबोटों के लिए कोई एक "जादुई समाधान" वाली भाषा नहीं है।
सबसे शानदार खोजों में से एक गति के बारे में थी। रोबोटों ने सामान्य अंग्रेजी की तुलना में संक्षिप्त, प्रतीक-आधारित भाषाओं का उपयोग करके पहेलियों को बहुत तेज़ी से हल किया। यह एक विशिष्ट तथ्य खोजने के लिए एक लंबी, घुमावदार कहानी पढ़ने बनाम एक छोटी, व्यवस्थित तालिका में संख्या देखने के अंतर जैसा है। अमूर्त भाषाएँ न केवल प्रोसेस करने में तेज़ थीं, बल्कि कभी-कभी अधिक सटीक तर्क की ओर भी ले गईं। लेखक निष्कर्ष निकालते हैं कि हालांकि हम सभी AI के लिए एक ही आदर्श भाषा नहीं चुन सकते, लेकिन प्राकृतिक भाषा और औपचारिक कोड का मिश्रण अधिक स्मार्ट, अधिक विश्वसनीय तर्क प्रणालियों के निर्माण की कुंजी हो सकता है। उन्होंने एक मुफ्त टूल भी जारी किया है जिसे "CLGC" कहा जाता है, जो किसी को भी इन तर्क पहेलियों को विभिन्न प्रारूपों में स्वचालित रूप से अनुवादित करने की अनुमति देता है, जिससे अन्य शोधकर्ताओं को इस "तर्क की भाषा" को आगे बढ़ाने में मदद मिल सके। अंततः, यह शोध पत्र सुझाव देता है कि AI को सोचना सिखाना केवल उसे अधिक डेटा खिलाना नहीं है; यह उसे काम के लिए सही भाषा बोलना सिखाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।