Distilling Answer Set Programming Theories from Large Language Models
यह शोध पत्र एक घंटे की सीमा के भीतर विज़ुअल क्वेश्चन अनsweringिंग (visual question answering) कार्यों के लिए पूर्ण और सही 'आंसर सेट प्रोग्रामिंग' (Answer Set Programming) सिद्धांतों को स्वायत्त रूप से निष्कर्षित करने की लार्ज लैंग्वेज मॉडल्स की क्षमता की जांच करता है, जो यह प्रदर्शित करता है कि क्लॉड सोनेट 4.6 (Claude Sonnet 4.6), क्लॉड ओपस 4.7 (Claude Opus 4.7) और डीपसीक वी4 प्रो (DeepSeek V4 Pro) जैसे अत्याधुनिक मॉडल्स कई बेंचमार्क पर लगभग पूर्ण सटीकता प्राप्त करते हैं, जबकि जीपीटी-5 (GPT-5) महत्वपूर्ण प्रदर्शन परिवर्तनशीलता और संदर्भ डेटा के प्रति संवेदनशीलता प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर दो बहुत अलग चीजों में अविश्वसनीय रूप से कुशल हैं। एक तरफ, वे सुपर-फास्ट कैलकुलेटर की तरह हैं जो तर्क पहेलियों को हल करने के लिए सख्त नियमों का पालन कर सकते हैं, लेकिन वे अपने आस-पास की अव्यवस्थपूर्ण और अस्पष्ट दुनिया को समझने में बहुत खराब हैं। दूसरी ओर, वे प्रतिभाशाली, रचनात्मक कहानीकारों की तरह हैं जो लगभग सब कुछ पढ़ सकते हैं और कविता लिख सकते हैं, लेकिन अक्सर तथ्य बना लेते हैं या सख्त निर्देशों का पालन करने के लिए कहे जाने पर भटक जाते हैं। वैज्ञानिक इन दो कौशलों के मिलन को "न्यूरोसिम्बोलिक" (neurosymbolic) कंप्यूटिंग कहते हैं। यह एक ऐसे रोबोट को बनाने की कोशिश करने जैसा है जिसमें एक कवि की कल्पना और एक गणितज्ञ की सटीकता दोनों हों। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम एक बहुत ही स्मार्ट कंप्यूटर (एक लार्ज लैंग्वेज मॉडल) को शुरुआत से अपना खुद का सख्त नियमकोश लिखने के लिए सिखा सकते हैं, ताकि वह बिना किसी इंसान द्वारा हर एक नियम को हाथ से लिखे, जटिल पहेलियों को हल कर सके? यह महत्वपूर्ण है क्योंकि ये नियमकोश लिखना धीमा, उबाऊ और सही करना कठिन होता है, लेकिन यदि कंप्यूटर ऐसा कर सके, तो हम मशीनों के दुनिया के बारे में तर्क करने के नए तरीके खोल सकते हैं।
इस शोध पत्र में, शोधकर्ताओं की एक टीम ने यह देखने की कोशिश की कि क्या एक लार्ज लैंग्वेज मॉडल एक अथक प्रशिक्षु (apprentice) की तरह कार्य कर सकता है, जो विजुअल क्वेश्चन अनswering (VQA) नामक एक वीडियो गेम जैसे पहेली के लिए एक पूर्ण "नियमकोश" लिखने के लिए सीखता है। कल्पना कीजिए कि आप कंप्यूटर को एक दृश्य की तस्वीर दिखाते हैं और पूछते हैं, "क्या पीली फ्रिसबी व्यक्ति के बाईं ओर है?" इसे उत्तर देने के लिए, कंप्यूटर को चित्र को समझना होगा, प्रश्न को तोड़ना होगा, और फिर एक तार्किक जांच चलानी होगी। शोधकर्ताओं ने कंप्यूटर को एक खाली फ़ाइल और उपकरणों का एक सेट दिया, जिसमें एक "सॉल्वर" (एक सख्त रेफरी जो जाँच करता है कि नियम समझ में आते हैं या नहीं) शामिल था। कंप्यूटर का काम कुछ अभ्यास उदाहरणों को पढ़ना, कुछ नियम लिखना, रेफरी से उन्हें जाँचने के लिए कहना, यह देखना कि वह कहाँ विफल हुआ, और फिर नियमों को फिर से लिखना था। उसके पास यह सब करने के लिए एक घंटा था जब तक कि वह उतना अच्छा न हो जाए जितना वह हो सकता था।
शोधकर्ताओं ने इसे तीन अलग-अलग "पहेली स्तरों" पर परखा: CLEVR (सरल, कंप्यूटर-जनित आकार), GQA (वास्तविक दुनिया की तस्वीरें जिनमें कई वस्तुएं हैं), और CLEVRER (कारण और प्रभाव वाली छोटी वीडियो)। उन्होंने इसे नौ अलग-अलग कंप्यूटर मॉडलों के साथ आजमाया, जिनमें सबसे नए, शक्तिशाली "फ्रंटियर" मॉडल से लेकर छोटे, पुराने मॉडल तक शामिल थे। परिणाम अद्भुत सफलता और आश्चर्यजनक विफलता का मिश्रण थे। चार शीर्ष-स्तरीय मॉडलों में से तीन खेल के उस्ताद बन गए। सरल CLEVR पहेलियों पर, उन्होंने 100% का सटीक स्कोर प्राप्त किया। कठिन GQA पहेलियों पर, उन्होंने 92.8% और 98.8% के बीच स्कोर किया, जो उस डेटासेट के लिए उपलब्ध सर्वश्रेष्ठ मानव-लिखित नियमकोशों से भी बेहतर है। वीडियो पहेलियों (CLEVRER) पर, उन्होंने 92.7% और 95.3% के बीच स्कोर किया।
हालाँकि, हर मॉडल सफल नहीं हुआ। एक प्रसिद्ध मॉडल, GPT-5, सरल पहेलियों पर बहुत अच्छा (98.7%) रहा, लेकिन वास्तविक दुनिया की फोटो पहेलियों पर वह बुरी तरह विफल रहा, गिरकर केवल 41.8% पर आ गया। शोधकर्ताओं ने पाया कि यह इसलिए नहीं था क्योंकि मॉडल तर्क करने में असमर्थ था; बल्कि इसलिए था क्योंकि मॉडल ने सभी अलग-अलग प्रकार के प्रश्नों को कवर करने के लिए पर्याप्त नियम नहीं लिखे थे। जब शोधकर्ताओं ने मॉडलों को एक "चीट शीट" (एक अलग पहेली प्रकार से संदर्भ नियमकोश) दी ताकि उन्हें मदद मिल सके, तो शीर्ष मॉडल लगभग समान रहे, लेकिन GPT-5 वास्तव में और खराब हो गया, जिससे पता चलता है कि चीट शीट को देखने से वह विचलित हो गया या उसकी मेमोरी का उपयोग अधिक हो गया। छोटे, कम शक्तिशाली मॉडल ज्यादातर कोई भी काम करने योग्य नियम लिखने में विफल रहे, अक्सर अटक गए या ऐसे नियम लिखे जिन्हें रेफरी समझ नहीं सका।
यह अध्ययन दिखाता है कि सही सेटअप के साथ, एक कंप्यूटर वास्तव में शून्य से एक पूर्ण, उच्च-गुणवत्ता वाला लॉजिक नियमकोश लिखना सीख सकता है, जिससे वह कई बेंचमार्क पर मानव प्रदर्शन तक पहुँच सकता है या उससे बेहतर हो सकता है। लेकिन यह यह भी सुझाव देता है कि यह क्षमता सुनिश्चित नहीं है; यह काफी हद तक उपयोग किए गए विशिष्ट मॉडल पर निर्भर करती है, और कभी-कभी, मॉडल को अधिक जानकारी (जैसे एक संदर्भ पुस्तक) देने से वह भ्रमित भी हो सकता है। शोधकर्ताओं ने अपना सारा कोड और कंप्यूटर द्वारा लिखे गए नियमकोश जारी कर दिए हैं, और दूसरों को इस "न्यूरोसिम्बोलिक" प्रशिक्षुता में सुधार करने का प्रयास करने के लिए आमंत्रित किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।