🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

यह शोध पत्र विज़ुअल क्वेश्चन अनस्वियरिंग (Visual Question Answering) के लिए एक न्यूरोसिंबोलिक दृष्टिकोण प्रस्तावित करता है जो कुछ-शॉट (few-shot) उदाहरणों और सॉल्वर फीडबैक का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स से आंसर-सेट प्रोग्रामिंग (Answer-Set Programming) नियमों को आसवन (distill) करता है ताकि तर्क सिद्धांतों को स्वचालित रूप से विस्तारित किया जा सके, जो पारंपरिक डेटा-संचालित नियम शिक्षण का एक स्केलेबल और व्याख्या योग्य विकल्प प्रदान करता है।

मूल लेखक: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को तर्क के साथ सोचना सिखाना

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट सहायक है जो किसी तस्वीर को देख सकता है और उसके बारे में सवालों के जवाब दे सकता है (जैसे "क्या बिल्ली ने टोपी पहनी है?")। इसे विजुअल क्वेश्चन अनस्वियरिंग (VQA) कहा जाता है।

आमतौर पर, इन रोबोट्स को एथलीटों की तरह प्रशिक्षित किया जाता है: वे लाखों बार अभ्यास करते हैं जब तक कि वे पैटर्न का अनुमान लगाकर सही उत्तर नहीं दे देते। लेकिन यह उन्हें एक "ब्लैक बॉक्स" जैसा बना देता है—आपको पता नहीं चलता कि उन्होंने सही उत्तर क्यों दिया, और यदि आप उनसे थोड़ा नया प्रकार का प्रश्न पूछते हैं, तो वे भ्रमित हो सकते हैं।

इस पेपर के लेखक एक ऐसा रोबोट बनाना चाहते हैं जो एक मानव तर्कशास्त्री (logician) की तरह सोचे। वे एक विशेष "नियम पुस्तिका" का उपयोग करते हैं जिसे आंसर-सेट प्रोग्रामिंग (ASP) कहा जाता है। इस नियम पुस्तिका को सख्त तार्किक निर्देशों (एक रेसिपी की तरह) के सेट के रूप में समझें जो रोबोट को ठीक से उत्तर निकालने का तरीका बताती है।

समस्या: इन नियम पुस्तिकाओं को हाथ से लिखना कठिन है। यदि आप रोबोट को एक नया करतब सीखना चाहते हैं (जैसे विशिष्ट तरीके से वस्तुओं को गिनना), तो एक मानव डेवलपर को नए सिरे से नए नियम लिखने के लिए बैठना पड़ता है। यह धीमा और उबाऊ है।

समाधान: लेखकों ने एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल, या LLM) से अपने लिए ये नियम लिखने के लिए कहा। वे इस प्रक्रिया को "डिस्टिलिंग रूल्स" (नियमों का आसवन) कहते हैं।

यह कैसे काम करता है: "शिक्षक और छात्र" का रूपक

कल्पना कीजिए कि LLM एक प्रतिभाशाली लेकिन थोड़ा लापरवाह छात्र है जिसे तर्क के बारे में बहुत कुछ पता है लेकिन उसने यह विशिष्ट पहेली पहले नहीं देखी है। "शिक्षक" (कंप्यूटर सिस्टम) चाहता है कि छात्र सही नियम पुस्तिका लिखे।

यहाँ वह चरण-दर-चरण प्रक्रिया दी गई है जिसका उन्होंने उपयोग किया:

सेटअप: शिक्षक छात्र को एक "टूटी हुई" (अधूरी) नियम पुस्तिका देता है। यह अधिकांश चीजों के लिए काम करती है, लेकिन इसमें एक विशिष्ट नियम गायब है (जैसे, मानचित्र पर सबसे छोटा रास्ता कैसे खोजा जाए)।
उदाहरण: शिक्षक छात्र को एक एकल उदाहरण दिखाता है: "यहाँ एक मानचित्र की तस्वीर है, यहाँ प्रश्न है, और यहाँ सही उत्तर है।"
प्रयास: छात्र (LLM) टूटी हुई किताब को ठीक करने के लिए एक नया नियम लिखने की कोशिश करता है।
- चुनौती: छात्र कभी-कभी गलतियाँ करता है। वे या तो गलत व्याकरण (सिंटैक्स एरर) के साथ नियम लिख सकते हैं, या ऐसा नियम जो सही दिखता है लेकिन गलत उत्तर देता है (लॉजिक एरर)।
सुधार चक्र (मरम्मत करना):
- सिंटैक्स चेक: कंप्यूटर यह जाँचता है कि क्या नियम सही भाषा में लिखा गया है। यदि छात्र ने एक ऐसा प्रतीक उपयोग किया है जो नियम पुस्तिका की भाषा में मौजूद नहीं है, तो कंप्यूटर कहता है, "हे, अपनी स्पेलिंग ठीक करो," और छात्र फिर से प्रयास करता है।
- लॉजिक चेक: कंप्यूटर नए नियम को चलाता है। यदि उत्तर गलत है, तो कंप्यूटर कहता है, "आपने गलत उत्तर दिया। फिर से प्रयास करें।"
- "सुरक्षा जाल" (रिग्रेशन टेस्टिंग): एक बार जब छात्र एक ऐसा नियम लिख देता है जो नए उदाहरण के लिए काम करता है, तो कंप्यूटर यह जाँचता है कि क्या वह नियम पुराने उदाहरणों को खराब तो नहीं कर रहा है। यह सुनिश्चित करने जैसा है कि केक में एक नया घटक पिछले बेक किए गए केक के स्वाद को खराब न कर दे।
परिणाम: एक बार जब नियम सभी जाँचों को पार कर लेता है, तो इसे मास्टर नियम पुस्तिका में जोड़ दिया जाता है।

कुछ उदाहरणों का "जादू"

इस पेपर की सबसे शानदार खोजों में से एक यह है कि छात्र को हजारों उदाहरणों के अध्ययन की आवश्यकता नहीं थी। सबसे स्मार्ट AI मॉडलों के लिए तर्क को समझने और पूर्ण नियम लिखने के लिए केवल कुछ ही उदाहरण (कभी-कभी केवल 1 या 2) पर्याप्त थे।

यह एक जीनियस शेफ को एक आदर्श सूफ़ले (soufflé) की एक तस्वीर दिखाने और उनसे उसकी रेसिपी लिखने के लिए कहने जैसा है। उन्हें 1,000 सूफ़ले चखने की आवश्यकता नहीं है; उन्हें बस सामग्री के तर्क को समझने की आवश्यकता है।

प्रतियोगी: किसने सबसे अच्छा किया?

शोधकर्ताओं ने यह देखने के लिए कई अलग-अलग "छात्रों" (AI मॉडल्स) का परीक्षण किया कि कौन सबसे अच्छे नियम लिख सकता है:

शीर्ष प्रदर्शन करने वाले (GPT-4o, DeepSeek, Gemini-3): ये क्लास के टॉपर की तरह थे। उन्होंने लगभग हर बार, यहाँ तक कि मानचित्र और ग्राफ से जुड़ी बहुत कठिन पहेलियों के लिए भी, सटीक नियम लिखे।
- Gemini-3 विशेष रूप से खास था। ऐसा लगता है कि उसमें एक "थिंकिंग मोड" था जहाँ वह नियम लिखने से पहले अपने स्वयं के तर्क की दोबारा जाँच करने के लिए रुकता था, जिसके परिणामस्वरूप बहुत कम गलतियाँ हुईं और बहुत छोटे, साफ-सुतेरे नियम पुस्तिकाएँ बनीं।
संघर्ष करने वाले छात्र (LLaMA3, Mistral): ये मॉडल सरल कार्यों के लिए ठीक थे लेकिन जटिल तर्क में उलझ गए। कभी-कभी, उन्हें बहुत अधिक संकेत (जटिल प्रॉम्प्ट) देने से उनका प्रदर्शन वास्तव में बिगड़ गया, जैसे कि वे निर्देशों से अभिभूत हो गए हों।

"प्रूनिंग" (गंदगी की सफाई)

कभी-कभी, AI ऐसी नियम पुस्तिका लिख देता था जो काम तो करती थी लेकिन अव्यवस्थित थी। इसमें एक ही बात को कहने के पांच अलग-अलग तरीके शामिल हो सकते थे, या ऐसे नियम जो वास्तव में आवश्यक नहीं थे।

शोधकर्ताओं ने एक "माली" उपकरण (प्रूनिंग ह्यूरिस्टिक) बनाया जो नियम पुस्तिका में गया और अनावश्यक नियमों (dead branches) को काट दिया।

रूपक: कल्पना कीजिए कि AI ने एक वाक्य लिखा है: "यदि बारिश होती है, तो छाता लाएं। साथ ही, यदि बारिश होती है, तो छाता लाएं। साथ ही, यदि बारिश होती है, तो छाता लाएं।" प्रनर अतिरिक्त प्रतियों को हटा देता है, जिससे केवल एक स्पष्ट निर्देश बचता है।
परिणाम: इसने नियम पुस्तिकाओं को छोटा और मनुष्यों के लिए पढ़ने में आसान बना दिया, बिना रोबोट की सही उत्तर देने की क्षमता को बदले।

इसका क्या अर्थ है (पेपर के अनुसार)

पेपर यह निष्कर्ष निकालता है कि अब हमें AI सिस्टम के लिए हमेशा जटिल तर्क को हाथ से कोड करने की आवश्यकता नहीं है। हम एक स्मार्ट AI का उपयोग करके हमारे लिए तर्क को "डिस्टिल" (आसवित) करने के लिए कर सकते हैं, जिसमें केवल कुछ उदाहरणों को मार्गदर्शक के रूप में उपयोग किया जाता है।

यह सबसे अच्छा काम करता है जब कार्य स्पष्ट हो और AI मॉडल बहुत स्मार्ट हो।
यह पारंपरिक मशीन लर्निंग से अलग है क्योंकि यह डेटा को "रटता" नहीं है; यह समस्या के तर्क को सीखता है।
यह पारदर्शिता बनाता है: क्योंकि इसका आउटपुट तार्किक नियमों (एक रेसिपी की तरह) का एक सेट है, इसलिए मनुष्य वास्तव में समझ सकते हैं कि रोबोट ने निर्णय क्यों लिया।

संक्षेप में: लेखकों ने एक ऐसी प्रणाली बनाई है जहाँ एक मानव एक टूटी हुई लॉजिक पहेली और कुछ उदाहरण प्रदान करता है, और एक स्मार्ट AI पहेली के लापता हिस्सों को लिखता है, अपने काम की जाँच करता है, और एक साफ, काम करने वाली नियम पुस्तिका वापस देता है।

तकनीकी सारांश: न्यूरोसिम्बोलिक विजुअल क्वेश्चन अनswering (VQA) के लिए LLMs से एंसर-सेट प्रोग्रामिंग (ASP) नियमों का आसवन (Distilling)

समस्या विवरण
विजुअल क्वेश्चन अनswering (VQA) के लिए मल्टीमॉडल इनपुट (दृष्टि और पाठ) को जटिल तर्क श्रृंखलाओं (reasoning chains) के साथ एकीकृत करने की आवश्यकता होती है। जबकि मॉड्यूलर न्यूरोसिम्बोलिक दृष्टिकोण धारणा (न्यूरल) को तर्क (सिम्बोलिक) से अलग करके व्याख्यात्मकता (interpretability) प्रदान करते हैं, वे एक महत्वपूर्ण रखरखाव बोझ का सामना करते हैं। विशेष रूप से, जब कार्य की आवश्यकताएं बदलती हैं—जैसे कि नए प्रश्न प्रकारों या रीजनिंग ऑपरेटरों का परिचय—तो सिम्बोलिक रीजनिंग घटक, जिसे अक्सर एंसर-सेट प्रोग्रामिंग (ASP) में लागू किया जाता है, को मैन्युअल रूप से विस्तारित या अनुकूलित करना पड़ता है। पारंपरिक डेटा-संचालित नियम शिक्षण विधियाँ (जैसे इंडक्टिव लॉजिक प्रोग्रामिंग) सामान्यीकरण करने के लिए बड़े डेटासेट और हार्ड-कोडेड सर्च स्पेस (मोड डिक्लेरेशन) की आवश्यकता रखती हैं। यह शोध पत्र VQA सिस्टम में व्यापक पुनर्र्कथन (retraining) या मैन्युअल नियम इंजीनियरिंग के बिना ASP-आधारित तर्क सिद्धांतों को स्वचालित रूप से विस्तारित करने की चुनौती को संबोधित करता है।

कार्यप्रणाली
लेखक एक डिक्लेरेटिव नॉलेज डिस्टिलेशन फ्रेमवर्क का प्रस्ताव करते हैं जहाँ LLMs को कुछ-शॉट (few-shot) उदाहरणों के आधार पर ASP नियमों को उत्पन्न करने या विस्तारित करने के लिए प्रॉम्प्ट किया जाता है। यह प्रणाली एक मॉड्यूलर न्यूरोसिम्बोलिक VQA पाइपलाइन के भीतर कार्य करती है जो निम्नलिखित से बनी है:

विज़न मॉड्यूल: छवियों को सिम्बोलिक सीन ग्राफ (ASP तथ्य/facts) में परिवर्तित करता है।
लैंग्वेज मॉड्यूल: प्राकृतिक भाषा के प्रश्नों को कार्यात्मक प्रोग्राम (ASP तथ्य) में परिवर्तित करता है।
रीजनिंग मॉड्यूल: एक ASP सॉल्वर संयुक्त तथ्यों और एक ASP थ्योरी (नियमों का एक सेट) से उत्तर प्राप्त करता है।

मुख्य एल्गोरिदम (एल्गोरिदम 1) VQA उदाहरणों $(s, q, a)$ के एक डिस्टिलेशन सूट के माध्यम से पुनरावृत्ति करता है। यदि वर्तमान ASP थ्योरी $T$ दिए गए दृश्य $s$ और प्रश्न $q$ के लिए सही उत्तर $a$ प्राप्त करने में विफल रहती है, तो सिस्टम अंतराल को भरने के लिए उम्मीदवार नियम उत्पन्न करने हेतु LLM को प्रॉम्प्ट करता है। यह प्रक्रिया एक फीडबैक लूप का उपयोग करती है जिसमें शामिल हैं:

प्रॉम्प्टिंग रणनीतियाँ:
- मल्टी-प्रॉम्प्टिंग (Multi-prompting): एक ही कॉल में कई समाधान वेरिएंट का अनुरोध करना।
- चेन-ऑफ-थॉट (CoT): LLM को नियम उत्पन्न करने से पहले समस्या को मध्यवर्ती तार्किक चरणों में तोड़ने का निर्देश देना (सरल और जटिल संस्करण)।
वैलिडेशन और मेंडिंग (Validation and Mending):
- सिंटैक्स मेंडिंग (Syntax Mending): यदि LLM अमान्य ASP (जैसे, काल्पनिक गणितीय प्रतीक) उत्पन्न करता है, तो सॉल्वर के त्रुटि संदेश को सुधार के लिए वापस LLM को भेजा जाता है।
- सिमेंटिक मेंडिंग (Semantic Mending): यदि नियम सिंटैक्टिक रूप से सही हैं लेकिन गलत उत्तर देते हैं, तो सॉल्वर के गलत आउटपुट की तुलना ग्राउंड ट्रुथ से की जाती है और संशोधन के लिए LLM को वापस भेजा जाता है।
- रिग्रेशन टेस्टिंग (Regression Testing): निरंतरता सुनिश्चित करने और रिग्रेशन को रोकने के लिए नए नियमों का परीक्षण पहले से हल किए गए उदाहरणों पर किया जाता है।
अनावश्यकता उन्मूलन (Redundancy Elimination): एक ह्यूरिस्टिक (एल्गोरिदम 2) उन नियमों को हटा देता है जो उत्तर सेट को प्रभावित नहीं करते हैं, जिससे यह सुनिश्चित होता है कि डिस्टिल्ड थ्योरी संक्षिप्त बनी रहे।

प्रमुख योगदान

डिक्लेरेटिव नॉलेज डिस्टिलेशन: VQA सिस्टम में ASP थ्योरी को स्वचालित रूप से विस्तारित करने का एक तरीका, जहाँ LLMs को सांख्यिकीय शिक्षण के लिए डेटा के रूप में उपयोग करने के बजाय उदाहरणों के माध्यम से प्रॉम्प्ट किया जाता है।
प्रॉम्प्टिंग रणनीतियाँ: लॉजिक प्रोग्राम उत्पन्न करने के लिए विशेष रूप से तैयार की गई प्रॉम्प्टिंग तकनीकों (मल्टी-प्रॉम्प्टिंग, CoT) और रिपेयर मैकेनिज्म (सिंटैक्स/सिमेंटिक मेंडिंग) का डिज़ाइन और मूल्यांकन।
कंपोजिशनल रूल सिंथेसिस: यह प्रदर्शन करना कि LLMs मौजूदा प्रिमिटिव ऑपरेशंस से नए, उच्च-एरिटी (higher-arity) प्रेडिकेट्स (जैसे, in_between, connected) को कंपोज़ कर सकते हैं।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): तीन विविध डेटासेट्स पर एक व्यापक मूल्यांकन:
- GQA: जटिल ऑब्जेक्ट संबंधों वाले वास्तविक दुनिया के दृश्य।
- CLEVR: कंपोजिशनल प्रश्नों वाले सिंथेटिक ज्यामितीय दृश्य।
- CLEGRV: रिकर्सिव रीजनिंग (जैसे, शॉर्टेस्ट पाथ) की आवश्यकता वाले ग्राफ-आधारित ट्रांजिट नेटवर्क।

परिणाम
प्रयोगों ने ASP थ्योरी से हटाए गए प्रेडिकेट्स को बहाल करने के लिए कई LLMs (GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro) का मूल्यांकन किया।

प्रदर्शन: बड़े पैमाने के मॉडल्स (GPT-4o, DeepSeek, Gemini-3) ने बहुत कम उदाहरणों (आमतौर पर प्रति डिस्टिलेशन प्रयास 1–4) के साथ GQA और CLEVR पर लगभग पूर्ण सटीकता (अक्सर >98%) प्राप्त की।
डेटासेट जटिलता: अधिक जटिल CLEGRV डेटासेट (जिसमें रिकर्सन शामिल है) पर प्रदर्शन में गिरावट आई, हालांकि Gemini-3 Pro ने उच्च सटीकता (कई प्रेडिकेट्स पर 100%) बनाए रखी, जिसका श्रेय इसके "हाई रीजनिंग" मोड को दिया गया।
मॉडल संवेदनशीलता: छोटे या कम सक्षम मॉडल्स (LLaMA3-70B, Mistral-Large) में उच्च भिन्नता देखी गई और वे जटिल कार्यों में संघर्ष करते दिखे। दिलचस्प बात यह है कि इन मॉडल्स के लिए, जटिल प्रॉम्प्टिंग रणनीतियों (जैसे CoT) को अक्षम करने से कभी-कभी प्रदर्शन में सुधार हुआ, जो बताता है कि वे विस्तृत निर्देशों से "ओवरबर्डन" (अतिभारित) हो सकते हैं।
दक्षता: Gemini-3 Pro सबसे कुशल था, जिसे सबसे कम उदाहरणों और टोकन की आवश्यकता थी, और इसने सबसे कम रेडंडेंट (अनावश्यक) नियम सेट बनाए।
एब्लेशन (Ablation): पूर्ण प्रॉम्प्टिंग पाइपलाइन (मेंडिंग + CoT + मल्टी-प्रम्प्टिंग) ने शीर्ष-स्तरीय मॉडल्स के लिए प्रदर्शन को काफी बढ़ाया, लेकिन यह कमजोर मॉडल्स के लिए हमेशा आवश्यक नहीं था।

महत्व और दावे
यह शोध दावा करता है कि LLMs से नियम आसवन (rule distillation) पारंपरिक डेटा-संचालित नियम शिक्षण (ILP/SRL) के लिए एक सराहनीय विकल्प है। ILP के विपरीत, जिसके लिए स्पष्ट सर्च स्पेस परिभाषाओं और बड़े डेटासेट की आवश्यकता होती है, यह दृष्टिकोण LLMs के अंतर्निहित ज्ञान का लाभ उठाता है, जिसमें सही, सामान्यीकरण योग्य नियम प्राप्त करने के लिए केवल कुछ उदाहरणों की आवश्यकता होती है।

व्याख्यात्मकता (Interpretability): यह विधि अस्पष्ट न्यूरल वेट्स के बजाय मानव-पठनीय लॉजिक रूल्स बनाकर न्यूरोसिम्बोलिक सिस्टम की पारदर्शिता को बनाए रखती है।
अनुकूलन क्षमता (Adaptability): यह अभ्यासकर्ताओं को कार्य आवश्यकताओं के विकसित होने के साथ डायनेमिक रूप से रीजनिंग मॉड्यूल को विस्तारित करने के लिए एक व्यवहार्य तंत्र प्रदान करता है, जो एक "इंटरैक्टिव को-पायलट" के रूप में कार्य करता है।
सीमाएँ: लेखक नोट करते हैं कि यह पद्धति मानती है कि प्रश्न डिकम्पोजेबल और कंपोजिशनल हैं, और यह शुद्धता के औपचारिक प्रमाणों के बजाय अनुभवजन्य सत्यापन (रिग्रेशन टेस्टिंग) पर निर्भर करती है। यह दृष्टिकोण वर्तमान में बड़े, सक्षम LLMs के लिए सबसे प्रभावी है।

यह कार्य सुझाव देता है कि भले ही LLMs औपचारिक तर्क इंजन (formal reasoning engines) की जगह न ले सकें, लेकिन वे जटिल AI सिस्टम में सिम्बोलिक रीजनिंग घटकों के रखरखाव और विस्तार को स्वचालित करने के लिए एक सेतु के रूप में प्रभावी ढंग से कार्य कर सकते हैं।