Procedural Refinement by LLM-driven Algorithmic Debugging for ARC-AGI-2
यह शोध पत्र एबडक्शन-बेस्ड प्रोसीजरल रिफाइनमेंट (ABPR) को प्रस्तुत करता है, जो एक न्यूरो-सिम्बोलिक दृष्टिकोण है जो कोड रिपेयर को एक औपचारिक, स्टेपवाइज प्रोसीजरल रिफाइनमेंट प्रक्रिया में बदलकर ARC-AGI-2 बेंचमार्क पर 56.67% का Pass@2 स्कोर प्राप्त करने के लिए एक मेटा-इंटरप्रेटर और उडी शापिरो के एल्गोरिद्मिक प्रोग्राम डिबगिंग सिद्धांत के साथ LLMs को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े जल्दबाज़ कलाकार (LLM) को एक जटिल पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। वह कलाकार यह अंदाज़ा लगाने में बहुत माहिर है कि चित्र कैसा दिखना चाहिए, लेकिन वे अपने पहले स्केच में छोटी-मोटी गलतियाँ कर देते हैं।
अतीत में, यदि कलाकार कोई गलती करता था, तो आप बस कहते थे, "अरे, यह गलत लग रहा है, फिर से कोशिश करो।" इसके बाद कलाकार फिर से अनुमान लगाता था, अक्सर एक अलग गलती करता या पहले से भी बदतर स्थिति में पहुँच जाता। वे किसी व्यवस्थित तरीके के बजाय केवल अपनी "अंतरात्मा की आवाज़" (gut feeling) पर निर्भर थे।
यह शोध पत्र एक नई विधि पेश करता है जिसे ABPR (Abduction-Based Procedural Refinement) कहा जाता है। इसे एक कलाकार को एक सुपर-पावर्ड आवर्धक लेंस (magnifying glass) और एक सख्त चेकलिस्ट देने के रूप में समझें (जो एक पुराने कंप्यूटर विज्ञान सिद्धांत Algorithmic Program Debugging पर आधारित है)।
यह कैसे काम करता है, इसे सरल उपमाओं में यहाँ समझाया गया है:
1. समस्या: "अंतरात्मा की आवाज़" का जाल (The "Gut Feeling" Trap)
वर्तमान AI मॉडल उन छात्रों की तरह हैं जो उत्तर का अनुमान लगाने में तो बहुत अच्छे हैं लेकिन अपना काम जाँचने में खराब हैं। यदि वे गणित के सवाल में गलत होते हैं, तो वे केवल एक संख्या बदल सकते हैं क्योंकि ऐसा उन्हें "सही" लगता है, बिना यह समझे कि मूल तर्क क्यों विफल हुआ। इसे "प्लाउसिबल रीजनिंग" (plausible reasoning) कहा जाता है। यह कभी-कभी काम करता है, लेकिन कठिन पहेलियों (जैसे कि उल्लेखित ARC-AGI-2 बेंचमार्क) में, वे एक ही तरह की गलतियाँ करने के लूप में फंस जाते हैं।
2. समाधान: "डिबगिंग ट्री" (The "Debugging Tree")
AI को केवल "फिर से कोशिश करो" कहने के बजाय, यह नई विधि AI को एक डिबगिंग ट्री बनाने के लिए मजबूर करती है।
- उपमा: कल्पना कीजिए कि AI का कोड एक वंशावली (family tree) है। पेड़ का शीर्ष अंतिम उत्तर है। शाखाएं वे चरण हैं जो वहां तक पहुँचने के लिए उठाए गए हैं।
- जादू: सिस्टम कोड चलाता है और यह पेड़ बनाता है। फिर, यह AI से पूछता है: "क्या यह विशिष्ट शाखा सही है?"
- प्रक्रिया:
- AI एक समाधान (एक "अनुमान") उत्पन्न करता है।
- सिस्टम इसे चलाता है और पेड़ बनाता है।
- सिस्टम एक टूटी हुई शाखा (एक "बग") को ढूँढता है।
- AI को ठीक से बताया जाता है कि खराबी कहाँ है, न कि केवल यह कि "यह गलत है।"
- AI केवल उस टूटी हुई शाखा को ठीक करता है, बाकी के पेड़ को सुरक्षित रखते हुए।
3. गुप्त मंत्र: "प्रोलॉग" बोलना (Speaking "Prolog")
यह शोध पत्र Prolog नामक एक प्रोग्रामिंग भाषा का उपयोग करता है।
- उपमा: अधिकांश प्रोग्रामिंग भाषाएँ एक रेसिपी देने जैसी हैं: "चरण 1 करें, फिर चरण 2 करें, फिर चरण 3 करें।" यदि आप चरण 2 में गलती करते हैं, तो पूरी रेसिपी विफल हो जाती है, और यह देखना कठिन होता है कि क्यों।
- Prolog तार्किक तथ्यों के एक सेट जैसा है: "यदि A सत्य है, तो B सत्य है।"
- क्योंकि Prolog इतना तार्किक है, इसलिए "डिबगिंग ट्री" बहुत स्पष्ट होता है। यह एक घर के ब्लूप्रिंट होने जैसा है जहाँ आप तुरंत देख सकते हैं कि कौन सी ईंट ढीली है। शोध पत्र दिखाता है कि भले ही आधुनिक AI आमतौर पर Prolog में खराब है, लेकिन यह "ब्लूप्रिंट" विधि इसे अपनी गलतियों को मानक भाषा जैसे Python की तुलना में बहुत बेहतर तरीके से सुधारने में मदद करती है।
4. परिणाम: "अनुमान लगाने" से "सीखने" तक (From "Guessing" to "Learning")
शोधकर्ताओं ने इसका परीक्षण ARC-AGI-2 बेंचमार्क पर किया, जो अमूर्त तर्क (abstract reasoning) का "ओलंपिक्स" है। इसके लिए कुछ उदाहरणों से पैटर्न को समझना आवश्यक होता है।
- इस विधि के बिना: AI अनुमान लगाता है, विफल होता है, फिर से अनुमान लगाता है, और अक्सर और भी बुरी तरह विफल होता है।
- इस विधि (ABPR) के साथ: AI अनुमान लगाता है, सिस्टम सटीक तार्किक त्रुटि को ढूँढता है, AI उस विशिष्ट त्रुटि को ठीक करता है, और फिर से प्रयास करता है।
- परिणाम: उन्होंने एक तेज़, सस्ते AI मॉडल (Gemini-3-Flash) का उपयोग करके 56.67% सफलता दर प्राप्त की। यह प्रभावशाली है क्योंकि इसने बहुत अधिक शक्तिशाली, महंगे मॉडलों को भी पीछे छोड़ दिया जिन्होंने इस "डिबगिंग ट्री" विधि का उपयोग नहीं किया था।
एक वाक्य में सारांश
यह शोध पत्र AI को गलतियों के रास्ते से अनुमान लगाने के बजाय, एक तार्किक मानचित्र (पेड़) का उपयोग करके अपनी सोच के सटीक टूटे हुए हिस्से को खोजने, उसे ठीक करने और फिर से प्रयास करने के लिए सिखाता है, जिससे एक अराजक अनुमान लगाने वाले खेल को एक सटीक, चरण-दर-चरण मरम्मत कार्य में बदल दिया जाता है।
यह क्यों मायने रखता है?
यह AI को अधिक विश्वसनीय बनाता है। एक "ब्लैक बॉक्स" के बजाय जो आपको एक उत्तर देता है और आपको उम्मीद करनी पड़ती है कि वह सही होगा, यह विधि आपको एक सत्यापन योग्य तर्क का मार्ग (verifiable trail of logic) देती है। यह उस छात्र के बीच का अंतर है जो कहता है "मुझे लगता है कि उत्तर 42 है" और उस छात्र के बीच है जो कहता है "मैंने चरण 3 में गलती की थी, मैंने इसे ठीक किया, और अब उत्तर 42 है क्योंकि इसके विशिष्ट कारण ये हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।