Diffusion-Proof: Recipe for Formal Theorem Proving Beyond Auto-Regressive Generation
यह शोध पत्र **Diffusion-Proof** को प्रस्तुत करता है, जो औपचारिक प्रमेय सिद्ध करने (formal theorem proving) के लिए डिफ्यूजन-आधारित लार्ज लैंग्वेज मॉडल्स को लागू करने वाला पहला फ्रेमवर्क है, जो लंबी दूरी की सुसंगतता (long-range coherence) और स्थानीय सुधार (local correction) के लिए इटरेटिव डिनोइजिंग का लाभ उठाकर पारंपरिक ऑटो-रिग्रेसिव बेसलाइन्स से बेहतर प्रदर्शन करता है, जिससे महत्वपूर्ण बेंचमार्क सुधार प्राप्त होते हैं और एक ऐसी IMO समस्या को हल किया जाता जिसे अत्याधुनिक मॉडल्स नहीं कर सके थे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI गणित की "एकतरफा सड़क" को ठीक करना
कल्पना कीजिए कि आप एक बहुत ही जटिल गणितीय पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि Lean नामक एक औपचारिक भाषा में एक प्रमाण (proof)। यह भाषा एक सख्त कंप्यूटर कोड की तरह है जहाँ हर एक कदम तार्किक रूप से पूर्ण होना चाहिए। यदि आप एक छोटी सी भी गलती करते हैं, तो पूरा प्रमाण ढह जाता है।
वर्षों से, इस काम के लिए सबसे अच्छे AI मॉडल ऑटो-रिग्रेसिव (AR) मॉडल रहे हैं। इन मॉडलों को एक ऐसे व्यक्ति की तरह समझें जो एक बार में एक शब्द लिखते हुए एक कहानी लिख रहा है, जो सख्ती से बाएं से दाएं चलता है। वे यह नहीं देख सकते कि वे आगे क्या लिखने वाले हैं, और वे पाँच मिनट पहले लिखे गए शब्द को बिना पूरे वाक्य को दोबारा लिखे आसानी से बदल भी नहीं सकते।
समस्या:
लंबे गणितीय प्रमाणों में, यह "एकतरफा सड़क" वाला दृष्टिकोण दो बड़े मुद्दे पैदा करता है:
- डोमिनो प्रभाव (The Domino Effect): यदि AI शुरुआत में एक छोटी सी गलती करता है, तो वह उस गलती पर निर्माण करना जारी रखता है, जिससे त्रुटि और खराब होती जाती है जब तक कि प्रमाण बेकार न हो जाए।
- "पीछे देखने" की क्षमता का अभाव: यदि AI को आधे रास्ते में एहसास होता है कि पहला कदम गलत था, तो वह आसानी से केवल उस पहले कदम को ठीक नहीं कर सकता। उसे या तो फिर से शुरू करना पड़ता है या शुरुआत से मेल बिठाने के लिए वाक्य के अंत को अजीब तरह से जोड़ने (patch) की कोशिश करनी पड़ती है।
समाधान: "डिफ्यूजन" दृष्टिकोण
इस शोध पत्र के लेखक Diffusion-Proof नामक एक नया तरीका प्रस्तावित करते हैं। शब्द-दर-शब्द लिखने के बजाय, वे एक डिफ्यूजन लार्ज लैंग्वेज मॉडल (dLLM) का उपयोग करते हैं।
उपमा: मूर्तिकार बनाम लिपिक (The Sculptor vs. The Scribe)
- पुराना तरीका (AR मॉडल): एक लिपिक (scribe) की कल्पना करें जो एक पत्र लिख रहा है। एक बार स्याही सूख जाने के बाद, वह इसे बदल नहीं सकता। यदि वह एक शब्द गलत लिख देता है, तो उसे उसे काटकर बगल में एक गंदा नोट लिखना पड़ता है।
- नया तरीका (Diffusion मॉडल): एक मूर्तिकार की कल्पना करें जो मिट्टी के एक पिंड (block of clay) के साथ काम कर रहा है। वे केवल मिट्टी जोड़ते नहीं हैं; वे एक खुरदरे, शोर वाले ढेर से शुरुआत करते हैं और उसे पुनरावृत्ति के माध्यम से परिष्कृत (iteratively refine) करते हैं। वे एक ही समय में पूरे आकार को देख सकते हैं, बाईं ओर के उभार को चिकना कर सकते हैं जबकि दाईं ओर के घुमाव को देख रहे होते हैं, और पूरे चित्र को "डिनोइजिंग" (denoising) करके गलतियों को सुधार सकते हैं जब तक कि वह पूर्ण न हो जाए।
तकनीकी शब्दों में, डिफ्यूजन मॉडल टेक्स्ट को ब्लॉक्स (शब्दों के समूह) में उत्पन्न करता है, न कि एकल शब्दों में। यह वाक्य के बीच में क्या फिट होगा, यह समझने के लिए वाक्य की शुरुआत और अंत को एक साथ देख सकता है।
Diffusion-Proof कैसे काम करता है: दो-सदस्यीय टीम
यह पेपर इन गणितीय समस्याओं को हल करने के लिए एक दो-भाग वाली टीम पेश करता है:
1. आर्किटेक्ट (dLLM-Prover-7B)
यह मुख्य निर्माता है। क्योंकि यह "मूर्तिकार" पद्धति (ब्लॉक डिफ्यूजन) का उपयोग करता है, यह लंबी दूरी की योजना (long-range planning) बनाने में बहुत बेहतर है।
- यह क्यों महत्वपूर्ण है: एक लंबा प्रमाण बनाते समय, आर्किटेक्ट "बड़ी तस्वीर" देख सकता है। वह जानता है कि अंतिम चरण के लिए एक विशिष्ट स्थिति की आवश्यकता है, इसलिए वह प्रमाण की शुरुआत को उस स्थिति से पूरी तरह मेल खाने के लिए तैयार करता है। वह बीच में खो नहीं जाता क्योंकि वह एक बार में टेक्स्ट के पूरे ब्लॉक को "देख" सकता है।
2. इंस्पेक्टर (dLLM-Corrector-7B)
सबसे अच्छा आर्किटेक्ट भी गलतियाँ करता है। कभी-कभी प्रमाण अच्छा दिखता है, लेकिन एक विशिष्ट चरण गलत होता है।
- पुराना तरीका: यदि एक AR मॉडल गलती करता है, तो वह अक्सर उस त्रुटि के बाद अधिक टेक्स्ट लिखकर उसे ठीक करने की कोशिश करता है, जिससे चीजें और खराब हो जाती हैं।
- नया तरीका: इंस्पेक्टर एक विशेष मॉडल है जिसे खाली स्थानों को भरने (fill in the blanks) के लिए प्रशिक्षित किया गया है। यदि प्रमाण विफल हो जाता है, तो सिस्टम टूटे हुए हिस्से को लेता है, उसे एक "मास्क" (जैसे खाली स्थान) से ढक देता है, और इंस्पेक्टर से केवल उस विशिष्ट हिस्से को फिर से लिखने के लिए कहता है।
- सुपरपावर: क्योंकि इंस्पेक्टर डिफ्यूजन पद्धति का उपयोग करता है, वह त्रुटि से पहले के टेक्स्ट और त्रुटि के बाद के टेक्स्ट को देख सकता है ताकि यह पता लगाया जा सके कि गायब हिस्सा वास्तव में क्या होना चाहिए। यह एक ऐसे संपादक की तरह है जो टाइपो (typo) से पहले और बाद के वाक्य को पढ़कर सही शब्द का अनुमान लगाता है, न कि केवल पिछले शब्द के आधार पर अनुमान लगाता है।
परिणाम: दिग्गजों को मात देना
शोधकर्ताओं ने इस नए सिस्टम का परीक्षण दो प्रसिद्ध गणितीय बेंचमार्क पर किया:
- MiniF2F: हाई-स्कूल और प्रतियोगिता गणित की समस्याओं का एक संग्रह।
- ProofNet: कॉलेज स्तर की गणित की समस्याओं का एक संग्रह।
स्कोरबोर्ड:
- नए Diffusion-Proof सिस्टम ने ठीक उसी डेटा पर प्रशिक्षित सर्वश्रेष्ठ पारंपरिक (Auto-Regressive) मॉडलों को पीछे छोड़ दिया।
- इसने MiniF2F टेस्ट पर 6.14% अधिक समस्याओं को हल किया।
- इसने ProofNet टेस्ट पर 1.61% अधिक समस्याओं को हल किया।
"IMO" क्षण:
सबसे रोमांचक परिणाम एक विशिष्ट इंटरनेशनल मैथ ओलंपियाड (IMO) की समस्या थी। एक बहुत ही उन्नत, प्रसिद्ध AI मॉडल जिसे DeepSeek-Prover-V2 (जो "चेन ऑफ थॉट" रीजनिंग का उपयोग करता है) कहा जाता है, वह इसे हल करने में विफल रहा। Diffusion-Proof ने इसे हल कर लिया।
क्यों? DeepSeek मॉडल अपने ही प्लान को ठीक करने के चक्कर में एक लूप में फंस गया था, क्योंकि वह प्रमाण की शुरुआत और अंत के बीच के लंबे संबंध को नहीं देख पा रहा था। डिफ्यूजन मॉडल, प्रमाण के पूरे "ब्लॉक" को एक साथ देखने की अपनी क्षमता के साथ, सही रास्ता खोजने में सफल रहा।
सारांश
यह शोध पत्र दावा करता है कि "एक बार में एक शब्द लिखने" से "टेक्स्ट के ब्लॉक्स को तराशने" (sculpting) की ओर स्विच करके, AI गणित में बहुत बेहतर हो सकता है। यह एक ऐसा सिस्टम बनाता है जो लंबी दूरी तक बेहतर योजना बनाता है और केवल तात्कालिक अतीत को देखने के बजाय पूरे संदर्भ को देखकर अपनी गलतियों को सुधार सकता है। यह इसे कठिन गणितीय समस्याओं को हल करने की अनुमति देता जिन्हें पिछले AI मॉडल सरल रूप से हल नहीं कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।