तकनीकी सारांश: ऑटोफॉर्मलाइजेशन के लिए मोनोटोनिक रेफरेंस-फ्री रिफाइनमेंट

1. समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने गणितीय तर्क क्षमता में प्रगति की है, लेकिन पूर्ण-प्रमेय ऑटोफॉर्मलाइजेशन (full-theorem autoformalization)—अर्थात प्राकृतिक भाषा के प्रमेयों और उनके साथ संलग्न प्रमाणों को पूर्ण, यांत्रिक रूप से सत्यापन योग्य औपचारिक कथनों और प्रमाणों में परिवर्तित करना—अभी भी अल्प-अन्वेषित है। मौजूदा दृष्टिकोण अक्सर केवल कथन के फॉर्मलाइजेशन पर ध्यान केंद्रित करते हैं, जो प्रमाणों के लिए "sorry" प्लेसहोल्डर्स पर निर्भर करते हैं, या कथन निर्माण और प्रमेय सिद्ध करने को अलग-अलग कार्यों के रूप में देखते हैं।

उच्च गुणवत्ता वाले ऑटोफॉर्मलाइजेशन की मुख्य चुनौती इसके बहु-आयामी स्वरूप में निहित है। एक सफल फॉर्मलाइजेशन को एक साथ निम्नलिखित को संतुष्ट करना चाहिए:

1. औपचारिक वैधता (Formal Validity - FV): थ्योरम प्रूवर (जैसे, Lean4) द्वारा सिंथेटिक शुद्धता और यांत्रिक सत्यापन।
2. तार्किक संरक्षण (Logical Preservation - LP): मूल प्राकृतिक-भाषा कथन की तार्किक संरचना के साथ अर्थ संबंधी संरेखण।
3. गणितीय निरंतरता (Mathematical Consistency - MC): गणितीय वस्तुओं और ऑपरेशन्स का सटीक प्रतिनिधित्व।
4. औपचारिक गुणवत्ता (Formal Quality - FQ): संरचनात्मक स्पष्टता, संक्षिप्तता और पुन: प्रयोज्यता।

वर्तमान पुनरावृत्ति सुधार (iterative refinement) विधियाँ इन आयामों को संयुक्त रूप से अनुकूलित करने में संघर्ष करती हैं, और अक्सर एक पहलू (जैसे, सिंटैक्स) को सुधारने के चक्कर में दूसरे (जैसे, अर्थ संबंधी संरेखण) की बलि दे देती हैं। इसके अलावा, मौजूदा विधियाँ अक्सर ग्राउंड-ट्रुथ फॉर्मलाइजेशन या चयन के लिए मानवीय हस्तक्षेप पर निर्भर करती हैं, जो रेफरेंस-फ्री सेटिंग्स में उनकी प्रयोज्यता को सीमित करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक रेफरेंस-फ्री, पुनरावृत्ति, मोनोटोनिक अनुकूलन प्रक्रिया प्रस्तावित करते हैं, जो ग्राउंड-ट्रुथ फॉर्मलाइजेशन या मानव चयन तक पहुँच के बिना टेस्ट-टाइम पर संचालित होती है। यह ढांचा विशेषज्ञ LLMs के एक समूह (ensemble) को निर्देशित करने के लिए थ्योरम प्रूवर्स और LLM-आधारित जजों से फीडबैक को एकीकृत करता है।

2.1 ऑब्जेक्टिव फंक्शन

लेखक चार आयामों को संतुलित करने के लिए एक मास्क्ड कंपोजिट ऑब्जेक्टिव $J_{OA}(x)$ को परिभाषित करते हैं। औपचारिक वैधता ($\pi_{FV}$) एक हार्ड कंस्ट्रेंट (एक मास्क) के रूप में कार्य करती है, जबकि तार्किक संरक्षण ($\pi_{LP}$), गणितीय निरंतरता ($\pi_{MC}$), और औपचारिक गुणवत्ता ($\pi_{FQ}$) को सॉफ्ट आयामों के रूप में माना जाता है:
$$J_{OA}(x) = \frac{1}{3}\pi_{FV}(x) \left( \pi_{LP}(x) + \pi_{MC}(x) + \pi_{FQ}(x) \right)$$
यह सूत्रीकरण यह सुनिश्चित करता है कि अमान्य फॉर्मलाइजेशन (जहाँ $\pi_{FV}=0$ हो) को उनके सॉफ्ट स्कोर के बावजूद नहीं चुना जाए।

2.2 LLM जज और अनिश्चितता

चूंकि सॉफ्ट आयामों की गणना सटीक रूप से करना कठिन है, इसलिए ढांचा स्कोर का अनुमान लगाने के लिए LLM जजों का उपयोग करता है। LLMs की अंतर्निहित शोर (noise) और पूर्वाग्रह (bias) को संभालने के लिए, लेखक यह मानते हैं:

• एसिम्प्टोटिक स्टेबिलिटी (Asymptotic Stability): अंशांकन (calibration) के बाद निर्णय स्थिर हो जाते हैं।
• मापने योग्य अनिश्चितता (Measurable Uncertainty): वास्तविक स्कोर के लिए एक एक-तरफा लोअर कॉन्फिडेंस बाउंड (LCB) स्थापित किया जा सकता है।
  ऑब्जेक्टिव को LCB-आधारित एस्टिमेटर का उपयोग करके अनुकूलित किया जाता है, जिससे यह सुनिश्चित होता है कि चयन के निर्णय रूढ़िवादी (conservative) और मूल्यांकन शोर के प्रति मजबूत हों।

2.3 जेनरेटर भूमिकाएं और प्रतिक्रियाशीलता

ढांचा LLM भूमिकाओं को तीन श्रेणियों में विभाजित करता है, जो एक रिस्पॉन्सिवनेस मैप (responsiveness map) द्वारा निर्देशित होता है जो प्रत्येक आयाम के प्रति अपेक्षित सुधार को मॉडल करता है:

1. वन-ऑफ जेनरेटर्स (OOGs): शुरुआत से ही प्रारंभिक फॉर्मलाइजेशन उत्पन्न करते हैं (जैसे, DeepSeek-Prover जैसे विशेष गणित मॉडल)।
2. FV-रिपेयरर्स (FVRs): विशेष रूप से औपचारिक रूप से अमान्य उम्मीदवारों को लक्षित करते हैं और उन्हें ठीक करते हैं (जैसे, पुनरावृत्ति प्रमाण संशोधन में सक्षम मॉडल)।
3. रिकरेंट जेनरेटर्स (REGs): विशिष्ट सॉफ्ट आयामों (LP, MC, या FQ) के संबंध में LLM जजों से प्राप्त फीडबैक के आधार पर वर्तमान सर्वश्रेष्ठ उम्मीदवार को परिष्कृत (refine) करते हैं।

2.4 मोनोटोनिक स्वीकृति नीति

प्रक्रिया उम्मीदवार निर्माण और चयन के माध्यम से पुनरावृत्ति करती है। एक रूढ़िवादी स्वीकृति नीति (Conservative Acceptance Policy) लागू की जाती है: एक नए उम्मीदवार को तभी स्वीकार किया जाता है जब उसका अनुमानित ऑब्जेक्टिव स्कोर (LCB के आधार पर) वर्तमान सर्वश्रेष्ठ से स्पष्ट रूप से अधिक हो। यह प्रमाणित मोनोटोनिक सुधार (certified monotonic improvement) की गारंटी देता है, जिसका अर्थ है कि चयनित फॉर्मलाइजेशन की गुणवत्ता पुनरावृत्तियों के दौरान कभी कम नहीं होती है। इसे विशिष्ट स्थितियों के तहत अभिसरण (converge) और समाप्त होने के लिए सिद्ध किया गया है।

3. प्रमुख योगदान

1. औपचारिक परिभाषा और ढांचा: यह शोध पत्र पूर्ण-प्रमेय ऑटोफॉर्मलाइजेशन को एक एकीकृत कार्य के रूप में औपचारिक रूप से परिभाषित करने वाला और इसे हल करने के लिए एक रेफरेंस-फ्री, पुनरावृत्ति मोनोटोनिक प्रक्रिया प्रस्तावित करने वाला पहला कार्य है।
2. मास्क्ड कंपोजिट ऑब्जेक्टिव: एक ऑब्जेक्टिव फंक्शन का परिचय जो औपचारिक वैधता को एक हार्ड कंस्ट्रेंट के रूप में लागू करता है जबकि कई सॉफ्ट आयामों (LP, MC, FQ) को एक साथ अनुकूलित करता है।
3. भूमिका-विशिष्ट एन्सेम्बल: ऑटोफॉर्मलाइजेशन कार्य को OOG, FVR और REG भूमिकाओं में विभाजित करना, जो विशिष्ट गुणवत्ता आयामों के लिए सबसे प्रभावी जेनरेटर्स का चयन करने के लिए रिस्पॉन्सिवनेस मैप का उपयोग करता है।
4. सैद्धांतिक गारंटी: प्रमाणित मोनोटोनिसिटी, अभिसरण और प्रक्रिया समाप्ति के लिए सैद्धांतिक प्रमाण प्रदान करना, जो वास्तविक जज शोर के तहत भी गैर-घटती प्रगति सुनिश्चित करता है।
5. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि ढांचा मानक बेंचमार्क पर उच्च-गुणवत्ता वाले परिणाम प्राप्त करने के लिए विशिष्ट और सामान्य-उद्देश्य वाले LLMs की शक्तियों को प्रभावी ढंग से संयोजित करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन Lean4 का उपयोग करके miniF2F-Test और ProofNet-Test पर किया गया। ढांचे ने DeepSeek-Prover-V2-7B, Goedel-Prover-V2-8B, Seed-Coder-8B, Qwen2.5-7B और GPT-4.1-mini (जजों के रूप में) सहित मॉडल्स के एक एन्सेम्बल का उपयोग किया।

मुख्य प्रदर्शन मेट्रिक्स:

• miniF2F: 100.00% औपचारिक वैधता और 90.27% का समग्र स्कोर प्राप्त किया। "परफेक्ट" फॉर्मलाइजेशन (सभी आयामों का स्कोर 1 होना) की दर 49.18% तक पहुँच गई।
• ProofNet: 77.96% औपचारिक वैधता और 52.45% का समग्र स्कोर प्राप्त किया, जिसमें 17.74% परफेक्ट फॉर्मलाइजेशन शामिल थे।

तुलनात्मक निष्कर्ष:

• मोनोटोनिक बनाम बेसलाइन्स: मोनोटोनिक प्रक्रिया ने Best-of-k (k आउटपुट का नमूना लेना) और बिना स्वीकृति नीतियों वाले इटरेटिव सेल्फ-रिफाइनमेंट (ISR) दोनों को महत्वपूर्ण रूप से पीछे छोड़ दिया।
• एन्सेम्बल बनाम सिंगल मॉडल: हालांकि एक एकल मजबूत मॉडल (GPT-5.4) ने सुधार दिखाया, लेकिन विशिष्ट भूमिकाओं के लिए आवंटित छोटे, विशिष्ट मॉडल्स के एन्सेम्बल ने बेहतर प्रदर्शन किया, विशेष रूप से औपचारिक वैधता (Formal Validity) में।
• मजबूती (Robustness): मोनोटोनिक रुझान तब भी बना रहा जब विभिन्न LLM जज परिवारों (जैसे, Qwen बनाम GPT) और मानव विशेषज्ञों द्वारा मूल्यांकन किया गया, जो दर्शाता है कि सुधार जज के पूर्वाग्रह का परिणाम नहीं हैं।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि यह कार्य विश्वसनीय ऑटोफॉर्मलाइजेशन की ओर एक व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ कदम है। रेफरेंस-फ्री तरीके से कार्य करके, यह दृष्टिकोण उन डोमेन में भी लागू करने योग्य है जहाँ व्यापक औपचारिक लाइब्रेरी उपलब्ध नहीं हैं, जिससे गणित और विज्ञान के अन्वेषण किए जा रहे क्षेत्रों के फॉर्मलाइजेशन में सहायता मिल सकती है।

लेखक इस बात पर जोर देते हैं कि यह ढांचा AI-सहायता प्राप्त ऑटोफॉर्मलाइजेशन के लिए एक सिद्धांत-आधारित पद्धति प्रदान करता है जो:

• बड़े पैमाने पर औपचारिक सत्यापन पाइपलाइनों में मानवीय निरीक्षण की आवश्यकता को कम करता है।
• LCB धारणाओं के माध्यम से निर्णय की अनिश्चितता को स्पष्ट रूप से मात्रात्मक और नियंत्रित करता है।
• यह प्रदर्शित करता है कि पूरक LLMs को औपचारिक सत्यापन फीडबैक के साथ जोड़ने से प्रमाणित रूप से गैर-घटती गुणवत्ता वाले फॉर्मलाइजेशन प्राप्त किए जा सकते हैं।

कार्य यह निष्कर्ष निकालता है कि यद्यपि कम्प्यूटेशनल लागत सिंगल-पास इन्फरेंस की तुलना में अधिक है, फिर भी प्रदर्शन और स्थिरता में महत्वपूर्ण लाभ के कारण यह ट्रेड-ऑफ उचित है, जो सुरक्षित, विश्वसनीय AI-सहायता प्राप्त औपचारिक तर्क (formal reasoning) के भविष्य के अनुसंधान का मार्ग प्रशस्त करता है।