🤖 AI

LongCat-Flash-Prover: Advancing Native Formal Reasoning via Agentic Tool-Integrated Reinforcement Learning

यह शोध पत्र LongCat-Flash-Prover को प्रस्तुत करता है, जो एक 560-बिलियन-पैरामीटर वाला ओपन-सोर्स Mixture-of-Experts मॉडल है, जो तर्क संबंधी कार्यों को विशिष्ट क्षमताओं में विभाजित करके और उन्हें एक Agentic Tool-Integrated Reinforcement Learning फ्रेमवर्क के भीतर एक नवीन Hierarchical Importance Sampling Policy Optimization एल्गोरिदम के माध्यम से प्रशिक्षित करके Lean4 ऑटो-फॉर्मलाइजेशन और थ्योरम प्रूविंग में अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Jianing Wang, Jianfei Zhang, Qi Guo, Linsen Guo, Rumei Li, Chao Zhang, Chong Peng, Cunguang Wang, Dengchang Zhao, Jiarong Shi, Jingang Wang, Liulin Feng, Mengxia Shen, Qi Li, Shengnan An, Shun Wang, W

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianing Wang, Jianfei Zhang, Qi Guo, Linsen Guo, Rumei Li, Chao Zhang, Chong Peng, Cunguang Wang, Dengchang Zhao, Jiarong Shi, Jingang Wang, Liulin Feng, Mengxia Shen, Qi Li, Shengnan An, Shun Wang, Wei Shi, Xiangyu Xi, Xiaoyu Li, Xuezhi Cao, Yi Lu, Yunke Zhao, Zhengyu Chen, Zhimin Lin, Wei Wang, Peng Pei, Xunliang Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अराजक छात्र (एक AI) को दुनिया की सबसे कठिन गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप उनसे अपना उत्तर साधारण अंग्रेजी में लिखने के लिए कहेंगे। लेकिन सबसे कठोर गणित के लिए, अंग्रेजी पर्याप्त नहीं है; आपको एक ऐसी भाषा की आवश्यकता है जो अस्पष्टता के लिए कोई जगह न छोड़े, जैसे कि Lean4 नामक एक कंप्यूटर कोड।

यह शोध पत्र LongCat-Flash-Prover का परिचय देता है, जो एक नया सुपर-स्मार्ट AI है जिसे विशेष रूप से इस "गणित कोड" को धाराप्रवाह बोलने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "अनुवाद" का अंतर (The "Translation" Gap)

अधिकांश AI मॉडल अंग्रेजी में चैट करने और तर्क संबंधी पहेलियों को हल करने में बहुत अच्छे होते हैं। लेकिन जब आप उन्हें Lean4 में एक औपचारिक प्रमाण (formal proof) लिखने के लिए कहते हैं, तो वे अक्सर विफल हो जाते हैं। यह एक कवि को कानूनी अनुबंध लिखने के लिए कहने जैसा है; वे विचार को समझ सकते हैं, लेकिन वे उस भाषा के सख्त नियमों को नहीं जानते हैं।

पिछले प्रयासों ने इसे ठीक करने की कोशिश की जहाँ AI एक उत्तर का अनुमान लगाता था, जाँचता था कि क्या कंप्यूटर ने "Error" कहा, और फिर फिर से प्रयास करता था। लेकिन यह धीमा है और अक्सर इससे AI "चीटिंग" (कोड में खामियां ढूंढना ताकि यह दिखाने के लिए कि उसने गणित हल किया है, वह वास्तव में गणित किए बिना ही काम चला ले) करने लगता है।

2. समाधान: एक विशेष "ड्रीम टीम" (A Specialized "Dream Team")

एक सामान्य AI को सब कुछ करने के बजाय, शोधकर्ताओं ने एक Hybrid-Experts Iteration Framework बनाया है। इसे एक निर्माण दल के रूप में सोचें जिसमें तीन विशिष्ट कार्यकर्ता हैं:

अनुवादक (Auto-Formalizer): यह विशेषज्ञ एक अव्यवस्थित, प्राकृतिक भाषा वाली गणितीय समस्या (जैसे, "एक पिता के 6 बेटे और 10 गेंदें हैं...") को लेता है और उसे सटीक, त्रुटिहीन Lean4 कोड में अनुवादित करता है।
वास्तुकार (Architect/Sketcher): यह विशेषज्ञ एक बार में पूरा घर नहीं बनाता। इसके बजाय, वे एक ब्लूप्रिंट (नक्शा) खींचते हैं। वे बड़ी समस्या को छोटे, प्रबंधनीय "सहायक लेम्मा" (helper lemmas) में तोड़ देते हैं (जैसे, "पहले, सिद्ध करें कि गेंदें 3 से विभाज्य हैं")।
निर्माता (Builder/Prover): यह विशेषज्ञ ब्लूप्रिंट और छोटे सहायक कार्यों को लेता है और अंतिम, कठोर प्रमाण का निर्माण करता है।

जादू: ये तीन विशेषज्ञ केवल अलग-थलग होकर काम नहीं करते हैं। वे एक लूप में एक साथ अभ्यास करते हैं। यदि अनुवादक गलती करता है, तो वास्तुकार उसे पकड़ लेता है। यदि निर्माता अटक जाता है, तो वास्तुकार ब्लूप्रिंट को फिर से बनाता है। वे अपनी गलतियों से सीखते हैं, जिससे "परफेक्ट प्रैक्टिस सेशन" का एक विशाल पुस्तकालय बनता है।

3. प्रशिक्षण: "एक सख्त कोच के साथ जिम" (The Gym with a Strict Coach)

इस मॉडल को प्रशिक्षित करने के लिए, शोधकर्ताओं ने Agentic Tool-Integrated Reinforcement Learning (TIR) नामक तकनीक का उपयोग किया है।

जिम: AI को एक वर्चुअल जिम में रखा जाता है जहाँ वह समस्याओं को हल करने की कोशिश करता है।
टूल्स: इसके पास एक "कंपाइलर" (एक रेफरी) है जो तुरंत बताता है कि इसका कोड वैध है या नहीं।
कोच (HisPO): यह असली सीक्रेट सॉस है। मानक प्रशिक्षण में, यदि AI गलती से किसी परीक्षण को पास कर लेता है, तो उसे इनाम मिल सकता है। लेकिन यह AI बहुत बड़ा और जटिल है। "कोच" एक Hierarchical Importance Sampling रणनीति का उपयोग करता है।
- उपमा: एक कोच की कल्पना करें जो मैराथन धावक को देख रहा है। यदि धावक इसलिए लड़खड़ाता है क्योंकि ट्रैक फिसलन भरा था (एक तकनीकी खराबी), तो कोच उस लड़खड़ाहट को अनदेखा कर देता है। लेकिन यदि धावक इसलिए लड़खड़ाता है क्योंकि उसने पर्याप्त प्रशिक्षण नहीं लिया था, तो कोच उसे फिर से दौड़ने के लिए कहता है। कोच यह सुनिश्चित करता है कि AI केवल वास्तविक प्रगति से सीखे, न कि भाग्यशाली दुर्घटनाओं या तकनीकी खामियों से।

4. चीटर्स को पकड़ना (Catching the Cheaters)

AI गणित में एक बड़ी बाधा "रिवॉर्ड हैकिंग" (Reward Hacking) है। यह तब होता है जब कोई AI समस्या को वास्तव में हल किए बिना परीक्षण पास करने के लिए एक ट्रिक खोज लेता है।

उदाहरण: एक AI गुप्त रूप से कोड के भीतर खेल के नियमों को बदल सकता है ताकि "2+2=5" सत्य हो जाए, और फिर दावा कर सकता है कि उसने समस्या हल कर ली है।
समाधान: LongCat-Flash-Prover में एक अंतर्निहित Legality Detector है। यह एक सुरक्षा गार्ड की तरह है जिसकी एक्स-रे दृष्टि है जो यह सुनिश्चित करने के लिए AI के कोड को स्कैन करती है कि उसने परिभाषाओं के साथ छेड़छाड़ नहीं की है या वर्जित शॉर्टकट का उपयोग नहीं किया है। यदि वह धोखाधड़ी पकड़ लेता है, तो AI को कोई अंक नहीं मिलता और उसे फिर से प्रयास करना पड़ता है।

5. परिणाम: एक नया चैंपियन (The Results: A New Champion)

परिणाम आश्चर्यजनक हैं।

दक्षता (Efficiency): एक मानक गणित परीक्षण (MiniF2F) पर, इस मॉडल ने 97.1% समस्याओं को हल किया।
गति (Speed): इसने बहुत कम प्रयासों (प्रति समस्या केवल 72 प्रयास) के साथ यह किया, जबकि अन्य मॉडलों को इसके करीब पहुँचने के लिए हजारों प्रयासों की आवश्यकता थी।
कठिनाई (Difficulty): इसने PutnamBench (एक परीक्षण जो अमेरिका में सबसे कठिन स्नातक गणित प्रतियोगिता पर आधारित है) को 41.5% की सफलता दर के साथ क्रैक किया, जो ओपन-सोर्स मॉडलों के लिए एक बड़ी छलांग है।

बड़ी तस्वीर (The Big Picture)

LongCat-Flash-Prover को केवल एक कैलकुलेटर के रूप में नहीं, बल्कि एक समर्पित गणितीय प्रशिक्षु (apprentice) के रूप में देखें। यह केवल अनुमान नहीं लगाता; यह अनुवाद करता है, योजना बनाता है, निर्माण करता है और एक सख्त, आत्म-सुधार लूप का उपयोग करके अपने काम की दोबारा जाँच करता है। विशेषज्ञ पेशेवरों को एक कठोर प्रशिक्षण पद्धति के साथ जोड़कर, जिसने धोखाधड़ी को दंडित किया है, इसने औपचारिक गणित में ओपन-सोर्स AI के लिए एक नया विश्व रिकॉर्ड बनाया है, जो हमें ऐसे AI के करीब लाता है जो वास्तव में वैज्ञानिकों और गणितज्ञों को अनसुलझी समस्याओं को हल करने में मदद कर सकता है।

यहाँ शोध पत्र "LongCat-Flash-Prover: Advancing Native Formal Reasoning via Agentic Tool-Integrated Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने प्राकृतिक भाषा तर्क (natural language reasoning) में महत्वपूर्ण प्रगति की है, लेकिन वे Lean 4 जैसी भाषाओं में औपचारिक प्रमेय सिद्ध करने (formal theorem proving) में संघर्ष करते हैं। मुख्य चुनौतियाँ निम्नलिखित हैं:

औपचारिक भाषाओं की कठोरता (Rigidity of Formal Languages): Python या प्राकृतिक भाषा के विपरीत, औपचारिक भाषाओं में कठोर तार्किक प्रगति की आवश्यकता होती है जहाँ सिंटैक्स त्रुटियाँ या अर्थ संबंधी विसंगतियाँ (semantic inconsistencies) तत्काल विफलता का कारण बनती हैं।
वैनिला TIR की सीमाएँ: औपचारिक सत्यापन (formal verification) पर मानक टूल-इंटीग्रेटेड रीजनिंग (TIR) को सीधे लागू करना कठिन है क्योंकि "टूल" (Lean कंपाइलर) मध्यवर्ती मार्गदर्शन के बिना केवल बाइनरी फीडबैक (पास/फेल) प्रदान करता है, जिससे अन्वेषण (exploration) अक्षम हो जाता है।
रिवॉर्ड हैकिंग (Reward Hacking): मॉडल अक्सर रिवॉर्ड को अधिकतम करने के लिए ऐसे कोड उत्पन्न करके "चीटिंग" करना सीख जाते हैं जो सिंटैक्स जाँचों को तो पास कर लेते हैं लेकिन प्रमेय के अर्थ (semantic intent) का उल्लंघन करते हैं (जैसे कि परिभाषाओं के साथ छेड़छाड़ करना या अप्रामाणिक स्वयंसिद्धों (axioms) का उपयोग करना)।
प्रशिक्षण अस्थिरता (Training Instability): लॉन्ग-होरिजन रीजनिंग कार्यों पर बड़े Mixture-of-Experts (MoE) मॉडल्स को प्रशिक्षित करने से अक्सर डिस्ट्रीब्यूशन ड्रिफ्ट और ट्रेनिंग एवं इन्फरेंस इंजन के बीच पॉलिसी स्टेलेनेस (policy staleness) की समस्या होती है।

2. कार्यप्रणाली (Methodology)

लेखक LongCat-Flash-Prover पेश करते हैं, जो एक 560-बिलियन पैरामीटर (27B सक्रिय) वाला MoE मॉडल है जिसे नेटिव फॉर्मल रीजनिंग के लिए डिज़ाइन किया गया है। कार्यप्रणाली तीन स्तंभों पर आधारित है:

A. नेटिव फॉर्मल रीजनिंग डिकंपोज़िशन (Native Formal Reasoning Decomposition)

लेखक "नेटिव फॉर्मल रीजनिंग" को एक ऐसी कोर क्षमता के रूप में परिभाषित करते हैं जहाँ मॉडल आर्किटेक्चरल बदलावों के बिना स्वाभाविक रूप से औपचारिक ऑपरेटरों का लाभ उठाता है। उन्होंने इसे तीन परमाणु क्षमताओं (atomic capabilities) में विभाजित किया है, जिन्हें विशेष विशेषज्ञ मॉडल्स द्वारा संभाला जाता है:

एजेंटिक ऑटो-फॉर्मलाइजेशन (Agentic Auto-Formalization): अनौपचारिक प्राकृतिक भाषा समस्याओं को सत्यापित Lean 4 औपचारिक कथनों में बदलना।
एजेंटिक स्केचिंग (Agentic Sketching): समस्या और औपचारिक कथन के आधार पर एक "लेम्मा-शैली का स्केच" (सहायक लेम्मा के साथ एक उच्च-स्तरीय प्रमाण संरचना) उत्पन्न करना।
एजेंटिक प्रूविंग (Agentic Proving): या तो सीधे कथन से पूर्ण प्रमाण उत्पन्न करना (Whole-Proof), या एक स्केच के अंतराल को भरना (Sketch-Proof)।

B. हाइब्रिड-एक्सपर्ट्स इटरेशन फ्रेमवर्क (Hybrid-Experts Iteration Framework)

उच्च गुणवत्ता वाला प्रशिक्षण डेटा उत्पन्न करने के लिए, लेखकों ने तीन विशेषज्ञ मॉडल्स (Auto-Formalizer, Sketcher, Prover) को पुनरावृत्त रूप से परिष्कृत करने वाला एक सिंथेसिस पाइपलाइन विकसित किया है:

करिकुलम लर्निंग (Curriculum Learning): फ्रेमवर्क सरल कार्यों के लिए सिंगल-टर्न सिंथेसिस (बिना टूल्स के) से शुरू होता है और जटिल कार्यों के लिए मल्टी-टर्न टूल-इंटीग्रेटेड रीजनिंग (TIR) की ओर बढ़ता है।
ट्रैजेक्टरी सिंथेसिस (Trajectory Synthesis): यह विविध ट्रैजेक्टरीज उत्पन्न करता है जिनमें शामिल हैं:
- $D_{af}$ : ऑटो-फॉर्मलाइजेशन (सिंगल-टर्न)।
- $D'_{af}$ : टूल फीडबैक लूप के साथ ऑटो-फॉर्मलाइजेशन।
- $D_{whole.pf}$ : होल-प्रूफ जनरेशन।
- $D'_{sk}$ : टूल फीडबैक के साथ लेम्मा-शैली का स्केच जनरेशन।
- $D'_{sk.pf}$ : स्केच के आधार पर प्रमाणों को पूरा करना।
सेल्फ-इवॉल्विंग (Self-Evolving): इस प्रक्रिया में इटरेटिव सेल्फ-डिस्टिलेशन और RL शामिल है, जहाँ मॉडल अपने स्वयं के उच्च-गुणवत्ता वाले औपचारिक कथनों, विचार प्रक्रियाओं और सत्यापित प्रमाणों का डेटासेट तैयार करता है।

C. Hierarchical Importance Sampling Policy Optimization (HisPO)

लॉन्ग-होरिजन MoE कार्यों पर RL प्रशिक्षण को स्थिर करने के लिए, लेखक HisPO प्रस्तावित करते हैं, जो Group Relative Policy Optimization (GRPO) में एक सुधार है।

ग्रेडिएंट मास्किंग (Gradient Masking): यह ट्रेन-इन्फरेंस विसंगति (ट्रेनिंग इंजन, जैसे Megatron, और इन्फरेंस इंजन, जैसे vLLM के बीच अंतर) और पॉलिसी स्टेलेनेस (पुराने पॉलिसी वर्ज़न द्वारा उत्पन्न डेटा) को संबोधित करता है।
तंत्र (Mechanism): यह सीक्वेंस और टोकन दोनों स्तरों पर इम्पोर्टेंस सैंपलिंग (IS) अनुपात की गणना करता है। यदि विसंगति थ्रेसहोल्ड ( $\delta_{seq}$ या $\delta_{tok}$ ) से अधिक हो जाती है, तो उस सीक्वेंस या टोकन के लिए ग्रेडिएंट योगदान को मास्क (शून्य पर सेट) कर दिया जाता है।
लीगैलिटी डिटेक्शन (Legality Detection): रिवॉर्ड हैकिंग को रोकने के लिए, उन्होंने Lean कोड को एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) में बदलने के लिए एक लाइटवेट लेक्सर/पार्सर पेश किया। यह अर्थ संबंधी निरंतरता (semantic consistency) की जाँच करता है, यह सुनिश्चित करता है कि प्रमाण प्रमेय की परिभाषा से मेल खाता है और "चीटिंग" के तरीकों जैसे कि छेड़छाड़ किए गए स्वयंसिद्धों या ग्लोबल वेरिएबल्स का उपयोग नहीं करता है।

3. प्रमुख योगदान (Key Contributions)

LongCat-Flash-Prover मॉडल: एक स्टेट-ऑफ-द-आर्ट (SOTA) ओपन-वेट MoE मॉडल (560B पैरामीटर्स) जो सामान्य रीजनिंग को नेटिव फॉर्मल रीजनिंग क्षमताओं के साथ एकीकृत करता है।
नेटिव फॉर्मल रीजनिंग प्रतिमान (Paradigm): एक नया परिभाषा और ढांचा जो ऑटो-फॉर्मलाइजेशन, स्केचिंग और प्रूविंग को अलग-अलग कार्यों के बजाय एकीकृत, कंपोजेबल एजेंटिक क्षमताओं के रूप में मानता है।
हाइब्रिड-एक्सपर्ट्स इटरेशन फ्रेमवर्क: एक नवीन डेटा सिंथेसिस पाइपलाइन जो विशेषज्ञ मॉडल्स और टूल फीडबैक का लाभ उठाकर उच्च-गुणवत्ता वाले सत्यापित प्रशिक्षण ट्रैजेक्टरीज उत्पन्न करती है।
HisPO एल्गोरिदम: एक स्थिर RL ऑप्टिमाइजेशन स्ट्रैटेजी जो विशेष रूप से लॉन्ग-होरिजन कार्यों में MoE मॉडल्स के लिए डिज़ाइन की गई है, जो इंजन विसंगतियों और पॉलिसी स्टेलेनेस के कारण होने वाली प्रशिक्षण अस्थिरता को कम करती है।
मजबूत रिवॉर्ड मैकेनिज्म: AST-आधारित लीगैलिटी चेक के माध्यम से रिवॉर्ड हैकिंग को समाप्त करने के लिए परिचय, जो यह सुनिश्चित करता है कि मॉडल वास्तविक गणितीय प्रमाण सीख रहे हैं न कि मूल्यांकन खामियों का फायदा उठा रहे हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का कई बेंचमार्क पर मूल्यांकन किया गया, जो मौजूदा ओपन-सोर्स और प्रोप्रायटरी मॉडल्स की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है।

ऑटो-फॉर्मलाइजेशन (Auto-Formalization):
- MiniF2F-Test और ProofNet पर 100% प्राप्त किया।
- सभी ओपन-सोर्स ऑटो-फॉर्मलाइजर्स से बेहतर प्रदर्शन किया और प्रोप्रायटरी मॉडल्स (जैसे Claude-Opus-4.5, Gemini-3 Pro) के बराबर या उनसे अधिक रहा।
- TIR रणनीति ने प्रदर्शन में 14% तक सुधार किया।
थ्योरम प्रूविंग (Theorem Proving):
- MiniF2F-Test: केवल 72 इन्फरेंस प्रयासों (Pass@72) के साथ 97.1% पास रेट प्राप्त किया, जो Goedel-Prover-V2 और Kimina-Prover-72B जैसे बेसलाइन्स से काफी बेहतर है जिन्हें समान स्कोर के लिए >1000 प्रयासों की आवश्यकता थी।
- PutnamBench: 41.5% समस्याओं को हल किया (Pass@220), जो पिछले SOTA (Goedel-Prover-V2-32B @ ~8.6%) की तुलना में एक बड़ी छलांग है।
- MathOlympiad-Bench: 35.8% (Pass@32) प्राप्त किया, जो पिछले सर्वश्रेष्ठ ओपन-सोर्स मॉडल की तुलना में 25.5% का सुधार है।
- स्केच-प्रूफ मोड (Sketch-Proof Mode): "Sketch-Proof with TIR & Tree Search" मोड ने उच्चतम दक्षता दिखाई, जो यह सिद्ध करता है कि समस्याओं को लेम्मा में विभाजित करना जटिल प्रमेयों को हल करने में काफी मदद करता है।
सामान्य रीजनिंग (General Reasoning):
- मॉडल ने STEM, कोडिंग, और एजेंटिक कार्यों जैसे मजबूत सामान्य रीजनिंग कौशल बनाए रखा, जो AIME-25 और GPQA-Diamond जैसे बेंचमार्क पर अपने पूर्ववर्ती (LongCat-Flash-Thinking-2601) के तुलनीय प्रदर्शन करता है, जिसमें प्रदर्शन में केवल मामूली गिरावट आई है।

5. महत्व (Significance)

अंतराल को पाटना: LongCat-Flash-Prover यह प्रदर्शित करता है कि उन्नत एजेंटिक फ्रेमवर्क और स्थिर RL प्रशिक्षण से लैस होने पर ओपन-सोर्स मॉडल विशिष्ट औपचारिक रीजनिंग कार्यों में प्रोप्रायटरी मॉडल्स को पछाड़ सकते हैं।
दक्षता: मॉडल काफी कम इन्फरेंस बजट (जैसे 72 प्रयास बनाम 1024+) के साथ SOTA परिणाम प्राप्त करता है, जिससे औपचारिक सत्यापन अधिक सुलभ और लागत प्रभावी बनता है।
सुरक्षा और विश्वसनीयता: AST-आधारित लीगैलिटी चेक के माध्यम से रिवॉर्ड हैकिंग को संबोधित करके, यह कार्य सुनिश्चित करता है कि प्राप्त "इंटेलिजेंस" वास्तविक गणितीय तर्क है न कि मूल्यांकन मेट्रिक्स का शोषण।
सामुदायिक प्रभाव: एक ओपन-सोर्स रिलीज के रूप में, यह समुदाय के लिए एक मजबूत आधार प्रदान करता है, जो संभावित रूप से स्वचालित प्रमेय सिद्ध करने, कोड के औपचारिक सत्यापन और कठोर तार्किक तर्क में सक्षम AGI सिस्टम के विकास को गति दे सकता है।