💬 NLP

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning

InftyThink+ एक एंड-टू-एंड सुदृढीकरण शिक्षण (reinforcement learning) फ्रेमवर्क है जो रणनीतिक सारांशीकरण और मॉडल-नियंत्रित पुनरावृत्ति सीमाओं के माध्यम से पुनरावृत्तीय तर्क को अनुकूलित करता है, जो पारंपरिक लॉन्ग चेन-ऑफ-थॉट विधियों की तुलना में सटीकता, दक्षता और सामान्यीकरण में महत्वपूर्ण सुधार करता है।

मूल लेखक: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़े, अविश्वसनीय रूप से कठिन पहेली को हल करने की कोशिश कर रहे हैं। आपके पास एक शानदार सहायक (AI) है जो बहुत बुद्धिमान है लेकिन उसकी याददाश्त बहुत कम है और यदि वह एक साथ बहुत सारे टुकड़ों को अपने दिमाग में रखने की कोशिश करता है, तो वह थक जाता है।

यहाँ समस्या दी गई है जिसे यह शोध पत्र संबोधित करता है:

पुराना तरीका (वैनिला रीजनिंग): आप सहायक से पूरी पहेली को एक ही बार में हल करने के लिए कहते हैं। वे सोचना शुरू करते हैं, "चरण 1, चरण 2, चरण 3..." और चलते जाते हैं। लेकिन क्योंकि उनकी याददाश्त सीमित है, वे चरण 100 पर काम करते समय चरण 1 में जो किया था उसे भूल जाते हैं। इसके अलावा, वे जितना लंबा सोचते हैं, कंप्यूटर के लिए उनके विचारों को प्रोसेस करना उतना ही धीमा और महंगा होता जाता है। वे काम पूरा करने से पहले ही अपनी मेमोरी खत्म कर सकते हैं, या वे अपने ही विचारों की लंबी सूची से भ्रमित हो सकते हैं।
नया तरीका (InftyThink+): एक लंबे, निर्बाध विचार के बजाय, सहायक पहेली को छोटे अध्यायों में तोड़ देता है। कुछ चरणों के बाद, वे रुकते हैं, एक सारांश (summary) लिखते हैं कि उन्होंने अब तक क्या पता लगाया है, और फिर अपने बिखरे हुए, विस्तृत नोट्स को फेंक देते हैं। फिर वे केवल उस सारांश और मूल पहेली का उपयोग करके अगला अध्याय शुरू करते हैं। यह उनकी याददाश्त को ताज़ा रखता है और कंप्यूटर को तेज़ रखता है।

बड़ी नवीनता: सहायक को यह तय करना सिखाना कि कब रुकना है

यह शोध पत्र एक नई प्रणाली पेश करता है जिसे InftyThink+ कहा जाता है।

"अध्याय" पद्धति के पिछले प्रयास इस तरह के थे जैसे एक शिक्षक जो सहायक को हर 500 शब्दों के बाद रुकने के लिए मजबूर करता है, चाहे कुछ भी हो। कभी-कभी सहायक एक शानदार विचार के बीच में ही होता था और उसे बीच में ही रोक दिया जाता था; अन्य मामलों में वे बहुत जल्दी रुक जाते थे। उन्हें यह भी नहीं पता था कि एक अच्छा सारांश कैसे लिखा जाए।

InftyThink+ सुदृढीकरण लर्निंग (Reinforcement Learning - RL) का उपयोग करता है ताकि सहायक को अनुभव और त्रुटि (trial and error) के माध्यम से तीन महत्वपूर्ण कौशल सिखाए जा सकें, जैसे कि टॉफी/ट्रीट देकर एक कुत्ते को प्रशिक्षित करना:

सारांश कब लिखें: क्या मुझे सारांश लिखने के लिए अभी रुकना चाहिए, या आगे बढ़ना चाहिए? AI यह सीखता है कि उसे ठीक तभी रुकना चाहिए जब उसने सबसे महत्वपूर्ण जानकारी को पकड़ लिया हो, न कि केवल तब जब कोई टाइमर बजता है।
क्या सुरक्षित रखें: अगले चरण के लिए कौन से विवरण महत्वपूर्ण हैं? AI यह सीखता है कि एक ऐसा सारांश कैसे लिखा जाए जो महत्वपूर्ण सुरागों को रखे और फालतू की बातों को हटा दे।
कैसे जारी रखें: मुझे सारांश से कहानी कैसे आगे उठानी है? AI यह सीखता है कि वह अपने ही सारांश को कैसे पढ़े और बिना भटके तर्क को सहजता से कैसे जारी रखे।

यह कैसे काम करता है (प्रशिक्षण प्रक्रिया)

शोध पत्र एक दो-चरणीय प्रशिक्षण विधि का वर्णन करता है:

"कोल्ड स्टार्ट" (फॉर्मेट सीखना): सबसे पहले, वे AI को खेल के बुनियादी नियम सिखाते हैं। वे उसे उदाहरण दिखाते हैं कि कैसे एक पहेली लिखनी है, कैसे रुकना है, सारांश लिखना है, और फिर से शुरू करना है। यह एक छात्र को निबंध लिखने के लिए कहने से पहले उसे निबंध का प्रारूप सिखाने जैसा है।
"सुदृढीकरण लर्निंग" (रणनीति सीखना): एक बार जब AI प्रारूप जान जाता है, तो वे उसे स्वतंत्र छोड़ देते हैं।
- यदि AI पहेली को सही ढंग से हल करता है, तो उसे एक "ट्रीट" (इनाम) मिलता है।
- यदि वह इसे जल्दी और कुशलता से हल करता है, तो उसे एक अतिरिक्त ट्रीट मिलता है।
- यदि वह एक बुरा सारांश लिखता है या गलत समय पर रुक जाता है, तो उसे कोई ट्रीट नहीं मिलता।
- हजारों प्रयासों के बाद, AI एक आदर्श रणनीति समझ जाता है: "मुझे यहाँ रुकना चाहिए, इस तरह का सारांश लिखना चाहिए, और फिर इस तरह आगे बढ़ना चाहिए ताकि मुझे सबसे अधिक ट्रीट मिल सकें।"

परिणाम: तेज़, स्मार्ट और मजबूत

इस शोध पत्र ने कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) पर इसका परीक्षण किया। उन्होंने पाया:

स्मार्टर (अधिक बुद्धिमान): AI समस्याओं को हल करने में काफी बेहतर हो गया। एक कठिन टेस्ट पर, इसकी सटीकता पुराने तरीके की तुलना में 21% बढ़ गई। इसने उन समस्याओं को हल किया जिन्हें पुराना तरीका पूरा भी नहीं कर सका।
फास्टर (तेज़): क्योंकि AI एक 100 पन्नों के इतिहास को याद रखने की कोशिश नहीं कर रहा था, इसलिए उसने समस्याओं को बहुत तेज़ी से हल किया। कुछ मामलों में, यह मानक पद्धति की तुलना में 30% से 40% तेज़ था।
अधिक कुशल: प्रशिक्षण स्वयं भी तेज़ था। कंप्यूटर को AI को सिखाने के लिए बहुत अधिक भारी काम नहीं करना पड़ा, जिसका अर्थ है कि शोधकर्ता कम ऊर्जा और समय में बेहतर मॉडल प्रशिक्षित कर सके।

निष्कर्ष (The Bottom Line)

InftyThink+ को एक AI को बेहतर प्रोजेक्ट मैनेजर बनाने के रूप में समझें। किसी प्रोजेक्ट के पूरे इतिहास को अपने दिमाग में रखने की कोशिश करने के बजाय (जिससे वे क्रैश हो सकते हैं या भूल सकते हैं), यह रुकना, एक स्पष्ट "स्टेटस रिपोर्ट" (सारांश) लिखना और फिर उस रिपोर्ट के आधार पर आगे बढ़ना सीखता है। यह सीखकर कि उसे यह रिपोर्ट कब लिखनी है और उसमें क्या डालना है, AI एक जीनियस समस्या-समाधानकर्ता और एक अत्यधिक कुशल कार्यकर्ता दोनों बन जाता है।

तकनीकी सारांश: InftyThink+

1. समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) ने इन्फरेंस-टाइम चेन-ऑफ-थॉट (CoT) रीजनिंग को स्केल करके बेहतर प्रदर्शन प्रदर्शित किया है। हालांकि, यह प्रतिमान (paradigm) तब तीन मौलिक बाधाओं का सामना करता है जब रीजनिंग ट्रेसेस असाधारण रूप से लंबे हो जाते हैं:

क्वाड्रेटिक लागत (Quadratic Cost): ट्रांसफॉर्मर में सेल्फ-अटेंशन मैकेनिज्म $O(L^2)$ कम्प्यूटेशनल जटिलता उत्पन्न करता है, जिससे बहुत लंबे रीजनिंग ट्रेसेस अत्यधिक महंगे हो जाते हैं।
कॉन्टेक्स्ट सीमाएं (Context Limits): रीजनिंग मॉडल के अधिकतम कॉन्टेक्स्ट विंडो द्वारा सीमित होती है। यदि किसी समस्या के लिए एक ऐसा चेन-ऑफ-थॉट आवश्यक है जो इस सीमा से अधिक है, तो जनरेशन समय से पहले ही समाप्त हो जाता है, जिससे जटिल समस्याएं हल करने योग्य नहीं रह जातीं।
लॉस्ट-इन-द-मिडल (Lost-in-the-Middle): जैसे-जैसे रीजनिंग ट्रेसेस बढ़ते हैं, मॉडल प्रदर्शन में गिरावट का अनुभव करते हैं जहाँ महत्वपूर्ण प्रारंभिक जानकारी अप्राप्य हो जाती है, भले ही कॉन्टेक्स्ट सीमा पार न हुई हो।

मौजूदा समाधान, जैसे कि आवधिक सारांशीकरण (periodic summarization) के साथ पुनरावृत्तिपूर्ण रीजनिंग, इन मुद्दों को कम करने का प्रयास करते हैं। हालांकि, वर्तमान विधियां सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या निश्चित ह्यूरिस्टिक्स (heuristics) पर निर्भर करती हैं यह निर्धारित करने के लिए कि कब सारांश बनाना है, क्या सुरक्षित रखना है, और रीजनिंग को कैसे फिर से शुरू करना है। ये दृष्टिकोण इन क्रमिक निर्णयों को अनुकूलित करने में विफल रहते हैं, जिनके दीर्घकालिक परिणाम होते हैं। एक खराब सारांश बाद की रीजनिंग को बर्बाद कर सकता है, जबकि अनावश्यक पुनरावृत्ति कंप्यूट का नुकसान करती है। पेपर का तर्क है कि इन ट्रेड-ऑफ्स के लिए ट्राजेक्टरी-लेवल ऑप्टिमाइज़ेशन की आवश्यकता है जो SFT प्रदान नहीं कर सकता।

2. कार्यप्रणाली: InftyThink+

लेखक InftyThink+ प्रस्तावित करते हैं, जो एक एंड-टू-एंड सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ढांचा है जो संपूर्ण पुनरावृत्तिपूर्ण रीजनिंग ट्राजेक्टरी को अनुकूलित करता है। यह विधि InftyThink प्रतिमान पर आधारित है, जो स्पष्ट, मॉडल-जनरेटेड सारांशों द्वारा जुड़े कई पुनरावृत्ति राउंड में रीजनिंग को विभाजित करके रीजनिंग गहराई को कॉन्टेक्स्ट लंबाई से अलग करती है।

2.1. InftyThink प्रतिमान

"वैनिला" प्रतिमान के विपरीत जहाँ एक मॉडल एक एकल निरंतर लंबा CoT जनरेट करता है, InftyThink राउंड में कार्य करता है:

पुनरावृत्ति $i$ : मॉडल मूल क्वेरी $q$ और पिछले पुनरावृत्ति से सारांश $s_{i-1}$ पर आधारित होता है।
जनरेशन: यह एक रीजनिंग सेगमेंट $r_i$ और एक अपडेटेड सारांश $s_i$ जनरेट करता है।
समाप्ति (Termination): प्रक्रिया तब तक दोहराई जाती है जब तक कि मॉडल स्वायत्त रूप से एक अंतिम निष्कर्ष $c$ जनरेट करने का निर्णय नहीं ले लेता।
बाउंडेड कॉन्टेक्स्ट: प्रत्येक पुनरावृत्ति एक बाउंडेड कॉन्टेक्स्ट विंडो (क्वेरी + नवीनतम सारांश) के भीतर कार्य करती है, जिससे कॉन्टेक्स्ट ओवरफ्लो को रोका जा जा सकता है और प्रति-चरण कम्प्यूटेशनल लागत कम की जा सकती है।

2.2. दो-चरणीय प्रशिक्षण योजना

InftyThink+ फॉर्मेट अधिग्रहण को रणनीति अनुकूलन से अलग करने के लिए एक दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

कोल्ड-स्टार्ट (सुपरवाइज्ड फाइन-ट्यूनिंग):
- लक्ष्य: मॉडल को बुनियादी InftyThink फॉर्मेट (रीजनिंग सेगमेंट और सारांश जनरेट करना) सिखाना।
- डेटा ट्रांसफॉर्मेशन: मौजूदा वैनिला रीजनिंग डेटा $(q, r, c)$ को पुनरावृत्तिपूर्ण इंस्टेंस में परिवर्तित किया जाता है। रीजनिंग ट्रेस $r$ को एक टोकन सीमा $\eta$ के आधार पर सेगमेंट $\{r_1, \dots, r_n\}$ में विभाजित किया जाता है। एक सामान्य-उद्देश्य वाला LLM वर्तमान सेगमेंट और पिछले सारांश पर आधारित सारांश $\{s_1, \dots, s_{n-1}\}$ जनरेट करता है।
- प्रशिक्षण: मॉडल को इन रूपांतरित इंस्टेंस पर इनपुट देने के लिए फाइन-ट्यून किया जाता है ताकि वह सिंटैक्टिक रूप से वैध पुनरावृत्तिपूर्ण आउटपुट दे सके। यह चरण यह अनुकूलित नहीं करता कि कब सारांश बनाना है या क्या सुरक्षित रखना है; यह केवल प्रक्रियात्मक फॉर्मेट स्थापित करता है।
सुदृढीकरण शिक्षण (ट्राजेक्टरी-लेवल ऑप्टिमाइज़ेशन):
- लक्ष्य: ट्राजेक्टरी-लेवल फीडबैक के माध्यम से रणनीतिक निर्णयों (संपीड़न का समय, सारांश की सामग्री, निरंतरता रणनीतियां) को अनुकूलित करना।
- रोलआउट (Rollout): एक क्वेरी $q$ के लिए, मॉडल कई रीजनिंग राउंड से बनी एक ट्राजेक्टरी $O_i = \{o_1, \dots, o_{n_i}\}$ जनरेट करता है। रोलआउट समाप्त हो जाता है यदि मॉडल एक निष्कर्ष आउटपुट करता है, वैध फॉर्मेट बनाने में विफल रहता है, या अधिकतम पुनरावृत्ति कैप $\phi$ तक पहुँच जाता है।
- रिवॉर्ड डिज़ाइन:
  - टास्क रिवॉर्ड ( $R_{task}$ ): अंतिम उत्तर की शुद्धता के आधार पर बाइनरी रिवॉर्ड।
  - एफिशिएंसी रिवॉर्ड ( $R_{eff}$ ): एक क्वाड्रेटिक डिके फंक्शन $1 - (\frac{n_i-1}{\phi})^2$ जो अत्यधिक पुनरावृत्ति को दंडित करता है, जिससे मॉडल को संभव होने पर कम चरणों में समस्याओं को हल करने के लिए प्रोत्साहित किया जाता है।
  - कुल रिवॉर्ड: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$ । यह मल्टीप्लिकेटिव फॉर्मूलेशन सुनिश्चित करता है कि दक्षता को केवल सही समाधानों के लिए पुरस्कृत किया जाए।
- पॉलिसी ऑप्टिमाइज़ेशन: लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करते हैं। महत्वपूर्ण रूप से, एडवांटेज को ट्राजेक्टरी स्तर पर गणना किया जाता है और एक ट्राजेक्टरी के सभी टोकन में साझा किया जाता है। यह सुनिश्चित करता है कि प्रारंभिक पुनरावृत्तियाँ (जैसे, एक उच्च-गुणवत्ता वाला पहला सारांश) सकारात्मक ग्रेडिएंट सिग्नल प्राप्त करती हैं यदि वे एक सही अंतिम उत्तर में योगदान देती हैं, भले ही सारांश स्वयं उत्तर न रखता हो।
- स्थिरता: फ्रेमवर्क इन्फरेंस और ट्रेनिंग इंजन के बीच बेमेल के कारण होने वाली ट्रेनिंग अस्थिरता को कम करने के लिए एक टोकन-लेवल ग्रेडिएंट मास्किंग तकनीक, IcePop का उपयोग करता है।

3. मुख्य योगदान

पुनरावृत्तिपूर्ण रीजनिंग के लिए एंड-टू-एंड RL: यह पेपर फिक्स्ड ह्यूरिस्टिक्स या इमिटेशन पर निर्भर रहने के बजाय सारांशीकरण और निरंतरता के लिए इष्टतम रणनीतियों को सीखने में सक्षम बनाने के लिए पुनरावृत्तिपूर्ण रीजनिंग प्रतिमान पर सीधे सुदृढीकरण शिक्षण लागू करने वाला पहला फ्रेमवर्क पेश करता है।
InftyThink+ फ्रेमवर्क: एक पूर्ण प्रशिक्षण रेसिपी जिसमें शामिल है:
- फॉर्मेट स्थापित करने के लिए कोल्ड-स्टार्ट चरण।
- शुरुआती निर्णयों को क्रेडिट देने के लिए साझा एडवांटेज के साथ ट्राजेक्टरी-लेवल ऑप्टिमाइज़ेशन।
- सटीकता और इन्फरेंस लागत को संतुलित करने के लिए एफिशिएंसी-अवेयर रिवॉर्ड शेपिंग।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि InftyThink+ दोनों SFT-आधारित पुनरावृत्तिपूर्ण रीजनिंग और मानक लॉन्ग-कॉन्टेक्स्ट RL बेसलाइन्स को पछाड़ देता है।

4. प्रयोगात्मक परिणाम

प्रयोग DeepSeek-R1-Distill-Qwen-1.5B और Qwen3-4B-Base पर किए गए।

सटीकता में सुधार:
- AIME24 पर, InftyThink+ ने बेसलाइन की तुलना में सटीकता में 21% का सुधार किया, और पारंपरिक लॉन्ग-CoT RL की तुलना में स्पष्ट अंतर से बेहतर प्रदर्शन किया (मानक RL पर अतिरिक्त 9% लाभ)।
- GPQA Diamond जैसे आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क पर, इसने बेसलाइन पर 5% और वैनिला दृष्टिकोणों पर 4% का सुधार हासिल किया।
दक्षता लाभ:
- इन्फरेंस लेटेंसी: AIME25 पर, InftyThink+ ने वैनिला दृष्टिकोण की तुलना में रीजनिंग लेटेंसी को 32.8% कम कर दिया।
- ट्रेनिंग स्पीड: फ्रेमवर्क ने प्रति स्टेप कम कम्प्यूटेशनल ओवरहेड के कारण RL ट्रेनिंग समय में 18.2% की तेजी दी।
सामान्यीकरण (Generalization): विधि बड़े मॉडल्स (Qwen3-4B) और कोड एवं वैज्ञानिक रीजनिंग सहित आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर अच्छी तरह से सामान्यीकृत हुई।

5. महत्व और दावे

पेपर का दावा है कि InftyThink+ यह प्रदर्शित करता है कि प्रभावी पुनरावृत्तिपूर्ण रीजनिंग के लिए ट्राजेक्टरी-लेवल ऑप्टिमाइज़ेशन आवश्यक है। मुख्य अंतर्दृष्टि यह है कि पुनरावृत्तिपूर्ण रीजनिंग की प्रभावशीलता केवल फॉर्मेट से नहीं, बल्कि प्रत्येक चरण पर इष्टतम रणनीतिक निर्णय लेने (कब संपीड़न करना है, क्या सुरक्षित रखना है, कैसे जारी रखना है) की मॉडल की क्षमता से आती है।

फॉर्मेट लर्निंग (SFT के माध्यम से) को रणनीति अनुकूलन (RL के माध्यम से) से अलग करके, InftyThink+ मॉडल्स को ऐसे अनुकूल व्यवहार सीखने में सक्षम बनाता है जो:

रीजनिंग गहराई को कॉन्टेक्स्ट लंबाई से अलग करता है: बाउंडेड कम्प्यूटेशनल लागत बनाए रखते हुए अनिश्चित काल तक रीजनिंग की अनुमति देता है।
सटीकता-दक्षता ट्रेड-ऑफ को अनुकूलित करता है: एफिशिएंसी-अवेयर रिवॉर्ड्स के माध्यम से, मॉडल सटीकता से समझौता किए बिना रीजनिंग को जल्दी समाप्त करना सीखता है।
ट्रेनिंग स्थिरता और गति में सुधार करता है: ट्रेनिंग रोलआउट के दौरान अटेंशन की क्वाड्रेटिक जटिलता को कम करके।

लेखक InftyThink+ को बड़े भाषा मॉडल्स के लिए स्केलेबल, कुशल और प्रभावी लॉन्ग-होरिज़न रीजनिंग की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करते हैं, जो स्टैटिक कॉन्टेक्स्ट विंडोज़ और ह्यूरिस्टिक-आधारित संपीड़न की सीमाओं से आगे बढ़ता है।