📊 statistics

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

INFUSER एक इटरेटिव को-ट्रेनिंग फ्रेमवर्क है जो एक जनरेटर और सॉल्वर का उपयोग करके अनस्ट्रक्चर्ड दस्तावेज़ों से तर्क क्षमताओं को विकसित करने के लिए एक इन्फ्लुएंस-गाइडेड रिवॉर्ड सिग्नल और एक नवीन DuGRPO एल्गोरिदम का उपयोग करता है, जो एक एडेप्टिव करिकुलम को क्यूरेट करता है और चुनौतीपूर्ण बेंचमार्क पर मौजूदा सेल्फ-इवोल्यूशन बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ INFUSER पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों (analogies) के माध्यम से समझाया गया है।

मुख्य विचार: एक रोबोट को खुद को सिखाना सिखाना

कल्पना कीजिए कि आपके पास एक बुद्धिमान छात्र (Solver) है जो गणित और विज्ञान में अच्छा है लेकिन वह और भी बेहतर बनना चाहता है। आमतौर पर, सीखने के लिए इस छात्र को एक शिक्षक की आवश्यकता होती है जो उसे अभ्यास के प्रश्न (practice problems) दे सके। लेकिन एक मानव शिक्षक को ढूंढना जो परफेक्ट अभ्यास प्रश्न बना सके, महंगा और धीमा काम है।

INFUSER एक नई विधि है जहाँ छात्र स्वयं को सिखाता है, लेकिन एक विशेष मोड़ के साथ: वह केवल कठिन प्रश्न ही नहीं बनाता; बल्कि वह ऐसे प्रश्न बनाता है जो उसके वर्तमान कौशल स्तर के लिए उपयोगी (useful) हों।

दो पात्र: "क्विज़ मास्टर" और "छात्र"

यह सिस्टम एक ही AI मॉडल के दो संस्करणों का उपयोग करता है जो मिलकर काम करते हैं:

जेनेरेटर (क्विज़ मास्टर - The Quiz Master): यह AI अनव्यवस्थित पाठ्यपुस्तकों और नोट्स के एक विशाल पुस्तकालय (जिसे "डॉक्यूमेंट पूल" कहा जाता है) को पढ़ता है। इसका काम जो कुछ भी वह पढ़ता है, उसके आधार पर एक क्विज़ प्रश्न और एक "गोल्डन उत्तर" लिखना है।
सॉल्वर (छात्र - The Student): यह AI उन प्रश्नों के उत्तर देने का प्रयास करता है जो क्विज़ मास्टर ने लिखे हैं। यदि वह उन्हें सही हल करता है, तो उसे इनाम मिलता है और वह सीखता है।

पुराने तरीकों के साथ समस्या

स्वयं-सिखाने (self-teaching) के पिछले प्रयासों में दो मुख्य कमियाँ थीं:

"भ्रम" का जाल (The "Hallucination" Trap): कुछ विधियाँ AI को शून्य से प्रश्न बनाने की अनुमति देती हैं। यदि AI गलत है, तो वह खुद को गलत तथ्य सिखाता है (जैसे कि एक छात्र किसी फर्जी इतिहास की किताब को रट ले)।
"कठिनाई" का जाल (The "Hardness" Trap): अन्य विधियों ने AI को सबसे कठिन प्रश्न बनाने के लिए प्रेरित किया। लेकिन एक प्रश्न इसलिए "कठिन" हो सकता है क्योंकि वह भ्रमित करने वाला, खराब तरीके से लिखा गया, या गलत उत्तर वाला हो। यदि छात्र एक भ्रमित करने वाले प्रश्न को हल करने की कोशिश करता है, तो वह वास्तव में सीखता नहीं है; वह केवल निराश हो जाता है।

INFUSER का समाधान: "कोच का प्रभाव स्कोर" (The "Coach's Influence Score")

INFUSER क्विज़ मास्टर को ग्रेड देने का एक चतुर तरीका पेश करता है। यह पूछने के बजाय कि "क्या यह प्रश्न कठिन है?" यह पूछता है, "क्या इस प्रश्न को हल करने से वास्तव में छात्र को उन चीजों में बेहतर होने में मदद मिलेगी जिनकी हमें परवाह है?"

यह यहाँ कैसे काम करता है, चरण-दर-चरण:

लक्ष्य (The Target): टीम के पास "गोल्ड स्टैंडर्ड" प्रश्नों का एक छोटा सेट है (जैसे कि एक फाइनल परीक्षा) जो वास्तविक दुनिया का प्रतिनिधित्व करते हैं। आइए इसे Dev Set कहें।
दिशा (The Direction): क्विज़ मास्टर नया प्रश्न लिखने से पहले, सिस्टम गोल्ड स्टैंडर्ड परीक्षा की जाँच करता है ताकि यह देखा जा सके कि सुधार के लिए छात्र को किस दिशा में जाने की आवश्यकता है। (उदाहरण के लिए: "छात्र रासायनिक अभिक्रियाओं (chemical reactions) की गणना करने में कमजोर है, इसलिए हमें इस दिशा में आगे बढ़ने की आवश्यकता है।")
क्विज़ मास्टर का काम: क्विज़ मास्टर एक पाठ्यपुस्तक पढ़ता है और एक प्रश्न लिखता है।
"इन्फ्लुएंस स्कोर" (The "Influence Score"): सिस्टम छात्र द्वारा इस नए प्रश्न का उत्तर देने का अनुकरण (simulate) करता है। फिर यह एक स्कोर की गणना करता है जिसे इन्फ्लुएंस स्कोर कहा जाता है।
- उदाहरण: कल्पना कीजिए कि एक व्यक्तिगत ट्रेनर (सिस्टम) एक कोच (क्विज़ मास्टर) को वर्कआउट डिजाइन करते हुए देख रहा है। ट्रेनर को केवल इस बात की परवाह नहीं है कि वर्कआउट कितना कठिन है। वे यह देखते हैं: "क्या यह विशिष्ट व्यायाम धावक के कमजोर घुटने को ठीक करने में मदद करेगा?"
- यदि नया प्रश्न छात्र को गोल्ड स्टैंडर्ड परीक्षा में सुधार करने में मदद करता है, तो क्विज़ मास्टर को उच्च स्कोर मिलता है।
- यदि प्रश्न भ्रमित करने वाला या अप्रासंगिक है, तो क्विज़ मास्टर को कम स्कोर मिलता है।
लूप (The Loop): क्विज़ मास्टर बेहतर प्रश्न लिखने के लिए सीखता है ताकि उच्च स्कोर प्राप्त किया जा सके, और छात्र उन्हें हल करके सीखता है। वे एक साथ विकसित होते हैं।

गुप्त नुस्खा: "DuGRPO"

पेपर में DuGRPO नामक एक तकनीकी ट्रिक का उल्लेख है। इसे क्विज़ मास्टर को ग्रेड देने के एक विशेष तरीके के रूप में समझें।

आमतौर पर, यदि प्रश्नों का एक समूह बहुत समान स्कोर रखता है, तो यह बताना कठिन होता है कि कौन सा बेहतर है।
DuGRPO एक स्मार्ट रेफरी की तरह है जो पूरे समूह के आधार पर स्कोरिंग को समायोजित करता है। यह सुनिश्चित करता है कि भले ही सभी प्रश्न "ठीक" हों, फिर भी सिस्टम उनमें से उन प्रश्नों को चुन सके जो थोड़े अधिक सहायक हैं, जिससे प्रशिक्षण अटकने या शोर (noise) से बच सके।

उन्होंने क्या पाया?

शोधकर्ताओं ने इसका परीक्षण Qwen3 (एक स्मार्ट AI) नामक मॉडल पर किया।

प्रतियोगिता से बेहतर: INFUSER ने कठिन गणित और विज्ञान बेंचमार्क पर अन्य स्व-सिखाने वाली विधियों को भारी अंतर (20% से अधिक सुधार) से पीछे छोड़ दिया।
छोटा बनाम बड़ा: INFUSER (एक सह-विकसित क्विज़ मास्टर के साथ) का उपयोग करने वाला एक 8-बिलियन-पैरामीटर वाला मॉडल, एक स्थिर (static) प्रश्नों के सेट का उपयोग करने वाले 32-बिलian-पैरामीटर वाले फ्रीज्ड मॉडल की तुलना में गणित और कोडिंग में बेहतर प्रदर्शन करता है। यह साबित करता है कि एक साथ विकसित होने की प्रक्रिया केवल एक बड़े मस्तिष्क होने से अधिक महत्वपूर्ण है।
गुणवत्ता नियंत्रण: जैसे-जैसे प्रशिक्षण आगे बढ़ा, क्विज़ मास्टर द्वारा लिखे गए प्रश्न अधिक तार्किक, स्व-निहित और तथ्यात्मक रूप से सही होते गए। वे "भ्रमित करने वाले रूप से कठिन" होने के बजाय "वास्तव में चुनौतीपूर्ण" बन गए।

सारांश

INFUSER एक स्व-सुधार प्रणाली है जहाँ एक AI शिक्षक और छात्र दोनों के रूप में कार्य करता है। शिक्षक को कठिन प्रश्न बनाने के लिए नहीं, बल्कि ऐसे प्रश्न बनाने के लिए पुरस्कृत किया जाता है जो छात्र को सही दिशा में ले जाते हैं ताकि वह वास्तविक दुनिया की समस्याओं को हल कर सके। कोच के प्रभाव स्कोर (coach's influence score) का उपयोग करके शिक्षक को निर्देशित करके, यह सिस्टम पाठ्यपुस्तकों के एक अव्यवस्थित पुस्तकालय को एक आदर्श, व्यक्तिगत पाठ्यक्रम में बदल देता है जो AI को पहले से कहीं बेहतर तर्क करने में मदद करता है।

तकनीकी सारांश: INFUSER – प्रभाव-निर्देशित स्व-विकास तर्क क्षमता में सुधार करता है

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) तर्क (reasoning) में हालिया प्रगति काफी हद तक सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) पर निर्भर करती है। हालाँकि, RLVR की स्केलेबिलिटी उच्च-गुणवत्ता वाले, सत्यापन योग्य प्रशिक्षण डेटा की कमी के कारण बाधित है, जिसे क्यूरेट करना महंगा है। स्व-विकास (Self-evolution) एक मार्ग प्रदान करता है जो मॉडल को असंरचित दस्तावेजों या अपने स्वयं के आउटपुट से अपना स्वयं का प्रशिक्षण डेटा उत्पन्न करने की अनुमति देता है, जिससे बाहरी शिक्षक मॉडलों या क्यूरेटेड कॉर्पोरा की आवश्यकता समाप्त हो जाती है।

मौजूदा स्व-विकास विधियों को दो प्राथमिक सीमाओं का सामना करना पड़ता है:

ग्राउंडिंग (Grounding): शुद्ध स्व-प्ले (जैसे, R-Zero) केवल मॉडल के पूर्व ज्ञान पर निर्भर करते हैं, जिससे काल्पनिक संदर्भ उत्तरों (hallucinated reference answers) का जोखिम रहता है। निष्पादक-आधारित विधियाँ (जैसे, AZR) सत्यापन क्षमता को बहाल करती हैं लेकिन औपचारिक निष्पादकों (कोड, गणित) वाले डोमेन तक ही सीमित हैं, जिससे वे प्रचुर मात्रा में उपलब्ध असंरचित पाठ का लाभ उठाने में विफल रहती हैं।
जेनेरेटर उद्देश्य (Generator Objectives): दस्तावेज़-आधारित दृष्टिकोण (जैसे, SPICE) अक्सर जेनेरेटर को कठिनाई ह्यूरिस्टिक्स (जैसे, सॉल्वर की विफलता दर को ~50% तक अधिकतम करना) के आधार पर पुरस्कृत करते हैं। कठिनाई एक मोटा प्रॉक्सी है; एक प्रश्न अस्पष्टता या स्रोत के साथ मिसअलाइनमेंट के कारण "कठिन" हो सकता है, जो लक्षित वितरण (target distribution) पर सॉल्वर को बेहतर बनाने की कोई गारंटी नहीं देता है।

मूल प्रश्न जिसका समाधान किया गया है: क्या हम एक जेनेरेटर को दस्तावेज़-आधारित प्रशिक्षण डेटा उत्पन्न करने के लिए प्रशिक्षित कर सकते हैं जो वास्तव में उसके साथ सह-विकसित (co-evolving) होते हुए, एक लक्षित वितरण पर वर्तमान सॉल्वर को बेहतर बनाता है?

2. कार्यप्रणाली: INFUSER

लेखक INFUSER (INFluence-gUided Self-Evolution Improves Reasoning) का प्रस्ताव करते हैं, जो एक पुनरावृत्ति सह-प्रशिक्षण ढांचा (iterative co-training framework) है जो स्व-विकास को एक जेनेरेटर ( $\pi_\phi$ ) और एक सॉल्वर ( $\pi_\theta$ ) के बीच एक द्वि-स्तरीय खेल (bilevel game) के रूप में प्रस्तुत करता है। दोनों को एक ही प्री-ट्रेन्ड मॉडल से इनिशियलाइज़ किया जाता है।

2.1 द्वि-स्तरीय खेल संरचना (Bilevel Game Formulation)

निचला स्तर (सॉल्वर): सॉल्वर असंरचित दस्तावेजों ( $D_{doc}$ ) के पूल से जेनेरेटर द्वारा उत्पन्न प्रश्न-उत्तर (QA) युग्मों ( $Q_\phi$ ) के पाठ्यक्रम (curriculum) पर प्रशिक्षण लेता है। सॉल्वर इस पाठ्यक्रम पर सटीकता को अधिकतम करने के लिए मानक RLVR (जैसे, Dr.GRPO) का उपयोग करके अनुकूलित होता है।
ऊपरी स्तर (जेनेरेटर): जेनेरेटर एक पाठ्यक्रम $Q_\phi$ उत्पन्न करने का लक्ष्य रखता है ताकि, सॉल्वर के अपडेट होने के बाद, सॉल्वर का प्रदर्शन एक लक्षित वितरण ( $P$ ) पर बेहतर हो सके।
सहकारी प्रकृति: विवादास्पद स्व-प्ले (adversarial self-play) के विपरीत, जेनेरेटर को सॉल्वर को हराने के लिए नहीं, बल्कि लक्षित वितरण पर सॉल्वर की मदद करने के लिए पुरस्कृत किया जाता है।

2.2 ऑप्टिमाइज़र-जागरूक प्रभाव स्कोर (Optimizer-Aware Influence Score)

सटीक द्वि-स्तरीय अवकलन (exact bilevel differentiation) की अत्यधिक लागत (सॉल्वर के पूर्ण प्रशिक्षण लूप के माध्यम से बैकप्रोपैगेट करना) से बचने के लिए, INFUSER प्रभाव कार्यों (influence functions) से प्रेरित एक प्रथम-क्रम सन्निकटन (first-order approximation) का उपयोग करता है।

डेव-सेट एंकर (Dev-Set Anchor): लक्षित वितरण $P$ से लिया गया एक छोटा, होल्ड-आउट डेवलपमेंट सेट ( $D_{dev}$ ) "सुधार की दिशा" को परिभाषित करने के लिए उपयोग किया जाता है। लक्षित वितरण पर सॉल्वर के प्रदर्शन का ग्रेडिएंट ( $\hat{g}_{dev}$ ) लक्ष्य वेक्टर के रूप में कार्य करता है।
प्रभाव गणना: प्रत्येक उत्पन्न QA युग्म $(q, a_\phi)$ के लिए, सिस्टम उस विशिष्ट युग्म पर प्रशिक्षण से प्रेरित सॉल्वर के पैरामीटर अपडेट दिशा ( $\hat{\Gamma}(q, a_\phi)$ ) का अनुमान लगाता है। यह दिशा वास्तविक अपडेट स्टेप को प्रतिबिंबित करने के लिए AdamW ऑप्टिमाइज़र स्टेट द्वारा प्रीकंडीशन की जाती है।
पुरस्कार संकेत: जेनेरेटर का पुरस्कार लक्षित ग्रेडिएंट ( $\hat{g}_{dev}$ ) और प्रेरित अपडेट दिशा ( $\hat{\Gamma}$ ) के बीच कोसाइन समानता (cosine similarity) है:
$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$
एक सकारात्मक स्कोर इंगित करता है कि $(q, a_\phi)$ पर प्रशिक्षण, लक्षित वितरण पर प्रदर्शन को सुधारने के साथ संरेखित है। यह स्कोर पारंपरिक "कठिनाई" मीट्रिक की जगह लेता है।

2.3 DuGRPO: ड्यूल-नॉर्मलाइज्ड GRPO

प्रभाव स्कोर एक निरंतर, शोर वाला (noisy) संकेत है, जो मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के लिए चुनौतियाँ पेश करता है।

चुनौती: केवल एक दस्तावेज़ समूह के भीतर रिवॉर्ड को नॉर्मलाइज़ करना (GRPO-शैली) कम-विचलन वाले समूहों में शोर को बढ़ाता है। केवल बैच के माध्यम से नॉर्मलाइज़ करना (BatchNorm-शैली) उच्च-विचलन वाले समूहों को हावी होने देता है।
समाधान: लेखक DuGRPO का प्रस्ताव करते हैं, जो एक डुअल-नॉर्मलाइज्ड एडवांटेज एस्टीमेटर है जो समूह-के-भीतर और क्रॉस-ग्रुप नॉर्मलाइजेशन को जोड़ता है:
$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$
जहाँ $\sigma_d$ दस्तावेज़ समूह के भीतर मानक विचलन है और $\sigma_B$ बैच के माध्यम से औसत मानक विचलन है। यह कम-विचरण शोर को कम करते हुए और उच्च-विचरण प्रभुत्व को रोकते हुए प्रशिक्षण को स्थिर करता है।

2.4 प्रशिक्षण लूप

एल्गोरिदम प्रति पुनरावृत्ति (iteration) चरणों में आगे बढ़ता है:

डेव रेफरेंस: $D_{dev}$ पर सॉल्वर के रोलआउट से लक्षित ग्रेडिएंट $\hat{g}_{dev}$ की गणना करें।
जेनरेशन: जेनेरेटर दस्तावेज़ों का नमूना लेता है और QA युग्म बनाता है।
सॉल्वर मूल्यांकन: सॉल्वर उत्पन्न प्रश्नों का प्रयास करता है; प्रति-प्रश्न ग्रेडिएंट का अनुमान लगाया जाता है।
इन्फ्लुएंस स्कोरिंग: $\hat{g}_{dev}$ के साथ कोसाइन समानता का उपयोग करके प्रभाव स्कोर की गणना करें।
अपडेट्स: प्रभाव स्कोरों का उपयोग करके DuGRPO के साथ जेनेरेटर को अपडेट करें; बाइनरी करेक्टनेस रिवॉर्ड के साथ Dr.GRPO का उपयोग करके सॉल्वर को अपडेट करें।

3. मुख्य योगदान

प्रभाव-निर्देशित स्व-विकास (Influence-Guided Self-Evolution): एक नया ढांचा जो जेनेरेटर रिवॉर्ड को कठिनाई-आधारित रिवॉर्ड से बदलकर एक ऑप्टिमाइज़र-जागरूक प्रभाव स्कोर में बदल देता है, जो केवल कठिनाई के बजाय सीधे लक्षित वितरण पर उपयोगिता (utility) के लिए अनुकूलित होता है।
DuGRPO: एक नया पॉलिसी ग्रेडिएंट वेरिएंट जो प्रभाव-आधारित पुरस्कारों की निरंतर और शोर वाली प्रकृति के लिए विशेष रूप से डिज़ाइन किया गया है, जिससे स्थिर जेनेरेटर प्रशिक्षण सक्षम होता है।
दस्तावेज़-आधारित सह-विकास (Document-Grounded Co-Evolution): एक विधि जो असंरचित टेक्स्टबुक्स का लाभ उठाकर प्रशिक्षण डेटा उत्पन्न करती है, जो सॉल्वर के अपने तर्क के माध्यम से सत्यापन क्षमता बनाए रखते हुए बाहरी शिक्षकों या निष्पादकों की आवश्यकता को समाप्त करती है।
स्केलेबिलिटी: यह प्रदर्शित करना कि एक सह-विकसित 8B जेनेरेटर गणित और कोडिंग कार्यों पर एक फ्रीज़्ड 32B "थिंकिंग" जेनेरेटर से बेहतर प्रदर्शन कर सकता है, जो यह सुझाव देता है कि करिकुलम जनरेशन के लिए मॉडल का पैमाना (scale) नहीं बल्कि अनुकूलन (adaptation) अधिक महत्वपूर्ण है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-4B-Base और Qwen3-8B-Base एंकर्स पर किए गए, जिसमें INFUSER की तुलना मजबूत बेसलाइन (R-Zero, AZR, R-Few, SPICE) और एक जनरल-रीज़नर बेसलाइन से की गई।

प्रदर्शन लाभ: INFUSER ने 14 बेंचमार्क में से 8 पर उच्चतम स्कोर प्राप्त किया। Qwen3-8B-Base पर, इसने बेस मॉडल की तुलना में OlympiadBench (Math), SuperGPQA, और GPQA-Diamond पर 20% से अधिक का सापेक्ष सुधार दिखाया।
स्केलिंग: INFUSER के प्रदर्शन लाभ मॉडल के आकार (4B से 8B) के पार सुसंगत थे, जबकि R-Zero और SPICE जैसी बेसलाइन ने स्केल अप होने पर महत्वपूर्ण प्रदर्शन गिरावट दिखाई।
जेनेरेटर की गुणवत्ता: विश्लेषण से पता चला कि सह-विकसित जेनेरेटर समय के साथ बेहतर ढंग से संरचित और चुनौतीपूर्ण प्रश्न उत्पन्न करता है। "स्ट्रॉन्ग-वर्सेस-वीक" गैप (जेनेरेटर किए गए प्रश्नों पर एक मजबूत मॉडल और बेस मॉडल के बीच सटीकता का अंतर) बढ़ता गया, जो दर्शाता है कि जेनेरेटर ऐसे प्रश्न बना रहा है जो बेस मॉडल के लिए कठिन हैं लेकिन मजबूत मॉडलों द्वारा हल करने योग्य हैं (अर्थात, उच्च-गुणवत्ता वाली रीजनिंग चुनौतियाँ)।
एब्लेशन अध्ययन (Ablation Studies):
- जेनेरेटर की आवश्यकता: जेनेरेटर को हटाने (सीधे $D_{dev}$ पर प्रशिक्षण देना) से डेव सेट पर ओवरफिटिंग और खराब सामान्यीकरण हुआ।
- सह-विकास (Co-evolution): एक फ्रीज़्ड 8B जेनेरेटर, सह-विकसित 8B जेनेरेटर की तुलना में कम प्रदर्शन करता है, विशेष रूप से गणित में। एक फ्रीज़्ड 32B जेनेरेटर ज्ञान-प्रधान कार्यों (सामान्य तर्क, चिकित्सा) पर 8B सह-विकसित जेनेरेटर से बेहतर प्रदर्शन करता है, लेकिन गणित और कोडिंग पर उससे पीछे रह जाता है, जो यह उजागर करता है कि तर्क के लिए स्केल से बेहतर अनुकूलन (adaptation) है।
- घटक: ऑप्टिमाइज़र-जागरूक प्रभाव स्कोर और DuGRPO नॉर्मलाइजेशन दोनों को आवश्यक पाया गया; इन्हें हटाने से प्रदर्शन फ्रीज़्ड जेनेरेटर के स्तर तक गिर गया।
विस्तार:
- इंस्ट्रक्शन-फाइनट्यून्ड एंकर्स: INFUSER ने एक इंस्ट्रक्शन-फाइनट्यून्ड एंकर (OLMo-3-7B-Instruct-SFT) को सफलतापूर्वक सुधारा, जिससे 13 में से 10 बेंचमार्क पर बढ़त मिली।
- हाइब्रिड RLVR: दस्तावेज़-आधारित स्व-विकास को नियम-सत्यापन योग्य गणित RLVR के साथ मिलाने से विज्ञान-मात्र प्रशिक्षण में देखी गई "रिस्पॉन्स लेंथ कोलैप्स" (response length collapse) स्थिर हुई, जिससे गणित प्रदर्शन में सीड वेरिएंस कम हुआ।

5. महत्व और दावे

पेपर का दावा है कि INFUSER क्यूरेटेड डेटासेट या शिक्षक मॉडलों पर निर्भर रहने के बजाय, प्रचुर मात्रा में उपलब्ध असंरचित कॉर्पोरा को संरचित, उपयोगिता-संरेखित प्रशिक्षण संकेतों में बदलकर मजबूत तर्क के लिए एक स्केलेबल पथ प्रदान करता है।

प्रतिमान में बदलाव (Shift in Paradigm): यह जेनेरेटर के उद्देश्य को "चीजों को कठिन बनाने" से बदलकर "चीजों को उपयोगी बनाने" की ओर ले जाता है, जो सॉल्वर के लर्निंग ट्राजेक्टरी के साथ पाठ्यक्रम निर्माण को संरेखित करने के लिए इन्फ्लुएंस फंक्शन्स का उपयोग करता है।
दक्षता: यह प्रदर्शित करता है कि एक छोटा, सह-विकसित जेनेरेटर तर्क कार्यों पर बहुत बड़े, फ्रीज़्ड जेनेरेटर से बेहतर प्रदर्शन कर सकता है, जो यह सुझाव देता है कि बड़े मॉडल के स्थिर ज्ञान की तुलना में पाठ्यक्रम अनुकूलन की प्रक्रिया अधिक मूल्यवान है।
सामान्यीकरण (Generalizability): फ्रेमवर्क को लचीला दिखाया गया है, जो बेस और इंस्ट्रक्शन-फाइनट्यून्ड दोनों मॉडलों के साथ काम करता है, और अन्य RLVR संकेतों (जैसे गणित सत्यापनकर्ताओं) के साथ एकीकृत होने में सक्षम है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान में फ्रेमवर्क लक्षित दिशा को एंकर करने के लिए एक छोटे डेव सेट पर निर्भर करता है, यह बड़े दस्तावेज़ पूल और लंबे प्रशिक्षण क्षितिज के साथ तर्क क्षमताओं को स्केल करने के लिए एक आशाजनक दिशा का प्रतिनिधित्व करता है।