🤖 machine learning

GeoMin: Data-Efficient Semi-Supervised RLVR via Geometric Distribution Modeling

GeoMin एक डेटा-कुशल सेमी-सुपरवाइज्ड सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचा है जो सही और गलत रोलआउट्स के बीच अंतर करने के लिए वैश्विक फीचर वितरणों को मॉडल करता है, जिससे यह अनलेबल उदाहरणों का प्रभावी ढंग से लाभ उठाकर केवल 10% एनोटेशन डेटा का उपयोग करके भी पूरी तरह से सुपरवाइज्ड मॉडलों से बेहतर प्रदर्शन करने में सक्षम होता है।

मूल लेखक: Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (AI) को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास अभ्यास के सवालों का एक बहुत बड़ा ढेर है, लेकिन आपके पास उनमें से केवल कुछ ही सवालों के उत्तर (answer keys) उपलब्ध हैं।

समस्या:

महंगा तरीका: यदि आप चाहते हैं कि छात्र पूरी तरह से सीख जाए, तो आपको हर एक समस्या के लिए एक उत्तर कुंजी की आवश्यकता होगी। यह एक विशेषज्ञ ट्यूटर्स की टीम को रखने जैसा है जो होमवर्क के हर असाइनमेंट को ग्रेड करे। यह सटीक है, लेकिन इसमें बहुत अधिक पैसा और समय लगता है।
आलसी तरीका: आप छात्र को अपना काम खुद ग्रेड करने दे सकते हैं, जैसे कि यह कहना, "अगर मुझे अपने उत्तर पर भरोसा है, तो मैं सही हूँ।" लेकिन छात्र अक्सर अपनी गलतियों के बारे में अति-आत्मविश्वासी हो जाते हैं। यदि आप उन्हें बिना सुधार के अपनी गलतियों पर अभ्यास करने देते हैं, तो वे अंततः निरर्थक बातें मानने लगते हैं। इसे "मॉडल कोलैप्स" (model collapse) कहा जाता है—छात्र बदतर होता जाता है क्योंकि वह केवल अपनी त्रुटियों को ही पुख्ता कर रहा होता है।
मध्य मार्ग (पिछले प्रयास): कुछ विधियाँ उन कुछ उत्तर कुंजियों का उपयोग करने की कोशिश करती हैं जो आपके पास हैं। वे कहती हैं, "केवल उन्हीं समस्याओं का अभ्यास करें जो बिल्कुल उन समस्याओं जैसी दिखती हैं जिनके उत्तर हमें पहले से पता हैं।" समस्या यह है कि यह बहुत सख्त है। यह 87% अच्छे अभ्यास प्रश्नों को फेंक देता है क्योंकि वे आपके पास मौजूद उदाहरणों से बिल्कुल मेल नहीं खाते। यह एक शिक्षक के ऐसा करने जैसा है जो छात्र को गणित के एक नए प्रकार का अभ्यास करने से मना कर देता है क्योंकि वह उसके पाठ्यपुस्तक के उदाहरणों से थोड़ा अलग दिखता है।

समाधान: GeoMin (द "जियोमेट्रिक कंपास")
लेखक GeoMin नामक एक नई विधि प्रस्तावित करते हैं। GeoMin केवल उत्तरों को नहीं देखता, बल्कि यह छात्र के मस्तिष्क के भीतर सोचने की प्रक्रिया के आकार (shape) को देखता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "मस्तिष्क का मानचित्र" (जियोमेट्रिक डिस्ट्रीब्यूशन)

कल्पना कीजिए कि छात्र का मस्तिष्क एक विशाल कमरा है। हर बार जब वह किसी समस्या को हल करता है, तो वह उस कमरे में एक विशिष्ट स्थान पर एक "पदचिह्न" (footprint) छोड़ देता है।

सही उत्तर एक विशिष्ट क्लस्टर में पदचिह्न छोड़ते हैं (मान लीजिए, "उत्तर" ज़ोन)।
गलत उत्तर एक अलग क्लस्टर में पदचिह्न छोड़ते हैं (मान लीजिए, "दक्षिण" ज़ोन)।

शुरुआत में, छात्र भ्रमित होता है, और पदचिह्न बीच में एक अव्यवस्थित ढेर की तरह बिखरे होते हैं।

2. चरण एक: मानचित्र बनाना (सुपरवाइज्ड एंकरिंग)

सबसे पहले, GeoMin ज्ञात उत्तरों वाले सवालों के छोटे ढेर (लेबल वाला डेटा) को लेता है और छात्र को उन्हें हल करने के लिए कहता है।

यह देखता है कि पदचिह्न कहाँ पड़ रहे हैं।
यह "उत्तर" (सही) ज़ोन और "दक्षिण" (गलत) ज़ोन के बीच एक स्पष्ट सीमा रेखा खींचता है।
गुप्त मंत्र (The Secret Sauce): यह विशेष रूप से उन पदचिह्नों पर अधिक ध्यान देता है जो रेखा के ठीक ऊपर गिरते हैं ("बाउंड्री सैंपल्स")। यह एक कोच की तरह है जो चिल्लाकर कहता है, "अरे, तुम सही होने के बहुत करीब थे! चलो उसी विशिष्ट चाल का अभ्यास करते हैं!" यह सही और गलत सोच के बीच की रेखा को और भी स्पष्ट बनाता है।

3. चरण दो: दिशा-सूचक यंत्र (सेमी-सुपरवाइज्ड माइनिंग)

अब, छात्र बिना उत्तर कुंजी वाले सवालों के विशाल ढेर पर काम करता है।

केवल यह पूछने के बजाय कि, "क्या यह उत्तर वैसा ही दिखता है जैसा कि हम जानते हैं?", GeoMin पूछता है, "क्या इस छात्र की सोचने की प्रक्रिया का आकार 'उत्तर' ज़ोन या 'दक्षिण' ज़ोन से मेल खाता है?"
भले ही उत्तर नया हो, यदि छात्र के आंतरिक "पदचिह्न" 'उत्तर' ज़ोन के साथ संरेखित (align) होते हैं, तो GeoMin जानता है, "यह एक अच्छा अभ्यास प्रश्न है, भले ही हमारे पास अभी इसका उत्तर न हो।"
यह एक स्मार्ट फ़िल्टर (एक "गौसियन मिक्स्चर मॉडल", जो केवल एक स्मार्ट सॉर्टिंग मशीन कहने का एक फैंसी तरीका है) का उपयोग करता है, जो स्वचालित रूप से उन सर्वोत्तम समस्याओं को चुनता है जो 'उत्तर' पैटर्न में फिट बैठती हैं और उन समस्याओं को अनदेखा करता है जो 'दक्षिण' जैसी गलतियों की तरह दिखती हैं।

परिणाम
इस "जियोमेट्रिक कंपास" का उपयोग करके, GeoMin उन मूल्यवान अभ्यास प्रश्नों में से 89% को खोजने और उपयोग करने में सक्षम है जिन्हें अन्य विधियाँ फेंक देती थीं।

दक्षता (Efficiency): यह उन सभी उत्तर कुंजियों से बेहतर परिणाम प्राप्त करता है जिन पर छात्र को प्रशिक्षित किया गया था, लेकिन इसने केवल 10% उत्तर कुंजियों का ही उपयोग किया।
गति (Speed): क्योंकि यह खराब डेटा पर समय बर्बाद करना बंद कर देता है और इसे क्या करना है यह समझने के लिए लंबे "वार्म-अप" चरण की आवश्यकता नहीं होती है, इसलिए यह पिछले सबसे अच्छे तरीके की तुलना में दोगुनी तेजी से प्रशिक्षित होता है।

संक्षेप में:
GeoMin उत्तरों को रटने की कोशिश नहीं करता है, बल्कि सही सोच के ज्यामिति (geometry) को सीखना शुरू करता है। सही समाधान के "आकार" को समझकर, यह आत्मविश्वास के साथ AI को हजारों नई समस्याओं के माध्यम से मार्गदर्शन कर सकता है, बिना इसके कि उसे हर एक समस्या के लिए मानव द्वारा ग्रेडिंग की आवश्यकता हो।

तकनीकी सारांश: GeoMin - ज्यामितीय वितरण मॉडलिंग के माध्यम से डेटा-कुशल अर्ध-पर्यवेक्षित RLVR

1. समस्या विवरण

रीइन्फोर्समेंट लर्निंग विद वेरीफिएबल रिवार्ड्स (RLVR) तर्क क्षमताओं (reasoning capabilities) को बढ़ाने के लिए एक महत्वपूर्ण प्रतिमान (paradigm) बन गया है। हालाँकि, RLVR की स्केलेबिलिटी "एनोटेशन बॉटलनेक" (annotation bottleneck) द्वारा गंभीर रूप से बाधित है: मानक पर्यवेक्षित दृष्टिकोणों (supervised approaches) के लिए महंगी ग्राउंड-ट्रुथ एनोटेशन की आवश्यकता होती है, जबकि अनसुपरवाइज्ड विकल्प अक्सर शोर वाले सेल्फ-रिवॉर्ड सिग्नल्स (जैसे कि मेजॉरिटी वोटिंग, एंट्रॉपी) पर निर्भरता के कारण "मॉडल कोलैप्स" (model collapse) से ग्रस्त होते हैं, जो तथ्यात्मक आधार के बिना गलत आत्मविश्वास को सुदृढ़ करते हैं।

हालिया अर्ध-पर्यवेक्षित दृष्टिकोण, जैसे कि TraPO, इस अंतर को पाटने का प्रयास करते हैं, लेकिन वे एक महत्वपूर्ण डेटा-दक्षता बॉटलनेक (data-efficiency bottleneck) का सामना करते हैं। वे मोटे प्रदर्शन अनुमानों (coarse performance heuristics) पर निर्भर करते हैं (जैसे कि व्यक्तिगत ट्राजेक्टरी पास-रेट को सामूहिक औसत के साथ संरेखित करना), जो व्यक्तिगत इंस्टेंस अनुकूलन में प्राकृतिक उतार-चढ़ाव को समझने में विफल रहते हैं। परिणामस्वरूप, ये विधियाँ एक गंभीर "रिकॉल बॉटलनेक" (recall bottleneck) प्रदर्शित करती हैं, जो उपलब्ध विश्वसनीय अनलेबल डेटा के एक बहुत छोटे हिस्से (जैसे कि ~12.3%) का ही उपयोग कर पाती हैं, जिससे अधिकांश मूल्यवान इंस्टेंसों का उपयोग नहीं हो पाता है।

2. कार्यप्रणाली: GeoMin

लेखक GeoMin प्रस्तावित करते हैं, जो लेटेंट रिप्रेजेंटेशन के ज्यामितीय गुणों का लाभ उठाकर उच्च-गुणवत्ता वाले अनलेबल डेटा को कुशलतापूर्वक खोजने के लिए एक दो-चरणीय ढांचा प्रदान करता है। मुख्य अंतर्दृष्टि यह है कि सही और गलत रीजनिंग रोलआउट्स के दिशात्मक वितरण (directional distributions) में एक विशिष्ट ज्यामितीय अनुनाद (geometric resonance) होता है, जिसे सेल्फ-रिवॉर्ड सिग्नल्स की विश्वसनीयता का आकलन करने के लिए मॉडल किया जा सकता है।

मुख्य अवधारणा: ज्यामितीय पूर्ववृत्त (Geometric Priors)

यह विधि LLMs (विशेष रूप से नॉर्मलाइज्ड लास्ट-टोकन एम्बेडिंग्स) के हिडन स्टेट्स को हाइपरस्फीयर पर दिशात्मक डेटा के रूप में मॉडल करती है। यह मानता है कि सही और गलत रोलआउट्स विशिष्ट क्लस्टर बनाते हैं जिन्हें von Mises-Fisher (vMF) वितरणों का उपयोग करके मॉडल किया जा सकता है।

ज्यामितीय अनुनाद (Geometric Resonance): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, सही और गलत रोलआउट्स के दिशात्मक वितरण स्वाभाविक रूप से अलग हो जाते हैं। अनलेबल सही रोलआउट्स "सही" लेबल वाले वितरण के साथ संरेखित होते हैं, जबकि गलत रोलऑट्स "गलत" वितरण के साथ संरेखित होते हैं।

चरण 1: पर्यवेक्षित एंकरिंग (Supervised Anchoring)

एक मजबूत ज्यामितीय पूर्ववृत्त स्थापित करने के लिए, GeoMin पहले विशेष रूप से एक छोटे लेबल किए गए सेट ( $D_l$ ) पर पर्यवेक्षित प्रशिक्षण करता है।

वितरण मॉडलिंग: यह नेटवर्क परतों में सही ( $c=1$ ) और गलत ( $c=0$ ) वर्गों के लिए ऑनलाइन vMF वितरण ( $\mu_c, \kappa_c$ ) को फिट करता है।
सीमा विसंगति (Boundary Disambiguation): विधि उन "अस्पष्ट सीमा नमूनों" (ambiguous boundary samples) की पहचान करती है जहाँ रोलआउट्स का ज्यामितीय संरेखण उनकी शुद्धता के विपरीत होता है (उदाहरण के लिए, एक सही रोलआउट ज्यामितीय रूप से गलत वितरण के करीब है)।
लाभ पुनर्रweighting (Advantage Reweighting): ज्यामितीय पृथक्करण को तेज करने के लिए, इन सीमा नमूनों के एडवांटेज को GRPO अपडेट के दौरान प्रवर्धित किया जाता है। यह रिप्रेजेंटेशन स्पेस में निर्णय सीमा (decision boundary) को स्पष्ट करता है।

चरण 2: ज्यामिति-निर्देशित नमूना खनन (Geometry-Guided Sample Mining)

दूसरे चरण में, ढांचा अर्ध-पर्यवेक्षित प्रशिक्षण के लिए अनलेबल डेटा ( $D_u$ ) को शामिल करता है।

गतिशील अनुकूलन (Dynamic Adaptation): विकसित होते रिप्रेजेंटेशन स्पेस को ट्रैक करने के लिए vMF वितरणों को लगातार रिफ्रेश किया जाता है।
विभेदक परत चयन (Discriminative Layer Selection): विधि परत-वार पृथकता ( $\Delta^{(l)}$ ) को मापती है और विश्वसनीयता मूल्यांकन के लिए उच्चतम नैदानिक निष्ठा (diagnostic fidelity) वाली शीर्ष- $K$ परतों का चयन करती है।
कॉन्फिडेंस स्कोरिंग: प्रत्येक अनलेबल इंस्टेंस के लिए, एक कॉन्फिडेंस स्कोर ( $s_i$ ) सीखा गया सही और गलत vMF वितरणों के विरुद्ध उसके रोलआउट्स की दिशात्मक आत्मीयता (directional affinities) को एकत्रित करके निकाला जाता है।
अनुकूली फ़िल्टरिंग (Adaptive Filtering): एक स्थिर थ्रेशोल्ड के बजाय, GeoMin कॉन्फिडेंस स्कोर के वितरण पर एक गाऊसी मिश्रण मॉडल (GMM) को फिट करता है। यह अनुकूल रूप से उच्च-विश्वास वाले नमूनों (जो उच्च-मीन गाऊसी घटक से संबंधित हैं) का चयन करता है ताकि एक विश्वसनीय छद्म-लेबल सेट ( $B^*_u$ ) बनाया जा सके।
प्रशिक्षण: अंतिम नीति को मूल लेबल किए गए सेट और फ़िल्टर किए गए विश्वसनीय अनलेबल सेट के यूनियन पर अनुकूलित किया जाता है।

3. प्रमुख योगदान

ज्यामितीय अनुनाद की खोज: पेपर "ज्यामितीय अनुनाद" घटना की पहचान और औपचारिकीकरण करता है, जहाँ सही और गलत रोलआउट्स के बीच संरचनात्मक विसंगति को ग्लोबल फीचर डिस्ट्रीब्यूशन के माध्यम से डिकोड किया जा सकता है, जो छद्म-लेबल विश्वसनीयता के आकलन के लिए एक मजबूत प्रायर प्रदान करता है।
नया दो-चरणीय ढांचा: GeoMin एक समन्वित दृष्टिकोण पेश करता है जो पर्यवेक्षित एंकरिंग (एक विभेदक सीमा स्थापित करने के लिए) और ज्यामिति-निर्देशित खनन (अनलेबल डेटा को अनुकूलित रूप से चुनने के लिए) को जोड़ता है, जिससे पिछले अर्ध-पर्यवेक्षित तरीकों की रिकॉल सीमाओं को पार किया जा सके।
डेटा दक्षता: मैक्रो प्रदर्शन अनुमानों पर निर्भर रहने के बजाय वितरणों को मॉडल करके, GeoMin विश्वसनीय अनलेबल नमूनों की पहचान करने में 89.0% का F1 स्कोर प्राप्त करता है, जो TraPO बेसलाइन के 21.4% F1 स्कोर से काफी बेहतर है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-8B-Base और अन्य मॉडलों (1.5B, 8B) पर Deepmath-103k डेटासेट पर किए गए।

प्रदर्शन लाभ: GeoMin इन-डोमेन (ID) में +4.1% और आउट-ऑफ-डोमेन (OOD) औसत सटीकता में +1.7% में सबसे मजबूत अर्ध-पर्यवेक्षित बेसलाइन (TraPO) को पछाड़ देता है।
एनोटेशन दक्षता: उल्लेखनीय रूप से, GeoMin केवल 10% एनोटेशन के साथ प्रशिक्षित होकर पूरी तरह से पर्यवेक्षित बेसलाइन (100% डेटा पर प्रशिक्षित) को ID प्रदर्शन में +1.2% से पीछे छोड़ देता है, जबकि प्रतिस्पर्धी OOD प्रदर्शन बनाए रखता है।
स्केलेबिलिटी: विधि विभिन्न मॉडल स्केल्स (1.5B से 8B) और आर्किटेक्चर (Qwen बनाम Llama) में निरंतर सुधार प्रदर्शित करती है।
दक्षता: GeoMin कुल प्रशिक्षण समय में TraPO की तुलना में 2.14× की गति वृद्धि प्राप्त करता है, क्योंकि यह ट्रैजेक्टरी-मैचिंग बेसलाइनों द्वारा आवश्यक अपव्ययी मल्टी-इपोक वार्म-अप चरणों से बचता है।

5. महत्व और दावे

पेपर दावा करता है कि GeoMin स्केलेबल, डेटा-कुशल RLVR की ओर एक महत्वपूर्ण कदम है। सतह-स्तर के आउटपुट प्रोबेबिलिटीज से हटकर लेटेंट रिप्रेजेंटेशन के ज्यामितीय संरेखण पर ध्यान केंद्रित करके, यह विधि प्रशिक्षण स्थिरता से समझौता किए बिना विशाल अनलेबल डेटासेट की क्षमता को अनलॉक करती है।

लेखक का तर्क है कि GeoMin प्रभावी रूप से एनोटेशन बाधा को दरकिनार करता है, जिससे मॉडल न्यूनतम मानवीय पर्यवेक्षण के साथ बेहतर सामान्यीकरण प्राप्त करने में सक्षम होते हैं। कार्य यह सुझाव देता है कि अर्ध-पर्यवेक्षित RLVR में "रिकॉल बॉटलनेक" स्वाभाविक नहीं है, बल्कि यह मोटे अनुमानों (heuristics) पर निर्भरता के कारण है, जिसे कठोर ज्यामितीय वितरण मॉडलिंग के माध्यम से हल किया जा सकता है।

स्वीकृत सीमाएं:

सत्यापन मुख्य रूप से 8B पैरामीटर तक के मॉडलों पर किया गया था; बड़े फ्रंटियर मॉडलों पर प्रदर्शन का सत्यापन किया जाना बाकी है।
विधि की दक्षता मॉडल के प्रारंभिक ज्यामितीय विभेदन क्षमता पर निर्भर करती; खराब प्रारंभिक रिप्रेजेंटेशन गुणवत्ता वाले मॉडलों को चरण 1 के विस्तारित प्रशिक्षण की आवश्यकता हो सकती है।
वर्तमान मूल्यांकन टेक्स्टुअल और सिम्बोलिक रीजनिंग तक सीमित है; मल्टीमॉडल या क्रॉस-लिंगुअल कार्यों में सामान्यीकरण के लिए आगे के अन्वेषण की आवश्यकता है।