🤖 AI

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE एक स्केलेबल, रिवॉर्ड-मॉडल-मुक्त डेटा क्यूरेशन पद्धति है जो ग्रेडिएंट-अलाइन्ड सिग्नल्स का उपयोग करके स्टेप स्तर पर रीजनिंग डेटा को स्कोर और सेलेक्ट करके पोस्ट-ट्रेनिंग दक्षता में सुधार करती है, जिससे केवल 5% डेटासेट के साथ पूर्ण-डेटा प्रदर्शन प्राप्त होता है।

मूल लेखक: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ GRACE पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी समस्या: "पूरा हिस्सा अपने हिस्सों के योग के बराबर नहीं होता"

कल्पना कीजिए कि आप एक छात्र को एक जटिल गणित की समस्या हल करना सिखाने की कोशिश कर रहे हैं। आप उन्हें एक पाठ्यपुस्तक का पन्ना देते हैं जिसमें पूरा समाधान दिखाया गया है: चरण 1, चरण 2, चरण 3, और अंत में अंतिम उत्तर।

पुराना तरीका (वर्तमान विधियाँ):
अधिकांश AI प्रशिक्षण सिस्टम उस पूरे पन्ने को एक एकल "अच्छा" या "बुरा" सबक मानते हैं। यदि अंतिम उत्तर सही है, तो पूरे पन्ने को एक 'गोल्ड स्टार' मिलता है। यदि उत्तर गलत है, तो पूरे पन्ने पर एक 'लाल X' लगा दिया जाता है।

खामी: वास्तव में, उस पन्ने के कुछ चरण शानदार अंतर्दृष्टि (insights) वाले होते हैं, जबकि अन्य केवल छात्र द्वारा वही दोहराना होते हैं जो उसने तीन लाइन पहले कहा था, या किसी भटकाव की तरह होते जो कहीं नहीं ले जाता। पूरे पन्ने को एक इकाई मानकर, AI उबाऊ या भ्रमित करने वाले हिस्सों पर अपना समय बर्बाद करता है और बीच में छिपी शानदार अंतर्दृष्टि को मिस कर सकता है।

समाधान: GRACE (एक "चरण-दर-चरण" कोच)

लेखकों ने GRACE (Gradient-aligned Reasoning dAta Curation) नामक एक विधि बनाई है। पूरे पन्ने को ग्रेड देने के बजाय, GRACE एक अत्यंत सूक्ष्म अवलोकन करने वाले कोच की तरह काम करता है जो छात्र को एक-एक कदम करके समस्या हल करते हुए देखता है।

GRACE कैसे काम करता है, इसे एक हाइकिंग (पदयात्रा) के उदाहरण से समझते हैं:

कल्पना कीजिए कि AI एक हाइकर है जो पहाड़ की चोटी (सही उत्तर) तक पहुँचने की कोशिश कर रहा है। 'रीज़निंग ट्रेस' (reasoning trace) वह रास्ता है जिससे हाइकर गुजरता है।

"उत्तर संरेखण" संकेत (शिखर की ओर देखना):
- GRACE पूछता है: "क्या यह विशिष्ट चरण पहाड़ की चोटी की ओर इशारा कर रहा है?"
- यदि कोई चरण हाइकर को ऊपर की ओर ले जाता है, तो उसे उच्च स्कोर मिलता है।
- यदि कोई चरण हाइकर को गोल-गोल घुमाता है या किसी खाई की ओर ले जाता है, तो उसे कम स्कोर मिलता है।
"प्रक्षेप पथ निरंतरता" संकेत (पीछे के रास्ते को देखना):
- GRACE यह भी पूछता है: "क्या यह चरण तर्कसंगत है, यह देखते हुए कि हाइकर अभी कहाँ से आया है?"
- यदि हाइकर एक खड़ी ढलान पर चढ़ रहा है और अचानक नदी में तैरने की कोशिश करता है, तो यह एक अजीब बदलाव है। भले ही नदी सुंदर हो, लेकिन यह चढ़ाई के प्रवाह को तोड़ देता है। GRACE उन चरणों को दंडित करता है जो पिछले चरणों से कटे हुए महसूस होते हैं।

गुप्त मंत्र: "जादुई दर्पण" (पीछे मुड़ने की आवश्यकता नहीं)

आमतौर पर, यह जानने के लिए कि एक चरण अच्छा है या नहीं, आपको पूरी प्रशिक्षण प्रक्रिया को सिम्युलेट करना होगा, रुकना होगा, पीछे जाना होगा और गणना करनी होगी कि उस एक चरण ने AI के मस्तिष्क को ठीक से कैसे बदला। यह एक रेस कार को रोकने, उसके इंजन को खोलने और गियरों की जांच करने जैसा है। यह बहुत समय लेता है और बहुत धीमा है।

GRACE का नवाचार:
GRACE एक चतुर ट्रिक का उपयोग करता है जिसे "Representation-level Gradient Proxy" कहा जाता है।

उपमा: कार को खोलने के बजाय, GRACE कार के चलते समय उससे निकलने वाले "धुएं" (आंतरिक संकेतों) को देखता है।
इन संकेतों को देखते हुए (केवल एक बार टेक्स्ट को पढ़ते समय), GRACE यह अनुमान लगा सकता है कि एक चरण कितना उपयोगी था, बिना कभी "पीछे मुड़े" या जटिल गणनाओं के। यह एक शेफ के कौशल को भोजन के हर एक निवाले को चखने के बजाय, खाना पकते समय खाने की खुशबू से आंकने जैसा है।

परिणाम: कम डेटा, बेहतर प्रदर्शन

पेपर ने गणित की समस्याओं के एक विशाल डेटासेट (MMathCoT-1M) पर एक विज़न-लैंग्वेज मॉडल (Qwen3-VL) का उपयोग करके इस विधि का परीक्षण किया।

पुराना तरीका: बेहतरीन परिणाम पाने के लिए, आपको आमतौर पर AI को सारा डेटा (100%) खिलाना पड़ता है।
GRACE का तरीका:
- केवल 20% डेटा का उपयोग करके (5 में से सर्वश्रेष्ठ 1 चरण), AI ने 100% डेटा पर प्रशिक्षित होने की तुलना में 8.8% बेहतर प्रदर्शन किया।
- केवल 5% डेटा का उपयोग करके, AI ने पूरे डेटासेट के समान ही प्रदर्शन किया।

यह कम डेटा के साथ बेहतर क्यों हुआ?
सब कुछ सिखाना एक छात्र को पुस्तकालय के हर पन्ने को पढ़ने के लिए मजबूर करने जैसा है, जिसमें टाइपो, उबाऊ दोहराव और गलत मोड़ शामिल हैं। यह छात्र को भ्रमित करता है। GRACE "शोर" (noise) को फ़िल्टर करता है और केवल "शुद्ध सोना" (pure gold) वाले चरणों को ही AI को खिलाता है। यह AI को खराब उदाहरणों से भ्रमित होने से रोकता है और इसे तेजी से और स्मार्ट तरीके से सीखने में मदद करता है।

सारांश

समस्या: वर्तमान AI प्रशिक्षण हर चरण को समान रूप से महत्वपूर्ण मानता है, जिससे खराब चरणों पर समय बर्बाद होता है।
समाधान: GRACE हर एक चरण को व्यक्तिगत रूप से स्कोर करता है कि क्या वह उत्तर तक पहुँचने में मदद करता है और क्या वह कहानी के प्रवाह के साथ फिट बैठता है।
ट्रिक: यह चरणों को तुरंत स्कोर करने के लिए "फॉरवर्ड-पास ओनली" शॉर्टकट का उपयोग करता है, जिससे धीमी और जटिल गणनाओं की आवश्यकता नहीं होती।
परिणाम: आप डेटा के एक बहुत छोटे हिस्से का उपयोग करके एक स्मार्ट AI को प्रशिक्षित कर सकते हैं, जिससे समय और कंप्यूटिंग पावर की बचत होती है और प्रदर्शन में वास्तव में सुधार होता है।

पेपर निष्कर्ष निकालता है कि रीज़निंग डेटा का मूल्य केवल इस बारे में नहीं है कि अंतिम उत्तर सही है या नहीं; बल्कि यह इस बारे में है कि उस उत्तर तक पहुँचने की यात्रा कितनी रचनात्मक और तार्किक थी। GRACE उन रचनात्मक रास्तों को खोजता है और बाकी सबको हटा देता है।

तकनीकी सारांश: GRACE – कुशल पोस्ट-ट्रेनिंग के लिए ग्रेडिएंट-अलाइन्ड रीजनिंग डेटा क्यूरेशन

समस्या विवरण

तर्क संबंधी डेटा (चेन-ऑफ-थॉट, CoT) को क्यूरेट करने वाली मौजूदा पाइपलाइनें आमतौर पर सैंपल स्तर (sample level) पर काम करती हैं, जहाँ अंतिम उत्तर की शुद्धता या रिवॉर्ड मॉडल स्कोर जैसे मेट्रिक्स के आधार पर पूरे रीजनिंग ट्रेस को एक एकल स्कोर दिया जाता है। यह दृष्टिकोण एक पूरे ट्रेस के भीतर प्रत्येक मध्यवर्ती चरण (intermediate step) को समान रूप से मूल्यवान मानता है। हालाँकि, रीजनिंग ट्रेसेस विषम (heterogeneous) होते हैं; कुछ चरण सीधे अंतिम उत्तर का समर्थन करते हैं, जबकि अन्य सामग्री को दोहराते हैं, अप्रासंगिक बातों में भटक जाते हैं, या शोर (noise) पेश करते हैं। ऐसे ट्रेसेस पर समान रूप से प्रशिक्षण देना कम मूल्य वाले चरणों पर कंप्यूटेशनल बजट बर्बाद करता है और उपयोगी चरणों के योगदान को कम कर देता है। इसके अलावा, वर्तमान तरीकों में यह आकलन करने के लिए किसी तंत्र की कमी है कि व्यक्तिगत रीजनिंग चरण अनुकूलन प्रक्रिया (optimization process) में कैसे योगदान देते हैं, जिससे अक्सर एक ट्रेस के भीतर "स्टेप-वाइज ऑप्टिमाइज़ेशन रोल्स" की अनदेखी हो जाती है।

कार्यप्रणाली: GRACE

लेखक GRACE (Gradient-aligned Reasoning Data Curation for Efficient post-training) का प्रस्ताव करते हैं, जो क्यूरेशन की सूक्ष्मता (granularity) को सैंपल स्तर से बदलकर स्टेप स्तर (step level) पर ले जाता है। GRACE एक रीजनिंग ट्रेस को एक स्थिर सुपरविजन टारगेट के रूप में नहीं, बल्कि अनुकूलन घटनाओं (optimization events) के एक अनुक्रम के रूप में देखता है।

1. स्टेप-लेवल ऑप्टिमाइज़ेशन यूटिलिटी

GRACE एक लक्षित उद्देश्य को अनुकूलित करने में योगदान के आधार पर रीजनिंग चरण की उपयोगिता (utility) को परिभाषित करता है। यह मॉडल के आंतरिक अनुकूलन गतिकी (internal optimization dynamics) से प्राप्त दो पूरक संकेतों का उपयोग करके प्रत्येक चरण $k$ को स्कोर करता है:

उत्तर-उन्मुख संरेखण (Answer-Oriented Alignment - $A_{ans}^k$ ): यह वर्तमान चरण द्वारा प्रेरित ग्रेडिएंट ( $g_k$ ) और अंतिम उत्तर खंड द्वारा प्रेरित ग्रेडिएंट ( $g_{ans}$ ) के बीच कोसाइन समानता (cosine similarity) को मापता है। यह निर्धारित करता है कि क्या चरण रचनात्मक रूप से अंतिम उद्देश्य का समर्थन करता है।
ट्रैजेक्टरी निरंतरता (Trajectory Consistency - $A_{hist}^k$ ): यह वर्तमान चरण के ग्रेडिएंट और एक ऐतिहासिक संदर्भ दिशा ( $r_k$ ) के बीच कोसाइन समानता को मापता है, जो कि पिछले चरणों के ग्रेडिएंट्स का एक भारित औसत (weighted average) है। यह सुनिश्चित करता है कि चरण विकसित होती रीजनिंग ट्रैजेक्टरी के साथ सामंजस्य बनाए रखे।

अंतिम स्टेप-लेवल स्कोर एक भारित संयोजन है:
$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$
जहाँ $\alpha$ दोनों संकेतों के बीच संतुलन बनाता है। इन स्टेप स्कोर्स को एक सैंपल-लेवल वैल्यू $V(z)$ की गणना करने के लिए एकत्रित किया जाता है, जिसका उपयोग शीर्ष- $\rho$ डेटा उपसमूह (subset) चुनने के लिए किया जाता है।

2. रिप्रेजेंटेशन-लेवल ग्रेडिएंट प्रॉक्सी

एक प्रमुख चुनौती यह है कि स्टेप-लेवल ग्रेडिएंट की गणना करने के लिए ट्रेसेस को विभाजित करने और बार-बार बैकवर्ड पास करने की आवश्यकता होती है, जो बड़े पैमाने पर कम्प्यूटेशनल रूप से अव्यवहार्य है। इसे संबोधित करने के लिए, GRACE एक रिप्रेजेंटेशन-लेवल ग्रेडिएंट प्रॉक्सी पेश करता है:

पैरामीटर-स्पेस ग्रेडिएंट्स ( $\nabla_\theta L$ ) की गणना करने के बजाय, यह विधि रिप्रेजेंटेशन इंटरफेस (आउटपुट प्रोजेक्शन से पहले के हिडन स्टेट्स) पर अपस्ट्रीम सिग्नल्स पर कार्य करती है।
प्रत्येक टोकन $t$ के लिए, एक अपस्ट्रीम सिग्नल $u_t = W_{out}(p_t - y_t)$ की गणना की जाती है, जहाँ $p_t$ अनुमानित प्रायिकता है और $y_t$ ग्राउंड ट्रुथ है।
स्टेप-लेवल ग्रेडिएंट्स को इन टोकन-लेवल सिग्नल्स के औसत द्वारा अनुमानित किया जाता है ( $g_k = \frac{1}{|T_k|} \sum u_t$ )।
महत्वपूर्ण रूप से, यह प्रॉक्सी प्रति सैंपल केवल एक सिंगल फॉरवर्ड पास का उपयोग करके स्टेप-लेवल अलाइनमेंट का अनुमान लगाने की अनुमति देता है, जिससे प्रति-चरण बैकप्रोपैगेशन और बाहरी रिवॉर्ड मॉडल या स्टेप एनोटेशन की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान

अनुकूलन-आधारित परिप्रेक्ष्य: यह पेपर रीजनिंग डेटा क्यूरेशन को अनुकूलन घटनाओं के अनुक्रम के रूप में मॉडल करके पुनर्गठित करता है, यह उजागर करते हुए कि प्रभावी सीखने के लिए लक्ष्य उद्देश्य और ट्रैजेक्टरी के साथ स्टेप-लेवल अलाइनमेंट महत्वपूर्ण है।
GRACE फ्रेमवर्क: एक नवीन क्यूरेशन विधि जो सूक्ष्म-स्तरीय डेटा चयन (fine-grained subset selection) के लिए स्टेप-लेवल ऑप्टिमाइज़ेशन सिग्नल्स (एन्सर अलाइनमेंट और ट्रैजेक्टरी कंसिस्टेंसी) को एकत्रित करती है।
स्केलेबल प्रॉक्सी: एक रिप्रेजेंटेशन-लेवल ग्रेडिएंट प्रॉक्सी का विकास जो प्रति-चरण ग्रेडिएंट गणना की कम्प्यूटेशनल लागत के बिना कुशल, स्टेप-लेवल डेटा मूल्यांकन को सक्षम बनाता है।

प्रयोगात्मक परिणाम

लेखकों ने MMathCoT-1M (एक बड़े पैमाने का मल्टीमॉडल गणितीय रीजनिंग कॉर्पस) पर Qwen3-VL-2B-Instruct को पोस्ट-ट्रेन करने के माध्यम से GRACE का मूल्यांकन किया और गणितीय तर्क (MathVista, MathVision) और सामान्य विजुअल क्वेश्चन अनswering (HallusionBench, MMBench, MME) सहित विविध बेंचमार्क पर परीक्षण किया।

डेटा वॉल्यूम बनाम प्रदर्शन:
- केवल 20% क्यूरेटेड डेटा का उपयोग करके, GRACE ने (सभी बेंचमार्क में औसत) 108.8% पूर्ण-डेटा प्रदर्शन प्राप्त किया, जो पूर्ण डेटासेट और सभी बेसलाइन्स से काफी बेहतर प्रदर्शन है।
- केवल 5% डेटा का उपयोग करके, GRACE ने 100.2% पूर्ण-डेटा प्रदर्शन को बनाए रखा।
बेसलाइन्स के साथ तुलना: GRACE ने ह्यूरिस्टिक सिलेक्टर्स (Random, Longest, Stepmax) और स्टेट-ऑफ-द-आर्ट ग्रेडिएंट-आधारित डेटा सिलेक्शन विधियों (LESS, ICONS, CADC) को लगातार पछाड़ दिया। उदाहरण के लिए, 20% डेटा पर, GRACE (108.8%) ने CADC (102.6%) और LESS (101.7%) को भी पीछे छोड़ दिया।
ट्रांसफरेबिलिटी (स्थानांतरणीयता): Qwen3-VL-2B स्कोरिंग मॉडल का उपयोग करके GRACE द्वारा चुने गए उपसमूह अन्य बैकबोन्स (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B) पर प्रभावी ढंग से ट्रांसफर हुए, और लगातार उनके संबंधित पूर्ण-डेटा बेसलाइन्स से बेहतर रहे। यह सुझाव देता है कि कैप्चर किया गया डेटा मूल्य मॉडल-विशिष्ट होने के बजाय रीजनिंग संरचना के प्रति आंतरिक है।
दक्षता: प्रॉक्सी निष्कर्षण प्रक्रिया हल्का है, जिसमें केवल फॉरवर्ड पास की आवश्यकता होती है। लेखक रिपोर्ट करते हैं कि कैंडिडेट पूल के लिए सिग्नल्स एकत्र करने में 6.5 सिंगल-नोड घंटे और 5.7GB स्टोरेज लगा, जिससे ग्रेडिएंट-प्रोजेक्शन विधियों द्वारा आवश्यक महंगे बैकवर्ड पास से बचा जा सका।

महत्व और दावे

यह पेपर दावा करता है कि रीजनिंग डेटा का मूल्य केवल बाहरी गुणवत्ता संकेतकों (शुद्धता, लंबाई, या प्राथमिकता स्कोर) पर निर्भर नहीं है, बल्कि इस पर निर्भर है कि मध्यवर्ती चरण अनुकूलन ट्रैजेक्टरी (optimization trajectory) का निर्माणत्मक रूप से समर्थन करते हैं या नहीं।

GRACE प्रदर्शित करता है कि:

स्टेप-लेवल ग्रैनुलैरिटी आवश्यक है: रीजनिंग ट्रेसेस को अविभाज्य इकाइयों के रूप में मानना मध्यवर्ती चरणों की परिवर्तनशील उपयोगिता की अनदेखी करता है।
आंतरिक सिग्नल पर्याप्त हैं: उच्च-गुणवत्ता वाला डेटा क्यूरेशन बाहरी रिवॉर्ड मॉडल या मानव एनोटेशन के बिना केवल मॉडल के आंतरिक अनुकूलन सिग्नल्स (ग्रेडिएंट्स/प्रॉक्सिस) का उपयोग करके प्राप्त किया जा सकता है।
दक्षता और प्रदर्शन: ऑप्टिमाइज़ेशन-अवेयर क्यूरेशन मॉडल्स को प्रशिक्षण डेटा के एक अंश का उपयोग करके पूर्ण-डेटा प्रदर्शन के बराबर या उससे अधिक प्रदर्शन करने की अनुमति देता है, जिससे डाउनस्ट्रीम क्षमताओं में सुधार करते हुए पोस्ट-ट्रेनिंग लागत (GPU घंटे) काफी कम हो जाती है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें एक निश्चित स्कोरिंग मॉडल कॉन्फ़िगरेशन पर निर्भरता और वर्तमान में मल्टीमॉडल CoT डेटा पर ध्यान केंद्रित करना शामिल है, जो सुझाव देते हैं कि भविष्य के कार्य इन सिद्धांतों को शुद्ध भाषा तर्क या सुदृढीकरण लर्निंग (reinforcement learning) आधारित पोस्ट-ट्रेनिंग तक विस्तारित कर सकते हैं।