💬 NLP

Learning from Saturated Data: Signals Beyond Correctness for LLM Training

यह शोध पत्र यह प्रदर्शित करता है कि जहाँ बाइनरी शुद्धता (binary correctness) को पेयरवाइज़ सेल्फ-जजमेंट (pairwise self-judgments) और टोकन-लेवल एंट्रॉपी (token-level entropy) जैसे सूक्ष्म गुणवत्ता संकेतों से बदलना संतृप्त डेटा (saturated data) का उपयोग करके सरल अंकगणितीय कार्यों पर LLM के प्रदर्शन में महत्वपूर्ण सुधार कर सकता है, वहीं इन संकेतों को GSM8K जैसे जटिल कार्यों के लिए सावधानीपूर्वक कैलिब्रेशन की आवश्यकता होती है ताकि प्रदर्शन में गिरावट से बचा जा सके।

मूल लेखक: Hanno Hiss, Jasper Dekoninck, Martin Vechev

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanno Hiss, Jasper Dekoninck, Martin Vechev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के गणित कौशल में सुधार करने की कोशिश कर रहे हैं। आपके पास अभ्यास समस्याओं का एक ढेर है।

समस्या: "बहुत आसान" का ढेर
आमतौर पर, आप छात्र को कठिन प्रश्न देते हैं जिन्हें वे गलत करते हैं ताकि वे सीख सकें। लेकिन क्या होगा यदि छात्र ने पहले से ही विशिष्ट प्रकार के प्रश्नों में महारत हासिल कर ली है? वे हर एक पर 100% अंक प्राप्त करते हैं। AI की दुनिया में, इसे "सैचुरेटेड डेटा" (saturated data) कहा जाता है।

पारंपरिक रूप से, यदि कोई AI किसी प्रश्न का सही उत्तर देता है, तो प्रशिक्षण रुक जाता है। कंप्यूटर कहता है, "बहुत बढ़िया, अगला!" सोच यह थी: यदि उत्तर सही है, तो सीखने के लिए कुछ भी शेष नहीं है।

बड़ा विचार: यह केवल उत्तर के बारे में नहीं है
इस शोध पत्र के लेखक एक अलग सवाल पूछते हैं: भले ही उत्तर सही हो, क्या कुछ "सही" उत्तर दूसरों से बेहतर होते हैं?

कल्पना कीजिए कि दो छात्रों ने गणित के एक सवाल का जवाब "95" दिया।

छात्र A बस "95" लिख देता है।
छात्र B चरणों को स्पष्ट रूप से लिखता है: "83 प्लस 27 होता है 110, माइनस 15 होता है 95।"

दोनों के उत्तर "सही" हैं, लेकिन छात्र B का उत्तर अधिक स्पष्ट, तार्किक और समझने में आसान है। यह शोध पत्र तर्क देता है कि भले ही AI सही उत्तर दे रहा हो, फिर भी हम उसे "छात्र B" की तरह सोचने की शैली पसंद करना सिखा सकते हैं। यह पत्थरों के ढेर में छिपे हुए रत्नों को खोजने जैसा है जिसे बाकी सब केवल कंकड़ समझ रहे थे।

उन्होंने यह कैसे किया: ग्रेडिंग के दो नए तरीके
चूंकि सभी उत्तर "सही" हैं, इसलिए AI एक साधारण "सही बनाम गलत" ग्रेड का उपयोग नहीं कर सकता। इसके बजाय, शोधकर्ताओं ने गुणवत्ता को आंकने के लिए दो नए तरीके विकसित किए:

"स्व-चिंतन" जज (The "Self-Reflection" Judge): उन्होंने AI से अपने ही दो उत्तरों को देखने और उनमें से बेहतर को चुनने के लिए कहा। यह एक शेफ से दो तरह के सूप का स्वाद चखने और यह तय करने जैसा है कि कौन सा बेहतर स्वाद वाला है, भले ही दोनों खाने योग्य हों।
"आत्मविश्वास" मीटर (Entropy): उन्होंने देखा कि प्रत्येक शब्द टाइप करते समय AI कितना "निश्चित" था। यदि AI एक शब्द को उच्च आत्मविश्वास (कम अनिश्चितता) के साथ टाइप करता है, तो यह उस छात्र की तरह है जो उत्तर तुरंत जानता है। यदि वह हिचकिचाता है और अनुमान लगाता है (उच्च अनिश्चितता), तो यह अनुमान लगाने वाले छात्र की तरह है। उन्होंने पाया कि जिन उत्तरों में AI पूरी प्रक्रिया के दौरान अधिक आत्मविश्वासी था, वे अक्सर उच्च गुणवत्ता वाले थे।

परिणाम: एक मिला-जुला परिणाम
उन्होंने इन विचारों का दो प्रकार के गणित कार्यों पर परीक्षण किया:

सरल गणित कार्य (Chain Sum): यह बुनियादी अंकगणित के अभ्यास जैसा था। यहाँ, नए तरीके अद्भुत रूप से काम आए। AI को "आत्मविश्वासी" और "सुव्यवस्थित" सही उत्तरों को पसंद करना सिखाकर, वह बाद में इन समस्याओं के कठिन संस्करणों को हल करने में काफी बेहतर हो गया। यह एक ऐसे छात्र को सिखाने जैसा था जो साधारण जोड़ कर सकता है, और उसे इतनी स्पष्टता के साथ करने के लिए प्रशिक्षित किया गया कि वह अंततः जटिल बीजगणित (algebra) को भी संभाल सके।
जटिल गणित कार्य (GSM8K): यह वास्तविक दुनिया की शब्द समस्या (word problem) जैसा था। यहाँ, परिणाम कठिन रहे।
- "आत्मविश्वास मीटर" ने थोड़ा बहुत मदद की।
- लेकिन, "स्व-चिंतन जज" ने वास्तव में चीजों को खराब कर दिया। ऐसा प्रतीत होता है कि जब AI ने अपने स्वयं के जटिल उत्तरों का न्याय करने की कोशिश की, तो वह भ्रमित हो गया और अच्छे उत्तरों के बजाय बुरे उत्तर चुनने लगा। यह एक ऐसे छात्र जैसा है जो गणित में कमजोर है और अपने स्वयं के होमवर्क को ग्रेड करने की कोशिश कर रहा है; वह गलत उत्तर को सही मान सकता है क्योंकि वह अभी तक नियमों को ठीक से नहीं समझ पाया है।

मुख्य सबक
यह शोध पत्र निष्कर्ष निकालता है कि आप AI से उन प्रश्नों से भी सीख सकते हैं जिन्हें वह पहले से ही सही हल कर रहा है, लेकिन आपको इस बात पर बहुत सावधान रहना होगा कि आप उन्हें कैसे आंकते हैं।

यदि आपके पास यह बताने का विश्वसनीय तरीका है कि एक "अच्छा" सही उत्तर और एक "बुरा" सही उत्तर के बीच क्या अंतर है, तो आप AI को बहुत स्मार्ट बना सकते हैं।
यदि आपकी निर्णय लेने की विधि अविश्वसनीय है (जैसे कि AI द्वारा अपने जटिल उत्तरों को आंकना), तो आप अनजाने में AI को बुरी आदतें सिखा सकते हैं, जिससे वह पहले से भी बदतर हो सकता है।

संक्षेप में: सिर्फ इसलिए कि उत्तर सही है, इसका मतलब यह नहीं है कि सोचने की प्रक्रिया पूर्ण है। लेकिन यह पता लगाना कि कौन सी सोच पूर्ण है, इस पहेली का सबसे कठिन हिस्सा है।

तकनीकी सारांश: संतृप्त डेटा (Saturated Data) से सीखना

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) की तीव्र प्रगति ने कई मानक बेंचमार्क और प्रशिक्षण डेटासेट्स के संतृप्ति (saturation) की स्थिति पैदा कर दी है। इन "संतृप्त" (saturated) परिदृश्यों में, मॉडल प्रशिक्षण प्रश्नों पर लगभग पूर्ण अनुभवजन्य सटीकता (empirical accuracy) प्राप्त कर लेते हैं, जिससे पारंपरिक बाइनरी शुद्धता संकेत (सही/गलत) आगे के सुधार के लिए बेकार हो जाते हैं। चूंकि किसी दिए गए प्रश्न के लिए सभी नमूनाकृत पूर्ण (sampled completions) सही हैं, इसलिए मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या सुदृढीकरण शिक्षण (RL), जो शुद्धता पर आधारित होता है, उच्च-गुणवत्ता वाले और निम्न-गुणवत्ता वाले समाधानों के बीच अंतर नहीं कर सकता, और न ही उस डेटा से अतिरिक्त शिक्षण संकेत निकाल सकता है जिसे मॉडल पहले से ही विश्वसनीय रूप से हल कर रहा है।

केंद्रीय शोध प्रश्न यह है: क्या हम उन प्रश्नों से एक लर्निंग सिग्नल (learning signal) निकाल सकते हैं जिन्हें मॉडल अनुभवजन्य रूप से पूर्ण सटीकता के साथ हल करता है, ताकि कठिन कार्यों पर डाउनस्ट्रीम प्रदर्शन में सुधार किया जा सके?

2. कार्यप्रणाली (Methodology)

लेखक बाइनरी शुद्धता के बजाय सूक्ष्म-स्तरीय गुणवत्ता संकेतों का उपयोग करके सही पूर्णताओं (completions) के बीच अंतर करने के लिए एक ढांचा प्रस्तावित करते हैं। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

A. कठिनाई विभाजन (Difficulty Partitioning)

प्रशिक्षण डेटा को मॉडल की अनुभवजन्य समाधान दर ( $\hat{p}(x)$ ) के आधार पर विभाजित किया जाता है।

संतृप्त सेट ( $D_{saturated}$ ): वे प्रश्न जहाँ मॉडल नमूनाकृत पूर्णताओं को 100% सही ढंग से हल करता है।
स्ट्रिक्टली ईज़ियर सेट्स ( $D'_{strict}$ ): एक सरल वितरण से लिए गए प्रश्न जहाँ मॉडल भी 100% सटीकता प्राप्त करता है।
लक्ष्य: लक्ष्य केवल संतृप्त उपसमूहों ( $D_{saturated}$ ) के डेटा का उपयोग करके गैर-संतृप्त वितरण ( $D \setminus D_{saturated}$ ) पर सटीकता में सुधार करना है।

B. गुणवत्ता संकेत (Quality Signals)

सही पूर्णताओं को रैंक करने के लिए दो पूरक तंत्र पेश किए गए हैं:

LLM-as-a-Self-Judge: मॉडल अपने स्वयं के पूर्ण परिणामों के बीच युग्म तुलना (pairwise comparisons) करता है ताकि प्रत्येक समाधान के लिए "जीत की दर" (win rate) निर्धारित की जा सके। यह बाहरी लेबल के बिना एक प्राथमिकता रैंकिंग (preference ranking) उत्पन्न करता है।
इनवर्स टोकन-लेवल एंट्रॉपी (Inverse Token-Level Entropy): मॉडल की अनिश्चितता को उसके आउटपुट वितरण के औसत टोकन-लेवल एंट्रॉपी के माध्यम से मापा जाता है। कम एंट्रॉपी (उच्च आत्मविश्वास) को उच्च समाधान गुणवत्ता के प्रॉक्सी के रूप में माना जाता है। स्कोर को $r_H = 1 / \max(\bar{H}, \epsilon)$ के रूप में परिभाषित किया गया है।

C. प्रशिक्षण एल्गोरिदम (Training Algorithms)

इन गुणवत्ता संकेतों को दो प्रशिक्षण प्रतिमानों में एकीकृत किया जाता है:

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO): गुणवत्ता रैंकिंग (सर्वश्रेष्ठ बनाम सबसे खराब) के आधार पर 'चुने गए-अस्वीकृत' (chosen-rejected) जोड़े बनाता है और नीति (policy) को चुनी गई पूर्णता को प्राथमिकता देने के लिए अनुकूलित करता है।
लॉजिस्टिक-वेटेड RRHF ( $\sigma$ -RRHF): रैंक रिस्पॉन्स टू एलाइन लैंग्वेज मॉडल्स विद ह्यूमन फीडबैक (RRHF) का एक संस्करण। मानक RRHF के विपरीत, जो सभी जोड़ों को समान मानता है, $\sigma$ -RRHF रैंक लॉस पर एक लॉजिस्टिक वेटिंग फंक्शन $\sigma(r_j - r_i)$ लागू करता है। यह केवल सर्वश्रेष्ठ-सबसे खराब जोड़े के बजाय, बड़े गुणवत्ता अंतराल वाले जोड़ों को अधिक महत्व देता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

बेस मॉडल: Qwen3-1.7B-Base।
कार्य (Tasks):
- चेन सम (Chain Sum): कंट्रोलेबल डिफिकल्टी (पदों और अंकों की संख्या) के साथ ReasoningGym से एक सिंथेटिक अंकगणितीय कार्य।
- GSM8K: एक मानक ग्रेड-स्कूल मैथ वर्ड प्रॉब्लम डेटासेट।
बेसलाइन्स (Baselines): रैंडम स्कोरिंग, सेल्फ-जजिंग, एक मजबूत बाहरी जज (Qwen3-30B), और इनवर्स एंट्रॉपी का उपयोग करने वाले मानक SFT, DPO, और RRHF।

4. मुख्य परिणाम (Key Results)

A. चेन सम (सिंथेटिक अंकगणित)

ईज़ी-टू-हार्ड ट्रांसफर: विशेष रूप से संतृप्त चेन सम प्रश्नों पर प्रशिक्षण करने से कठिन, गैर-संतृप्त प्रश्नों पर प्रदर्शन में उल्लेखनीय सुधार हुआ।
इनवर्स एंट्रॉपी की श्रेष्ठता: संतृप्त उपसमूह पर, इनवर्स एंट्रॉपी के साथ प्रशिक्षित $\sigma$ -RRHF ने सबसे मजबूत परिणाम प्राप्त किए, जिसने बेस मॉडल की तुलना में पास@1 (pass@1) में +18.6% का सुधार किया और SFT से काफी बेहतर प्रदर्शन किया।
सेल्फ-जज की सीमाएं: हालांकि सेल्फ-जज $\sigma$ -RRHF ने भी बेस मॉडल से बेहतर प्रदर्शन किया, लेकिन यह आम तौर पर एंट्रॉपी-आधारित दृष्टिकोण की तुलना में कमजोर रहा।
स्ट्रिक्टली ईज़ियर ट्रांसफर: यहाँ तक कि जब प्रशिक्षण सेट मूल्यांकन सेट से भी सरल ( $D'_{strict}$ ) प्रश्नों पर किया गया, तब भी इनवर्स एंट्रॉपी $\sigma$ -RRHF ने बेस मॉडल पर +11.7% का सुधार दिखाया, जो मजबूत ट्रांसफर को प्रदर्शित करता है।

B. GSM8K (वास्तविक दुनिया का गणित)

मामूली लाभ: GSM8K पर परिणाम अधिक मामूली थे और गुणवत्ता संकेतक पर अत्यधिक निर्भर थे।
स्कोरर की विश्वसनीयता महत्वपूर्ण है:
- इनवर्स एंट्रॉपी: DPO के साथ उपयोग किए जाने पर बेस मॉडल पर मामूली सुधार (+3.3% pass@1) प्रदान किया।
- सेल्फ-जज की विफलता: GSM8K पर सेल्फ-जज सिग्नल ने एक मजबूत बाहरी जज के साथ खराब सहमति (नेगेटिव स्पीयरमैन सहसंबंध -0.2) दिखाई। परिणामस्वरूप, सेल्फ-जज सिग्नल्स के साथ प्रशिक्षण करने से प्रदर्शन बेस मॉडल से भी नीचे गिर गया।
एल्गोरिदम संवेदनशीलता: $\sigma$ -RRHF ने आमतौर पर GSM8K पर DPO की तुलना में कम प्रदर्शन किया, संभवतः इसलिए क्योंकि $\sigma$ -RRHF की पूर्ण रैंकिंग को फिट करने की निर्भरता शोर वाले स्कोरर्स के व्यवस्थित पूर्वाग्रहों (systematic biases) को बढ़ा देती है, जबकि DPO का KL कंस्ट्रेंट विचलन को सीमित करता है।

C. इंस्ट्रक्शन-ट्यून्ड मॉडल्स

जब इसे मॉडल के इंस्ट्रक्शन-ट्यून्ड वेरिएंट्स पर लागू किया गया, तो इनवर्स एंट्रॉपी DPO ने प्रदर्शन में सुधार करने के बजाय गिरावट दर्ज की। यह सुझाव देता है कि इंस्ट्रक्शन ट्यूनिंग पहले से ही एंट्रॉपी को न्यूनतम कर देती है, जिससे एंट्रॉपी में और कमी लाना गुणवत्ता के लिए एक खराब प्रॉक्सी बन जाता है।

5. मुख्य योगदान (Key Contributions)

संतृप्त प्रशिक्षण की पहचान: यह पेपर संतृप्त प्रश्नों (जहाँ सटीकता पूर्ण है) को एक व्यवहार्य प्रशिक्षण सेटिंग के रूप में पहचानता है, जो इस धारणा को चुनौती देता है कि ऐसा डेटा बेकार है।
गुणवत्ता-आधारित संकेत: यह प्रदर्शित करता है कि गुणवत्ता-आधारित संकेत (विशेष रूप से इनवर्स एंट्रॉपी और सेल्फ-जजिंग) संतृप्त डेटा से उपयोगी शिक्षण संकेत निकाल सकते हैं ताकि डाउनस्ट्रीम प्रदर्शन में सुधार किया जा सके।
स्कोरर विश्वसनीयता बाधा: यह कार्य रेखांकित करता है कि संतृप्त डेटा से सीखने की प्रभावशीलता पूरी तरह से गुणवत्ता स्कोरर की विश्वसनीयता पर निर्भर है। इनवर्स एंट्रॉपी सिंथेटिक कार्यों के लिए बेस मॉडल्स के लिए एक मजबूत, जज-मुक्त सिग्नल साबित हुआ, जबकि सेल्फ-जजिंग GSM8K जैसे जटिल, मुक्त-रूप तर्क कार्यों पर अविश्वसनीय था।

6. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सही पूर्णताओं के बीच गुणवत्ता अंतर संतृप्ति के बाद भी प्रशिक्षण को आगे बढ़ा सकता है, लेकिन यह स्कोरर की विश्वसनीयता पर सशर्त है।

मुख्य निष्कर्ष: बाधित कार्यों (जैसे चेन सम) पर बेस मॉडल्स के लिए, गुणवत्ता-रैंक किया गया प्रशिक्षण (विशेष रूप से इनवर्स एंट्रॉपी) मानक SFT और कठिन समस्याओं पर ट्रांसफर करने में काफी बेहतर हो सकता है।
चेतावनी: जटिल, ओपन-एंडेड कार्यों (जैसे GSM8K) के लिए, यह विधि नाजुक है। यदि गुणवत्ता सिग्नल (जैसे सेल्फ-जज) शोर वाला या वास्तविक गुणवत्ता के साथ असंगत है, तो यह प्रदर्शन को नुकसान पहुँचा सकता है।
निष्कर्ष: संतृप्त डेटा से सीखने के लिए प्राथमिक बाधा डेटा की कमी नहीं है, बल्कि गुणवत्ता स्कोरर का अंशांकन (calibration) है। लेखक निष्कर्ष निकालते हैं कि यद्यपि यह आशाजनक है, जटिल कार्यों पर इन संकेतों को लागू करने के लिए यह सुनिश्चित करने के लिए सावधानीपूर्वक सत्यापन और आगे के अध्ययन की आवश्यकता है कि संकेत भ्रामक न हों।