← नवीनतम पेपर
🤖 machine learning

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

यह शोध पत्र DuST प्रस्तुत करता है, जो एक सेल्फ-ट्रेनिंग फ्रेमवर्क है जो टेस्ट-टाइम सैंपलिंग का लाभ उठाकर एक "डुअल जजमेंट स्पेस" बनाता है जहाँ मॉडल ऑन-पॉलिसी रीइन्फोर्समेंट लर्निंग के माध्यम से कैंडिडेट प्रोग्राम्स को रैंक करना सीखते हैं, जिससे सही जनरेशन के लिए प्रत्यक्ष रिवार्ड्स के बिना भी कोड की शुद्धता को परखने और उच्च गुणवत्ता वाले समाधान उत्पन्न करने की उनकी क्षमता में सुधार होता है।

मूल लेखक: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

प्रकाशित 2026-05-13
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखा रहे हैं। पारंपरिक रूप से, आप उसे इस तरह सिखाते हैं: "यह एक समस्या है। इसका समाधान लिखो। इसे चलाकर देखो। यदि यह काम करता है, तो बहुत अच्छा! यदि यह क्रैश हो जाता है, तो फिर से कोशिश करो।" यह एक रोबोट को प्रत्येक प्रयास के लिए एक एकल "पास" या "फेल" ग्रेड देने जैसा है। रोबोट सीखता तो है, लेकिन उसे केवल यह पता चलता है कि वह विफल रहा, यह नहीं कि वह अन्य संभावित विकल्पों की तुलना में क्यों विफल हुआ।

यह पेपर एक नई शिक्षण पद्धति पेश करता है जिसे DuST (Dual Self-Training) कहा जाता है। यह खेल को बदल देता है क्योंकि यह "प्राइमल जनरेशन" (Primal Generation) बनाम "डुअल जजमेंट" (Dual Judgment) की अवधारणा का उपयोग करता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. पुराना तरीका: "पास/फेल" क्विज़

प्राइमल जनरेशन (Primal Generation):
रोबोट को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है।

  • प्रक्रिया: छात्र एक उत्तर लिखता है। शिक्षक उसकी जाँच करता है।
  • फीडबैक: शिक्षक एक एकल लाल "X" या एक हरा टिक मार्क देता है।
  • समस्या: यदि छात्र को "X" मिलता है, तो उसे पता चल जाता है कि वह गलत है, लेकिन उसे यह नहीं पता चलता कि वह सही होने के कितने करीब था, या उसका विशिष्ट उत्तर दूसरे संभावित उत्तर से क्यों खराब था जिसे उसने सोचा होगा। उसे बस इतना पता चलता है कि "यह मत करो।"

2. नया विचार: "टेस्ट टेस्ट" पैनल

टेस्ट-टाइम स्केलिंग (The Setup):
इस पेपर की पद्धति से पहले, शोधकर्ताओं ने रोबोट की मदद करने के लिए उसे एक साथ कई उत्तर (मान लीजिए 4 या 5) लिखने और उनमें से सबसे अच्छे को चुनने का प्रयास किया। यह एक "टेस्ट टेस्ट" (स्वाद परीक्षण) जैसा है।

  • दोष: पुराने तरीके में, एक बार जब रोबोट सबसे अच्छा उत्तर चुन लेता है, तो बाकी 4 उत्तरों को कचरे में फेंक दिया जाता है। रोबोट इससे कुछ नहीं सीख पाता कि उत्तर #2 "लगभग सही" था जबकि उत्तर #4 "पूरी तरह से गलत" था। यह मूल्यवान तुलनात्मक डेटा बर्बाद हो जाता है।

3. DuST समाधान: "उप-विजेताओं" से सीखना

डुअल जजमेंट स्पेस (Dual Judgment Space):
लेखकों का तर्क है कि रोबोट को केवल अपने अंतिम विजेता से नहीं, बल्कि अपने ही उत्तरों के बीच के तुलना से सीखना चाहिए।

  • उपमा: कल्पना करें कि एक कुकिंग प्रतियोगिता चल रही है।
    • पुराना तरीका: जज एक व्यंजन चखता है और कहता है, "जला हुआ। फेल।" शेफ को यह समझ नहीं आता कि क्या चीज़ व्यंजन को अच्छा बनाती है।
    • DuST तरीका: शेफ उसी व्यंजन के 4 अलग-अलग संस्करण बनाता है। जज चारों को चखता है।
      • व्यंजन A: उत्तम।
      • व्यंजन B: थोड़ा अधिक नमकीन।
      • व्यंजन C: कच्चा (Undercooked)।
      • व्यंजन D: जला हुआ।
    • सबक: बजाय इसके कि शिक्षक केवल यह कहे कि "व्यंजन A अच्छा है," शिक्षक कहता है, "व्यंजन A विजेता है क्योंकि यह संतुलित है। व्यंजन B नमक के कारण विफल हुआ। व्यंजन C गर्मी (heat) के कारण विफल हुआ।" शेफ सफलता और विफलता के बीच के अंतरों को सीखता है।

4. DuST कैसे काम करता है (रेसिपी)

पेपर एक विशिष्ट लूप का वर्णन करता है जिससे रोबोट गुजरता है:

  1. जनरेट (Generate): रोबोट कोड समाधानों का एक बैच लिखता है ("टेस्ट टेस्ट" बैच)।
  2. जज (Judge): रोबोट उन्हें एक सुरक्षित सैंडबॉक्स में चलाकर देखता है कि कौन से वास्तव में काम करते हैं (पास/फेल)।
  3. ग्रुप (Group): रोबोट बैच को देखता है। यदि सभी विफल हो जाते हैं या सभी सफल होते हैं, तो वह उस बैच को फेंक देता है। वह केवल उन बैचों को रखता है जहाँ कुछ सफल हुए और कुछ विफल हुए। यह "मिक्स्ड ग्रुप" (Mixed Group) है।
  4. रैंक (Rank - प्रशिक्षण): रोबोट को इन मिक्स्ड ग्रुप्स को "सबसे अच्छा" से "सबसे खराब" के क्रम में रैंक करने के लिए कहा जाता है।
    • महत्वपूर्ण बिंदु: रोबोट को कोड लिखने के लिए कभी भी पुरस्कृत नहीं किया जाता है। उसे केवल यह पहचानने के लिए पुरस्कृत किया जाता है कि कौन सा कोड बेहतर है।
    • उसे अंक मिलते हैं यदि वह कहता है, "यह काम करने वाला कोड, इस टूटे हुए कोड से बेहतर है।"
  5. मैजिक ट्रांसफर (The Magic Transfer): भले ही रोबोट को केवल एक जज बनने के लिए प्रशिक्षित किया गया था, वह आश्चर्यजनक रूप से एक बेहतर लेखक बन जाता है। एक काम करने वाले समाधान और एक टूटे हुए समाधान के बीच सूक्ष्म अंतरों को पहचानकर, रोबमा 'समझने' लगता है कि कोड क्या चीज़ काम करती है। वह इन नियमों को आत्मसात करता है और खुद बेहतर कोड लिखना शुरू कर देता है।

5. परिणाम: यह क्यों मायने रखता है

पेपर ने कई अलग-अलग AI मॉडल (छोटे से लेकर बहुत बड़े तक) पर परीक्षण किया, जिसका उपयोग करने के लिए LiveCodeBench नामक एक मानक कोडिंग टेस्ट का उपयोग किया गया।

  • बेहतर जज: मॉडल सही कोड पहचानने में बहुत बेहतर हो गए (उनका "रैंकिंग" स्कोर में सुधार हुआ)।
  • बेहतर लेखक: आश्चर्यजनक रूप से, मॉडल शून्य से कोड लिखने में भी बेहतर हो गए, भले ही उन्हें सीधे "एक सही प्रोग्राम लिखें" नहीं कहा गया था।
  • "वन-शॉट" चमत्कार: इस प्रशिक्षण से पहले, एक मॉडल को उच्च स्कोर प्राप्त करने के लिए 4 उत्तर लिखने और उनमें से सबसे अच्छा चुनने की आवश्यकता हो सकती थी। DuST प्रशिक्षण के बाद, मॉडल केवल एक उत्तर लिख सकता था और वही उच्च स्कोर प्राप्त कर सकता था। उसने अनुमान लगाने और जांचने के बजाय सीधे "सर्वश्रेष्ठ" उत्तर लिखने में महारत हासिल कर ली।

6. सीक्रेट सॉस: RL बनाम सिर्फ नकल करना

लेखकों ने यह देखने के लिए एक अंतिम प्रयोग किया कि यह क्यों काम कर रहा था।

  • SFT (Supervised Fine-Tuning): उन्होंने केवल रोबोट को सही रैंकिंग की नकल करना सिखाने का प्रयास किया (जैसे एक छात्र उत्तर कुंजी को याद करता है)। इसने रोबोट को एक बेहतर जज तो बनाया, लेकिन इसे एक बेहतर लेखक नहीं बना सका।
  • RL (Reinforcement Learning): उन्होंने GRPO का उपयोग किया, जहाँ रोबोट प्रयास करने, विफल होने और पुरस्कारों के आधार पर अपने व्यवहार को समायोजित करने से सीखता है। यही मुख्य कुंजी थी। रैंकिंग करने की "सक्रिय शिक्षा" (active learning) ने रोबोट को सोचने का तरीका बदलने में मदद की, जिससे उसकी लेखन क्षमता में सुधार हुआ।

सारांश

DuST एक ऐसी पद्धति है जहाँ एक AI अपने स्वयं के कार्य का मास्टर क्रिटिक (आलोचक) बनकर कोडिंग सीखता है। अपने ही "अच्छे" और "बुरे" प्रयासों के बीच अंतर करने के लिए प्रशिक्षित होकर, वह शुद्धता के छिपे हुए नियमों को समझ लेता है। यह ज्ञान उसके लेखन कौशल में प्रवाहित होता है, जिससे वह एक बेहतर कोडर बन जाता है, भले ही उसे कभी सीधे एक आदर्श प्रोग्राम कैसे लिखा जाए, यह न बताया गया हो। यह विफल प्रयासों के "बर्बाद" डेटा को एक शक्तिशाली शिक्षक में बदल देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →