Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models
यह शोध पत्र GenCluster का परिचय देता है, जो एक स्केलेबल टेस्ट-टाइम कंप्यूट फ्रेमवर्क है जो ओपन-वेट मॉडल्स को पहली बार इंटरनेशनल ओलंपियाड इन इन्फोर्मेटिक्स (IOI) गोल्ड मेडल प्रदर्शन प्राप्त करने में सक्षम बनाता है, जिससे बड़े पैमाने पर जनरेशन, व्यवहार संबंधी क्लस्टरिंग और राउंड-रॉबिन सबमिशन की एक पुनरुत्पादक रणनीति के माध्यम से ओपन और प्रोप्रायटरी एआई सिस्टमों के बीच के अंतर को कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता चल रही है जहाँ लक्ष्य एक बहुत ही पेचीदा पहेली को हल करने के लिए एक आदर्श व्यंजन (एक कंप्यूटर प्रोग्राम) बनाना है। निर्णायक (प्रतियोगिता के आयोजक) का एक सख्त नियम है: आप केवल 50 बार अपना व्यंजन सबमिट कर सकते हैं। यदि आप जला हुआ या नमकीन व्यंजन सबमिट करते हैं, तो आप अपने कीमती अवसरों में से एक उपयोग कर देते हैं।
लंबे समय तक, केवल कुछ "गुप्त रेसिपी" वाले शेफ (बड़ी टेक कंपनियों के स्वामित्व वाले प्रोप्राइटरी एआई मॉडल) ही इस प्रतियोगिता में स्वर्ण पदक जीत पाते थे। उनके पास गुप्त तरकीबें और विशाल संसाधन थे, लेकिन वे किसी को नहीं बताते थे कि उन्होंने यह कैसे किया। इस बीच, "ओपन-सोर्स" शेफ (मॉडल जिन्हें कोई भी डाउनलोड और अध्ययन कर सकता है) अपनी पूरी कोशिश कर रहे थे लेकिन वे स्वर्ण पदक से चूक जाते रहे।
यह पेपर GENCLUSTER नामक एक नई रणनीति पेश करता है जो एक ओपन-सोर्स शेफ को पहली बार स्वर्ण पदक जीतने में मदद करती है। यह कैसे काम करता है, इसे सरल चरणों में यहाँ समझाया गया है:
1. "बेक-ऑफ" (व्यापक पीढ़ी/Massive Generation)
एक आदर्श व्यंजन बनाने की कोशिश करने के बजाय, एआई शेफ एक ही व्यंजन के हजारों अलग-अलग संस्करण बनाने का निर्णय लेता है।
- उपमा: कल्पना कीजिए कि एक फैक्ट्री एक ही समय में 5,000 अलग-अलग कुकीज़ बनाती है। कुछ जल गई हैं, कुछ कच्ची हैं, कुछ स्वादिष्ट हैं, और कुछ बस अजीब हैं।
- लक्ष्य: चूंकि एआई अभी तक नहीं जानता कि कौन सी एकदम सही है, इसलिए वह एक विस्तृत जाल फैलाता है। वह उम्मीदवारों का एक विशाल "पूल" तैयार करता है।
2. "टेस्ट टेस्ट" (व्यवहार संबंधी क्लस्टरिंग/Behavioral Clustering)
अब, शेफ के पास 5,000 कुकीज़ हैं, लेकिन वह उन सभी को व्यक्तिगत रूप से चख नहीं सकता। उन्हें समूहों में बांटने की आवश्यकता है।
- उपमा: शेफ यादृच्छिक (random) सामग्रियों (टेस्ट केस) का उपयोग करके एक "टेस्ट टेस्ट" आयोजित करता है। वह इन सामग्रियों को सभी कुकीज़ को खिलाता है।
- यदि कुकी A और कुकी B को एक विशिष्ट सामग्री दी जाने पर चॉकलेट जैसा स्वाद आता है, तो उन्हें एक ही "चॉकलेट ग्रुप" में डाल दिया जाता है।
- यदि कुकी C को नमक जैसा स्वाद आता है, तो उसे "सॉल्टी ग्रुप" में डाल दिया जाता है।
- जादू: यह 5,000 कुकीज़ को शायद 500 विशिष्ट "फ्लेवर प्रोफाइल" में समूहित करता है। अब, 5,000 कुकीज़ को देखने के बजाय, शेफ को केवल प्रत्येक 500 समूहों में से सबसे अच्छी कुकी को देखने की आवश्यकता है।
3. "टूर्नामेंट" (रैंकिंग)
शेफ के पास अभी भी बहुत सारे समूह हैं। उन्हें सबसे बेहतरीन समूहों को चुनना होगा।
- उपमा: शेफ समूहों के बीच एक मुक्केबाजी टूर्नामेंट आयोजित करता है।
- वे "चॉकलेट ग्रुप" से चैंपियन कुकी और "कैरामेल ग्रुप" से चैंपियन कुकी चुनते हैं।
- वे एक सुपर-स्मार्ट जज (एक अन्य एआई) से दोनों को देखने और यह तय करने के लिए कहते हैं कि कौन सा बेहतर है।
- जीतने वाले मैचों को अंक मिलते हैं। जिन समूहों के पास सबसे अधिक जीत होती है, वे लीडरबोर्ड में ऊपर उठते हैं।
- परिणाम: शेफ के पास अब सबसे आशाजनक कुकी समूहों की एक रैंक की गई सूची है।
4. "सबमिशन रणनीति" (राउंड-रॉबिन/Submission Strategy)
याद रखें: केवल 50 सबमिशन की अनुमति है। शेफ सबसे शीर्ष समूह से शीर्ष 50 कुकीज़ सबमिट नहीं कर सकता, क्योंकि हो सकता है कि शीर्ष समूह केवल "ठीक-ठाक" हो, और दूसरा सबसे अच्छा समूह एक छिपा हुआ रत्न रखता हो।
- उपमा: शेफ एक राउंड-रॉबिन रणनीति का उपयोग करता है।
- वे ग्रुप A से नंबर 1 कुकी लेते हैं, फिर ग्रुप B से नंबर 1, फिर ग्रुप C, और इसी तरह।
- वे समूहों के माध्यम से चक्र चलाते हैं, प्रत्येक से एक सबमिट करते हैं, यह सुनिश्चित करते हुए कि वे केवल एक प्रकार की कुकी पर अपने सभी अवसर बर्बाद न करें।
- यदि कोई सबमिशन पहेली को पूरी तरह से हल कर देता है, तो वे उस विशिष्ट पहेली के लिए सबमिट करना बंद कर देते हैं और अगले पहेली पर चले जाते हैं।
बड़ा परिणाम
इस "बेक-ऑफ," स्मार्ट "ग्रुपिंग," और रणनीतिक "टूर्नामेंट" का उपयोग करके, ओपन-सोर्स मॉडल gpt-oss-120b ने 2025 इंटरनेशनल ओलंपियाड इन इंफॉर्मेटिक्स (IOI) में स्वर्ण पदक जीता।
यह एक बड़ी बात क्यों है?
- पारदर्शिता: इससे पहले, विजेता "ब्लैक बॉक्स" थे। हम जानते थे कि वे जीते, लेकिन कैसे, यह नहीं। यह पेपर पूरी रेसिपी दिखाता है, ताकि कोई भी इसे कॉपी कर सके।
- स्केलिंग: यह पेपर साबित करता है कि यदि आप एआई को अधिक कंप्यूटिंग पावर (अधिक कुकीज़ बेक करने के लिए) देते हैं, तो यह अधिक स्मार्ट हो जाता है और उच्च स्कोर करता है। यह केवल एक "स्मार्टर" दिमाग के बारे में नहीं है; यह एक "कठिन परिश्रम करने वाली" प्रक्रिया के बारे में है।
- अंतर को कम करना: यह दिखाता है कि ओपन-सोर्स मॉडल, सही रणनीति के साथ, अंततः बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले महंगे, गुप्त मॉडलों के साथ प्रतिस्पर्धा कर सकते हैं।
सावधानी (सीमाएं):
यह दृष्टिकोण महंगा है। यह एक कुकी फैक्ट्री चलाने जैसा है जो कुकीज़ बनाने और उन्हें जज करने के लिए 7.3 बिलियन टोकन की ऊर्जा जला देती है। इसके लिए बहुत अधिक कंप्यूटर पावर की आवश्यकता होती है, जो छोटी टीमों के लिए खरीदना कठिन हो सकता है। साथ ही, "टेस्ट टेस्ट" एआई द्वारा ही बनाए जाते हैं, इसलिए एक छोटी संभावना है कि एआई किसी अजीब, पेचीदा 'एज केस' को मिस कर दे।
संक्षेप में: पेपर कहता है, "यदि आप एक एकल प्रतिभाशाली मस्तिष्क के साथ प्रतिस्पर्धा में अधिक स्मार्ट नहीं हो सकते, तो लाखों प्रयासों, स्मार्ट ग्रुपिंग और एक निष्पक्ष टूर्नामेंट प्रणाली के साथ उन्हें अधिक मेहनती बनें।" और यह काम करता है!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।