OpenSIR: Open-Ended Self-Improving Reasoner
OpenSIR एक सेल्फ-प्ले फ्रेमवर्क है जो लार्ज लैंग्वेज मॉडल्स को शिक्षक और छात्र के रूप में बारी-बारी से कार्य करके, बिना किसी बाहरी एनोटेशन के नवीन समस्याओं को उत्पन्न करने और उन्हें हल करने के माध्यम से उनकी तर्क क्षमता में निरंतर सुधार करने में सक्षम बनाता है, जिससे गणित और सामान्य रीजनिंग बेंचमार्क में निरंतर प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जिसने पुस्तकालय की हर गणित की किताब रट ली है। वह मानक समस्याओं को हल करने में माहिर है, लेकिन वह एक सीमा पर आकर रुक गया है। वह और बेहतर नहीं हो सकता क्योंकि उसने नई चीजें सीखना बंद कर दिया है; वह बस उन्हीं पुराने अभ्यासों का अभ्यास करता रहता है।
यह वही समस्या है जिसे OpenSIR नामक शोध पत्र हल करने की कोशिश करता है।
समस्या: सीखने का "इको चैंबर" (Echo Chamber)
वर्तमान AI मॉडल (जैसे कि DeepSeek-R1 या OpenAI के o1 को चलाने वाले मॉडल) आमतौर पर वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) का उपयोग करके प्रशिक्षित किए जाते हैं। इसे एक ऐसे छात्र के रूप में सोचें जो एक मानकीकृत परीक्षा दे रहा है जहाँ एक मानव शिक्षक हर उत्तर को ग्रेड करता है।
- बाधा (The Bottleneck): इसके लिए आपको हजारों मानव-एनोटेटेड उदाहरणों (शिक्षकों द्वारा पेपर ग्रेड करने) की आवश्यकता होती है।
- सीमा (The Limit): एक बार जब छात्र मानव-क्यूरेटेड परीक्षणों में महारत हासिल कर लेता है, तो वह सुधार करना बंद कर देता है। वह "मानव स्तर" से आगे नहीं बढ़ सकता क्योंकि वह केवल उन्हीं चीजों से सीख रहा है जो मनुष्यों ने पहले से ही लिख रखी हैं।
कुछ शोधकर्ताओं ने सेल्फ-प्ले (Self-Play) का प्रयास किया, जहाँ AI अपने आप के विरुद्ध खेलकर सीखता है। कल्पना कीजिए कि एक शतरंज खिलाड़ी अपने ही एक क्लोन के खिलाफ खेल रहा है।
- विफलता (The Failure): पिछले सेल्फ-प्ले तरीकों ने उन्नत मॉडलों के साथ काम नहीं किया। क्यों? क्योंकि AI उन्हीं प्रकार की समस्याएं उत्पन्न करता रहता था जिन्हें वह पहले से जानता था। यह एक ऐसे छात्र की तरह था जो बार-बार गुणा तालिका (multiplication tables) का अभ्यास करता रहता है, और कभी बीजगणित (algebra) या कलन (calculus) की कोशिश नहीं करता। वे "परिचित अवधारणाओं" के एक लूप में फंस गए।
समाधान: OpenSIR (द "क्यूरियस टीचर-स्टूडेंट")
लेखक OpenSIR (ओपन-एंडेड सेल्फ-इंप्रूविंग रीज़नर) पेश करते हैं। यह एक ढांचा (framework) है जहाँ एक एकल AI मॉडल एक साथ दो भूमिकाएँ निभाता है: शिक्षक (The Teacher) और छात्र (The Student)।
इसे एक ऐसे व्यक्ति के रूप में सोचें जो जिम कोच और एथलीट दोनों है, लेकिन एक विशेष ट्विस्ट के साथ: वह लगातार ऐसे नए वर्कआउट आविष्कार करने की कोशिश कर रहा है जो चुनौतीपूर्ण होने के लिए पर्याप्त कठिन हों, लेकिन इतने भी कठिन न हों कि वे असंभव हो जाएं।
यह चक्र चरण-दर-चरण इस प्रकार काम करता है:
1. बीज (The Seed - द स्पार्क)
आप एक अत्यंत सरल समस्या से शुरू करते हैं, जैसे "1 + 1 क्या है?" यह एकमात्र मानव इनपुट है जिसकी आपको आवश्यकता है।
2. शिक्षक का काम (नई चुनौतियों का आविष्कार करना)
AI (शिक्षक के रूप में कार्य करते हुए) उस सरल बीज को देखता है और एक नई गणितीय समस्या बनाने की कोशिश करता है।
- जाल (The Trap): मार्गदर्शन के बिना, शिक्षक बार-बार "2 + 2 क्या है?" और "3 + 3 क्या है?" जैसा ही आविष्कार करेगा।
- समाधान (Diversity Reward): OpenSIR शिक्षक को उन समस्याओं को बनाने के लिए "बोनस पॉइंट" देता है जो उसने पहले देखी गई चीजों से अलग हैं। यह एक ऐसे शेफ की तरह है जिसे उन सामग्रियों के साथ नया व्यंजन बनाने के लिए बोनस मिलता है जिनका उसने पहले कभी एक साथ उपयोग नहीं किया है। यह AI को नई गणितीय अवधारणाओं (जैसे कैलकुलस, प्रायिकता, या ऑप्टिमाइज़ेशन) को खोजने के लिए मजबूर करता है, न कि केवल अंकगणित को दोहराने के लिए।
3. छात्र का काम (चुनौती को हल करना)
AI (छात्र के रूप में कार्य करते हुए) उस नई समस्या को हल करने की कोशिश करता है जिसे शिक्षक ने बनाया है।
- जाल (The Trap): यदि शिक्षक एक ऐसी समस्या बनाता है जो बहुत कठिन है या त्रुटिपूर्ण है (जैसे कि संख्याएं गायब हैं), तो छात्र उसे हल नहीं कर पाएगा, और कोई सीखना नहीं होगा।
- समाधान (Difficulty Calibration): OpenSIR यह जांचता है कि क्या समस्या "बिल्कुल सही" है। यह एक "सुलभता स्कोर" (Solvability Score) का उपयोग करता है। यदि समस्या बहुत आसान है, तो यह उबाऊ है। यदि यह बहुत कठिन या त्रुटिपूर्ण है, तो यह बेकार है। सिस्टम केवल उन समस्याओं को पुरस्कृत करता है जो चुनौतीपूर्ण हैं लेकिन हल करने योग्य हैं।
4. लूप (सह-विकास/Co-Evolution)
शिक्षक और छात्र मिलकर सीखते हैं।
- जैसे-जैसे छात्र समस्याओं को हल करने में बेहतर होता जाता है, शिक्षक को "बोनस पॉइंट" पाने के लिए अधिक कठिन और जटिल समस्याएं आविष्कार करने के लिए मजबूर किया जाता है।
- जैसे-जैसे शिक्षक जटिल समस्याएं बनाने में बेहतर होता जाता है, छात्र उन्हें हल करना सीख जाता है।
- वे एक-दूसरे को आगे धकेलते हैं, जिससे बिना किसी मानव के एक भी पेपर ग्रेड किए, सीखने का एक अंतहीन चक्र बनता है।
यह क्यों एक बड़ी बात है
शोध पत्र ने सात अलग-अलग गणितीय बेंचमार्क और तीन सामान्य तर्क परीक्षणों पर इसका परीक्षण किया। यहाँ क्या हुआ:
- "मानव-ग्रेड" बेसलाइन को पछाड़ना: OpenSIR ने केवल एक मामूली समस्या ("1+1") के साथ शुरुआत की। शून्य मानव-एनोटेटेड प्रशिक्षण डेटा होने के बावजूद, इसने उन मॉडलों को भी पीछे छोड़ दिया जो 7,000 से अधिक मानव-ग्रेड उदाहरणों पर प्रशिक्षित थे।
- "अटक गए" मॉडलों को ठीक करना: पिछले सेल्फ-प्ले तरीकों ने वास्तव में उन्नत मॉडलों को खराब कर दिया या उनकी मदद नहीं की। OpenSIR ने उनमें लगातार सुधार किया।
- सामान्यीकरण (Generalizing): सीखी गई कौशल केवल गणित तक सीमित नहीं थे। क्योंकि AI को विविध अवधारणाओं को खोजने के लिए मजबूर किया गया था, इसलिए वह सामान्य तर्क कार्यों (जैसे लॉजिक पज़ल्स) में भी बेहतर हो गया।
असली रहस्य (The Secret Sauce)
शोध पत्र ने पाया कि दो चीजें अत्यंत महत्वपूर्ण थीं:
- विविधता (Diversity): यदि आप "अलग होने के बोनस" को हटा देते हैं, तो AI नई चीजें सीखना बंद कर देता है और प्रदर्शन गिर जाता है।
- कैलिब्रेशन (Calibration): यदि आप यह जांच नहीं करते हैं कि समस्याएं हल करने योग्य हैं या नहीं, तो AI बकवास (nonsense) उत्पन्न करने लगता है, और सीखना रुक जाता है।
संक्षेप में
OpenSIR एक सेल्फ-ड्राइविंग कार की तरह है जो केवल उसी सड़क पर नहीं चलती जिसे उसने मानचित्र से सीखा है। इसके बजाय, वह नए रास्ते बनाती है, यह जांचती है कि क्या वे चलाने योग्य हैं, और उन पर चलना सीखती है, अंततः एक ऐसे बेहतर ड्राइवर में बदल जाती है जिसे कोई भी मानव प्रशिक्षक उसे सिखा सकता था—और वह भी बिना किसी मानव के उसे यह बताए कि उसे कहाँ मुड़ना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।