Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning
Seirênes एक एडवरसेरियल सेल्फ-प्ले रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो एक एकल मॉडल को भ्रामक संदर्भ उत्पन्न करने और उनके भीतर समस्याओं को हल करने के लिए एक साथ प्रशिक्षित करके LLM रीजनिंग की मजबूती को बढ़ाता है, जिससे प्रासंगिक हस्तक्षेप को एक सह-विकासवादी पाठ्यक्रम में बदल दिया जाता है जो विभिन्न बेंचमार्क पर प्रदर्शन में सुधार करता है और अन्य मॉडलों की कमजोरियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े नादान छात्र को जटिल गणितीय पहेलियों को हल करने के लिए प्रशिक्षित कर रहे हैं। आमतौर पर, आप उन्हें बिना किसी भटकाव के साफ-सुथरे, सटीक सवाल देते हैं। वे उन विशिष्ट पहेलियों को हल करने में माहिर हो जाते हैं, लेकिन यदि आप प्रश्न में थोड़ा सा भी भ्रमित करने वाली जानकारी डाल दें, तो वे छले जा सकते हैं और असफल हो सकते हैं।
यह शोध पत्र एक नई प्रशिक्षण पद्धति पेश करता है जिसे Seirênes (ग्रीक पौराणिक कथाओं के साइरन्स के नाम पर, जिनके सुंदर गीतों ने नाविकों को रास्ते से भटका दिया था) कहा जाता है। केवल छात्र को कठिन समस्याएँ देने के बजाय, Seirênes छात्र को दो अलग-अलग व्यक्तियों में बदल देता है जो एक ही मस्तिष्क के भीतर एक-दूसरे के विरुद्ध खेल खेलते हैं।
यह खेल कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग यहाँ दिया गया है:
दो भूमिकाएँ
AI मॉडल एक साथ दो भूमिकाएँ निभाता है:
- धोखेबाज (The Adversary): यह भूमिका एक ऐसी गणितीय समस्या लिखने की कोशिश करती है जो सामान्य दिखे लेकिन जिसमें एक "जाल" छिपा हो। यह जाल कोई यादृच्छिक बकवास नहीं है; यह एक चतुर, विश्वसनीय लगने वाला संकेत है जो समाधान के गलत रास्ते पर ले जाता है। यह एक जादूगर की तरह है जो आपको एक ऐसा सुराग देता है जो लगभग सही लगता है लेकिन वास्तव में आपका ध्यान वास्तविक समाधान से भटका देता है।
- हल करने वाला (The Solver): यह भूमिका गणित की समस्या को हल करने की कोशिश करती है, भले ही धोखेबाज ने उसमें एक भ्रामक संकेत जोड़ा हो। हल करने वाले को उस "शोर" को अनदेखा करना होता है और उसके नीचे छिपे वास्तविक तर्क को खोजना होता है।
प्रशिक्षण लूप: एक स्व-सुधार चक्र
पारंपरिक प्रशिक्षण में, आप छात्र को केवल अधिक अभ्यास प्रश्न देते हैं। Seirênes में, प्रशिक्षण एक निरंतर प्रतिस्पर्धा (arms race) है:
- चरण 1: धोखेबाज एक समस्या को देखता है और एक भ्रामक संकेत गढ़ने की कोशिश करता है जो हल करने वाले को भ्रमित कर सके।
- चरण 2: हल करने वाला उस भ्रामक संकेत के साथ समस्या को हल करने का प्रयास करता है।
- चरण 3: यदि हल करने वाला छला जाता है, तो धोखेबाज को चतुर होने के लिए "पुरस्कार" (अंक) मिलता है। यदि हल करने वाला जाल को पहचान लेता है और सही ढंग से हल करता है, तो हल करने वाले को पुरस्कार मिलता है।
- चरण 4: मॉडल इससे सीखता है। हल करने वाला जाल पहचानने में बेहतर होता है, और धोखेबाज नए, कठिन जाल बनाने में बेहतर होता है।
चूंकि वे एक ही मॉडल हैं जो दोनों पक्षों को खेलते हैं, वे एक साथ विकसित होते हैं। जैसे-जैसे हल करने वाला अधिक स्मार्ट होता जाता है, धोखेबाज को भी बने रहने के लिए स्मार्ट होना पड़ता है, जो हल करने वाले को और भी अधिक मजबूत बनाता है।
यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने पाया कि मानक AI मॉडल अक्सर "भंगुर" (brittle) होते हैं। वे एक स्वच्छ वातावरण में गणित की समस्या को पूरी तरह से हल कर सकते हैं, लेकिन यदि आप उसमें एक अप्रासंगिक या थोड़ा भ्रामक वाक्य जोड़ दें, तो उनका प्रदर्शन काफी गिर जाता है। वे गहरे तर्क के बजाय सतही पैटर्न का पालन करने लगते हैं।
Seirênes इसे करके ठीक करता है क्योंकि यह मॉडल को भटकावों को अनदेखा करने का अभ्यास करने के लिए मजबूर करता है। यह एक मार्शल आर्टिस्ट को प्रशिक्षित करने जैसा है जो न केवल एक आदर्श प्रतिद्वंद्वी के खिलाफ लड़ता है, बल्कि ऐसे प्रतिद्वंद्वी के खिलाफ भी लड़ता है जो उसे गिराने, विचलित करने या नकली चालों से भ्रमित करने की कोशिश करता है।
परिणाम
शोधकर्ताओं ने कई कठिन गणितीय बेंचमार्क (जैसे उच्च स्तरीय गणित प्रतियोगिताएं) पर इसका परीक्षण किया। उन्होंने पाया कि:
- मजबूत तर्क (Stronger Reasoning): Seirênes के साथ प्रशिक्षित मॉडल अकेले गणित की समस्याओं को हल करने में काफी बेहतर हो गए, भले ही उनमें कोई चाल न चली गई हो। मानक प्रशिक्षण विधियों की तुलना में उनके प्रदर्शन में लगभग 7 से 10 प्रतिशत अंकों का सुधार हुआ।
- बेहतर रक्षा (Better Defense): मॉडल बहुत अधिक कठिन हो गए जिन्हें धोखा देना आसान था। जब भ्रमित करने वाली जानकारी के साथ परीक्षण किया गया, तो अन्य मॉडलों की तुलना में वे उतनी आसानी से विफल नहीं हुए।
- सार्वीय कमजोरी (Universal Weakness): दिलचस्प बात यह है कि एक छोटे 4-बिलियन-पैरामीटर वाले मॉडल द्वारा प्रशिक्षित "धोखेबाज" दुनिया के सबसे शक्तिशाली, क्लोज्ड-सोर्स AI मॉडलों (जैसे GPT और Gemini) को भी भ्रमित करने में सक्षम था, जिससे उनकी सटीकता में लगभग 4-5 अंक की कमी आई। यह साबित करता है कि इस पद्धति ने वास्तव में उन "कमजोर कड़ियों" (blind spots) को खोज लिया है, जिस तरह से ये मॉडल सोचते हैं।
मुख्य निष्कर्ष (The Bottom Line)
Seirênes AI को स्मार्ट बनाने का एक तरीका है, इसे एक अस्त-व्यस्त, भटकाने वाली दुनिया को संभालने के लिए प्रशिक्षित करके। केवल साफ-सुथले प्रश्नों के उत्तर रटने के बजाय, AI सत्य की गहराई तक जाना सीखता है, भले ही कोई उसे गुमराह करने की कोशिश कर रहा हो। यह एक कमजोरी (आसानी से विचलित होना) को एक मजबूत, अधिक विश्वसनीय तर्क बनाने के उपकरण में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।