Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning
यह शोध पत्र KITE को प्रस्तुत करता है, जो पुनरावृत्ति निर्देश ट्यूनिंग (iterative instruction tuning) के लिए एक दो-चरणीय ढांचा है, जो विफलता-निर्देशित डेटा जनरेशन (failure-guided data generation) और सीमा-जागरूक अनिश्चितता क्यूरेशन (boundary-aware uncertainty curation) के माध्यम से क्षमता के ध्रुवीकरण को संबोधित करके मॉडल कोलैप्स को रोकता है, जिससे सिंथेटिक-डेटा बेसलाइन की तुलना में स्थिर प्रदर्शन सुधार सुनिश्चित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अन्य रोबोटों द्वारा लिखी गई किताबें पढ़ाकर उसे जीनियस बनाने की कोशिश कर रहे हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो वे सुपर-स्मार्ट एआई चैटबॉट्स हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और सवालों के जवाब दे सकते हैं। उन्हें बेहतर बनाने के लिए, वैज्ञानिक अक्सर इंस्ट्रक्शन ट्यूनिंग (instruction tuning) नामक एक तकनीक का उपयोग करते हैं, जहाँ वे एआई को सीखने के लिए "प्रश्न और उत्तर" के विशिष्ट उदाहरण खिलाते हैं। लेकिन यहाँ पेचीदा बात यह है: क्या होगा अगर एआई मुख्य रूप से स्वयं द्वारा लिखी गई किताबों से सीखना शुरू कर दे? यह मॉडल कोलैप्स (Model Collapse) का खतरा है। इसे एक फोटोकॉपी मशीन की तरह समझें जो एक प्रति की, फिर दूसरी प्रति और फिर तीसरी प्रति की कॉपी कर रही है। हर पीढ़ी के साथ, छवि थोड़ी धुंधली होती जाती है, रंग फीके पड़ जाते हैं, और विवरण खो जाते हैं। अंततः, रोबोट केवल उन्हीं कुछ वाक्यांशों को दोहराना सीख सकता है जिन्हें वह पहले से पसंद करता है, और वास्तविक दुनिया की विशाल, अव्यवस्थित और अद्भुत विविधता को भूल जाता है। वैज्ञानिक इस बात पर ध्यान देते हैं क्योंकि यदि हम अगली पीढ़ी के एआई को प्रशिक्षित करने के लिए एआई-जनित डेटा पर बहुत अधिक निर्भर होते हैं, तो हम अनजाने में उन्हें एक ऐसे लूप में फंसा सकते हैं जहाँ वे स्मार्ट होने के बजाय धीरे-धीरे बदतर होते जा रहे हैं।
यह शोध पत्र ठीक इसी समस्या पर काम करता है। शियाओनान लुओ और सहयोगियों के नेतृत्व में शोधकर्ताओं ने पाया कि जब एआई मॉडल अपने स्वयं के जनित डेटा का उपयोग करके खुद को बेहतर बनाने की कोशिश करते हैं, तो वे केवल कुल मिलाकर "थोड़े खराब" नहीं होते हैं। इसके बजाय, वे ध्रुवीकृत (polarized) हो जाते हैं। यह उस छात्र की तरह है जो पहले से ही गणित में बहुत अच्छा है लेकिन इतिहास में बहुत बुरा है; यदि आप उसे केवल और अधिक गणित का होमवर्क देते हैं, तो वह गणित में और भी बेहतर हो जाएगा लेकिन उसके इतिहास के कौशल वास्तव में बदतर हो जाएंगे क्योंकि वह अभ्यास करना छोड़ देता है। एआई अपने 'कम्फर्ट ज़ोन' में फंस जाता है, उन चीजों को मजबूत करता है जिनमें वह पहले से ही अच्छा है, जबकि उन चीजों को संभालना भूल जाता है जिनमें वह संघर्ष करता है।
इसे ठीक करने के लिए, टीम ने KITE (नॉलेज-बाउंड्री इंस्ट्रक्शन ट्यूनिंग वाया एक्सप्लोरेशन) नामक एक चतुर नई विधि का आविष्कार किया। कल्पना कीजिए कि KITE एक सुपर-स्मार्ट कोच की तरह है जो केवल रोबोट को वही अभ्यास करने नहीं देता जिसमें वह अच्छा है। इसके बजाय, कोच पहले रोबोट की टेस्ट विफलताओं को देखता है ताकि यह पता लगाया जा सके कि वह वास्तव में किस चीज़ में बुरा है (जैसे "बीजगणित" या "समय शेड्यूलिंग")। फिर, कोच विशेष रूप से उन कमजोर बिंदुओं को लक्षित करने के लिए डिज़ाइन की गई नई अभ्यास समस्याएँ बनाता है, लेकिन एक ट्विस्ट के साथ: वे इसमें थोड़ा सा "शोर" या रैंडमनेस जोड़ते हैं ताकि यह सुनिश्चित हो सके कि रोबोट केवल आसान उत्तरों का अनुमान न लगा ले। अंत में, कोच केवल परफेक्टली डिफिकल्ट (बिल्कुल सही कठिन) समस्याओं को चुनने के लिए एक विशेष फिल्टर का उपयोग करता है—ऐसी समस्याएँ जो एक अच्छी चुनौती बनने के लिए पर्याप्त कठिन हों, लेकिन इतनी असंभव न हों कि रोबोट हार मान ले।
परिणाम उत्साहजनक हैं। जब उन्होंने कई अलग-अलग एआई मॉडल्स और कठिन रीजनिंग टेस्ट (जैसे गणित और विज्ञान की समस्याओं) पर KITE का परीक्षण किया, तो मॉडल्स ने प्रशिक्षण के पांच राउंड के दौरान लगातार सुधार किया और उस "धुंधली प्रति" वाली दीवार तक नहीं पहुँचे। वास्तव में, GSM8K नामक गणित परीक्षण पर, उनकी विधि ने एक विशिष्ट मॉडल को 95.04% सटीकता तक पहुँचने में मदद की, जो अन्य लोकप्रिय तरीकों को पछाड़ देता है। शोध पत्र सुझाव देता है कि डेटा को सावधानीपूर्वक क्यूरेट करके, कमजोरियों को लक्षित करने के लिए और मॉडल जो जानता है उसकी सीमा के करीब रहकर, हम एआई मॉडल्स को विकसित होने और स्मार्ट होने में मदद कर सकते हैं, न कि दोहराव के चक्र में फंसने में। यह कुछ ऐसा है जैसे यह महसूस करना कि एक वीडियो गेम में बेहतर होने के लिए, आपको केवल उसी लेवल को बार-बार नहीं खेलना चाहिए जिसे आपने पहले ही मास्टर कर लिया है; आपको वह लेवल ढूंढना होगा जो बस इतना कठिन हो कि आपको पसीना आ जाए, लेकिन इतना कठिन भी नहीं कि आप खेल छोड़ दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।