Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models
यह शोध पत्र SLIFT को प्रस्तुत करता है, जो एक चयनात्मक स्व-शिक्षण (self-learning) ढांचा है जो उपयोगकर्ता फीडबैक को टास्क-वैलिड फिक्सेस (task-valid fixes), कंडीशन-स्पेसिफिक स्पेक्स (condition-specific specs) और नल कंपोनेंट्स (null components) में विभाजित करता है ताकि एक फ्रोजन बैकबोन पर पूरक जनरललिस्ट (Generalist) और स्पेशलिस्ट (Specialist) LoRA एडेप्टर को प्रशिक्षित किया जा सके, जिससे लार्ज लैंग्वेज मॉडल्स को उपयुक्त सामान्यीकरण स्कोप के साथ निरंतर सुधार करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े जिद्दी रोबोट को एक बेहतर बातचीत करने वाला बनने के लिए सिखा रहे हैं। आप केवल चाहते हैं कि वह किसी स्क्रिप्ट को रटे नहीं; आप चाहते हैं कि वह वास्तविक लोगों के साथ की गई अपनी हर बातचीत से सीखे। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है—वे सुपर-स्मार्ट AI दिमाग जो चैटबॉट्स और लेखन सहायकों के पीछे काम करते हैं। ये मॉडल मानव ज्ञान के विशाल पुस्तकालयों की तरह हैं, लेकिन वे गलतियाँ कर सकते हैं, बात का सार चूक सकते हैं, या ऐसे उत्तर दे सकते हैं जो तकनीकी रूप से तो सही होते हैं लेकिन झुंझलाहट भरे रूप से उबाऊ होते हैं।
उन्हें ठीक करने के लिए, हम आमतौर पर यूजर फीडबैक (उपयोगकर्ता की प्रतिक्रिया) पर निर्भर रहते हैं। जब कोई इंसान कहता है, "यह गलत है," या "इसे छोटा करो," तो मॉडल को एक संकेत मिलता है। लेकिन पेचीदा बात यह है कि उपयोगकर्ता का एक एकल कमेंट अक्सर अलग-अलग निर्देशों का एक अव्यवस्थित मिश्रण होता है। एक वाक्य कह सकता है, "इस गणित की गलती को ठीक करें" (एक सख्त नियम), जबकि अगला कह सकता है, "मुझे मजाकिया लहजा पसंद है" (एक इच्छा-अनुरूप प्राथमिकता), और तीसरा कह सकता है, "वैसे, मुझे बिल्लियों के बारे में एक चुटकुला सुनाओ" (जिसका मूल गणित की समस्या से कोई लेना-देना नहीं है)। यदि रोबोट इन सभी को एक साथ एक ही तरह से सीखने की कोशिश करता है, तो वह भ्रमित हो सकता है, गणित की परीक्षा के दौरान चुटकुले सुनाने लग सकता है, या बुनियादी अंकगणित करना भूल सकता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम रोबोट को संदेश के सही हिस्सों को सुनने और बाकी को अनदेखा करने के बारे में कैसे सिखाएं, ताकि वह अजीब हुए बिना समय के साथ स्मार्ट बन सके?
यह शोध पत्र एक चतुर नई प्रणाली पेश करता है जिसे SLIFT (जो 'सेल्फ-लर्निंग फ्रॉम इंटरेक्शन फीडबैक वाया टास्क-रिलेटिव स्पेशलाइजेशन' को दर्शाता है) कहा जाता है, ताकि इसी समस्या को हल किया जा सके। SLIFT को एक अव्यवस्थित यूजर कमेंट से सीखने के लिए मिलकर काम करने वाले दो रोबोटों की एक सुपर-संगठित टीम के रूप में समझें।
सबसे पहले, सिस्टम एक डिटेक्टिव (जासूस) की तरह कार्य करता है। जब कोई उपयोगकर्ता फीडबैक संदेश भेजता है, तो SLIFT उसे छोटे, परमाणु टुकड़ों में तोड़ देता है। फिर यह प्रत्येक टुकड़े को तीन श्रेणियों (बकेट) में वर्गीकृत करता है:
- Fix (सुधार): ये "अनिवार्य चीजें" हैं। यदि उपयोगकर्ता ने कहा, "उत्तर 5 है, 3 नहीं," तो यह एक नियम है जिसे इस प्रकार के प्रश्न के लिए भविष्य के हर उत्तर का पालन करना ही होगा। यह रोबोट के डिफ़ॉल्ट व्यवहार में एक स्थायी परिवर्तन है।
- Spec (विशेषता): ये "इच्छा-अनुरूप" या विशिष्ट प्राथमिकताएं हैं। यदि उपयोगकर्ता ने कहा, "रसोई के उदाहरण (kitchen analogy) का उपयोग करें," तो यह इस विशिष्ट गणित की समस्या के लिए तो बढ़िया है, लेकिन शायद इतिहास के प्रश्न के लिए नहीं। यह एक सशर्त परिष्करण (conditional refinement) है।
- Null (शून्य/अनदेखा): ये "मुझे अनदेखा करो" वाले हिस्से हैं। यदि कोई उपयोगकर्ता गणित के समाधान के दौरान अचानक बिल्लियों के बारे में कविता मांगता है, तो यह असंबंधित शोर है। इससे रोबले के सीखने के तरीके में कोई बदलाव नहीं आना चाहिए।
एक बार फीडबैक सॉर्ट हो जाने के बाद, SLIFT एक ही मस्तिष्क से सब कुछ करने के बजाय अपडेट को संभालने के लिए दो अलग-अलग "लर्नर्स" (जिन्हें एडैप्टर कहा जाता है) का उपयोग करता है।
पहला लर्नर Generalist (सामान्यज्ञ) है। यह रोबोट के मूल व्यक्तित्व की तरह है। यह केवल Fix आइटम्स को देखता है। यदि उपयोगकर्ता ने तथ्यात्मक त्रुटि की ओर इशारा किया था, तो Generalist यह सुनिश्चित करने के लिए सीखता है कि वह त्रुटि उसके डिफ़ॉल्ट उत्तरों में दोबारा न हो। यह सुधार को उसकी स्थायी स्मृति में "पका" (bake) देता है, ताकि उसे हर बार इसके बारे में सोचना न पड़े।
दूसरा लर्नर Specialist (विशेषज्ञ) है। यह "कॉन्टेक्स्ट चेकर" (संदर्भ जांचकर्ता) है। यह Generalist के मूल व्यक्तित्व को नहीं बदलता है। इसके बजाय, यह तब तक इंतजार करता है जब तक Generalist एक उत्तर नहीं दे देता, और फिर यह पूछता है: "हे, क्या हमने इस विशिष्ट स्थिति के लिए उन Spec प्राथमिकताओं को मिस कर दिया है?" यदि Generalist ने सही गणितीय उत्तर दिया लेकिन रसोई के उदाहरण का उपयोग करना भूल गया जो उपयोगकर्ता चाहता था, तो Specialist हस्तक्षेप करता है। यह कहता है, "गणित को बनाए रखें, लेकिन उदाहरण जोड़ें," और केवल उस एक चीज़ को ठीक करने के लिए एक छोटा, लक्षित धक्का (nudge) प्रदान करता है। यदि Generalist ने पहले से ही सब कुछ सही किया है, तो Specialist बस कहता है, "जैसा है वैसा ही रहने दें," और कुछ नहीं करता।
शोध पत्र ने इस प्रणाली का परीक्षण डेटा के दो अलग-अलग प्रकारों पर किया: सिम्युलेटेड चैट जहाँ एक कंप्यूटर उपयोगकर्ता की भूमिका निभा रहा था, और वास्तविक लोगों के वास्तविक चैट। परिणाम बताते हैं कि SLIFT वास्तव में बहुत अच्छा काम करता है। सिम्युलेटेड परीक्षणों पर, इसने अन्य तरीकों की तुलना में मॉडल के स्कोर में काफी सुधार किया। वास्तविक दुनिया के परीक्षणों पर, इसने मॉडल को निर्देशों का पालन करने और गुणवत्तापूर्ण प्रतिक्रिया लिखने में बेहतर बनाया, बिना कठिन तर्क (reasoning) समस्याओं को हल करने की इसकी क्षमता को बिगाड़े।
लेखकों ने पाया कि सफलता की कुंजी सभी फीडबैक को एक बड़े ढेर (blob) के रूप में न मानना था। "अनिवार्य सुधार" के नियमों को "इच्छा-अनुरूप" प्राथमिकताओं और "अनदेखा" शोर से अलग करके, मॉडल सही चीजों को सही समय पर सीख सका। Generalist बुनियादी बातों में स्मार्ट बना, जबकि Specialist विशिष्ट स्थितियों के लिए एक सहायक संपादक बनने के लिए सीखा। यह दृष्टिकोण सुझाव देता है कि AI के लिए वास्तव में मनुष्यों से सीखने के लिए, उसे चयनात्मक होने की आवश्यकता है, यह जानते हुए कि उसे हमेशा के लिए क्या याद रखना है और उसे केवल उस क्षण के लिए कैसे उपयोग करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।