Chain-of-Experience for Continual LLM Improvement
यह शोध पत्र चेन-ऑफ-एक्सपीरियंस (CoE) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो बड़े भाषा मॉडलों (LLMs) को स्वयं और पर्यावरणीय फीडबैक से प्राप्त पुनरावृत्ति अनुभवात्मक निशानों (iterative experiential traces) को संचित करके इन्फरेंस के दौरान निरंतर सुधार करने में सक्षम बनाता है, जो गणित, कोडिंग और ज्ञान संबंधी कार्यों में ज़ीरो-शॉट बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करता है और साथ ही API लागत को भी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मनुष्य अपनी गलतियों से सीखने के लिए बने हैं। जब हम एक कठिन समस्या को हल करते हैं, असफल होते हैं, और फिर इस ज्ञान के साथ फिर से प्रयास करते हैं कि क्या गलत हुआ था, तो हम केवल शून्य से शुरुआत नहीं करते; हम उस सबक को आगे ले जाते हैं, और सफलता प्राप्त करने तक अपने दृष्टिकोण को परिष्कृत करते हैं। क्रिया, फीडबैक और समायोजन का यह निरंतर चक्र मानवीय बुद्धिमत्ता का इंजन है। दशकों से, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) के रूप में ज्ञात सबसे उन्नत कंप्यूटर प्रोग्राम काफी अलग तरह से काम करते रहे हैं। एक बार जब इन प्रणालियों को प्रशिक्षित कर दिया जाता है, तो उन्हें एक स्थिर अवस्था में तैनात किया जाता है, जहाँ वे हर नए प्रश्न को एक अलग घटना के रूप में देखते हैं। वे एक उत्तर उत्पन्न करते हैं और रुक जाते हैं, समस्या समाधान की प्रक्रिया के भीतर मौजूद समृद्ध फीडबैक की अनदेखी करते हैं। वे उस क्षण के अनुभव से नहीं सीखते हैं।
सीखने के तरीके और मशीनों के वर्तमान संचालन के बीच के इस अंतर ने शोधकर्ताओं को एक मौलिक प्रश्न पूछने के लिए प्रेरित किया है: क्या इन डिजिटल दिमागों को काम करते समय, वास्तविक समय में एकत्र किए गए अनुभवों का उपयोग करके सीखा जा सकता है? इसका उत्तर 'चेन-ऑफ-एक्सपीरियंस' (अनुभव की श्रृंखला) नामक एक नए दृष्टिकोण में निहित है। यह विधि मॉडल के किसी समस्या के प्रयासों के पूरे इतिहास को एक एकल, विकसित होती कहानी के रूप में मानती है। एक असफल प्रयास को त्यागने के बजाय, सिस्टम परिणाम को मॉडल में वापस डाल देता है, जिससे मॉडल को अपनी पिछली त्रुटियों और प्राप्त फीडबैक को पढ़ने की अनुमति मिलती है, और फिर एक नया, बेहतर उत्तर उत्पन्न करने की सुविधा मिलती है। यह एक निरंतर चक्र है जहाँ मॉडल अपनी यात्रा से सीखता है, और प्रत्येक कदम के साथ अपनी समझ को अपडेट करता है।
एक हालिया अध्ययन में, शोधकर्ताओं ने यह परीक्षण करने के लिए प्रयास किया कि क्या यह अवधारणा वास्तव में विभिन्न कठिन कार्यों में काम कर सकती है। उन्होंने आज उपलब्ध आठ सबसे शक्तिशाली भाषा मॉडलों को लिया, जिनमें प्रमुख प्रौद्योगिकी कंपनियों के सिस्टम शामिल थे, और उन्हें गणित, कंप्यूटर प्रोग्रामिंग और जटिल ज्ञान संबंधी प्रश्नों से जुड़े चुनौतीपूर्ण वातावरण में रखा। लक्ष्य यह देखना था कि क्या ये मॉडल अपने मूल प्रशिक्षण में बिना किसी बदलाव के, केवल परीक्षण के दौरान फीडबैक के साथ बातचीत करके अपने प्रदर्शन में सुधार कर सकते हैं। शोधकर्ताओं ने एक ऐसी प्रणाली डिजाइन की जहाँ मॉडल विभिन्न प्रकार के मार्गदर्शन प्राप्त कर सकते थे। कभी-कभी, फीडबैक मॉडल स्वयं से आता था, जो एक आलोचक के रूप में अपनी ही तर्क प्रक्रिया की खामियों को दर्शाता था। अन्य समय में, फीडबैक एक बाहरी वातावरण से आता था, जैसे कि एक कंप्यूटर प्रोग्राम जो तुरंत मॉडल को बता सकता था कि कोड का एक हिस्सा सफलतापूर्वक चला या नहीं, या गणितीय उत्तर सही था या नहीं।
परिणाम आश्चर्यजनक थे। जब इन मॉडलों को अनुभव से सीखने की इस पुनरावृत्ति प्रक्रिया का उपयोग करने की अनुमति दी गई, तो उन्होंने उन मानक संस्करणों की तुलना में लगातार बेहतर प्रदर्शन किया जिन्हें अपनी गलतियों पर विचार करने की अनुमति नहीं थी। यह सुधार मामूली नहीं था; मॉडलों ने व्यापक स्तर पर सटीकता में महत्वपूर्ण वृद्धि हासिल की। कंप्यूटर कोडिंग के क्षेत्र में, जहाँ फीडबैक सटीक और तत्काल था, मॉडलों की सफलता दर में औसतन 8.6 प्रतिशत अंक की वृद्धि हुई। यहाँ तक कि जटिल गणितीय समस्याओं को हल करने जैसे अधिक अमूर्त कार्यों में भी, जहाँ फीडबैक कम प्रत्यक्ष था, मॉडल अपने स्कोर में पांच प्रतिशत से अधिक का सुधार करने में सफल रहे। यह सुझाव देता है कि अनुभव से सीखने की क्षमता एक शक्तिशाली उपकरण है जिसे मॉडल के मुख्य मस्तिष्क को पुन: प्रशिक्षित किए बिना भी अनलॉक किया जा सकता है।
शायद अधिक आश्चर्यजनक इस नए तरीके की दक्षता थी। शोधकर्ताओं ने पाया कि ये मॉडल न केवल बेहतर हुए; बल्कि वे कम पैसा और कंप्यूटिंग शक्ति खर्च करते हुए बेहतर हुए। अपने चिंतन को निर्देशित करने के लिए फीडबैक का उपयोग करके, मॉडल ने कम प्रयासों और छोटे उत्तरों के साथ उच्च स्तर की सटीकता प्राप्त की। वास्तव में, अध्ययन ने दिखाया कि मॉडल पारंपरिक तरीकों की तुलना में, जो इस फीडबैक लूप का उपयोग नहीं करते हैं, चलाने की लागत में उन्नीस प्रतिशत की कमी के साथ अपने सर्वश्रेष्ठ परिणाम प्राप्त कर सकते थे। यह इंगм दर्शाता है कि मॉडल केवल अधिक बार अनुमान नहीं लगा रहे थे; वे अधिक प्रभावी ढंग से सोच रहे थे, और सही पथ पर ध्यान केंद्रित करने तथा डेड-एंड (बंद रास्तों) से बचने के लिए एकत्रित जानकारी का उपयोग कर रहे थे।
अध्ययन ने मॉडलों की अपनी क्षमताओं के संबंध में एक दिलचस्प पैटर्न भी प्रकट किया। शोधकर्ताओं ने देखा कि जो मॉडल पहले से ही किसी कार्य में सबसे मजबूत थे, वे भी अनुभव से सीखने का अवसर मिलने पर सबसे अधिक सुधार करते थे। ऐसा प्रतीत होता है कि मॉडल की अपने इतिहास से सीखने की क्षमता उसकी प्रारंभिक बुद्धिमत्ता से जुड़ी हुई है; मॉडल जितना स्मार्ट शुरुआत करता है, वह फीडबैक को पचाने और अपनी रणनीति विकसित करने में उतना ही बेहतर होता है। विभिन्न परीक्षण किए गए कार्यों में यह सहसंबंध मजबूत था, जो यह सुझाव देता है कि अनुभव से सीखना एक अलग कौशल नहीं है, बल्कि एक शक्तिशाली तर्क प्रणाली का एक उभरता हुआ गुण है।
भले ही फीडबैक अपूर्ण या भ्रामक था, मॉडलों ने उल्लेखनीय लचीलापन दिखाया। उन प्रयोगों में जहाँ शोधकर्ताओं ने जानबूझकर मॉडलों को गलत जानकारी दी, जैसे कि उन्हें बताया कि एक गलत उत्तर सही है, मॉडल विफल नहीं हुए। हालाँकि उनका प्रदर्शन थोड़ा गिरा, लेकिन सबसे मजबूत मॉडल उबरने में सक्षम थे और अक्सर सही समाधान भी खोज लेते थे। यह मजबूती बताती है कि ये सिस्टम केवल निर्देशों का आँख मूंदकर पालन नहीं कर रहे हैं, बल्कि वे प्राप्त सूचना के विरुद्ध अपने आंतरिक तर्क को तौलते हुए सक्रिय रूप से तर्क कर रहे हैं। अध्ययन ने यह भी पाया कि अधिकांश सीखना बहुत तेज़ी से हुआ। मॉडलों ने अपने सुधार का एक बड़ा हिस्सा फीडबैक के पहले कुछ दौरों में ही कर लिया, जिसके बाद उनका प्रदर्शन स्थिर होने लगा। इसका तात्पर्य यह है कि चिंतन के शुरुआती क्षण सीखने के लिए सबसे महत्वपूर्ण होते हैं।
शोधकर्ताओं ने यह भी पता लगाया कि क्या विभिन्न प्रकार के फीडबैक को मिलाने से और भी बेहतर परिणाम मिल सकते हैं। उन्होंने पाया कि जब एक मॉडल को अपने स्वयं के आंतरिक आलोचना और उत्तर की शुद्धता की पुष्टि करने वाले बाहरी संकेत, दोनों प्राप्त हुए, तो सूचना के इन दो स्रोतों ने उच्चतम स्कोर प्राप्त करने के लिए मिलकर काम किया। इस संयोजन ने मॉडलों को आत्म-चिंतन के व्यापक दृष्टिकोण और बाहरी जांच के सटीक सत्यापन, दोनों का लाभ उठाने की अनुमति दी। हालाँकि, जब शोधकर्ताओं ने पिछले अनुभवों को एक छोटी स्मृति में संक्षिप्त करके प्रक्रिया को सरल बनाने का प्रयास किया, तो मॉडलों का प्रदर्शन खराब हो गया। यह सुझाव देता है कि मॉडल के प्रयासों का विस्तृत, चरण-दर-चरण इतिहास उस महत्वपूर्ण जानकारी को समाहित करता है जो अनुभव को बहुत अधिक संकुचित करने पर खो जाती है।
अंततः, यह कार्य प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स एक ऐसे प्रकार की सीखने की क्षमता रखते हैं जिसे पुन: प्रशिक्षण के बिना असंभव माना जाता था। उन्हें अनुभव संचित करने और समस्या समाधान प्रक्रिया के दौरान फीडबैक के साथ बातचीत करने की अनुमति देकर, वे वास्तविक समय में विकसित और बेहतर हो सकते हैं। अध्ययन इस बात की पुष्टि करता है कि यह दृष्टिकोण न केवल प्रभावी है, बल्कि कुशल भी है, जो पारंपरिक प्रशिक्षण की भारी कम्प्यूटेशनल लागत के बिना इन शक्तिशाली उपकरणों से अधिक प्राप्त करने का एक तरीका प्रदान करता है। जैसे-जैसे ये प्रणालियाँ विकसित होती रहेंगी, अनुभव से सीखने की क्षमता एक मानक विशेषता बन सकती है, जो मशीनों के सोचने के तरीके और मनुष्यों के सीखने के तरीके के बीच के अंतर को पाट सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।