ADE: Agentic Data Evolution Framework for Human-Centered Objectives
यह शोध पत्र एजेंटिक डेटा इवोल्यूशन (ADE) का प्रस्ताव करता है, जो एक डेटा-केंद्रित ढांचा है जो सिंथेटिक डेटा को पुनरावृत्त रूप से परिष्कृत करने के लिए एक स्थिर-अवस्था प्रवेश तंत्र (steady-state admission mechanism) के साथ एक क्लोज्ड-लूप ऑब्जर्वेशन-वेरिएशन-सिलेक्शन प्रक्रिया का उपयोग करता है, जो विविध बेंचमार्क और पोस्ट-ट्रेनिंग विधियों में गैर-निष्पादन योग्य, मानव-केंद्रित उद्देश्यों के साथ लार्ज लैंग्वेज मॉडल के संरेखण में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ताओं ने बहुत पहले ही कंप्यूटरों को स्पष्ट, सही या गलत उत्तर वाली समस्याओं को हल करना सिखाने की कला में महारत हासिल कर ली है। यदि किसी मशीन से गणित का समीकरण हल करने या कोड की एक पंक्ति लिखने के लिए कहा जाता है, तो इसका परीक्षण तुरंत किया जा सकता है; उत्तर या तो सही होता है या नहीं। इस स्पष्टता ने मॉडलों को तेजी से सीखने में सक्षम बनाया है, जिससे वे निरंतर प्रयास और त्रुटि (ट्रायल एंड एरर) के चक्रों के माध्यम से अपने कौशल को निखारते हैं। हालाँकि, मनुष्यों और मशीनों के बीच सबसे सार्थक बातचीत अक्सर उन क्षेत्रों में होती है जहाँ कोई एक सही उत्तर नहीं होता। जब एक कंप्यूटर एक ट्यूटर, एक परामर्शदाता या एक रचनात्मक साथी के रूप में कार्य करता है, तो उसकी प्रतिक्रिया की गुणवत्ता संदर्भ, भावना और सांस्कृतिक मूल्यों पर निर्भर करती है। क्या सलाह का एक टुकड़ा सहानुभूतिपूर्ण है? क्या कहानी का विचार मौलिक और उपयुक्त है? ये प्रश्न "कमजोर रूप से सत्यापन योग्य" (weakly verifiable) हैं, जिसका अर्थ है कि उन्हें एक सरल सूत्र द्वारा जांचा नहीं जा सकता। इनके लिए मानवीय निर्णय की आवश्यकता होती है, जो धीमा, महंगा और स्केल करने में कठिन है। गुणवत्ता को सत्यापित करने के एक विश्वसनीय तरीके के बिना, आर्टिफिशियल इंटेलिजेंस को इन मानव-केंद्रित कार्यों में उत्कृष्ट बनाने के लिए सिखाना एक कठिन बाधा बना हुआ है।
ईस्ट चाइना नॉर्मल यूनिवर्सिटी और हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इस अनिश्चितता से निपटने का एक नया तरीका प्रस्तावित किया है। उन्होंने 'एजेंटिक डेटा इवोल्यूशन' (Agentic Data Evolution) नामक एक ढांचा विकसित किया है, जिसे ADE कहा जाता है, जो प्रशिक्षण डेटा के निर्माण को एक बार की घटना के रूप में नहीं, बल्कि एक निरंतर, जीवित प्रक्रिया के रूप में मानता है। उत्तरों की एक विशाल सूची बनाने और सबसे अच्छे उत्तरों के जीवित रहने की उम्मीद करने के बजाय, यह प्रणाली डेटा को "स्नैपशॉट्स" में व्यवस्थित करती है जो समय के साथ विकसित होते हैं। यह एक विशेष एआई एजेंटों की टीम का उपयोग करता है जो वर्तमान उत्तर का अवलोकन करते हैं, विविधताओं का प्रस्ताव देते हैं, और फिर केवल उन्हीं परिवर्तनों का कठोरता से चयन करते हैं जो वास्तविक सुधार का प्रतिनिधित्व करते हैं। यह प्रक्रिया एक 'सेफ्टी वाल्व' के रूप में कार्य करने के लिए डिज़ाइन की गई है, जो सिस्टम को बेहतर होने की कोशिश में अनजाने में खराब प्रदर्शन की ओर बढ़ने से रोकती है। शैक्षिक परिदृश्यों पर इस पद्धति को लागू करके—विशेष रूप से इस बात पर ध्यान केंद्रित करते हुए कि कैसे एक ट्यूटर छात्र के मूल्यों, भावनाओं और रचनात्मकता का समर्थन कर सकता है—शोधकर्ताओं ने पाया कि वे हर कदम की जांच के लिए मानव की आवश्यकता के बिना, एआई की प्रतिक्रियाओं की गुणवत्ता को लगातार बढ़ा सकते हैं।
मुख्य चुनौती जिसे टीम ने संबोधित किया है वह यह है कि क्या होता है जब आप किसी ऐसे कार्य पर एआई के व्यवहार को सुधारने का प्रयास करते हैं जहाँ सफलता को आसानी से मापा नहीं जा सकता। पारंपरिक तरीकों में, शोधकर्ता एक उत्तर के कई संस्करण उत्पन्न कर सकते हैं और सबसे अच्छे को चुनने के लिए त्वरित जांच का उपयोग कर सकते हैं। लेकिन जब मानदंड जटिल होते हैं, जैसे "भावनात्मक समर्थन" या "रचनात्मक नवाचार", तो एक त्वरित जांच भ्रामक हो सकती है। एक उत्तर सुनने में अधिक सहज या आत्मविश्वासी लग सकता है लेकिन वास्तव में कम सहायक मार्गदर्शन प्रदान कर सकता है। शोधकर्ताओं ने पाया कि सावधानीपूर्वक चयन प्रक्रिया के बिना, पुनरावृत्ति (इटरेशन) से "साइलेंट रिग्रेशन" (silent regressions) हो सकते हैं, जहाँ मॉडल समय के साथ बिना किसी को पता चले खराब हो जाता है क्योंकि परिवर्तन सतही तौर पर सकारात्मक दिखते हैं। इसे हल करने के लिए, उन्होंने एक क्लोज्ड-लूप सिस्टम बनाया जो एक स्थिर, सतर्क विकास की नकल करता है।
प्रक्रिया शुरुआती प्रश्नों और उत्तरों के एक सेट के साथ शुरू होती है, जो शुरुआती बिंदु के रूप में कार्य करते हैं। इसके बाद सिस्टम अवलोकन, भिन्नता और चयन का एक चक्र में प्रवेश करता है। सबसे पहले, एक एजेंट एक विशिष्ट प्रश्न और उसके वर्तमान उत्तर का अवलोकन करता है, यह पहचानते हुए कि प्रतिक्रिया कहाँ कमी रह जाती है, जैसे कि क्या यह छात्र की भावनाओं का सम्मान करती है या रचनात्मक सोच को प्रोत्साहित करती है। इसके बाद, सिस्टम उत्तर के नए संस्करण उत्पन्न करता है। यह दो तरह से करता है: एक एजेंट समग्र संरचना को बदले बिना तत्काल कमजोरियों को ठीक करने के लिए छोटे, सावधानीपूर्वक बदलाव करता है, जबकि दूसरा एजेंट बड़े जोखिम लेता है, गहरी समस्याओं को हल करने के लिए प्रतिक्रिया को पुनर्गठित करता है। इससे उम्मीदवारों का एक छोटा समूह बनता है: मूल उत्तर, एक रूढ़िवादी संशोधन और एक आक्रामक संशोधन।
सिस्टम का सबसे महत्वपूर्ण हिस्सा चयन चरण है, जो एक सख्त द्वारपाल (गेटकीपर) के रूप में कार्य करता है। किसी भी नए संस्करण को स्वीकार करने से पहले, इसकी सीधे मूल संस्करण के साथ तुलना की जाती है। सिस्टम एक सरल लेकिन कठोर प्रश्न पूछता है: क्या यह नया संस्करण स्पष्ट रूप से बेहतर है? यदि साक्ष्य संदिग्ध है, या यदि नया संस्करण केवल थोड़ा अलग है लेकिन निश्चित रूप से श्रेष्ठ नहीं है, तो सिस्टम परिवर्तन को अस्वीकार कर देता है और मूल उत्तर को बनाए रखता है। यह "स्टेडी-स्टेट" नियम सुनिश्चित करता है कि डेटा केवल तभी आगे बढ़ता है जब सुधार का प्रमाण हो, जो प्रभावी रूप से एक रैटचेट की तरह काम करता है जो गुणवत्ता को पीछे फिसलने से रोकता है। अस्वीकृत प्रयासों को पूरी तरह से हटाया नहीं जाता है; उनके विफलता के कारणों को रिकॉर्ड किया जाता है और अगले दौर के प्रयासों को निर्देशित करने के लिए उपयोग किया जाता है, जिससे सिस्टम को यह सीखने में मदद मिलती है कि क्या नहीं करना है।
यह परीक्षण करने के लिए कि क्या यह तरीका वास्तव में काम आया, शोधकर्ताओं ने इसे 10,000 शैक्षिक प्रश्नों और उत्तरों के एक डेटासेट पर लागू किया, जिसमें तीन मानव-केंद्रित लक्ष्यों पर ध्यान केंद्रित किया गया: छात्रों को नैतिक विकल्पों को समझने में मदद करना, भावनात्मक समर्थन प्रदान करना और रचनात्मक नवाचार को बढ़ावा देना। उन्होंने सिस्टम को विकास के कई दौरों के माध्यम से चलाया, जिससे बेहतर डेटासेट की एक श्रृंखला तैयार हुई। इसके बाद, उन्होंने तीन अलग-अलग तरीकों से परिणामों को मापा। पहला, उन्होंने उत्तरों की आंतरिक गुणवत्ता को देखा, विकसित संस्करणों की तुलना मूल के साथ की। उन्होंने पाया कि विकास के प्रत्येक दौर के साथ, उत्तर काफी बेहतर होते गए, जिसमें बेहतर उत्तरों की जीत की दर (win rate) प्रारंभिक सेट में 50 प्रतिशत से बढ़कर कई दौरों के बाद लगभग 76 प्रतिशत हो गई।
दूसal, उन्होंने यह परीक्षण किया कि क्या इन सुधारों ने वास्तव में एआई मॉडल की मदद की जब उसे काम पर लगाया गया। उन्होंने विकसित डेटा पर एक भाषा मॉडल (language model) को प्रशिक्षित किया और इसे 300 प्रश्नों के एक अलग सेट पर टेस्ट किया जिसे मॉडल ने पहले कभी नहीं देखा था। परिणामों ने कौशल के स्पष्ट हस्तांतरण को दिखाया: विकसित डेटा पर प्रशिक्षित मॉडल ने मूल डेटा पर प्रशिक्षित मॉडल के विरुद्ध तुलनाओं में 68.86 प्रतिशत बार जीत हासिल की। इसने साबित कर दिया कि सुधार केवल सतही बदलाव नहीं थे जिन्हें सिस्टम पसंद करता था, बल्कि जटिल शैक्षिक कार्यों को संभालने में मॉडल में वास्तविक वृद्धि थी। अंत में, यह सुनिश्चित करने के लिए कि सिस्टम खुद को धोखा नहीं दे रहा है, वे अंधे होकर (ब्लाइंडली) उत्तरों का मूल्यांकन करने के लिए मानव विशेषज्ञों को लेकर आए। विशेषज्ञों ने विकसित उत्तरों को 66.11 प्रतिशत समय प्राथमिकता दी, जिससे पुष्टि हुई कि स्वचालित प्रक्रिया मानवीय निर्णय के अनुरूप थी।
अध्ययन ने यह भी पता लगाया कि क्या ये लाभ केवल शैक्षिक कार्यों के लिए विशिष्ट थे या क्या इन्होंने मॉडल को अन्य क्षेत्रों में भी मदद की। उन्होंने बेहतर मॉडल का परीक्षण गणित की समस्याओं और विषाक्त भाषा (toxic language) का पता लगाने पर किया, जिनमें स्पष्ट, वस्तुनिष्ठ उत्तर होते हैं। इन असंबंधित क्षेत्रों में भी, विकसित डेटा पर प्रशिक्षित मॉडल ने बेहतर प्रदर्शन किया, जो सटीकता में एक छोटा लेकिन निरंतर सुधार दर्शाता है। यह सुझाव देता है कि मानव-केंद्रित लक्ष्यों के लिए डेटा को सावधानीपूर्वक विकसित करने की प्रक्रिया मॉडल की समग्र तर्क क्षमता और मानवीय मूल्यों के साथ तालमेल बिठाने की क्षमता को मजबूत करती है, न कि केवल इसे ट्यूटरिंग की एक विशिष्ट शैली की नकल करना सिखाती है।
शोधकर्ता स्वीकार करते हैं कि उनके तरीके के लिए सरल दृष्टिकोणों की तुलना में अधिक कंप्यूटिंग पावर की आवश्यकता होती है क्योंकि इसमें एक लूप में काम करने वाले कई एजेंट शामिल हैं। हालाँकि, उनका तर्क है कि यह लागत आवश्यक है ताकि मॉडल के खराब प्रदर्शन की ओर बढ़ने के जोखिम से बचा जा सके। डेटा को एक स्थिर संसाधन के रूप में एक बार उत्पन्न करने के बजाय, जिसे समय के साथ विकसित और परिष्कृत किया जा सकता है, एक जीवित प्रक्रिया के रूप में मानकर, उन्होंने यह प्रदर्शित किया है कि मानव संपर्क को परिभाषित करने वाले सूक्ष्म, संदर्भ-निर्भर कौशल को सिखाने के लिए एक व्यावहारिक मार्ग क्या है। यह कार्य सुझाव देता है कि सबसे कठिन और महत्वपूर्ण कार्यों के लिए, प्रगति की कुंजी अधिक डेटा उत्पन्न करने में नहीं, बल्कि धैर्य और सटीकता के साथ हमारे पास मौजूद डेटा को विकसित करने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।