Controlled iterative refinement of large language model responses improves response quality under blind evaluation across domains and stopping policies
यह शोध पत्र यह प्रदर्शित करता है कि एक नियंत्रित, ऑडिट योग्य पुनरावृत्ति परिशोधन ढांचा (iterative refinement framework), प्रत्यक्ष पीढ़ी (direct generation) की तुलना में विविध डोमेन और स्टॉपिंग पॉलिसियों के बीच बड़े भाषा मॉडल (large language model) की प्रतिक्रिया गुणवत्ता और दक्षता में महत्वपूर्ण सुधार करता है, जबकि उन सार्वभौमिक दावों को चुनौती देता है कि अधिक जटिल मूल्यांकन या अनुकूलन योग्य स्टॉपिंग रणनीतियाँ हमेशा श्रेष्ठ होती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो जटिल विचारों को लिख सकते हैं, तर्क दे सकते हैं और समझा सकते हैं। हालाँकि, उनसे एक सटीक उत्तर प्राप्त करना शायद ही कभी एक-चरणीय प्रक्रिया होती है। अक्सर, कंप्यूटर द्वारा तैयार किया गया पहला ड्राफ्ट त्रुटियों से भरा होता है, इसमें मुख्य विवरण छूट जाते हैं, या इसमें आवश्यक गहराई की कमी होती है। इसे ठीक करने के लिए, शोधकर्ताओं ने 'इटरेटिव रिफाइनमेंट' (पुनरावृत्ति सुधार) नामक एक विधि विकसित की है, जहाँ कंप्यूटर को अपने ही काम की आलोचना करने और फिर से प्रयास करने के लिए कहा जाता है, बिल्कुल वैसे ही जैसे एक लेखक अपने ड्राफ्ट को संशोधित करता है। उम्मीद यह है कि लेखन और सुधार के इस चक्र को दोहराने से अंतिम परिणाम काफी बेहतर होगा। फिर भी, एक बड़ी समस्या उभर कर आई है: जब एक कंप्यूटर अपने ही काम का मूल्यांकन करता है, तो वह पक्षपाती हो सकता है, अक्सर अपनी गलतियों की प्रशंसा करता है या अपनी कमियों को देख नहीं पाता है। इसके अलावा, इस बात का कोई स्पष्ट नियम नहीं है कि उत्तर में सुधार कब रोकना है; सुधार करना जारी रखने से कभी-कभी उत्तर और खराब हो सकता है या बिना किसी मूल्य को जोड़े केवल कंप्यूटिंग शक्ति बर्बाद हो सकती है।
कदी अयाद विश्वविद्यालय, मोरक्को के शोधकर्ताओं की एक टीम ने एआई (AI) उत्तरों को परिष्कृत करने के लिए एक कड़ाई से नियंत्रित प्रणाली बनाकर इन समस्याओं को हल करने का प्रयास किया। एक एकल मॉडल को सब कुछ करने देने के बजाय, उन्होंने भूमिकाओं को तीन अलग-अलग भागों में विभाजित किया: एक लेखक जो उत्तर उत्पन्न करता है, एक आलोचक जो स्कोर देता है और दोषों का निदान करता है, और एक अंध जज (blind judge) जो यह जाने बिना अंतिम गुणवत्ता को मापता है कि उत्तर कैसे तैयार किया गया था। यह अलगाव इसलिए बनाया गया था ताकि सिस्टम खुद को धोखा न दे सके। शोधकर्ताओं ने विज्ञान और कानून से लेकर नैतिकता और अर्थशास्त्र तक, विभिन्न विषयों पर इस दृष्टिकोण का परीक्षण किया, ताकि यह देखा जा सके कि क्या उनकी विधि वास्तव में एक बार में उत्तर देने की तुलना में बेहतर काम करती है।
पहला प्रयोग प्रणाली के आंतरिक तंत्र पर केंद्रित था। टीम ने बीस विशिष्ट प्रश्नों के साथ एक सेटअप बनाया और परीक्षण किया कि क्या कुछ सुरक्षा सुविधाओं को हटाने से अंतिम उत्तर की गुणवत्ता प्रभावित होती है। उन्होंने अपने पूर्ण सिस्टम की तुलना, जिसमें महत्वपूर्ण तथ्यों पर उत्तर को खराब होने से रोकने के लिए एक "रिग्रेशन गार्ड" शामिल था, उन संस्करणों से की जिनमें ये सुरक्षा उपाय नहीं थे। उन्होंने यह भी परीक्षण किया कि क्या निर्णय लेने से पहले आलोचक को उत्तर की कई बार जाँच करने के लिए कहना अतिरिक्त प्रयास के लायक है। परिणाम काफी खुलासा करने वाले थे। उनके सबसे पूर्ण सिस्टम ने उच्चतम स्कोर नहीं दिया। वास्तव में, एक सरल संस्करण जिसने कई जाँचों का उपयोग नहीं किया था, उसने सबसे बेहतर गुणवत्ता प्राप्त की, जिसमें अधिक जटिल सेटअप की तुलना में लगभग आधी कंप्यूटिंग संसाधन का उपयोग हुआ। यह सुझाव देता है कि आंतरिक जाँच के अधिक स्तर जोड़ने से स्वतः ही बेहतर परिणाम नहीं मिलते और कभी-कभी यह एक अनावश्यक खर्च भी हो सकता है।
दूसरे प्रयोग में यह देखा गया कि जब "आलोचक" और "लेखक" अलग-अलग कंप्यूटर मॉडल होते हैं बनाम जब वे एक ही मॉडल होते हैं, तो सिस्टम कैसे व्यवहार करता है। उन्होंने सुधार को रोकने के निर्णय के लिए दो अलग-अलग तरीकों का भी परीक्षण किया: आठ प्रयासों की एक निश्चित सीमा, और एक गतिशील नियम जो सुधार रुकते ही रुक जाता है। शोधकर्ताओं ने पाया कि हर उस मामले में जहाँ उन्होंने अपनी इटरेटिव रिफाइनमेंट विधि का उपयोग किया, अंतिम उत्तर मूल, एकल-पास प्रयासों की तुलना में बेहतर थे। हालाँकि, लाभ समान नहीं थे। जब सिस्टम ने एक गतिशील स्टॉपिंग रूल (रुकने के नियम) का उपयोग किया, तो इसने कंप्यूटिंग लागत को आधे से अधिक कम कर दिया, लेकिन इस दक्षता के साथ गुणवत्ता में एक छोटी, मापने योग्य गिरावट आई जब अंतिम जज, संपादन करने वाले मॉडल से भिन्न था। यह अंतःक्रिया महत्वपूर्ण थी; वही स्टॉपिंग रूल अलग-अलग व्यवहार करता था, इस आधार पर कि कौन सा मॉडल आलोचक के रूप में कार्य कर रहा है।
शायद सबसे महत्वपूर्ण निष्कर्ष यह था कि शोधकर्ता इस विचार का समर्थन नहीं कर सके कि अधिक जटिल विधियाँ हमेशा बेहतर होती हैं। उन्होंने पाया कि काम का न्याय करने के लिए एक अलग मॉडल का उपयोग करने से बेहतर परिणाम की गारंटी नहीं मिली, न ही गतिशील स्टॉपिंग रूल ने हमेशा गुणवत्ता को बनाए रखा। अध्ययन ने दिखाया कि जबकि नियंत्रित परिष्करण (refinement) एक बार में उत्तर उत्पन्न करने के एकल प्रयास से लगातार बेहतर है, मूल्यांकन करने के तरीके और रुकने के समय के चुनाव काफी हद तक विशिष्ट सेटअप पर निर्भर करते हैं। शोधकर्ताओं ने निष्कर्ष निकाला कि ऐसा कोई सार्वभौमिक नियम नहीं है जो कहता है कि "अधिक सैंपलिंग" या "क्रॉस-मॉडल मूल्यांकन" हमेशा श्रेष्ठ होता है। इसके बजाय, सर्वोत्तम दृष्टिकोण कंप्यूटिंग की लागत और परिणाम की गुणवत्ता के बीच एक सावधानीपूर्वक संतुलन की मांग करता है, जो विशिष्ट मॉडलों और कार्यों के अनुरूप हो। प्रक्रिया को पारदर्शी और ऑडिट योग्य रखकर, उन्होंने प्रदर्शित किया कि हम आत्म-धोखे के जाल में फंसे बिना एआई प्रतिक्रियाओं में सुधार कर सकते हैं, लेकिन हमें यह मानने में सावधान रहना चाहिए कि अधिक जटिलता का अर्थ बेहतर प्रदर्शन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।