Training-free LLM Verification via Recycling Few-shot Examples
यह शोध पत्र ReFeri का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो फॉरवर्ड कॉन्फिडेंस स्कोरिंग और बैकवर्ड रिकंस्ट्रक्शन पेनल्टी के संयोजन के माध्यम से उम्मीदवार आउटपुट का मूल्यांकन करने के लिए फ्यू-शॉट उदाहरणों को पुनर्चक्रित (recycle) करके LLM की सटीकता को बढ़ाता है, जिससे विविध कार्यों में औसतन 8.2% सापेक्ष लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और कंप्यूटर कोड को डीबग कर सकते हैं। वे वाक्य में अगले शब्द की भविष्यवाणी करके काम करते हैं, मानवीय तर्क की नकल करने के लिए विशाल मात्रा में टेक्स्ट से सीखते हैं। हालाँकि, क्योंकि ये मॉडल संभाव्यता (probability) के आधार पर टेक्स्ट जनरेट करते हैं, वे हमेशा सुसंगत नहीं होते हैं। यदि आप एक ही प्रश्न दो बार पूछते हैं, या इसे एक साथ कई उत्तर उत्पन्न करने के लिए कहते हैं, तो यह हर बार अलग-अलग प्रतिक्रियाएँ दे सकता है। इनमें से कुछ उत्तर शानदार होते हैं, जबकि अन्य में सूक्ष्म त्रुटियाँ या तार्किक कमियाँ होती हैं। यह अनिश्चितता यह जाँचने के बिना मॉडल के आउटपुट पर भरोसा करना कठिन बना देती है कि कौन सा संस्करण सही है। पारंपरिक रूप से, शोधकर्ताओं ने मॉडल को कई उत्तर उत्पन्न करने के लिए कहकर या एक अलग, विशेष प्रोग्राम को जज के रूप में प्रशिक्षित करके इसे ठीक करने की कोशिश की है। लेकिन ये तरीके तब विफल हो जाते हैं जब कार्य ओपन-एंडेड (open-ended) हो, जैसे कविता लिखना या जटिल कोड बनाना, जहाँ गिनने के लिए कोई एक "सही" उत्तर नहीं होता, या उनके लिए महंगे नए प्रशिक्षण की आवश्यकता होती है जो हमेशा संभव नहीं होता।
योनसेइ यूनिवर्सिटी (Yonsei University) और KAIST के शोधकर्ताओं की एक टीम ने बिना किसी अतिरिक्त प्रशिक्षण या विशेष जजों की आवश्यकता के इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है। वे अपने इस तरीके को 'ReFeri' कहते हैं, जिसका अर्थ है 'Recycling Few-shot examples to verify LLM outputs' (LLM आउटपुट को सत्यापित करने के लिए फ्यू-शॉट उदाहरणों का पुनर्चक्रण करना)। इसका मूल विचार आश्चर्यजनक रूप से सरल है: उदाहरणों को केवल उत्तर उत्पन्न करने के लिए एक शुरुआती बिंदु के रूप में मानने के बजाय, शोधकर्ताओं ने उन्हीं उदाहरणों को मॉडल द्वारा उत्पन्न किए गए उत्तरों का मूल्यांकन करने के लिए एक मापने वाले पैमाने (measuring stick) के रूप में उपयोग करने का निर्णय लिया। जब कोई उपयोगकर्ता एक जटिल प्रश्न पूछता है, तो वह आमतौर पर पहले से हल किए गए समान समस्याओं के कुछ उदाहरण प्रदान करता है। ये उदाहरण एक मार्गदर्शक के रूप में कार्य करते हैं, जो मॉडल को वांछित शैली और तर्क दिखाते हैं। शोधकर्ताओं ने महसूस किया कि इन उदाहरणों में वह छिपी हुई जानकारी होती है कि एक अच्छा उत्तर कैसा दिखना चाहिए, और उन्होंने उस जानकारी का उपयोग करके खराब उत्तरों को फ़िल्टर करने का एक तरीका खोज निकाला।
यह प्रक्रिया एक ही प्रश्न के कई अलग-अलग उत्तर उत्पन्न करके काम करती है। सिस्टम फिर मूल उदाहरणों से प्राप्त दो प्रतिस्पर्धी संकेतों (signals) का उपयोग करके प्रत्येक प्रतिक्रिया को स्कोर देता है। पहला संकेत यह मापता है कि प्रतिक्रिया उदाहरणों के मार्गदर्शन का कितनी अच्छी तरह पालन करती है, जो अनिवार्य रूप से यह पूछता है, "क्या यह उत्तर इस सेट का हिस्सा लगता है?" दूसरा संकेत एक दंड (penalty) के रूप में कार्य करता है, जो यह जाँचता है कि क्या प्रतिक्रिया वास्तव में समस्या को हल करने के बजाय केवल उदाहरणों के सतही पैटर्न या विशिष्ट विशेषताओं की नकल कर रही है। यदि कोई प्रतिक्रिया वास्तविक समस्या को समझने के बजाय उदाहरणों की बहुत अधिक नकल करती है, तो उसे उच्च दंड प्राप्त होता है। अंतिम स्कोर मार्गदर्शन स्कोर और दंड के बीच का संतुलन है। दंड को मार्गदर्शन स्कोर से घटाकर, सिस्टम उस उत्तर का चयन करता है जो उदाहरणों का उपयोग एक टेम्पलेट की नकल करने के बजाय एक तार्किक आधार के रूप में बेहतर ढंग से करता है।
अपने प्रयोगों में, शोधकर्ताओं ने सात विविध कार्यों में तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स पर इस पद्धति का परीक्षण किया, जिसमें कठिन गणितीय समस्याओं को हल करने से लेकर जटिल विज्ञान संबंधी प्रश्नों के उत्तर देने और कोड लिखने तक शामिल हैं। उन्होंने पाया कि ReFeri ने मॉडल्स की सटीकता में लगातार सुधार किया। औसतन, इस पद्धति ने केवल उत्पन्न विकल्पों में से एक यादृच्छिक (random) उत्तर चुनने की तुलना में प्रदर्शन को 8.2 प्रतिशत तक बढ़ा दिया। यहाँ तक कि उन सबसे मजबूत मौजूदा तरीकों की तुलना में भी जिनमें प्रशिक्षण की आवश्यकता नहीं होती, ReFeri ने सटीकता में अतिरिक्त 2.6 प्रतिशत का सुधार किया। शोधकर्ता विशेष रूप से इस बात में रुचि रखते थे कि क्या यह दृष्टिकोण तब अच्छा काम करेगा जब मॉडल को बड़ी संख्या में विकल्पों में से चुनना हो। उन्होंने बीस अलग-अलग संभावित उत्तरों के साथ इस प्रणाली का परीक्षण किया और पाया कि जैसे-जैसे विकल्पों की संख्या बढ़ती है, यह पद्धति बेहतर होती जाती है, जबकि अन्य तरीके अक्सर विकल्पों की संख्या बढ़ने पर खराब हो जाते हैं। यह सुझाव देता है कि अधिक विविधता मिलने पर सिस्टम सर्वश्रेष्ठ उत्तर को पहचानने में बेहतर हो जाता है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि यह सुधार किसी विशाल, शक्तिशाली कंप्यूटर का उपयोग करने पर निर्भर नहीं था। शोधकर्ताओं ने दिखाया कि एक बहुत छोटा, हल्का मॉडल (lightweight model) एक बड़े मॉडल की तरह ही प्रभावी ढंग से सत्यापन कर सकता है। यह महत्वपूर्ण है क्योंकि इसका मतलब है कि यह विधि कुशल और लागत प्रभावी है। इसके लिए नए जज को प्रशिक्षित करने या जटिल सत्यापन प्रणाली चलाने के लिए आवश्यक भारी कम्प्यूटेशनल संसाधनों की आवश्यकता नहीं है। पद्धति की सफलता कंप्यूटर द्वारा काम की जाँच करने की कच्ची शक्ति (raw power) के बजाय फ्यू-शॉट उदाहरणों के चतुर उपयोग से आती है। शोधकर्ताओं ने व्यक्तिगत समाचार सुर्खियाँ बनाने और कोड लिखने जैसे ओपन-एंडेड कार्यों पर भी इस पद्धति का परीक्षण किया, जहाँ पारंपरिक वोटिंग विधियाँ विफल हो जाती हैं क्योंकि वहाँ गिनने के लिए कोई एक सही उत्तर नहीं होता। इन परिदृश्यों में, ReFeri ने अन्य दृष्टिकोणों को पछाड़ दिया, जो इसकी जटिल, रचनात्मक कार्यों को संभालने की क्षमता को प्रदर्शित करता है जहाँ "सही" उत्तर केवल एक तथ्य नहीं बल्कि एक सुव्यवस्थित समाधान है।
शोधकर्ताओं ने यह भी पता लगाया कि यह पद्धति इतनी अच्छी तरह से क्यों काम करती है, इसके लिए उन्होंने विश्लेषण किया कि क्या होता है जब वे जानबूझकर उदाहरणों को खराब करते हैं या उत्तरों के क्रम को बदलते हैं। उन्होंने पाया कि सिस्टम तब भी मजबूत बना रहा जब उदाहरण पूर्ण नहीं थे, और यह उत्तरों के प्रस्तुत किए जाने के क्रम से आसानी से भ्रमित नहीं हुआ। यह स्थिरता बताती है कि पद्धति केवल पैटर्न को याद नहीं कर रही है, बल्कि वह उदाहरणों और नई समस्या के बीच के संबंध को वास्तव में समझ रही है। फ्यू-शॉट उदाहरणों को सत्यापन के लिए पुनर्चक्रित (recycle) करके, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो लार्ज लैंग्वेज मॉडल्स को बिना पुनः प्रशिक्षित किए या मनुष्यों द्वारा पर्यवेक्षित किए अधिक विश्वसनीय बनाता है। यह दृष्टिकोण मौजूदा मॉडल्स से बेहतर परिणाम प्राप्त करने का एक व्यावहारिक तरीका प्रदान करता है, जिससे वे वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक भरोसेमंद बन जाते हैं जहाँ सटीकता मायने रखती है। यह कार्य इस बात पर प्रकाश डालता है कि हमें इन मॉडल्स को दिए जाने वाले उदाहरण न केवल कार्य शुरू करने के निर्देश हैं, बल्कि उनके द्वारा उत्पादित कार्य की गुणवत्ता की जाँच करने के लिए मूल्यवान संसाधन भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।