RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation
यह शोधपत्र RIMS का प्रस्ताव करता है, जो रिट्रीवल-ऑगमेंटेड जनरेशन में छोटे पैमाने के भाषा मॉडलों के लिए एक तीन-चरणीय प्राथमिकता अनुकूलन ढांचा है, जो कई प्राथमिकता युग्मों का प्रभावी ढंग से लाभ उठाने के लिए स्व-निर्मित सिंथेटिक डेटा और एक डिफरेंशिएबल सॉफ्ट एग्रीगेशन तंत्र का उपयोग करता है, जिससे शोर वाले रिट्रीवल स्थितियों में अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन छोटे रोबोट को कठिन सवालों के जवाब देना सिखाने की कोशिश कर रहे हैं। यह रोबोट एक "स्मॉल-स्केल लैंग्वेज मॉडल" (SLM) है। इसे एक प्रतिभाशाली हाई स्कूल के छात्र की तरह समझें जिसने कुछ किताबें पढ़ी हैं लेकिन पूरी लाइब्रेरी याद नहीं की है। जब आप उससे एक कठिन सवाल पूछते हैं, तो वह घबरा जाता है और शायद मनगढ़ंत बातें बनाने लगता है। इसकी मदद के लिए, आप उसे इंटरनेट से मिले खोज परिणामों का एक "चीट शीट" देते हैं, जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) तकनीक कहा जाता है।
हालाँकि, एक समस्या है: इंटरनेट अव्यवस्थित है। आपकी चीट शीट में सच तथ्यों, भ्रमित करने वाली अफवाहों और सरासर झूठ का मिश्रण हो सकता है। एक बड़ा, सुपर-पावरफुल रोबोट (लार्ज लैंग्वेज मॉडल) झूठ को पहचान सकता है और उन्हें अनदेखा कर सकता है। लेकिन हमारा छोटा रोबोट? वह अक्सर शोर से भ्रमित हो जाता है, गलत जानकारी पर विश्वास कर लेता है और गलत उत्तर देता है। वैज्ञानिकों ने इसे ठीक करने के लिए रोबोट को अलग-अलग उत्तरों के बीच चयन करना सिखाने की कोशिश की है, जिसे "प्रेफरेंस ऑप्टिमाइजेशन" (preference optimization) कहा जाता है। लेकिन सिखाने का पुराना तरीका एक सख्त कोच की तरह था जो केवल रोबोट की एक सबसे खराब गलती को देखता था और बाकी सब कुछ अनदेखा कर देता था। यह पाया गया कि अन्य संकेतों को अनदेखा करने से रोबोट और भी अधिक भ्रमित हो जाता है।
यह पेपर एक नया प्रशिक्षण तरीका पेश करता है जिसे RIMS (रिट्रीवल-ऑगमेंटेड जनरेशन वाया स्मूद्ड मल्टी-पेयर एग्रीगेशन) कहा जाता है। एक सख्त कोच की तरह व्यवहार करने के बजाय जो केवल एक "सबसे खराब" उदाहरण को सुधारने के लिए चुनता है, RIMS एक बुद्धिमान गुरु की तरह काम करता है जो रोबोट द्वारा उत्पन्न किए गए सभी उदाहरणों को देखता है। यह अच्छे और बुरे संकेतों को आपस में धीरे से मिलाकर एक एकल, सुचारू (smooth) पाठ बनाता है। यह छोटे रोबोट को अपने चीट शीट में शोर को बेहतर ढंग से पहचानने में मदद करता है, भले ही जानकारी कितनी भी अव्यवस्थित क्यों न हो। शोधकर्ताओं ने इसे चार अलग-अलग कठिन प्रश्न-उत्तर खेलों पर परखा और पाया कि उनके तरीके ने छोटे रोबोटों को पुराने, सख्त तरीकों की तुलना में काफी अधिक सही उत्तर देने में मदद की।
समस्या: छोटा रोबोट और शोर भरी लाइब्रेरी
आइए इस कहानी में गहराई से उतरें। हमारे पास ये छोटे, कुशल AI मॉडल (SLMs) हैं जो फोन या छोटे कंप्यूटरों पर चलने के लिए बेहतरीन हैं क्योंकि उन्हें भारी मात्रा में बिजली की आवश्यकता नहीं होती। लेकिन उनकी "मस्तिष्क क्षमता" कम होती है। वे बड़े मॉडलों जितना अधिक नहीं जानते। इसे ठीक करने के लिए, हम उन्हें एक सर्च इंजन (RAG) से जोड़ते हैं ताकि वे तथ्यों को खोज सकें।
समस्या यह है कि सर्च इंजन परफेक्ट नहीं होते। कभी-कभी वे ऐसे दस्तावेज़ सामने लाते हैं जो पूरी तरह से अप्रासंगिक या विरोधाभासी होते हैं। जब एक छोटा AI दस्तावेजों के ढेर को पढ़ने की कोशिश करता जिसमें सच और ढेर सारा बकवास शामिल होता है, तो वह अक्सर अभिभूत हो जाता है। वह गलत तथ्य पकड़ सकता है और उसे सच्चाई के रूप में आत्मविश्वास के साथ बता सकता है।
पुराना तरीका: "सबसे कठिन गलती" वाला कोच
इन AI को बेहतर बनाने के लिए, शोधकर्ता प्रेफरेंस ऑप्टिमाइजेशन नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आप AI को एक ही सवाल के दस अलग-अलग उत्तर दिखाते हैं। कुछ अच्छे हैं, कुछ बुरे। लक्ष्य यह है कि AI को अच्छे उत्तरों को पसंद करना और बुरे उत्तरों को अस्वीकार करना सिखाया जाए।
पहले, एक लोकप्रिय विधि (जिसे RoseRAG कहा जाता है) एक बहुत ही सख्त कोच की तरह काम करती थी। जब AI दस उत्तर उत्पन्न करता था, तो कोच उन पर नज़र डालता और कहता, "ठीक है, मैं एक उत्तर देख रहा हूँ जो बहुत बुरा है और एक जो बहुत अच्छा है। मैं बाकी आठ को अनदेखा कर दूँगा। हम केवल इस एक 'सर्वश्रेष्ठ' और 'सबसे खराब' जोड़े पर प्रशिक्षण देंगे।"
यह पेपर तर्क देता है कि यह जानकारी की बर्बादी है। अन्य आठ उत्तरों को फेंककर, कोच यह समझने के बारेकीमती संकेतों को अनदेखा कर रहा है कि अन्य उत्तर बेहतर या बदतर क्यों थे। यह एक छात्र की तरह है जो परीक्षा देता है, एक प्रश्न गलत करता है, और शिक्षक केवल उस एक विशिष्ट गलती को सुधारता है जबकि इस बात को अनदेखा कर देता है कि छात्र ने तीन अन्य प्रश्न भी थोड़े गलत किए थे। छात्र मुख्य तस्वीर को नहीं समझ पाता।
नया तरीका: RIMS और "स्मूथ ब्लेंड"
लेखक RIMS का प्रस्ताव देते हैं, जो कोचिंग शैली को पूरी तरह से बदल देता है। केवल एक "विजेता" और एक "हारने वाले" को चुनने के बजाय, RIMS उन सभी उत्तरों को देखता है जो AI ने उत्पन्न किए हैं।
यहाँ जादू का नुस्खा है: RIMS LogSumExp (LSE) नामक एक गणितीय उपकरण का उपयोग करता है ताकि एक "स्मूथ ब्लेंड" बनाया जा सके। कल्पना कीजिए कि आपके पास दस सामग्रियों (दस उत्तरों) वाला सूप का एक कटोरा है। पुराना तरीका केवल सबसे नमकीन चम्मच और सबसे फीका चम्मच निकाल लेगा और बाकी सब फेंक देगा। RIMS, हालांकि, पूरे कटोरे को लेकर उसे एक आदर्श, संतुलित स्वाद में मिला देता है।
यह "स्मूथ" मिश्रण एक एकल, एकीकृत पाठ बनाता है जिसमें हर उत्तर का संकेत होता है। यह आसान या कठिन उत्तरों को अनदेखा नहीं करता है; यह उन सभी को एक साथ तौलता है। इसे "डिफरेंशिएबल सॉफ्ट एग्रीगेशन" (differentiable soft aggregation) कहा जाता है। यह "डिफरेंशिएबल" है क्योंकि गणित AI को इस मिश्रण से सुचारू रूप से सीखने की अनुमति देता है, और "सॉफ्ट" है क्योंकि यह किसी उत्तर पर ध्यान केंद्रित करने के बारे में कठोर, सब-कुछ-या-कुछ-नहीं का निर्णय नहीं लेता है।
उन्होंने क्या पाया
शोधकर्ताओं ने चार अलग-अलग "मल्टी-हॉप" प्रश्न-उत्तर बेंचमार्क पर RIMS का परीक्षण किया। ये उन ट्रिविया खेलों की तरह हैं जहाँ आपको उत्तर पाने के लिए सूचना के कई टुकड़ों को जोड़ना पड़ता है, और खोज परिणाम अक्सर भटकाने वाले तत्वों से भरे होते हैं। उन्होंने दो अलग-अलग छोटे AI मॉडल (Qwen2.5-1.5B और Gemma-2-2b) पर इसका परीक्षण किया।
परिणाम स्पष्ट थे:
- बेहतर स्कोर: RIMS ने सटीक सही उत्तर (Exact Match) प्राप्त करने और सही शब्दों से मेल खाने (F1 score) में मौजूदा सर्वोत्तम तरीकों (जैसे RoseRAG) को लगातार पछाड़ दिया।
- शोर को संभालना: जब शोधकर्ताओं ने खोज परिणामों में और अधिक "शोर" (अप्रासंगिक दस्तावेज़) जोड़ा, तो पुराने तरीके विफल होने लगे। हालाँकि, RIMS अच्छा प्रदर्शन करता रहा। यह साबित हुआ कि यह अव्यवस्थित जानकारी के प्रति बहुत अधिक मजबूत (robust) है।
- सैद्धांतिक प्रमाण: लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणित किया। उन्होंने साबित किया कि उनका "स्मूथ" तरीका सीखने की प्रक्रिया में "वैरिएंस" (या यादृच्छिकता/randomness) को कम करता है। सरल शब्दों में, पुराना तरीका एक सीधी रेखा खींचने की कोशिश करने वाले कांपते हाथ जैसा था, जबकि RIMS एक स्थिर हाथ है। उन्होंने यह भी दिखाया कि उनके स्मूथिंग तरीके में "त्रुटि" को नियंत्रित किया जा सकता है और बहुत छोटा रखा जा सकता है।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि छोटे, कुशल AI मॉडल के लिए, हमें डेटा को फेंकना नहीं चाहिए। भले ही एक AI कई उत्तर उत्पन्न करता है, प्रत्येक उत्तर में एक सुराग होता है। उन सभी सुरागों को संयोजित करने के एक "स्मूथ" तरीके का उपयोग करके, हम इन छोटे रोबोटों को बहुत अधिक स्मार्ट और विश्वसनीय बना सकते हैं, भले ही उन्हें मिलने वाली जानकारी कितनी भी अव्यवस्थित क्यों न हो। यह इस ओर एक कदम है कि कैसे शक्तिशाली AI को बिना सुपरकंप्यूटर की आवश्यकता के रोजमर्रा के उपकरणों पर सुलभ बनाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।