Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए इंस्टेंस-आधारित स्पष्टीकरण उत्पन्न करने के लिए पूर्ण ग्रेडिएंट्स या रैंडम प्रोजेक्शन का उपयोग करने की तुलना में, आर्किटेक्चरल रूप से सूचित घटकों के एक छोटे, लालची (ग्रीडी) रूप से चयनित उपसमुच्चय का चयन करना अधिक प्रभावी और गणनात्मक रूप से कुशल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अत्यंत बुद्धिमान रोबोट ने एक विशिष्ट निर्णय क्यों लिया। आप जानते हैं कि उस रोबोट को किताबों के एक विशाल पुस्तकालय पर प्रशिक्षित किया गया था, लेकिन किस विशिष्ट पुस्तक ने उसे वह विशेष तथ्य सिखाया? यह "इंस्टेंस-बेस्ड एक्सप्लेनेशन" (instance-based explanations) की दुनिया है। वैज्ञानिक एक रोबोट के उत्तर को ठीक उसी प्रशिक्षण उदाहरण तक ट्रैक करने की कोशिश कर रहे हैं जिसने उसे प्रभावित किया था, लगभग एक जासूस की तरह जो उंगलियों के निशान की तलाश कर रहा हो। ऐसा करने के लिए, वे आमतौर पर रोबोट के "ग्रेडिएंट्स" (gradients) को देखते हैं। ग्रेडिएंट को एक विशाल, बहु-आयामी मानचित्र के रूप में सोचें जो यह दर्शाता है कि यदि रोबोट ने एक विशिष्ट वाक्य देखा तो उसका मस्तिष्क कैसे बदल जाएगा। समस्या यह है कि आधुनिक रोबोटों (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) के लिए, ये मानचित्र इतने विशाल होते हैं कि उन्हें ले जाना असंभव है। एक मानक मॉडल के लिए एक एकल मानचित्र 4 गीगाबाइट से अधिक मेमोरी लेता है—जो एक पूरी फिल्म फ़ाइल से भी अधिक है! इस कारण से, शोधकर्ताओं को इन मानचित्रों को प्रबंधनीय बनाने के लिए उन्हें सिकोड़ना पड़ता है। वे दो मुख्य तरकीबें आज़मा रहे थे: या तो मानचित्र के अधिकांश हिस्से को फेंक देना और केवल कुछ यादृच्छिक (random) टुकड़ों को रखना, या पूरे मानचित्र को एक छोटे, धुंधले सारांश में दबा देना। लेकिन वास्तव में कोई नहीं जानता था कि कौन सी तरकीब जासूस को सही किताब खोजने में मदद करने के लिए बेहतर थी।
यह शोध पत्र, जिसका शीर्षक "सेलेक्ट और प्रोजेक्ट?" (Select or Project?) है, इसी रहस्य को सुलझाने का प्रयास करता है। लेखकों, लुकास हिंटरलिटनर और वियना विश्वविद्यालय की उनकी टीम ने यह देखने के लिए एक नया परीक्षण स्थल बनाया कि क्या रोबोट के मस्तिष्क के कुछ महत्वपूर्ण हिस्सों को सावधानीपूर्वक चुनना (Selection) या पूरे मस्तिष्क को गणितीय रूप से एक छोटे स्थान में सिकोड़ना (Projection) बेहतर है। उन्होंने इस खेल का परीक्षण करने के लिए एक चतुर खेल का उपयोग किया: उन्होंने एक वाक्य लिया, उसे अलग तरीके से पुनर्गठित किया, और रोबोट के "ग्रेडिएंट्स" से भीड़ के बीच मूल वाक्य को खोजने के लिए कहा। यदि ग्रेडिएंट अच्छे हैं, तो वे सीधे मूल वाक्य की ओर इशारा करेंगे।
परिणाम आश्चर्यजनक थे। टीम ने पाया कि "सिकुड़ने" वाला तरीका (रैंडम प्रोजेक्शन), जो पूरे मानचित्र के आकार को बनाए रखने की कोशिश करता है, सबसे अच्छा जासूस नहीं था। इसके बजाय, एक विधि जिसे उन्होंने "ग्रीडी सिलेक्शन" (Greedy Selection) कहा, वह खेल जीत गई। यह दृष्टिकोण एक स्मार्ट लाइब्रेरियन की तरह है जो पूरी लाइब्रेरी नहीं पढ़ता बल्कि ठीक से जानता है कि कौन सी तीन अलमारियों में सबसे महत्वपूर्ण सुराग रखे हैं। रोबोट के आंतरिक हिस्सों के एक छोटा, विशिष्ट सेट (विशेष रूप से, वे परतें जो तर्क और शब्दों के कनेक्शन को संभालती हैं) को सावधानीपूर्वक चुनकर, उन्होंने एक छोटा, अत्यंत सटीक मानचित्र बनाया। अपने परीक्षणों में, इस लक्षित चयन ने न केवल सही प्रशिक्षण उदाहरण को खोजने में अधिक सटीकता दिखाई, बल्कि यह गणना करने में बहुत तेज़ और सस्ता भी था।
यहाँ मुख्य बात यह है: रोबोट के मस्तिष्क का पूर्ण, विशाल मानचित्र इस छोटे, सावधानीपूर्वक चुने गए उपसमूह की तुलना में खराब प्रदर्शन करता था। एक कठिन परीक्षण में, जहाँ रोबोट को एक पुनर्गठित प्रॉम्प्ट के आधार पर एक नई कहानी लिखनी थी, पूर्ण मानचित्र केवल 22% बार ही सही उत्तर दे पाया—जो अनुमान लगाने से मुश्किल से बेहतर था। हालाँकि, छोटा, चयनित समूह इसे लगभग 36% बार सही कर सका। लेखक सुझाव देते हैं कि पूर्ण मानचित्र वास्तव में "शोरयुक्त" (noisy) है, जो इतनी अतिरिक्त जानकारी से भरा है कि वह वास्तविक सुरागों को दबा देता है। केवल सबसे सूचनात्मक टुकड़ों को चुनकर, उन्होंने शोर को काट दिया और एक स्पष्ट संकेत प्राप्त किया।
शोध पत्र ने यह भी देखा कि रोबोट के मस्तिष्क के कौन से हिस्से सबसे अच्छे जासूस थे। उन्होंने पाया कि यह भाग के आकार के बारे में नहीं था; मस्तिष्क का एक छोटा सा हिस्सा भी एक बड़े हिस्से से अधिक उपयोगी हो सकता है। इसके बजाय, यह इस बारे में था कि वह हिस्सा क्या करता था। वे हिस्से जो रोबोट के आंतरिक तर्क (MLP लेयर्स) के लिए जिम्मेदार थे, वे विशिष्ट शब्दों पर ध्यान देने वाले हिस्सों (जैसे "की" (Key) और "वैल्यू" (Value) वाले अटेंशन मैकेनिज्म के हिस्से) की तुलना में सही प्रशिक्षण डेटा खोजने में बहुत बेहतर थे। दिलचस्प बात यह है कि रोबोट के प्रसंस्करण श्रृंखला (processing chain) के बिल्कुल शुरुआत और बिल्कुल अंत के हिस्से सबसे सहायक थे, जबकि बीच के हिस्से भ्रमित और कम उपयोगी प्रतीत हुए।
अंत में, लेखक निष्कर्ष निकालते हैं कि इन विशाल AI मॉडलों के काम करने के तरीके को समझाने के लिए, हमें पूरी तस्वीर की आवश्यकता नहीं है। हमें बस सही कुछ टुकड़ों की आवश्यकता है। उनकी "ग्रीडी सिलेक्शन" रणनीति इन स्पष्टीकरणों को संभव बनाने का एक व्यावहारिक, कुशल तरीका है जिसके लिए सैकड़ों घंटों तक चलने वाले सुपरकंप्यूटरों की आवश्यकता नहीं है। हालाँकि उन्होंने इसका परीक्षण लगभग 1.2 बिलियन पैरामीटर्स वाले एक विशिष्ट मॉडल पर किया, उनके निष्कर्ष बताते हैं कि AI पारदर्शिता के भविष्य के लिए, सब कुछ रखने के बजाय चुनिंदा होना कहीं बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।