DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models
यह शोध पत्र DecompressionLM को प्रस्तुत करता है, जो एक नियतात्मक (deterministic), ज़ीरो-शॉट ढांचा है जो पूर्व-निर्धारित प्रश्नों के बिना भाषा मॉडलों से अवधारणा ग्राफ (concept graphs) निकालने के लिए वैन डेर कॉर्पुट अनुक्रमों (Van der Corput sequences) और अंकगणितीय डिकोडिंग का लाभ उठाता है, यह प्रकट करते हुए कि एक्टिवेशन-अवेयर क्वांटाइजेशन अवधारणा कवरेज का महत्वपूर्ण विस्तार करता है जबकि यूनिफॉर्म क्वांटाइजेशन गंभीर पतन (collapse) का कारण बनता है—एक ऐसा अंतर जिसे मानक परप्लेक्सिटी मेट्रिक्स द्वारा नहीं पकड़ा जा सका है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: ब्लैक बॉक्स को खोलना
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, बंद लाइब्रेरी की तरह है। इसके अंदर इंटरनेट से सीखी गई अरबों तथ्य और विचार सुरक्षित हैं।
लंबे समय से, शोधकर्ता इसे देखने की कोशिश कर रहे थे कि इसके अंदर क्या है, जैसे कि लाइब्रेरी से विशिष्ट प्रश्न पूछकर, जैसे "हैमलेट किसने लिखा था?" या "फ्रांस की राजधानी क्या है?" यह एक पहले से लिखी गई शॉपिंग लिस्ट की तरह है। यदि आप केवल अपनी लिस्ट में मौजूद चीजों के बारे में ही पूछेंगे, तो आप कभी उन दुर्लभ, धूल भरी किताबों को नहीं खोज पाएंगे जो पीछे के कोनों में छिपी हुई हैं और जिनके अस्तित्व के बारे में आपको पता भी नहीं था।
DecompressionLM एक नया टूल है जो शॉपिंग लिस्ट का उपयोग करना बंद कर देता है। इसके बजाय, यह लाइब्रेरी के दरवाजे पूरी तरह से खोल देता है और लाइब्रेरी से कहता है कि वह बस "एक समय में एक कीवर्ड के माध्यम से उस विषय के बारे में जो कुछ भी वह जानती है, उसे बाहर निकाल दे।" इसका लक्ष्य पूरी लाइब्रेरी का मानचित्र बनाना है, न कि केवल उन हिस्सों का जिन्हें आप पहले से जानते हैं।
समस्या: "अमीर-ही-अमीर-बनेगा" (Rich-Get-Richer) का जाल
जब आप किसी मानक AI से कोई सूची बनाने के लिए कहते हैं, तो वह आमतौर पर बीम सर्च (Beam Search) नामक विधि का उपयोग करता है। इसे ऐसे समझें जैसे हाइकर्स (पदयात्रियों) का एक समूह पहाड़ पर सबसे अच्छा रास्ता खोजने की कोशिश कर रहा हो। वे सभी एक साथ रहते हैं, उस रास्ते का अनुसरण करते हैं जो सबसे अधिक ढलान वाला और आशाजनक दिखता है।
- समस्या: क्योंकि वे सभी एक ही "सर्वश्रेष्ठ" पथ का अनुसरण करते हैं, वे अंततः सबसे लोकप्रिय, उच्च-ट्रैफिक वाले रास्तों (जैसे सामान्य अवधारणाएं जैसे "टॉर्ट्स" या "कॉन्ट्रैक्ट लॉ") के आसपास चक्कर लगाते रहते हैं। वे उन शांत, अनछुए रास्तों को छोड़ देते हैं जहाँ दुर्लभ, दिलचस्प अवधारणाएं निवास करती हैं (लॉन्ग-टेल कॉन्सेप्ट्स)।
- परिणाम: AI आपको एक ऐसी सूची देता है जो दिखने में तो अच्छी लगती है लेकिन वास्तव में बहुत दोहराव वाली होती है और उस गहरे, विविध ज्ञान को मिस कर देती है जो उसके पास वास्तव में मौजूद है।
समाधान: "वैन डेर कॉर्पुट" (Van der Corput) कंपास
लेखकों ने लाइब्रेरी को एक्सप्लोर करने का एक नया तरीका बनाया जिसे DecompressionLM कहा जाता है। उन हाइकर्स को भेजने के बजाय जो एक-दूसरे की नकल करते हैं, वे हजारों स्वतंत्र खोजकर्ताओं को भेजते हैं, जिनमें से प्रत्येक के पास एक अद्वितीय, गणितीय रूप से सटीक कंपास है।
- कोई शॉपिंग लिस्ट नहीं: वे AI को यह नहीं बताते कि उसे क्या खोजना है। वे बस कहते हैं, "हमें कानूनी अवधारणाएं दें।"
- कंपास (Van der Corput Sequence): यह एक विशेष गणितीय पैटर्न है जो यह सुनिश्चित करता है कि खोजकर्ता पूरे मानचित्र पर समान रूप से फैल जाएं। वे एक साथ गुच्छों में नहीं होते; वे हर इंच क्षेत्र को कवर करते हैं, व्यस्त शहर के केंद्र से लेकर शांत जंगल तक।
- समानांतर अन्वेषण (Parallel Exploration): क्योंकि प्रत्येक खोजकर्ता स्वतंत्र है, उन्हें एक-दूसरे से बात करने की आवश्यकता नहीं है। आप उन्हें एक ही समय में अलग-अलग कंप्यूटरों पर हजारों की संख्या में चला सकते हैं बिना उनके भ्रमित हुए।
खोज: जब आप लाइब्रेरी को सिकोड़ते हैं तो क्या होता है?
शोधकर्ताओं ने इस टूल का परीक्षण उन मॉडलों पर किया जिन्हें छोटे कंप्यूटरों पर तेजी से चलाने के लिए "कंप्रेस" (सिकुड़ा) किया गया था। यह एक विशाल विश्वकोश को एक पॉकेट नोटबुक में फिट करने की कोशिश करने जैसा है।
उन्होंने किताब को सिकोड़ने के दो तरीकों की तुलना की:
- विधि A (यूनिफॉर्म स्क्वीज़/समान संकुचन): कल्पना कीजिए कि पूरी किताब को समान रूप से पिचका दिया गया है। कागज हर जगह पतला हो जाता है।
- विधि B (स्मार्ट स्क्वीज़ / AWQ): कल्पना कीजिए कि आप किताब को देख रहे हैं और महसूस कर रहे हैं कि कुछ पन्ने केवल फिलर (अनावश्यक सामग्री) हैं, जबकि कुछ में सबसे महत्वपूर्ण आरेख (डायग्राम) हैं। आप फिलर पन्नों को चपटा कर देते हैं लेकिन महत्वपूर्ण आरेखों को मोटा और स्पष्ट छोड़ देते हैं।
चौंका देने वाले परिणाम:
- "स्मार्ट स्क्वीज़" (AWQ): भले ही किताब छोटी थी, इस विधि ने वास्तव में मूल, अनकंप्रेस्ड संस्करण की तुलना में अधिक अवधारणाओं को प्रकट किया! यह ऐसा था जैसे संकुचन की प्रक्रिया ने किसी तरह कोहरे को साफ कर दिया हो, जिससे AI को उस दुर्लभ, लॉन्ग-टेल ज्ञान तक पहुँच प्राप्त हुई जिसे वह पहले छिपा रहा था।
- "यूनिफॉर्म स्क्वीज़" (GPTQ): यह तरीका एक आपदा था। इसने केवल किताब को छोटा नहीं किया; इसने दुर्लभ पन्नों को फाड़ दिया। AI अभी भी सामान्य चीजों के बारे में बात कर सकता था, लेकिन इसने दुर्लभ अवधारणाओं को उत्पन्न करने की लगभग पूरी क्षमता खो दी। ज्ञान का "मानचित्र" खंडित और टूटा हुआ हो गया।
ट्विस्ट: "फ्लुएंसी" (प्रवाह) का झूठ
आमतौर पर, जब हम चेक करते हैं कि एक कंप्रेस्ड AI काम कर रहा है या नहीं, तो हम परप्लेक्सिटी (Perplexity) देखते हैं (एक स्कोर जो मापता है कि AI कितना "भ्रमित" सुनाई देता है)।
- पेपर का निष्कर्ष: "यूनिफॉर्म स्क्वीज़" मॉडलों की परप्लेक्सिटी स्कोर बहुत अच्छी थी। वे किसी अवधारणा की व्याख्या करते समय बहुत सहज और प्रवाहपूर्ण सुनाई देते थे। लेकिन, जब शोधकर्ताओं ने यह देखने के लिए DecompressionLM का उपयोग किया कि मॉडल वास्तव में किन अवधारणाओं को उत्पन्न कर सकता है, तो उन्होंने पाया कि मॉडल ने 70-80% ज्ञान खो दिया था।
- उपमा: यह एक ऐसे व्यक्ति की तरह है जो पूरी तरह से धाराप्रवाह अंग्रेजी बोल सकता है लेकिन उसने 80% शब्दावली भूल गया है। वे "बिल्ली" और "कुत्ते" के बारे में सहजता से बात कर सकते हैं, लेकिन यदि आप उनसे "क्वांटम फिजिक्स" या "18वीं सदी के समुद्री कानून" के बारे में पूछेंगे, तो वे शब्द नहीं ढूंढ पाएंगे। उनकी चिकनी बातचीत ने इस तथ्य को छिपा लिया कि ज्ञान गायब हो चुका था।
हैलुसिनेशन (Hallucination) की जांच
यह सुनिश्चित करने के लिए कि AI केवल मनगढ़ंत बातें तो नहीं बना रहा है, शोधकर्ताओं ने उत्पन्न कानूनी अवधारणाओं की जांच अमेरिकी अदालती मामलों के वास्तविक डेटाबेस के विरुद्ध की।
- परिणाम: सबसे अच्छे मॉडल (मानक परीक्षणों पर शीर्ष रैंक वाले) में बहुत कम "हैलुसिनेशन" (नकली अवधारणाएं) थे। सबसे खराब मॉडल में एक बड़ा अंतर था: वे कई ऐसी अवधारणाएं उत्पन्न कर रहे थे जो वास्तविक कानून में मौजूद नहीं थीं।
- टेकअवे: एक मॉडल जो मानक परीक्षणों पर अच्छा स्कोर करता है लेकिन इस "ज्ञान मानचित्र" परीक्षण में विफल रहता है, वह उस छात्र की तरह है जिसने अभ्यास परीक्षण के उत्तर रट लिए हैं लेकिन वास्तव में विषय को नहीं समझा है।
सारांश
DecompressionLM AI मॉडलों को "ऑडिट" करने का एक नया तरीका है। यह AI से विशिष्ट प्रश्न पूछना बंद करता है और इसके बजाय इसे अपने पूरे ज्ञान मानचित्र को प्रकट करने के लिए मजबूर करता है। पेपर दिखाता है कि:
- AI मॉडलों को छोटा करने के मानक तरीके (Quantization) उनकी दुर्लभ ज्ञान तक पहुँचने की क्षमता को नष्ट कर सकते हैं, भले ही वे अभी भी प्रवाहपूर्ण सुनाई दें।
- एक विशिष्ट "स्मार्ट" छोटा करने की विधि (AWQ) वास्तव में मॉडलों को अधिक विविध ज्ञान तक पहुँचने में मदद करती है।
- हमें AI को टेस्ट करने के नए तरीकों की आवश्यकता है जो इस पर ध्यान केंद्रित करें कि वह कितना जानता है, न कि केवल इस पर कि वह जो पहले से जानता है उसके बारे में कितनी अच्छी तरह बात करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।