Compressed code: the hidden effects of quantization and distillation on programming tokens
यह शोध पत्र इस बात की जांच करता है कि कैसे मॉडल अनुकूलन तकनीकें—जैसे कि क्वांटाइजेशन, डिस्टिलेशन और स्केलिंग—एक नवीन कोल्ड-स्टार्ट प्रोबेबिलिटी विश्लेषण और व्यवस्थित शब्दावली मूल्यांकन के माध्यम से लार्ज लैंग्वेज मॉडल्स के टोकन-लेवल रिप्रेजेंटेशन और कोड जनरेशन की गुणवत्ता को प्रभावित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"सिकुड़ता हुआ मस्तिष्क" की समस्या: संकुचित (Compressed) AI को कोडिंग करना क्यों भूल जाता है
कल्पना कीजिए कि आपके पास एक विश्व स्तरीय मास्टर शेफ है। यह शेफ अस्तित्व में मौजूद हर रेसिपी को जानता है, जटिल फ्रेंच पेस्ट्री से लेकर टोक्यो के स्ट्रीट फूड तक। वे केवल सामग्री को ही नहीं जानते; वे खाना पकाने की "आत्मा" को समझते हैं—कि सॉस के गाढ़ा होने का सटीक क्षण क्या है या कैसे एक विशिष्ट मसाला किसी व्यंजन को बदल देता है।
अब, कल्पना कीजिए कि आप इस मास्टर शेफ को एक "पॉकेट शेफ" में बदलना चाहते हैं—एक छोटा, स्वचालित कुकिंग मशीन जो आपके स्मार्टफोन में फिट हो सके। इसे फिट करने के लिए, आपको दो काम करने होंगे:
- क्वांटाइजेशन (Quantization): आप शेफ के उच्च-स्तरीय, सटीक तराजू को बदलकर साधारण मापने वाले चम्मचों से बदल देते हैं।
- डिस्टिलेशन (Distillation): आप शेफ को सब कुछ सीखने के लिए मजबूर करते हैं, लेकिन केवल दूसरे शेफ द्वारा लिखे गए "सारांश" को पढ़कर, न कि खुद भोजन का स्वाद चखकर।
पेपर "कंप्रेस्ड कोड" (Compressed Code) एक वैज्ञानिक जांच है कि जब हम AI को सिकोड़ने की कोशिश करते हैं तो उसके "मस्तिष्क" के साथ क्या होता है। विशेष रूप से, यह देखता है कि क्या ये "पॉकेट शेफ" कंप्यूटर प्रोग्रामिंग के "व्याकरण" को अभी भी समझते हैं।
1. शब्दावली परीक्षण: क्या वे एक ही भाषा बोलते हैं?
शोधकर्ताओं ने सबसे पहले AI द्वारा उपयोग किए जाने वाले "शब्दकोश" (टोकनाइज़र) की जांच की। वे देखना चाहते थे कि क्या "कोडिंग AI" के पास कोडिंग के लिए विशेष शब्द हैं, या वे केवल नियमित AI की तरह ही शब्दों का उपयोग करते हैं।
चौंकाने वाला तथ्य: यह सामने आया कि अधिकांश कोडिंग AI किसी विशेष "गुप्त कोड" वाले शब्दकोश का उपयोग नहीं कर रहे हैं। वे उसी शब्दकोश का उपयोग कर रहे हैं जो एक सामान्य AI उपयोग करता है जो ईमेल या कविता लिखता है। यह ऐसा ही है जैसे यह पता चलना कि एक पेशेवर गणितज्ञ और एक कवि दोनों एक ही अंग्रेजी शब्दकोश का उपयोग कर रहे हैं। अंतर उनके पास मौजूद शब्दों में नहीं है; बल्कि इस बात में है कि वे उनका उपयोग कैसे करते हैं।
2. "कोल्ड स्टार्ट" टेस्ट: सोता हुआ मस्तिष्क
शोधकर्ताओं ने AI का परीक्षण करने के लिए एक चतुर तरीका विकसित किया जिसे "कोल्ड स्टार्ट" (Cold Start) विधि कहा जाता है।
कल्पना कीजिए कि आप एक शेफ से पूछते हैं, "बिना किसी सामग्री के, बस खाना पकाने के बारे में बात करना शुरू करो।" यदि वे तुरंत "नमक, गर्मी और सॉट (sauté)" के बारे में बात करने लगते हैं, तो उनकी नींव मजबूत है। यदि वे केवल "चम्मच, चम्मच, चम्मच" शब्द को दोहराने लगते हैं, तो उन्होंने विषय से अपना संपर्क खो दिया है।
यह देखकर कि AI क्या "सोचता" है जब उसे अभी तक कोई प्रॉम्प्ट (निर्देश) भी नहीं दिया गया है, शोधकर्ता यह देख सके कि क्या AI का मस्तिष्क स्वाभाविक रूप से कोड के लिए बना है या यह केवल "शोर" (noise) है।
3. सिकुड़ने के दुष्प्रभाव (पेपर का मुख्य भाग)
यहीं पर शोधकर्ताओं को सबसे महत्वपूर्ण—और थोड़ा डरावने—परिणाम मिले:
"शोर" की समस्या (क्वांटाइजेशन): जब आप क्वांटाइजेशन (परिशुद्धता कम करके) का उपयोग करके एक AI को सिकोड़ते हैं, तो आप उम्मीद कर सकते हैं कि यह मूर्ख हो जाएगा। लेकिन आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि मध्यम स्तर का सिकुड़ना वास्तव में मदद कर सकता है! यह एक ऐसे शेफ की तरह है जो मापन में थोड़ा कम सटीक हो जाता है लेकिन सूक्ष्म, बेकार विवरणों में ध्यान भटकने के बजाय वास्तविक सामग्रियों पर अधिक केंद्रित हो जाता है। हालांकि, यदि आप इसे बहुत अधिक सिकोड़ देते हैं, तो यह "हकलाने" लगता है—वास्तविक कोड के बजाय ब्रैकेट और स्पेस के अंतहीन लूप (सिंटैक्टिक शोर) उत्पन्न करने लगता है।
"नकलची" की समस्या (डिस्टिलेशन): यह सबसे बड़ा रेड फ्लैग (चेतावनी का संकेत) था। जब उन्होंने डिस्टिलेशन (एक छोटे AI को बड़े AI से सीखने के लिए प्रेरित करना) का उपयोग किया, तो कोडिंग क्षमता तेजी से गिर गई। शोधकर्ताओं ने पाया कि छोटे "छात्र" AI ने वास्तविक प्रोग्रामिंग कीवर्ड्स का उपयोग करने की अपनी क्षमता का 97% तक नुकसान कर दिया।
importयाfunctionकहने के बजाय, वे ब्रैकेट और कोष्ठक जैसे "विशेष वर्णों" के प्रति जुनूनी होने लगे।- उपमा: यह एक ऐसे छात्र की तरह है जो केवल एक संगीत कार्यक्रम के सारांश को पढ़कर संगीत सीखने की कोशिश करता है। वे संगीत के नोट को पूरी तरह से बनाना सीख सकते हैं, लेकिन वे वास्तव में एक धुन (melody) कैसे बजाते हैं, यह पूरी तरह से भूल सकते हैं।
"निर्देश" का जाल: उन्होंने पाया कि जब आप एक छोटे AI को "निर्देशों का पालन करने" (जैसे "मेरे लिए एक पायथन स्क्रिप्ट लिखें") के लिए सिखाने की कोशिश करते हैं, तो यह अक्सर समस्या को और खराब कर देता है। AI इस बात पर इतना केंद्रित हो जाता है कि वह निर्देश का पालन करने का अभिनय करे, और इस प्रक्रिया में वह कोड के वास्तविक तर्क (logic) को भूल जाता है।
निष्कर्ष
यदि आप एक ऐसी कंपनी हैं जो एक ऐसा ऐप बना रही है जो प्रोग्रामर्स को कोड लिखने में मदद करने के लिए AI का उपयोग करता है, तो यह पेपर एक चेतावनी लेबल है।
यह हमें बताता है कि जबकि हम AI को तेज़ और सस्ता बनाने के लिए इसे सिकोड़ सकते हैं, हम एक खतरनाक खेल खेल रहे हैं। यदि हम इसे बहुत अधिक सिकोड़ देते हैं या गलत "शिक्षण" विधियों का उपयोग करते हैं, तो हमारे पास एक ऐसा AI हो सकता है जो कोडर की तरह दिखता है (वह सभी सही ब्रैकेट और प्रतीकों का उपयोग करता है) लेकिन उसका तर्क एक टूटे हुए कैलकुलेटर जैसा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।