Emergent retokenization symmetry in large language models: phenomenology and applications
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल प्रशिक्षण के दौरान अर्थपूर्ण रूप से समान टोकन विभाजन (token segmentations) के प्रति आंशिक रूप से एक उभरती हुई समरूपता (emergent symmetry) विकसित करते हैं, जो यह प्रकट करता है कि "री-टोकनाइज़ेशन" (retokenization)—कैनोनिकल टोकनाइज़ेशन को वैकल्पिक वैध विभाजनों से बदलना—रचनात्मक समझ (compositional understanding) के लिए एक स्वच्छ प्रोब (clean probe) के रूप में कार्य करता है और एक नवीन इन्फरेंस-टाइम सैंपलिंग रणनीति है जो उन समाधानों को पुनः प्राप्त करने में सक्षम है जिन्हें पारंपरिक विधियों द्वारा छोड़ दिया गया था।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं, लेकिन पूरे शब्दों को पढ़ने के बजाय, किताब एक अजीब कोड में छपी है जहाँ हर शब्द को अलग-अलग आकार के टुकड़ों में तोड़ दिया गया है। कभी "probable" एक ही टुकड़े में होता है। दूसरी बार, यह दो टुकड़ों में होता है: "prob" और "able."
लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, वे बिल्कुल इसी तरह पढ़ते हैं। वे अक्षर नहीं देखते; वे "टोकन" (टेक्स्ट के टुकड़े) देखते हैं। आमतौर पर, कंप्यूटर का एक सख्त नियम पुस्तिका (टोकेनाइज़र) होती है जो कहती है, "हमेशा 'probable' को 'prob' और 'able' में तोड़ें।" यह कैनोनिकल (canonical) तरीका है।
यह शोध पत्र एक दिलचस्प सवाल पूछता है: क्या होगा अगर हम नियमों को तोड़ दें? क्या होगा अगर हम मॉडल को बिल्कुल वही वाक्य दें, लेकिन उसे अलग तरह से काट दिया जाए (जैसे, "pro" + "b" + "able")? क्या मॉडल भ्रमित हो जाएगा, या वह अभी भी अर्थ समझ जाएगा?
लेखक इस प्रक्रिया को री-टोकेनाइज़ेशन (Retokenization) कहते हैं। यहाँ उन्होंने जो पाया, उसे सरल रूप में समझाया गया है:
1. मॉडल की "गुप्त भाषा"
शोधकर्ताओं ने पाया कि भले ही मॉडल को हमेशा शब्दों को "मानक" तरीके से पढ़ने के लिए प्रशिक्षित किया गया है, लेकिन वह गुप्त रूप से "गैर-मानक" तरीकों को भी समझता है।
- उपमा: कल्पना कीजिए कि एक शेफ को प्याज को एकदम सटीक, समान क्यूब्स में काटने के लिए प्रशिक्षित किया गया है। यदि आप उन्हें असमान, अजीब आकार में कटे हुए प्याज का ढेर थमा दें, तो भी वे सूप बना सकते हैं। वे समझते हैं कि "प्याज" "प्याज" ही है, चाहे उसका आकार कैसा भी हो।
- निष्कर्ष: मॉडल इन अजीब आकारों के प्रति पूरी तरह से अंधा नहीं है। वह अभी भी गणित कर सकता है, कोड लिख सकता है, या सवाल का जवाब दे सकता है। हालाँकि, यह पूरी तरह से अंधा भी नहीं है। अजीब आकार मॉडल के आंतरिक "मस्तिष्क" (इसके हिडन स्टेट्स) को थोड़ा अलग तरह से काम करने पर मजबूर करते हैं। यह ऐसा है जैसे शेफ थोड़ा अधिक तनाव में होता है जब प्याज अजीब तरह से कटा होता है, भले ही सूप का स्वाद ठीक ही रहे।
2. "पासा फेंकने" का एक नया तरीका
जब हम किसी AI से कोई समस्या हल करने के लिए कहते हैं, तो हम आमतौर पर इसे कुछ बार कोशिश करने और यह देखने के लिए कहते हैं कि कौन सा उत्तर सबसे अच्छा है। इसे टेम्परेचर सैंपलिंग (Temperature Sampling) कहा जाता है। यह पासा फेंकने जैसा है यह देखने के लिए कि AI आगे क्या कहता है।
शोधकर्ताओं ने एक नया तरीका खोजा है: री-टोकेनाइज़ेशन सैंपलिंग (Retokenization Sampling)।
- उपमा: कल्पना कीजिए कि आप एक भूलभुलैया (maze) सुलझाने की कोशिश कर रहे हैं।
- स्टैंडर्ड सैंपलिंग: आप एक ही रास्ते पर चलते हैं, लेकिन हर बार जब आप किसी मोड़ पर पहुँचते हैं, तो आप बाएं या दाएं जाने का निर्णय लेने के लिए एक सिक्का उछालते हैं।
- री-टोकेनाइज़ेशन सैंपलिंग: आप वही रास्ता चलते हैं, लेकिन आप मैप (नक्शे) को थोड़ा बदल देते हैं। शायद आप दीवारों को फिर से खींच देते हैं या मोड़ों पर लेबल बदल देते हैं। भले ही मंजिल वही हो, लेकिन नया मैप आपके दिमाग को वहां तक पहुँचने के लिए एक अलग रास्ता लेने के लिए मजबूर करता है।
- परिणाम: कभी-कभी, यह "नया मैप" AI को वह समाधान खोजने में मदद करता है जो उसने मानक मैप का उपयोग करते समय छोड़ दिया था। यह एक छिपे हुए दरवाजे को खोजने जैसा है जिसे आप केवल तभी देख पाते हैं जब आप ब्लूप्रिंट को एक अलग कोण से देखते हैं।
3. यह कहाँ काम करता है (और कहाँ नहीं)
इस पेपर का परीक्षण तीन प्रकार के कार्यों पर किया गया:
- गणित (GSM8K): मॉडल ने ठीक-ठाक प्रदर्शन किया। अजीब तरह से काटने से ज्यादा मदद नहीं मिली, लेकिन इससे मॉडल टूटा भी नहीं।
- बहुविकल्पीय प्रश्न (MMLU): मॉडल यहाँ बहुत संवेदनशील था। टुकड़ों को बदलने से इसके गलत उत्तर देने की संभावना थोड़ी बढ़ गई।
- कोडिंग (HumanEval): यहाँ यह रोमांचक हो गया। कोडिंग में एक ही समस्या को हल करने के कई तरीके होते हैं। शोधकर्ताओं ने पाया कि कोड को काटने के तरीके को बदलकर, AI कभी-कभी प्रोग्राम लिखने के बिल्कुल अलग और सही तरीके खोज लेता, जो वह अन्यथा नहीं खोज पाता।
4. रचनात्मकता की कीमत
इसमें एक पेच है।
- उपमा: कल्पना कीजिए कि आप एक किताब तेजी से पढ़ने की कोशिश कर रहे हैं।
- मानक तरीका: आप शब्दों को सामान्य रूप से पढ़ते हैं।
- री-टोकेनाइज़ेशन तरीका: आपको पढ़ने से पहले हर शब्द को फिर से काटने के लिए रुकना पड़ता है।
- निष्कर्ष: क्योंकि मॉडल को इन "अजीब तरह से कटे हुए" शब्दों को प्रोसेस करना पड़ता है, इसलिए उत्तर प्राप्त करने के लिए इसमें अधिक कंप्यूटर पावर (और समय) लगता है। यह मानक तरीके की तुलना में कम कुशल है। शोध पत्र निष्कर्ष निकालता है कि हालांकि यह विधि नए समाधान खोजने (विशेष रूप से कोडिंग में) के लिए एक शानदार उपकरण है, लेकिन यह AI का उपयोग करने के मानक तरीके को बदलने के लिए कोई जादुई समाधान नहीं है क्योंकि यह धीमा और महंगा है।
सारांश
यह पेपर दिखाता है कि AI मॉडल हमारी सोच से कहीं अधिक स्मार्ट हैं। वे केवल शब्दों को पढ़ने के एक तरीके को याद नहीं करते; उनके पास एक लचीली समझ है जो उन्हें एक ही टेक्स्ट के विभिन्न "कटिंग" को संभालने की अनुमति देती है।
जानबूझकर टेक्स्ट को अजीब टुकड़ों में तोड़कर, शोधकर्ता AI को थोड़े अलग तरीकों से सोचने के लिए मजबूर कर सकते हैं, जिससे कभी-कभी वे सही उत्तर (विशेष रूप से कोडिंग में) मिल जाते हैं जिन्हें वे अन्यथा छोड़ देते। यह AI के सोचने के तरीके को समझने के लिए एक नया उपकरण है, जो यह साबित करता है कि कंप्यूटर को जानकारी कैसे दी जाती है, यह उतनी ही महत्वपूर्ण है जितना कि वह जानकारी स्वयं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।