Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D
यह शोध पत्र यह प्रदर्शित करता है कि मानक 1D पोजीशनल एनकोडिंग की सीमाओं के कारण फ्रंटियर लैंग्वेज मॉडल्स टेक्स्ट को कॉपी करने में संघर्ष करते हैं, और 2D-RoPE का प्रस्ताव करता है, जो एक ऐसी विधि है जो टेक्स्ट को 2D ग्रिड में व्यवस्थित करती है ताकि सिंथेटिक और बड़े पैमाने के प्रीट्रेनिंग कार्यों दोनों में बेहतर कॉपी करने के प्रदर्शन और सामान्यीकरण को सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को पढ़ना और लिखना सिखा रहे हैं। आप उसे किताबों का एक विशाल पुस्तकालय देते हैं, और वह एक वाक्य में अगले शब्द की अविश्वसनीय सटीकता के साथ भविष्यवाणी करना सीख जाता है। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, और यह आज हमारे द्वारा उपयोग किए जाने वाले कई एआई (AI) टूल्स के पीछे का मस्तिष्क है। लेकिन यहाँ एक पेंच है: ये रोबट मनुष्यों की तरह "पढ़ते" नहीं हैं। वे टेक्स्ट को एक धागे पर पिरोए गए मोतियों की एक लंबी, एकल रेखा के रूप में देखते हैं। उस रेखा में वे कहाँ हैं, यह समझने के लिए, वे "पोजीशनल एनकोडिंग" (positional encoding) नामक चीज़ का उपयोग करते हैं। इसे हर मोती पर लगे अदृश्य लेबल के सेट के रूप में सोचें, जो रोबोट को बताते हैं, "आप पाँचवाँ मोती हैं," या "आप सौवाँ मोती हैं।"
लंबे समय तक, वैज्ञानिकों को लगा कि ये रोबोट इतने स्मार्ट हो रहे हैं कि वे लगभग किसी भी पहेली को हल कर सकते हैं। लेकिन एक अजीब, शर्मनाक गड़बड़ी थी जिसे वे ठीक नहीं कर सके। यदि आप रोबोट को संख्याओं या अक्षरों की एक स्ट्रिंग को बिल्कुल वैसा ही कॉपी करने के लिए कहते जैसा उसने उन्हें देखा था, तो वह कभी-कभी विफल हो जाता था, भले ही वह स्ट्रिंग इतनी छोटी हो कि उसकी मेमोरी में समा सके। यह एक इंसान से किताब से एक वाक्य को कॉपी करने के लिए कहने जैसा है, और वे गलती से एक शब्द छोड़ देते हैं या दो अक्षरों को बदल देते हैं क्योंकि वे इस बात को लेकर भ्रमित हो जाते हैं कि वे रेखा में कहाँ थे। बड़ा सवाल यह था: जो मशीन कविता लिख सकती है और गणित की समस्याओं को हल कर सकती है, वह सिर्फ एक सूची को कॉपी करने में क्यों संघर्ष करती है?
यह शोध पत्र ठीक इसी रहस्य की जांच करता है। लेखकों ने, जो त्सिंगहुआ विश्वविद्यालय के शोधकर्ताओं की एक टीम है, पाया कि रोबोट के "लेबल" (पोजीशनल एनकोडिंग) वास्तव में समस्या थे। टेक्स्ट को लेबल करने का मानक तरीका रोबोट के लिए उस सटीक स्थान को ढूँढना कठिन बना देता है जिसकी उसे कॉपी करने की आवश्यकता है, विशेष रूप से तब जब टेक्स्ट में दोहराव वाले पैटर्न हों। विशिष्ट स्थिति को देखने के बजाय, रोबोट पास में मौजूद समान दिखने वाले टेक्स्ट के टुकड़ों से विचलित हो जाता है। इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया विचार आजमाया: क्या होगा यदि हम टेक्स्ट को एक एकल लंबी रेखा के रूप में मानने के बजाय, इसे एक ग्रिड की तरह व्यवस्थित करें, जैसे कि पंक्तियों और स्तंभों वाली एक स्प्रेडशीट? उन्होंने एक नई प्रणाली बनाई जिसे 2D-RoPE कहा गया।
जब उन्होंने इस नई प्रणाली का परीक्षण किया, तो परिणाम आश्चर्यजनक थे। अपने प्रयोगों में, 2D ग्रिड का उपयोग करने वाले मॉडलों ने स्ट्रिंग्स को पूरी तरह से कॉपी किया, यहाँ तक कि उन स्ट्रिंग्स को भी जो उनके प्रशिक्षण के दौरान देखी गई किसी भी चीज़ से सैकड़ों गुना लंबी थीं। इसके विपरीत, मानक मॉडल विफल होते रहे। शोधकर्ताओं ने दिखाया कि टेक्स्ट को पंक्तियों और स्तंभों में व्यवस्थित करके, कॉपी करने का कार्य रोबोट के लिए बहुत सरल हो जाता है: उसे बस ऊपर वाली पंक्ति के उसी स्तंभ को देखना होता है। उन्होंने एक स्मार्ट संस्करण भी बनाया जिसे Auto-2D-RoPE कहा जाता है जो ग्रिड संरचना को खुद समझ सकता है, भले ही टेक्स्ट में स्पष्ट लाइन ब्रेक न हों।
यह शोध पत्र सुझाव देता है कि डेटा को व्यवस्थित करने के तरीके में यह सरल बदलाव एआई को कॉपी करने और फॉर्मेटिंग जैसे बुनियादी कार्यों में बहुत बेहतर बना सकता है, जो कच्चे डेटा को कोड में बदलने जैसे कार्यों के लिए महत्वपूर्ण हैं। जबकि शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यह नई विधि सरल कॉपी करने के कार्यों के लिए कैसे काम करती है और बड़े पैमाने पर परीक्षणों में दिखाया कि यह काम करती है, वे यह भी नोट करते हैं कि यह अभी भी सक्रिय अध्ययन का एक क्षेत्र है। उन्हें उम्मीद है कि यह खोज दूसरों को यह सोचने के लिए प्रोत्साहित करेगी कि एआई टेक्स्ट को कैसे "देखता" है, यह साबित करते हुए कि कभी-कभी, दुनिया को दो आयामों में देखना एक सीधी रेखा में देखने से बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।