Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion
यह शोध पत्र यह प्रदर्शित करता है कि लेक्सिकल व्यवधान (lexical perturbations) टोकनाइज़ेशन को खंडित करके और ट्रांसफॉर्मर परतों में अटेंशन को विचलित करके LLM तर्क क्षमता को गंभीर रूप से कम कर देते हैं, एक ऐसा संयुक्त प्रभाव जो इन्फरेंस-टाइम मरम्मत रणनीतियों को अप्रभावी बना देता है क्योंकि वे दूषित सामग्री और अटेंशन एलोकेशन दोनों को एक साथ बहाल करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के इंजन हैं, जो जटिल निर्देशों को पढ़ने, गणित की समस्याओं को हल करने और मानवीय संवेदनाओं वाली बातचीत करने में सक्षम हैं। ये सिस्टम टेक्स्ट को छोटे टुकड़ों में तोड़कर काम करते हैं जिन्हें 'टोकन्स' कहा जाता है, जो मॉडल के लिए अर्थ समझने हेतु निर्माण खंडों (building blocks) की तरह कार्य करते हैं। जब कोई इंसान किसी वाक्य में टाइपिंग की गलती (typo) देखता है, तो उसका मस्तिष्क सहजता से उस त्रुटि को नजरअंदाज कर देता है और इच्छित संदेश को समझ लेता है। वर्षों तक, शोधकर्ताओं ने यह माना कि ये शक्तिशाली कंप्यूटर मॉडल भी इसी तरह की लचीलापन साझा करते हैं, और उनका मानना था कि मामूली वर्तनी की गलतियाँ या अजीब शब्दावली उनके तर्क करने की क्षमता को महत्वपूर्ण रूप से बाधित नहीं करेगी। यह प्रश्न कि वास्तविक, रोजमर्रा की त्रुटियों का सामना करने पर ये सिस्टम वास्तव में कितने नाजुक हैं, काफी हद तक अनसुलझा रहा है, जिससे साफ-सुथरे डेटा पर उनके प्रभावशाली प्रदर्शन और वास्तविक दुनिया की अव्यवस्था में उनकी विश्वसनीयता के बीच एक अंतर बना हुआ है।
एक हालिया अध्ययन ने चार अलग-अलग लार्ज लैंग्वेज मॉडल्स के यह परीक्षण करके इस अंतर को भरने का प्रयास किया कि वे टेक्स्ट के तीन विशिष्ट प्रकार के भ्रष्टाचार (corruption) को कैसे संभालते हैं। शोधकर्ताओं ने मानक तर्क कार्यों (reasoning tasks) को लिया, जैसे कि भौतिक विज्ञान के बारे में प्रश्न पूछना या बहु-चरणीय गणित की समस्याओं को हल करना, और उनमें वास्तविक त्रुटियां शामिल कीं। उन्होंने तेजी से टाइपिंग की गलतियों का अनुकरण किया जहाँ इच्छित कुंजी के बगल वाली कुंजी दब जाती है, शब्दों के भीतर पड़ोसी अक्षरों को आपस में बदल दिया गया, और वाक्यों को लंबा करने के लिए "um" या "you know" जैसे संवादात्मक फिलर्स जोड़े गए। लक्ष्य यह देखना था कि क्या मॉडल अभी भी सही उत्तर खोज सकता है जब टेक्स्ट थोड़ा टूटा हुआ दिखता है, और यह समझना कि वे विफल क्यों होते हैं।
परिणामों ने इस बात का खुलासा किया कि मॉडल्स की प्रतिक्रिया में एक तीव्र और आश्चर्यजनक विभाजन था। जब शोधकर्ताओं ने संवादात्मक फिलर्स जोड़े, तो मॉडल्स ने बिल्कुल वैसा ही प्रदर्शन किया जैसा उन्होंने साफ-सुथरे टेक्स्ट पर किया था, भले ही वाक्य लंबे हो गए थे। हालांकि, जब उन्होंने वर्ण-स्तर (character-level) की त्रुटियों जैसे कि टाइपो या बदले हुए अक्षरों को पेश किया, तो मॉडल्स की सटीकता तेजी से गिर गई। यह गिरावट बहु-चरणीय गणितीय तर्क वाले कार्यों में सबसे गंभीर थी, जहाँ एक एकल टाइपो मॉडल को पूरी तरह से रास्ता भटका सकता है। अध्ययन ने दिखाया कि विफलता का कारण टेक्स्ट की अतिरिक्त लंबाई नहीं थी, बल्कि जिस विशिष्ट तरीके से कंप्यूटर शब्दों को टुकड़ों में तोड़ता है, वह था। जब कोई शब्द गलत वर्तनी वाला होता है, तो कंप्यूटर का आंतरिक शब्दकोश उसे एक एकल इकाई के रूप में पहचान नहीं पाता है। इसके बजाय, वह शब्द को अजीब, अपरिचित टुकड़ों में विभाजित कर देता है।
शोधकर्ताओं ने इस विफलता के कारण का पता लगाया जिसे वे 'अटेंशन डायवर्जन' (attention diversion) कहते हैं। एक सुचारू रूप से कार्य करने वाले मॉडल में, सिस्टम अपनी कम्प्यूटेशनल ऊर्जा वाक्य के सबसे महत्वपूर्ण हिस्सों पर केंद्रित करता है, जैसे कि गणित की समस्या में संख्याएं या किसी कहानी के मुख्य तथ्य। जब एक शब्द अजीब टुकड़ों में विभाजित हो जाता है, तो ये टुकड़े एक चुंबक की तरह कार्य करते हैं, जो मॉडल के ध्यान को महत्वपूर्ण साक्ष्यों से हटाकर टेक्स्ट के टूटे हुए हिस्सों की ओर खींच लेते हैं। मॉडल समाधान के बजाय टाइपो को ही निहारता रह जाता है। यह व्याकुलता मॉडल के प्रसंस्करण (processing) के मध्य और अंतिम चरणों में सबसे अधिक हानिकारक होती है, जहाँ वह उत्तर बनाने के लिए जानकारी को संयोजित करने का प्रयास करता है। अध्ययन ने पुष्टि की कि शब्द का विखंडन ही ध्यान की इस कमी का कारण है, न कि वाक्य की लंबाई।
यह समझने के लिए कि इसे ठीक करना इतना कठिन क्यों है, शोधकर्ताओं ने प्रयोगों की एक श्रृंखला की जहाँ उन्होंने समस्या को अलग से ठीक करने का प्रयास किया। उन्होंने मॉडल के ध्यान को वाक्य के सही हिस्सों पर बहाल करने का प्रयास किया जबकि टाइपो को यथावत रखा, और उन्होंने टाइपो को ठीक करने का प्रयास किया जबकि मॉडल का ध्यान भ्रमित रहने दिया। इनमें से कोई भी दृष्टिकोण अकेले काम नहीं आया। वास्तव में, ध्यान को ठीक करने के बावजूद यदि टेक्स्ट टूटा हुआ रहता, तो मॉडल का प्रदर्शन वास्तव में और खराब हो जाता, क्योंकि अब वह गलत जानकारी को बहुत ध्यान से देख रहा था। अध्ययन में पाया गया कि टेक्स्ट को नुकसान और मॉडल का ध्यान भटकना गहराई से जुड़े हुए हैं; उन्हें अलग नहीं किया जा सकता। मॉडल इनपुट को समझने के लिए शब्दों के विशिष्ट आकार पर निर्भर करता है, और जब वह आकार टूट जाता है, तो मॉडल का ध्यान भी उसके साथ खिंच जाता है।
यह जुड़ाव स्पष्ट करता है कि प्रदर्शन में सुधार के सामान्य तरीके, जैसे कि मॉडल को चरण-दर-चरण सोचने के लिए कहना या मुख्य कार्य से पहले स्पेल-चेकर का उपयोग करना, अक्सर खोई हुई सटीकता को वापस पाने में क्यों विफल रहते हैं। ये विधियाँ आमतौर पर समस्या के केवल एक पक्ष को ठीक करने का प्रयास करती हैं—या तो टेक्स्ट को या फोकस को—जबकि दूसरा पक्ष टूटा हुआ रहता है। शोधकर्ताओं ने यह भी खोजा कि विफलता की गंभीरता इस बात पर निर्भर करती है कि किस प्रकार की जानकारी दूषित हुई है। यदि टाइपो गणित की समस्या में किसी संख्या पर पड़ता है, तो मॉडल के विफल होने की संभावना लगभग निश्चित होती है, क्योंकि उस संख्या का अनुमान आसपास के संदर्भ से नहीं लगाया जा सकता। यदि टाइपो किसी सामान्य शब्द पर पड़ता है, तो मॉडल फिर भी रिकवर कर सकता है। यह सुझाव देता है कि सबसे महत्वपूर्ण त्रुटियां वे हैं जो अद्वितीय, अपूरणीय सूचना के टुकड़ों को नष्ट कर देती हैं।
अंततः, अध्ययन निष्कर्ष निकालता है कि इन मॉडल्स की भेद्यता (vulnerability) उनके प्रसंस्करण के बिल्कुल प्रारंभ में टेक्स्ट के प्रतिनिधित्व करने के तरीके में निहित है। एक बार जब शब्द अपरिचित टुकड़ों में टूट जाता है, तो मूल सही टेक्स्ट तक पहुंच के बिना क्षति प्रभावी रूप से अपरिवर्तनीय हो जाती है। शोधकर्ताओं ने पाया कि यहाँ तक कि एक शक्तिशाली 'रिपेयर मॉडल' भी त्रुटियों को विश्वसनीय रूप से ठीक नहीं कर सका क्योंकि दूषित टेक्स्ट में अक्सर इस बात का कोई संकेत नहीं होता था कि मूल शब्द क्या होना चाहिए था। इसका अर्थ है कि वास्तव में मजबूत कृत्रिम बुद्धिमत्ता बनाने के लिए, टेक्स्ट को मॉडल में प्रवेश करने से पहले सुरक्षित करना आवश्यक है, न कि बाद में उसे ठीक करने की कोशिश करना। निष्कर्ष बताते हैं कि भविष्य के सुधारों को टेक्स्ट के प्रारंभिक समझ को अधिक लचीला बनाने पर ध्यान केंद्रित करना चाहिए, ताकि सिस्टम अर्थ को पहचान सके भले ही सतह का रूप थोड़ा क्षतिग्रस्त हो, बजाय इसके कि वह कार्य करने के लिए सटीक वर्तनी पर निर्भर रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।