Shared Lexical Task Representations Explain Behavioral Variability In LLMs
यह शोध पत्र यह प्रदर्शित करता है कि LLM प्रॉम्प्ट संवेदनशीलता को "लेक्सिकल टास्क हेड्स" (lexical task heads) के सक्रियण स्तरों द्वारा समझाया जा सकता है—जो साझा आंतरिक तंत्र हैं जो इस बात पर निर्भर किए बिना कार्य का प्रतिनिधित्व करते हैं कि प्रॉम्प्ट निर्देशों का उपयोग करता है या उदाहरणों का—और प्रदर्शन की परिवर्तनशीलता इस बात से उत्पन्न होती है कि ये हेड्स प्रतिस्पर्धी प्रस्तुतियों (representations) द्वारा कितनी मजबूती से ट्रिगर या विरल (diluted) होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े मूडी (moody) सहायक को विभिन्न कार्य करने के लिए सिखाने की कोशिश कर रहे हैं।
कभी-कभी, यदि आप उन्हें स्पष्ट निर्देश देते हैं (जैसे कि एक रेसिपी), तो वे एक बेहतरीन काम करते हैं। अन्य समय में, यदि आप उन्हें केवल कुछ उदाहरण दिखाते हैं (जैसे कि तैयार व्यंजनों की तस्वीरें दिखाना), तो वे भ्रमित हो सकते या असंगत प्रदर्शन कर सकते हैं। आपको लग सकता है कि सहायक बस अप्रत्याशित व्यवहार कर रहा है, लेकिन यह शोध पत्र बताता है कि वास्तव में एक बहुत ही तार्किक "आंतरिक वायरिंग" इस व्यवहार का कारण है।
यहाँ "रसोई और शेफ" (Kitchen & Chef) उपमा का उपयोग करके शोध पत्र का विवरण दिया गया है।
1. खोज: "रेसिपी लेबल" (Lexical Task Heads)
शोधकर्ताओं ने पाया कि AI के "मस्तिष्क" के अंदर विशिष्ट भाग होते हैं जिन्हें लेक्सिकल टास्क हेड्स (Lexical Task Heads) कहा जाता है।
इन्हें स्टिकर नोट्स (sticky notes) के रूप में सोचें जो शेफ (AI) अपने औजारों पर चिपका देता है। यदि कार्य शब्दों का अनुवाद करना है, तो शेफ केवल अनुवाद करना शुरू नहीं करता; पहले, उनके मस्तिष्क का एक विशिष्ट हिस्सा एक स्टिकर नोट पकड़ता है जिस पर वास्तव में लिखा होता है "अनुवाद मोड" या "भाषा स्विच।"
शोधकर्ताओं ने पाया कि ये "स्टिकी नोट्स" वास्तव में उन शब्दों में लिखे गए हैं जिन्हें इंसान पढ़ सकते हैं। जब उन्होंने AI के आंतरिक संकेतों को देखा, तो उन्होंने देखा कि AI का मस्तिष्क अंतिम उत्तर देने से पहले ही वास्तव में "विपरीत (Opposite)," "बहुवचन (Plural)," या "राजधानी (Capital City)" जैसे शब्द चिल्ला रहा था।
2. साझा रहस्य: एक मस्तिष्क, कई शैलियाँ
बड़ा रहस्य यह था: क्या AI एक लिखित निर्देश बनाम एक दृश्य उदाहरण के लिए अलग-अलग मस्तिष्क भागों का उपयोग करता है?
यह जानकर आश्चर्य होता है कि, नहीं। चाहे आप AI को एक लिखित कमांड दें ("इसका अनुवाद करें...") या उदाहरणों की एक सूची दें ("Apple Manzana"), AI अंततः ठीक उन्हीं स्टिकी नोट्स तक पहुँचता है।
यह एक शेफ की तरह है: चाहे आप उन्हें एक लिखित रेसिपी दें या केवल एक केक की फोटो दिखाएं, वे अंततः उसी "बेकिंग मोड" के मानसिक स्विच तक पहुँचते हैं। इसका मतलब है कि AI के पास एक कार्य की "मूल समझ" (core understanding) होती है जो इस बात से स्वतंत्र है कि आपने उसे कैसे पूछा।
श्रोताओं के लिए स्पष्टीकरण: एक मस्तिष्क, कई शैलियाँ
यह जानकर आश्चर्य होता है कि, नहीं। चाहे आप AI को एक लिखित कमांड दें ("इसका अनुवाद करें...") या उदाहरणों की एक सूची दें ("Apple Manzana"), AI अंततः ठीक उन्हीं स्टिकी नोट्स तक पहुँचता है।
यह एक शेफ की तरह है: चाहे आप उन्हें एक लिखित रेसिपी दें या केवल एक केक की फोटो दिखाएं, वे अंततः उसी "बेकिंग मोड" के मानसिक स्विच तक पहुँचते हैं। इसका मतलब है कि AI के पास एक कार्य की "मूल समझ" होती है जो इस बात से स्वतंत्र है कि आपने उसे कैसे पूछा।
3. AI विफल क्यों होता है: "कमजोर संकेत" और "विक्षेप"
यदि AI के पास ये साझा "स्टिकी नोट्स" हैं, तो यह फिर भी गलती क्यों करता है? शोध पत्र इसके दो मुख्य कारण बताता है:
- धुंधला स्टिकी नोट (अपर्याप्त सक्रियण - Insufficient Activation): कभी-कभी, आपके द्वारा उपयोग किया गया प्रॉम्प्ट "कमजोर" होता है। यह "बेकिंग मोड" स्टिकी नोट को पर्याप्त रूप से ट्रिगर नहीं करता है। नोट वहाँ है, लेकिन वह एक छोटा, धुंधला स्केच मात्र है। क्योंकि संकेत कमजोर है, शेफ पूरी तरह से "ज़ोन में" नहीं आ पाता, और वे गलतियाँ करते हैं। शोधकर्ताओं ने यह साबित किया कि इन स्टिकी नोट्स की "आवाज़ बढ़ाकर" (volume बढ़ाकर), उन्होंने वास्तव में AI की गलतियों को ठीक कर दिया!
- गलत रेसिपी (प्रतिस्पर्धी कार्य - Competing Tasks): कभी-कभी, एक प्रॉम्प्ट अस्पष्ट होता है। कल्पना कीजिए कि आप एक शेफ से कहते हैं, "मैदा (flour) से कुछ बनाओ।" वे ब्रेड बना सकते हैं, या वे एक केक बना सकते हैं। यदि प्रॉम्प्ट थोड़ा भ्रमित करने वाला है, तो AI गलती से "केक मोड" स्टिकी नोट पकड़ सकता है जबकि आप वास्तव में "ब्रेड मोड" चाहते थे। "गलत" संकेत "सही" संकेत को दबा देता है।
4. "मेनी-शॉट" (Many-Shot) जादू: अधिक उदाहरण क्यों मदद करते हैं
आपने शायद गौर किया होगा कि AI को केवल एक उदाहरण देने के बजाय 20 उदाहरण देना बेहतर काम करता है। शोधकर्ताओं ने पाया कि इसका कारण है: संचय (Accumulation)।
हर बार जब आप एक उदाहरण प्रदान करते हैं, तो यह "टास्क मोड" बटन को बार-बार और ज़ोर से दबाने जैसा होता है। प्रत्येक उदाहरण उस स्टिकी नोट पर अधिक "स्याही" जोड़ता है, जिससे संकेत अधिक तेज़ और स्पष्ट हो जाता है जब तक कि शेफ 100% सुनिश्चित न हो जाए कि वह किस मोड में है।
संक्षेप में
यह शोध पत्र हमें बताता है कि AI की "प्रॉम्प्ट संवेदनशीलता" (prompt sensitivity) केवल यादृच्छिक जादू नहीं है। यह एक यांत्रिक प्रक्रिया है जहाँ पूछने के विभिन्न तरीके आंतरिक कार्य-लेबल (internal task-labels) को अलग-अलग स्तर की शक्ति के साथ ट्रिगर करते हैं।
इंसानों के लिए सबक: यदि आपका AI अजीब व्यवहार कर रहा है, तो संभावना है कि आपका प्रॉम्प्ट "ज़ोरदार" नहीं है ताकि सही स्टिकी नोट को ट्रिगर किया जा सके, या यह गलती से किसी दूसरे को ट्रिगर कर रहा है!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।