Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages
यह शोध पत्र एक्टिवेशन पैचिंग के माध्यम से यह प्रदर्शित करता है कि जबकि भाषा मॉडल एक मिड-स्टैक रेसिडुअल बैंड में सशर्त विधेय सत्य मानों (conditional predicate truth values) को मॉड्यूलर रूप से एनकोड करते हैं, इन शर्तों के आधार पर उत्तरों को रूट करने की प्रक्रिया कोई अमूर्त, हस्तांतरणीय मॉड्यूल नहीं है, बल्कि एक टोकन-बाउंड, युग्म-विशिष्ट प्रक्रिया है जो विभिन्न मॉडलों और भाषाओं में भिन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो आपका मन पढ़ सकता है और आपके वाक्यों को पूरा कर सकता है। इन रोबोटों का अध्ययन करने वाले वैज्ञानिक, जिन्हें लार्ज लैंग्वेज मॉडल्स (Large Language Models) कहा जाता है, उन जासूसों की तरह हैं जो यह पता लगाने की कोशिश कर रहे हैं कि रोबोट कैसे सोचता है। वे केवल रोबोट के अंतिम उत्तर को नहीं देखते; वे काम करते समय उसके "मस्तिष्क" के भीतर झाँकना चाहते हैं ताकि देख सकें कि कौन से हिस्से क्या काम कर रहे हैं। एक बड़ा रहस्य यह है कि रोबोट उन नियमों को कैसे संभालता है जो वह तुरंत सीखता है, जैसे कि "यदि संख्या बड़ी है, तो 'डॉग' कहें; अन्यथा, 'कैट' कहें।" क्या रोबोट के पास एक विशेष, पुन: प्रयोज्य (reusable) स्विच है जो हर बार "डॉग" और "कैट" के बीच बदलता रहता है? या क्या वह हर बार नियम और उत्तर को आपस में मिलाते हुए, शून्य से उत्तर निकाल लेता है? यह समझना महत्वपूर्ण है क्योंकि यदि हम जानते हैं कि रोबोट निर्णय कैसे लेता है, तो हम उसे बेहतर नियम सिखा सकते हैं या उसे गलतियाँ करने से रोक सकते हैं।
यह शोध पत्र ठीक इसी प्रश्न की गहराई में उतरता है। शोधकर्ताओं ने एक खेल तैयार किया जहाँ उन्होंने तीन अलग-अलग AI मॉडलों से छह अलग-अलग भाषाओं में सरल "If-Then" (यदि-तो) नियमों का पालन करने के लिए कहा। उन्होंने "एक्टिवेशन पैचिंग" (activation patching) नामक एक चतुर तकनीक का उपयोग किया, जो रोबकी मस्तिष्क में एक विशिष्ट विचार को दूसरे परिदृश्य के विचार से बदलने जैसा है ताकि यह देखा जा सके कि क्या रोबोट अपना उत्तर बदल देता है। इसे कार के इंजन में ईंधन बदलकर यह देखने जैसा समझें कि क्या कार अभी भी चलती है।
यहाँ उन्हें जो मिला, वह थोड़ा आश्चर्यजनक है: रोबोट का मस्तिष्क दो बहुत अलग क्षेत्रों में विभाजित है। पहला क्षेत्र, जिसे वे TEST कहते हैं, एक समर्पित, मॉड्यूलर स्विच की तरह है। जब रोबोट यह जाँचता है कि क्या कोई संख्या 5 से बड़ी है, तो मस्तिष्क का यह विशिष्ट हिस्सा "True" (सत्य) या "False" (असत्य) के उत्तर के साथ चमक उठता है। शोधकर्ताओं ने इस "True/False" सिग्नल को एक अलग सिग्नल के साथ बदलकर यह साबित किया, और रोबोट ने तुरंत नए सिग्नल के अनुरूप अपना अंतिम उत्तर बदल दिया। यह "Test" क्षेत्र विभिन्न मॉडलों, विभिन्न भाषाओं (तमिल और सिंहल जैसी भाषाओं सहित) और विभिन्न प्रकार के नियमों में एक ही तरह से काम करता है। यह एक साफ, पुन: प्रयोज्य मॉड्यूल है।
हालाँकि, दूसरा क्षेत्र, जिसे वे ROUTE कहते हैं, पूरी तरह से अस्त-व्यस्त है। यह वह हिस्सा है जिसे उस "True/False" सिग्नल को लेने और यह तय करने के लिए बनाया गया है कि "डॉग" या "कैट" आउटपुट करना है। शोधकर्ताओं ने मस्तिष्क में एक विशेष "स्विच" या "सबस्पेस" (subspace) खोजने की कोशिश की जो रूटिंग को संभालता है। उन्हें एक ऐसा दिशा (direction) मिली जो "डॉग" और "कैट" के लिए उत्तर को पूरी तरह से बदल देती थी। लेकिन यहाँ एक पेंच है: जब उन्होंने उसी स्विच का उपयोग शब्दों के एक अलग जोड़े, जैसे "फॉक्स" (लोमड़ी) और "आउल" (उल्लू), के लिए करने की कोशिश की, तो वह पूरी तरह से काम करना बंद कर दिया। यह एक ऐसी चाबी खोजने जैसा था जो एक विशिष्ट दरवाजा तो खोलती है लेकिन अन्य किसी भी दरवाजे को खोलने में विफल रहती है, भले ही वे दिखने में समान हों।
इसलिए, बड़ा निष्कर्ष एक विषमता (asymmetry) है। मस्तिष्क का वह हिस्सा जो नियम की जाँच करता है, एक मजबूत, पोर्टेबल और पुन: प्रयोज्य उपकरण है। लेकिन वह हिस्सा जो उत्तर देता है, वह कोई अलग, पुन: प्रयोज्य उपकरण नहीं है। इसके बजाय, यह उन विशिष्ट शब्दों से मजबूती से चिपका हुआ लगता है जिनका उपयोग किया जा रहा है। यदि आप शब्दों को बदलते हैं, तो "रूटिंग" तंत्र टूट जाता है। रोबोट के पास कोई सार्वभौमिक "Answer Switch" नहीं है; उसके पास बस उन विशिष्ट शब्दों के लिए उत्तर पढ़ने का एक विशिष्ट तरीका है जिनके लिए उसे उस क्षण प्रशिक्षित किया गया था। इसका मतलब यह है कि जबकि हम रोबोट के तर्क (Logic) को आसानी से निर्देशित कर सकते हैं ("Test"), उसके विशिष्ट विकल्पों (Choice) को निर्देशित करने की कोशिश करना ("Route") हमारी उम्मीद से कहीं अधिक कठिन और कम विश्वसनीय हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।