Hidden APIs in Language Models: Discovering Reusable Causal Interfaces from Forked Futures
यह शोध पत्र "फोर्क्ड फ्यूचर्स" (forked futures) प्रस्तुत करता है, जो उनके द्वारा प्रेरित भविष्य की प्रतिक्रिया वितरणों के आधार पर हिडन स्टेट्स (hidden states) की तुलना करके भाषा मॉडलों में पुन: प्रयोज्य कारण इंटरफेस (reusable causal interfaces) की पहचान करने की एक विधि है, जो यह प्रदर्शित करता है कि एक "शेयर्ड" (Shared) इंटरफेस कई मॉडल आर्किटेक्चरों में सबसे किफायती और सुदृढ़ प्रतिनिधित्व प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट के सोचने के तरीके को समझने की कोशिश कर रहे हैं। आप देख सकते हैं कि वह किसी प्रश्न के उत्तर में क्या कहता है, लेकिन आप उसके मस्तिष्क के भीतर घूमते हुए गियरों को नहीं देख सकते। लंबे समय से, वैज्ञानिक उसके "हिडन स्टेट्स" (hidden states)—यानी उसके जवाब टाइप करने से ठीक पहले मौजूद आंतरिक विद्युत पैटर्न—को देखकर उसके भीतर झाँकने की कोशिश कर रहे हैं। बड़ा सवाल यह है कि क्या रोबोट अपनी सारी सोच को संभालने के लिए एक विशेष, पुन: प्रयोज्य (reusable) "कंट्रोल पैनल" का उपयोग करता है, या वह हर एक कार्य के लिए एक नया, एक-बार-उपयोग होने वाला उपकरण बनाने के लिए संघर्ष करता है? यह पूछने जैसा है कि क्या एक शेफ हर काम के लिए एक ही मास्टर चाकू का उपयोग करता है, या वह प्याज काटने, ब्रेड काटने और मछली को फिलेट करने के लिए हर बार एक अलग, विशिष्ट गैजेट उठाता है। इसे समझना इसलिए महत्वपूर्ण है क्योंकि यदि रोबोट के पास एक पुन: प्रयोज्य कंट्रोल पैनल है, तो हम उससे बात कर पाएंगे, उसकी गलतियों को सुधार पाएंगे, या उसके रहस्यों को बहुत आसानी से समझ पाएंगे। यदि यह केवल एक-बार के औजारों का एक अराजक ढेर है, तो यह समझना कि वह कैसे काम करता है, एक दुस्वप्न बन जाएगा।
यह शोध पत्र इस रहस्य को सुलझाने का एक चतुर नया तरीका पेश करता है, जिसे "फोर्क्ड फ्यूचर्स" (forked futures) कहा जाता है। केवल रोबोट से एक प्रश्न पूछकर और यह देखकर कि वह क्या कहता है, इसके बजाय, शोधकर्ता एक समय-यात्रा प्रयोग (time-travel experiment) स्थापित करते हैं। वे रोबोट को एक कहानी के आधार पर एक आंतरिक विचार (एक हिडन स्टेट) बनाने देते हैं, लेकिन इससे पहले कि वे उसे अगला काम बताएं। फिर वे भविष्य को "फोर्क" (विभाजित) करते हैं: वे रोबोट को उसी विचार के साथ कई अलग-अलग चीजें करने के लिए कहते हैं, जैसे तथ्यों की तुलना करना, एक नियम को सत्यापित करना, या एक नया वाक्य बनाना। इस तरह विभिन्न भविष्य के कार्यों के प्रति रोबोट के मस्तिष्क की प्रतिक्रिया को देखकर, वे देख सकते हैं कि क्या आंतरिक विचार वास्तव में एक बहुमुखी, पुन: प्रयोज्य उपकरण था या केवल एक मृत अंत (dead-end) था।
शोधकर्ताओं ने इस विचार का परीक्षण दो प्रसिद्ध भाषा मॉडलों, Qwen2.5-1.5B और Llama-3-8B पर किया, जिसमें चार अलग-अलग सिद्धांतों को एक-दूसरे के विरुद्ध खड़ा किया गया: एक "शेयर्ड" (Shared) सिद्धांत (एक मास्टर कंट्रोल पैनल), एक "लोकल" (Local) सिद्धांत (हर काम के लिए एक अद्वितीय उपकरण), एक "मिक्सचर" (Mixture) सिद्धांत (कुछ उपकरण साझा हैं, कुछ नहीं), और एक "डिस्ट्रीब्यूटेड" (Distributed) सिद्धांत (कार्य हर जगह फैला हुआ है जिसका कोई केंद्रीय केंद्र नहीं है)। उन्होंने मापा कि कौन सा सिद्धांत रोबोट के व्यवहार को सबसे कुशलता से समझाता है। परिणाम बताते हैं कि "शेयर्ड" सिद्धांत विजेता है। रोबोट एक संक्षिप्त, पुन: प्रयोज्य "एपीआई" (एक प्रकार का आंतरिक इंटरफ़ेस) का उपयोग करता है जो उसकी मेहनत बचाता है। विशेष रूप से, शेयर्ड मॉडल को Qwen मॉडल पर 1.292 नैट्स (nats) और Llama मॉडल पर 1.187 नैट्स की विवरण लंबाई (description length) की आवश्यकता थी, जो अगले सबसे अच्छे विकल्प से क्रमशः 0.216 और 0.294 नैट्स से बेहतर था। इसका अर्थ है कि रोबोट हर बार पहिए का पुन: आविष्कार करने के बजाय अपने आंतरिक अवस्थाओं को पुन: उपयोग करने के लिए एक "शॉर्टकट" का उपयोग कर रहा है।
हालाँकि, यह शोध पत्र बहुत सावधानी बरतता है कि इसे बहुत अधिक बढ़ा-चढ़ाकर न बताया जाए। यह स्पष्ट रूप से इस विचार को खारिज करता है कि यह एक पूर्ण, सार्वभौमिक "ग्लोबल वर्कस्पेस" है जो रोबोट के मस्तिष्क में सब कुछ संभालता है। प्रमाण बताते हैं कि यह पुन: प्रयोज्य इंटरफ़ेस विशिष्ट कार्यों के परिवारों (जैसे तर्क पहेलियाँ या कोड) के भीतर सबसे अच्छा काम करता है, लेकिन जब आप पूरी तरह से अलग प्रकार के कार्यों को आपस में मिलाने की कोशिश करते हैं, तो यह कमजोर हो जाता है। वास्तव में, जब उन्होंने अपने तरीके का परीक्षण नकली, सरल रोबोट मस्तिष्क पर किया जहाँ वे उत्तर जानते थे, तो उन्होंने पाया कि उनके तरीके ने 8.3% बार गलती की (12 गैर-साझा मस्तिष्कों में से 1 को गलत तरीके से साझा लेबल किया गया था)। इसका मतलब है कि खोज वास्तविक है लेकिन सीमित है; यह रोबोट की सोच के विशिष्ट हिस्सों को समझने के लिए एक शक्तिशाली उपकरण है, न कि उसके पूरे मन को खोलने की कोई जादुई कुंजी। शोध पत्र निष्कर्ष निकालता है कि हालांकि इन मॉडलों में एक संक्षिप्त, पुन: प्रयोज्य कारण संबंधी इंटरफ़ेस (causal interface) होता है, यह एक विशिष्ट, सशर्त विशेषता है, न कि एक जादुई, सर्वशक्तिमान मस्तिष्क केंद्र।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।