Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडल मिनिमलिस्ट प्रोग्राम (Minimalist Program) की फेज़ सीमाओं (phase boundaries) और कोहेसन (cohesion) जैसे औपचारिक-सिंटैक्टिक एब्स्ट्रैक्शंस को एनकोड करते हैं—जो यूनिवर्सल डिपेंडेंसीज़ (Universal Dependencies) के लिए अदृश्य अवधारणाएं हैं—यह प्रकट करते हुए कि स्ट्रक्चरल प्रोब्स (structural probes), व्ह-मूवमेंट (wh-movement) उद्दीपनों में फेज़-काउंट ग्रेडिएंट्स (phase-count gradients) और साइन एसिमेट्रीज़ (sign asymmetries) का पता लगाते हैं जिन्हें मानक यूडी-आधारित (UD-based) प्रोबिंग कैप्चर नहीं कर सकती।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अति-बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) वाक्य की संरचना को कैसे समझता है। वर्षों से, शोधकर्ता इसे जांचने के लिए यूनिवर्सल डिपेंडेंसीज (UD) नामक एक "मानचित्र" का उपयोग करते आए हैं। सोचिए कि UD एक मानक, सपाट मानचित्र है जो यह दिखाता है कि शब्द आपस में कैसे जुड़ते हैं, जैसे कि एक वंशावली। यह बताता है कि वाक्य में कौन "अभिभावक" (parent) है और कौन "संतान" (child) है।
हालाँकि, इस शोध पत्र के लेखक तर्क देते हैं कि इस मानचित्र में कुछ महत्वपूर्ण भू-भाग गायब हैं। यह घर के विभिन्न कमरों के बीच की "दीवारों" या "सीमाओं" को नहीं दिखाता है। भाषा विज्ञान में, इन दीवारों को फेजेस (phases) कहा जाता है।
यहाँ इस शोध पत्र की मुख्य कहानी है, जिसे सरल रूप में विभाजित किया गया है:
1. समस्या: मानचित्र बहुत सरल है
शोधकर्ता यह जानना चाहते थे कि क्या ये AI रोबोट वास्तव में इन अदृश्य "दीवारों" (फेजेस) को समझते हैं या वे केवल सपाट मानचित्र (UD) को देखते हैं।
- जाल: यदि आप केवल रोबोट को एक वाक्य बनाने के लिए कहते हैं, तो ऐसा लग सकता है कि वह दीवारों को समझता है। लेकिन हो सकता है कि वह केवल सपाट मानचित्र को ही याद कर रहा हो।
- समाधान: टीम ने एक विशेष परीक्षण बनाया जहाँ तीन अलग-अलग प्रकार के वाक्यों के लिए "सपाट मानचित्र" (UD) बिल्कुल एक जैसा दिखता है। यदि रोबोट फिर भी इन वाक्यों के प्रति अलग प्रतिक्रिया देता है, तो इसका मतलब है कि वह कुछ ऐसा देख रहा है जो मानचित्र में नहीं दिखाया गया है।
2. प्रयोग: तीन प्रकार के "कमरे"
उन्होंने प्रश्नवाचक शब्द (जैसे "क्या") वाले तीन प्रकार के वाक्य बनाए, जो वाक्य के अंत से आगे की ओर बढ़ता है।
- प्रकार A (बेयर/Bare): एक छोटा, खुला कमरा। (जैसे, "What did she see him eat?")
- प्रकार B (इन्फिनिटिवल/Infinitival): एक गलियारे वाला कमरा। (जैसे, "What did she expect him to eat?")
- प्रकार C (फाइनाइट/Finite): एक गलियारे और एक बंद दरवाजे वाला कमरा। (जैसे, "What did she think he ate?")
इन तीनों ही मामलों में, प्रश्नवाचक शब्द और कर्ता (subject) के बीच की "सपाट मानचित्र" दूरी समान है। लेकिन व्याकरण के "मिनिमलिस्ट" सिद्धांत के अनुसार, प्रश्नवाचक शब्द को पार करने के लिए कितने "दीवारों" (फेजेस) की आवश्यकता होती है, यह संख्या प्रकार A से प्रकार C तक बढ़ती जाती है।
3. निष्कर्ष: रोबोट दीवारों को देखता है
शोधकर्ताओं ने 13 अलग-अलग AI मॉडलों (Llama, Gemma, Mistral और Qwen जैसे परिवारों से) को "प्रोब" किया ताकि यह देखा जा सके कि वे इन वाक्यों का प्रतिनिधित्व कैसे करते हैं।
"डेप्थ" (गहराई) परीक्षण: उन्होंने प्रश्नवाचक शब्द और कर्ता के बीच की दूरी को मापा।
- परिणाम: रोबलों ने लगातार वाक्यों के साथ ऐसा व्यवहार किया जैसे कि अधिक "दीवारें" जोड़ने पर वे "गहरे" या अधिक जटिल होते जा रहे हैं। भले ही सपाट मानचित्र ने दूरी को समान बताया था, लेकिन रोबोट के आंतरिक गणित ने एक ग्रेडिएंट दिखाया: सरल < मध्यम < जटिल।
- आंकड़ा: 13 में से 12 मॉडलों ने यह पैटर्न स्पष्ट रूप से दिखाया।
"कोहेजन" (सामंजस्य) परीक्षण (बड़ा आश्चर्य): उन्होंने छोटे कमरे के भीतर कर्ता और क्रिया के बीच के संबंध को देखा।
- पूर्वानुमान: "फाइनाइट" वाक्य (प्रकार C) में, कर्ता और क्रिया एक ही "कमरे" (फेज) में हैं। अन्य मामलों में, वे एक दीवार द्वारा अलग हैं।
- परिणाम: रोबोटों ने केवल "फाइनाइट" वाक्य के लिए कर्ता और क्रिया को अपनी आंतरिक स्मृति में एक-दूसरे के करीब खींचा।
- यह क्यों मायने रखता है: सपाट मानचित्र कहता है कि तीनों के लिए दूरी समान (1 कदम) है। रोबोटों को अंतर का पता नहीं चलना चाहिए था। लेकिन उन्होंने किया। उन्होंने "फाइनाइट" कमरे के शब्दों के साथ एक एकजुट टीम की तरह व्यवहार किया, जबकि अन्य अधिक ढीले थे। यह साबित करता है कि वे फेज-इंटरनल कोहेजन (phase-internal cohesion) नामक अवधारणा का उपयोग कर रहे हैं, जिसे मानक मानचित्र नहीं देख सकता।
4. यह साबित करना कि यह वास्तविक है (केवल एक त्रुटि नहीं)
संशयवादी कह सकते हैं, "हो सकता है कि रोबोट केवल अनुमान लगा रहा हो, या संख्याएँ यादृच्छिक हों।" यह साबित करने के लिए कि रोबोट वास्तव में इस जानकारी का उपयोग कर रहा है, शोधकर्ताओं ने एक "सर्जरी" (जिसे एक्टिवेशन पैचिंग कहा जाता है) की।
- उन्होंने एक जटिल वाक्य के कर्ता की "मस्तिष्क अवस्था" (brain state) ली और उसे एक सरल वाक्य में डाल दिया।
- परिणाम: रोबोट के आंतरिक दूरी माप ठीक वैसे ही बदल गए जैसा कि भविष्यवाणी की गई थी। यह पुष्टि करता है कि रोबोट केवल पैटर्न को याद नहीं कर रहा है; वह इन संरचनात्मक "दीवारों" का उपयोग करके अपना गणित लगा रहा है।
5. मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि यूनिवर्सल डिपेंडेंसीज (मानक मानचित्र) एक "लोअर बाउंड" (न्यूनतम सीमा) है, न कि "अपर बाउंड" (अधिकतम सीमा)।
इसे इस प्रकार सोचें: यदि आप एक सपाट मानचित्र का उपयोग करके रोबोट के ज्ञान की जाँच करते हैं, तो आपको लग सकता है कि वह बुनियादी बातें जानता है। लेकिन यह शोध पत्र दिखाता है कि रोबोट वास्तव में इमारत की वास्तुकला को जानता है—दीवारें, फर्श और कमरे—भले ही मानचित्र उन्हें नहीं दर्शाता है।
संक्षेप में: लार्ज लैंग्वेज मॉडल्स ने, अपने प्रशिक्षण के माध्यम से, स्वतः ही ऐसे आंतरिक मानचित्र बनाना सीख लिया है जो फेजेस और सीमाओं के बारे में गहरे, औपचारिक भाषाई सिद्धांतों के साथ मेल खाते हैं, जो मानक एनोटेशन टूल द्वारा पता लगाए जाने योग्य स्तर से कहीं आगे जाता है। वे केवल सतही पैटर्न की नकल नहीं कर रहे हैं; वे भाषा की एक ऐसी संरचनात्मक समझ बना रहे हैं जिसमें अदृश्य दीवारें शामिल हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।