(How) Do Large Language Models Understand High-Level Message Sequence Charts?
यह शोध पत्र तीन लार्ज लैंग्वेज मॉडल्स की हाई-लेवल मैसेज सीक्वेंस चार्ट्स (HMSCs) के औपचारिक अर्थ विज्ञान (formal semantics) को समझने की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि वे बुनियादी अवधारणाओं पर मजबूत पकड़ प्रदर्शित करते हैं, लेकिन एब्स्ट्रैक्शन (abstraction), कंपोजिशन (composition) और कारण संबंधी निर्भरताओं (causal dependencies) से जुड़े जटिल सिमेंटिक तर्क में महत्वपूर्ण संघर्षों के कारण उनकी समग्र सटीकता मामूली (लगभग 52%) है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट है जिसने लगभग हर किताब, मैनुअल और डायग्राम को पढ़ा है। आप उससे एक विशिष्ट प्रकार के ब्लूप्रिंट देखने के लिए कहते हैं जिसे हाई-लेवल मैसेज सीक्वेंस चार्ट (HMSC) कहा जाता है। इन चार्ट्स को सॉफ्टवेयर के कॉमिक स्ट्रिप की तरह समझें: वे दिखाते हैं कि विभिन्न पात्र (कंप्यूटर प्रोग्राम) एक विशिष्ट क्रम में एक-दूसरे को नोट्स (संदेश) कैसे भेजते हैं।
मुख्य प्रश्न यह है कि: क्या यह रोबोट वास्तव में कॉमिक स्ट्रिप के नियमों को समझता है, या यह केवल चित्रों के दिखने के आधार पर अनुमान लगा रहा है?
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. सेटअप: "कॉमिक स्ट्रिप" टेस्ट
शोधकर्ताओं ने इन ब्लूप्रिंट्स से संबंधित 12_9 अलग-अलग कार्यों को लिया। उन्होंने तीन अलग-अलग "सुपर-ब्रेन" (AI मॉडल जिन्हें Gemini, GPT और Qwen नाम दिया गया है) को कुछ कार्य करने के लिए कहा, जैसे:
- बुनियादी बातों को पहचानना: "किसने किसे नोट भेजा?"
- नियमों का पालन करना: "यदि पात्र A एक नोट भेजता है, तो क्या पात्र B उसे भेजे जाने से पहले प्राप्त कर सकता है?"
- कहानी को संपादित करना: "यदि हम इस नोट को हटा दें, तो क्या कहानी अभी भी समझ में आएगी?"
- स्क्रिप्ट को फिर से लिखना: "इस कॉमिक स्ट्रिप को हर उस संभावित तरीके की सूची में बदल दें जिससे यह कहानी चल सकती है।"
2. परिणाम: पढ़ने में अच्छे, तर्क में कच्चे
इन AI मॉडल्स का समग्र स्कोर लगभग 52% था। यह मुश्किल से पास होने लायक ग्रेड है। हालाँकि, स्कोर हर प्रकार के कार्य के लिए एक समान नहीं था।
🟢 आसान काम: "मैं डॉट्स देख सकता हूँ" (88% सटीकता)
जब कार्य केवल पात्रों और उनके द्वारा भेजे गए नोट्स को इंगित करने जैसा था, तो AI उत्कृष्ट थे।
- उपमा: यदि आप एक रोबोट को बिल्ली की तस्वीर दिखाकर पूछें, "क्या यह एक बिल्ली है?", तो वह लगभग पूरी तरह से "हाँ" कहता है।
- क्यों: AI दृश्य पैटर्न (visual patterns) पहचानने में बहुत अच्छे हैं। वे रेखाओं और तीरों को देख सकते हैं और कह सकते हैं, "ठीक है, यह रेखा यहाँ से वहाँ जा रही है।"
🔴 कठिन काम: "लॉजिक गैप" (36–42% सटीकता)
जब शोधकर्ताओं ने AI से ऐसी चीजें करने के लिए कहा जिनमें समय और कारण-और-प्रभाव (cause-and-effect) के नियमों को समझने की आवश्यकता थी, तो AI बुरी तरह विफल होने लगे।
- "पैरेलल प्ले" की समस्या (Co-regions):
कल्पना कीजिए कि दो बच्चे अलग-अलग कमरों में खेल रहे हैं। वे एक ही समय में चीजें कर रहे हैं, लेकिन उनमें से कोई भी दूसरे का इंतज़ार नहीं कर रहा है।- AI की गलती: AI बार-बार यह ज़ोर देकर कह रहे थे कि एक बच्चे को अपना कार्य समाप्त करने के बाद ही दूसरे को शुरू करना चाहिए, भले ही ब्लूप्रिंट में कहा गया था कि वे चीजें एक साथ हो रही हैं। वे "एक ही समय में बिना हस्तक्षेप किए चीजें करने" की अवधारणा को नहीं समझ सके।
- "एडिट" की समस्या (Abstraction):
कल्पना कीजिए कि आप एक कहानी से एक नोट निकाल देते हैं। यदि वह नोट किसी पात्र के इंतज़ार करने का कारण था, तो उसे हटाने से इंतज़ार करने के नियम बदल जाने चाहिए।- AI की गलती: AI उस नोट को तो हटा देते थे लेकिन इंतज़ार करने के नियमों को अपडेट करना भूल जाते थे। वे "भूतिया" (ghost) नियमों को यथावत छोड़ देते थे, जिससे कहानी भ्रमित करने वाली या असंभव हो जाती थी।
- "स्क्रिप्ट" की समस्या (Traces & LTS):
यह इस बारे में है कि AI से पूछा जाए कि वह हर उस संभावित तरीके को लिख दे जिससे इस कॉमिक स्ट्रिप को शुरू से अंत तक पढ़ा जा सकता है।- AI की गलती: वे अक्सर कहानी की पूरी शाखाओं को मिस कर देते थे या नए, नकली रास्ते बना लेते थे जो मूल नियमों के अनुसार अनुमत नहीं थे।
3. "चीट कोड" की खोज
दिलचस्प बात यह है कि जब AI ने कठिन लॉजिक वाले सवालों को सही ढंग से हल किया, तो उन्होंने इसे अपने दिमाग में नहीं किया था।
- उपमा: एक जटिल गणितीय समस्या को अपने दिमाग में हल करने के बजाय, उन्होंने इसे हल करने के लिए एक पायथन (Python) कंप्यूटर प्रोग्राम लिखा, उसे चलाया और फिर उत्तर पढ़ लिया।
- निष्कर्ष: AI, कैलकुलेटर के लिए निर्देश लिखने में, स्वयं गणना करने की तुलना में बेहतर हैं।
4. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि ये AI मॉडल आर्किटेक्चरल डायग्राम को देखने और उसके हिस्सों को पहचानने में बहुत अच्छे हैं, लेकिन वे वर्तमान में उनके पीछे के गहरे, औपचारिक तर्क (formal logic) को समझने में विश्वसनीय नहीं हैं।
- वे आपको बता सकते हैं कि चित्र में क्या है।
- वे संघर्ष करते हैं कि वह इस तरह से क्यों काम करता है या नियमों को तोड़े बिना इसे कैसे बदला जाए।
शोधकर्ता सुझाव देते हैं कि यदि हम इन AI का गंभीर सॉफ्टवेयर डिज़ाइन के लिए उपयोग करना चाहते हैं, तो हमें उन्हें केवल "सोचने" के लिए नहीं कहना चाहिए। इसके बजाय, हमें उन्हें नियमों की जाँच करने के लिए कोड लिखना चाहिए, जो हमारे लिए एक पुल के रूप में कार्य करे—AI की पैटर्न पहचान और एक सख्त, तार्किक कंप्यूटर प्रोग्राम के बीच।
संक्षेप में, AI एक बेहतरीन कला समीक्षक है जो एक पेंटिंग का सटीक वर्णन कर सकता है, लेकिन यदि आप उससे पेंटिंग के परिप्रेक्ष्य (perspective) को ठीक करने या कहानी के समय को बदलने के लिए कहते हैं, तो वह संभवतः लॉजिक बिगाड़ देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।