QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi
यह शोध पत्र QSTRBench को प्रस्तुत करता है, जो विभिन्न कैलकुली (calculi) के माध्यम से बड़े भाषा मॉडलों की गुणात्मक स्थानिक और लौकिक तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि हालांकि वर्तमान मॉडल यादृच्छिक अनुमान (random guessing) से बेहतर प्रदर्शन करते हैं, वे निरंतरता बनाए रखने में संघर्ष करते हैं और तर्क कार्य की जटिलता के आधार पर महत्वपूर्ण प्रदर्शन भिन्नता प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर मौजूद लगभग हर किताब, वेबसाइट और लेख को पढ़ लिया है। आप सोच सकते हैं, "अगर वह सब कुछ जानता है, तो वह तर्क (logic) में भी जीनियस होगा, है ना?"
यह शोध पत्र, QSTRBench, एक बहुत ही विशिष्ट, बहुत ही पेचीदा "लॉजिक जिम" की तरह है जिसे यह परीक्षण करने के लिए बनाया गया है कि क्या वह रोबट वास्तव में सोच रहा है या केवल उन पैटर्न्स के आधार पर अनुमान लगा रहा है जिन्हें उसने रट लिया है।
यहाँ इसका विवरण दिया गया है कि लेखकों ने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. परीक्षण: "द लॉजिक जिम"
शोधकर्ताओं ने एक बेंचमार्क बनाया जिसे QSTRBench कहा जाता है। इसे एक जिम की तरह समझें जिसमें तीन विशिष्ट प्रकार की मशीनें हैं:
- "रिवर्स" मशीन (Converse): यदि "A, B के बाईं ओर है," तो B, A के प्रति क्या है? (उत्तर: दाईं ओर)।
- "चेन रिएक्शन" मशीन (Composition): यदि A, B के बाईं ओर है, और B, C के बाईं ओर है, तो A, C के सापेक्ष कहाँ है? (उत्तर: बाईं ओर)।
- "नेबर" मशीन (Conceptual Neighbors): यदि आप वस्तु A को धीरे-धीरे वस्तु B की ओर ले जाते हैं, तो उनके आपस में छूने से ठीक पहले उनकी अगली संभावित स्थितियाँ क्या हो सकती हैं?
उन्होंने इन मशीनों का परीक्षण स्थान और समय की नौ अलग-अलग "भाषाओं" का उपयोग करके किया। कुछ सरल थीं (जैसे केवल "पहले" या "बाद में" कहना), और कुछ अविश्वसनीय रूप से जटिल थीं (जिनमें ऐसे आकार शामिल थे जो अवतल (concave), उत्तल (convex) या छिद्रों वाले हो सकते हैं)।
2. पेचीदा हिस्सा: "द डिसगाइज़" (भेष बदलना)
शोधकर्ता जानते थे कि ये AI मॉडल अपने प्रशिक्षण डेटा से उत्तरों को याद रखने में माहिर होते हैं। इसलिए, उन्होंने सवाल सामान्य तरीके से नहीं पूछे। उन्होंने मॉडलों को चकमा देने की कोशिश की:
- "नकली शब्द" परीक्षण: "TPP" (जो "छूते हुए लेकिन अंदर होना" के लिए एक तकनीकी शब्द है) कहने के बजाय, उन्होंने "Zorp" जैसे बनाए हुए निरर्थक शब्दों का उपयोग किया। यदि मॉडल अभी भी सही उत्तर देता था, तो इसका मतलब था कि वह वास्तव में तर्क कर रहा था। यदि वह विफल रहता, तो वह केवल वास्तविक शब्द को रट रहा था।
- "चित्र" परीक्षण: शब्दों के बजाय, उन्होंने साधारण ASCII आर्ट आरेख (diagrams) का उपयोग किया।
- "स्वैप" परीक्षण: उन्होंने परिभाषाओं को बदल दिया। उन्होंने मॉडल को बताया, "इस खेल में, 'छूना' (Touching) का अर्थ है 'दूर होना' (Far Away)।" यदि मॉडल ने नए नियम का पालन किया, तो वह सोच रहा था। यदि वह पुरानी परिभाषा पर टिका रहा, तो वह केवल स्मृति को दोहरा रहा था।
3. परिणाम: "स्मार्ट लेकिन त्रुटिपूर्ण छात्र"
इस शोध पत्र ने 32 अलग-अलग AI मॉडलों का परीक्षण किया, छोटे मॉडलों से लेकर विशाल "फ्रंटियर" मॉडलों तक, जिन्हें चलाने के लिए बहुत अधिक लागत आती है।
- वे केवल अनुमान नहीं लगा रहे हैं: प्रत्येक मॉडल ने रैंडम अनुमान लगाने से बेहतर प्रदर्शन किया।
- वे पूर्ण नहीं हैं: एक भी मॉडल ने सभी प्रश्नों के सही उत्तर नहीं दिए। सबसे स्मार्ट मॉडल भी गलतियाँ करते रहे।
- "सरल" बनाम "कठिन" का अंतर:
- ईज़ी मोड (आसान मोड): मॉडल सरल समय संबंधी प्रश्नों (जैसे "पहले" और "बाद में") में बहुत अच्छे थे। यह बिल्कुल वैसा ही है जैसे वे बुनियादी अंकगणित में कुशल हों।
- हार्ड मोड (कठिन मोड): मॉडल जटिल स्थानिक आकारों (विशेष रूप से एक प्रणाली जिसे RCC-22 कहा जाता है) के साथ बुरी तरह संघर्ष करते हैं। यह एक गणित के विद्वान से जुगलिंग करते हुए कैलकुलस हल करने के लिए कहने जैसा है; वे भ्रमित हो जाते हैं।
- "सोचने" की लागत: जिन मॉडलों ने "अधिक गहराई से सोचने" (अधिक प्रोसेसिंग पावर का उपयोग करने) की कोशिश की, वे आम तौर पर बेहतर थे, लेकिन वे धीमे और बहुत महंगे भी थे। कभी-कभी, बहुत अधिक सोचना उन्हें विशिष्ट कार्यों में और भी खराब बना देता है।
4. बड़ा आश्चर्य: "द हैलुसिनेशन" (भ्रम/मनगढ़ंत तथ्य)
शोध पत्र ने पाया कि जब इन मॉडलों को उत्तर नहीं पता होता था, तो वे केवल यह नहीं कहते थे कि "मुझे नहीं पता।" कभी-कभी, वे नए शब्द गढ़ लेते थे।
- उपमा: कल्पना कीजिए कि आप एक छात्र से पूछते हैं, "2 + 2 क्या है?" और वह आत्मविश्वास से कहता है, "यह एक 'फ्लर्ग' (Flurg) है।"
- मॉडल ऐसे नकली संबंध नाम बना देते थे जो उन्हें दिए गए नियमों में मौजूद ही नहीं थे। यह सुझाव देता है कि वे सख्त तर्क का पालन करने के बजाय आत्मविश्वास के साथ खाली जगहों को भरने की कोशिश कर रहे हैं।
5. निष्कर्ष: "पैटर्न मैचर्स, न कि लॉजिशियन"
लेखकों का निष्कर्ष है कि हालांकि ये AI मॉडल प्रभावशाली हैं, लेकिन वे अभी तक सच्चे तार्किक विचारक (logical reasoners) नहीं हैं।
- वे इस बात पर बहुत अधिक निर्भर करते हैं कि उन्होंने पहले क्या पढ़ा है। जब आप प्रश्न को बदल देते हैं (नकली शब्दों या आरेखों का उपयोग करके), तो उनका प्रदर्शन गिर जाता है।
- वे असंगत हैं। यदि आप उनसे एक ही प्रश्न दो बार पूछते हैं, तो वे दो अलग-अलग उत्तर दे सकते हैं।
- फिलहाल, यदि आपको सटीक, त्रुटि-मुक्त स्थानिक तर्क (spatial logic) के लिए कंप्यूटर की आवश्यकता है, तो एक पारंपरिक कंप्यूटर प्रोग्राम (जैसे कैलकुलेटर) इन AI मॉडलों की तुलना में बेहतर है। AI एक "स्मार्ट गेसर" (अनुमान लगाने वाला) है, न कि एक "लॉजिक मशीन"।
संक्षेप में: इस शोध पत्र ने एक कठोर बाधा दौड़ (obstacle course) बनाई ताकि यह देखा जा सके कि क्या AI वास्तव में स्थान और समय को समझ सकता है। निर्णय यह है कि वे बेहतर हो रहे हैं, लेकिन वे अभी भी भ्रम, असंगति और तथ्य गढ़ने के प्रति संवेदनशील हैं जब रास्ता बहुत जटिल हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।