ChaosBench-Logic v2: Evaluating LLM Logical Reasoning over Dynamical Systems at Scale
यह शोध पत्र ChaosBench-Logic v2 का परिचय देता है, जो एक बड़े पैमाने का बेंचमार्क और CARE मूल्यांकन प्रोटोकॉल है जिसे डायनेमिकल सिस्टम्स (dynamical systems) के संबंध में LLMs में महत्वपूर्ण तार्किक तर्क विफलताओं को उजागर करने के लिए डिज़ाइन किया गया है, जिसमें यह पाया गया है कि जहाँ मॉडल औपचारिक निगमन (formal deduction) पर मध्यम प्रदर्शन करते हैं, वहीं वे रेजीम ट्रांज़िशन (regime transitions) के साथ काफी संघर्ष करते हैं और बाइफरकेशन (bifurcation) संबंधी प्रश्नों पर व्यवस्थित रूप से एंटी-कोरिलेशन (anti-correlation) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों के एक समूह का परीक्षण कर रहे हैं यह देखने के लिए कि वे एक जटिल बोर्ड गेम के नियमों को कितनी अच्छी तरह समझते हैं। कुछ छात्र नियम पुस्तिका को याद करने और तब उसे लागू करने में माहिर हैं जब नियम उनके सामने लिखे होते हैं। हालाँकि, कुछ अन्य लोग भ्रमित हो जाते हैं जब खेल पेचीदा हो जाता है, या जब प्रश्न को थोड़ा अलग तरीके से पूछा जाता है।
यह शोध पत्र, ChaosBench-Logic v2, एक विशाल नया "परीक्षा" है जिसे बड़े भाषा मॉडल (LLMs)—जो चैटबॉट्स के पीछे के AI मस्तिष्क हैं—की डायनामिकल सिस्टम्स (गतिशील प्रणालियों) के बारे में तर्क करने की क्षमता का परीक्षण करने के लिए डिज़ाइन किया गया है। इन प्रणालियों को जटिल मशीनों (जैसे मौसम के पैटर्न, झूलते हुए पेंडुलम, या जनसंख्या वृद्धि) के रूप में सोचें जो सख्त गणितीय नियमों का पालन करती हैं लेकिन जंगली और अप्रत्याशित तरीकों से व्यवहार कर सकती हैं।
यहाँ एक सरल उपमाओं का उपयोग करके विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और क्या पाया:
1. परीक्षा: कठिनाई में एक बड़ी छलांग
लेखकों ने ChaosBench-Logic v2 नामक एक नया बेंचमार्क बनाया।
- पैमाना: पहले संस्करण में लगभग 600 प्रश्न थे। इस नए संस्करण में 40,886 प्रश्न हैं। यह एक पॉप क्विज़ से अपग्रेड होकर एक फाइनल परीक्षा बनने जैसा है जो भौतिकी और गणित की एक पूरी लाइब्रेरी को कवर करती है।
- सामग्री: यह 165 अलग-अलग "मशीनों" (डायनामिकल सिस्टम्स) का परीक्षण 27 विशिष्ट तार्किक नियमों (प्रेडिकेट्स) और 78 जोड़ने वाले नियमों (एक्सिओम्स) का उपयोग करके करता है।
- लक्ष्य: यह देखना कि क्या AI वास्तव में यह तर्क दे सकता है कि ये प्रणालियाँ समय के साथ कैसे बदलती हैं, या क्या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने पहले देखा है।
2. नया ग्रेडिंग सिस्टम: "CARE"
शोधकर्ताओं को एहसास हुआ कि एक साधारण "प्रतिशत स्कोर" (जैसे 60% सही होना) एक जाल है।
- जाल: कल्पना कीजिए कि एक छात्र जो "हाँ" कहने से बहुत डरता है। वह बस हर चीज़ का उत्तर "नहीं" देता है। यदि परीक्षा के 80% प्रश्न वास्तव में "नहीं" हैं, तो इस छात्र को 80% स्कोर मिलता है! लेकिन उसने वास्तव में कुछ नहीं सीखा; उसने बस सबसे आम उत्तर का अनुमान लगाया।
- समाधान (CARE): लेखकों ने CARE नामक एक नया ग्रेडिंग प्रोटोकॉल पेश किया। केवल स्कोर देखने के बजाय, यह जाँचता है:
- क्या उन्होंने अनुमान लगाकर धोखाधड़ी की? (प्रायर कोलैप्स)
- क्या वे सुसंगत हैं? यदि आप एक ही प्रश्न को अलग शब्दों में पूछते हैं, तो क्या वे एक ही उत्तर देते हैं?
- क्या वे संतुलित हैं? क्या वे जानते हैं कि कब "हाँ" कहना है और कब "नहीं" कहना है?
3. परिणाम: "नियम-पालन" बनाम "अंतर्ज्ञान" का अंतर
जब उन्होंने 14 अलग-अलग AI मॉडल (दोनों सशुल्क "प्रोपराइटी" और मुफ्त "ओपन-सोर्स") का परीक्षण किया, तो उन्हें कुछ आश्चर्यजनक बातें मिलीं:
- "नियम-पालन" सुपरस्टार्स: जब परीक्षा ने AI को तथ्य दिए और उससे तर्क का उपयोग करके उत्तर खोजने को कहा (जैसे कि एक गणित का शब्द समस्या), तो शीर्ष मॉडलों ने काफी अच्छा प्रदर्शन किया। वे नियम पुस्तिका का पूरी तरह से पालन कर सकते थे।
- "अंतर्ज्ञान" की विफलताएं: जब परीक्षा ने AI से यह अनुमान लगाने को कहा कि कोई प्रणाली अपने व्यवहार को कब बदलेगी (जैसे "किस गति पर कार फिसलना शुरू करती है?"), तो मॉडलों का प्रदर्शन रैंडम (यादृच्छिक) के करीब था। यह ऐसा था जैसे वे सिक्का उछाल रहे हों।
- उपमा: AI यह कहने में बहुत अच्छा है कि "यदि A का तात्पर्य B है, और B का तात्पर्य C है, तो A का तात्पर्य C है।" लेकिन यह यह जानने में बहुत खराब है कि "यदि मैं झूले को पर्याप्त जोर से धक्का दूँ, तो यह टूट जाएगा।" इसमें "भौतिक अंतर्ज्ञान" या संख्यात्मक आधार की कमी है कि विशिष्ट टिपिंग पॉइंट्स (निर्णायक बिंदु) क्या हैं।
4. "प्रोपराइटी" बनाम "ओपन सोर्स" मुकाबला
आमतौर पर, लोग मानते हैं कि महंगे, क्लोज्ड-सोर्स मॉडल (जैसे बड़ी टेक कंपनियों के मॉडल) ओपन-सोर्स मॉडलों की तुलना में स्पष्ट रूप से बेहतर होते हैं।
- ट्विस्ट: यह अंतर समान नहीं है।
- प्रोपराइटी मॉडल अलग-अलग सुरागों को जोड़ने और प्रश्न को फिर से लिखने पर सुसंगत रहने में बेहतर थे।
- हालाँकि, ओपन-सोर्स मॉडल (Qwen 2.5-32B) ने एक विशिष्ट कार्य पर प्रोपराइटी मॉडलों को पूरी तरह से पछाड़ दिया: संख्यात्मक संकेतकों (जैसे स्पीडोमीटर पढ़ना) की व्याख्या करना। यह एकमात्र मॉडल था जो "केओस इंडिकेटर्स" (अराजकता संकेतकों) को विश्वसनीय रूप से व्याख्या करने में सक्षम था।
5. "एंटी-कोरिलेशन" (प्रति-सहसंबंध) की समस्या
सबसे चिंताजनक खोज यह थी कि दो मॉडलों ने केवल कठिन प्रश्नों को गलत नहीं किया; उन्होंने उन्हें व्यवस्थित रूप से गलत किया।
- उपमा: कल्पना कीजिए कि एक छात्र, जो रैंडम अनुमान लगाने के बजाय, एक ऐसा नियम सीख गया है जो वास्तविकता के बिल्कुल विपरीत है। यदि उत्तर "हाँ" है, तो वह आत्मविश्वास से "नहीं" कहता है। यदि उत्तर "नहीं" है, तो वह "हाँ" कहता है।
- शोध पत्र में पाया गया कि "बाइफरकेशन" (टिपिंग पॉइंट्स) के बारे में प्रश्नों के लिए, कुछ मॉडलों का नेगेटिव स्कोर था, जिसका अर्थ था कि उनका तर्क पूरी तरह से उल्टा था। वे आत्मविश्वास के साथ गलत थे।
6. "रिपेयर" (सुधार) प्रयोग
शोधकर्ताओं ने एक लॉजिक सॉल्वर (एक उपकरण जो यह जाँचता है कि क्या उत्तर आपस में मेल खाते हैं) का उपयोग करके AI के उत्तरों को "ठीक" करने की कोशिश की।
- क्या काम किया: सरल प्रश्नों के लिए, टूल AI की गलतियों को ठीक कर सकता था क्योंकि वह नियमों का पालन करने के लिए मजबूर करता था।
- क्या विफल रहा: जटिल, बहु-चरणीय तर्क वाले प्रश्नों के लिए, उत्तरों को "ठीक" करने से AI और भी खराब हो गया।
- सबक: यह साबित करता है कि दो प्रकार की त्रुटियां होती हैं:
- सुसंगतता त्रुटियां (Consistency errors): "मैंने A कहा, लेकिन फिर मैंने नॉट-A कहा।" (लॉजिक टूल द्वारा ठीक करने योग्य)।
- तर्क त्रुटियां (Reasoning errors): "मैं स्थिति के भौतिकी (physics) को नहीं समझता हूँ।" (लॉजिक टूल द्वारा ठीक करने योग्य नहीं; AI को वास्तव में अवधारणा सीखने की आवश्यकता है)।
सारांश
शोध पत्र निष्कर्ष निकालता है कि जबकि AI मॉडल तार्किक नियमों का पालन करने में बेहतर हो रहे हैं, वे अभी भी संघर्ष कर रहे हैं कि वास्तविक दुनिया की प्रणालियाँ वास्तव में कैसे व्यवहार करती हैं जब संख्याएँ और पैरामीटर बदलते हैं। वे उन छात्रों की तरह हैं जो शब्दकोश तो रट सकते हैं लेकिन कहानी नहीं लिख सकते। "नियम-पालन" और "वास्तविक समझ" के बीच का यह अंतर केवल AI को बड़ा बनाने से गायब नहीं होगा; इसके लिए एक अलग प्रकार के सीखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।