Can Large Language Models Adequately Perform Symbolic Reasoning Over Time Series?
यह शोध पत्र SymbolBench प्रस्तुत करता है, जो वास्तविक दुनिया के टाइम सीरीज़ डेटा पर प्रतीकात्मक तर्क (symbolic reasoning) करने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता का मूल्यांकन करने के लिए एक व्यापक बेंचमार्क है, और एक एकीकृत ढांचे का प्रस्ताव करता है जो स्वचालित वैज्ञानिक खोज को बढ़ाने के लिए LLMs को जेनेटिक प्रोग्रामिंग के साथ एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आप उंगलियों के निशान या पैरों के निशान नहीं ढूंढ रहे, बल्कि संख्याओं की एक श्रृंखला देख रहे हैं जो समय के साथ बदलती है—जैसे कि एक हार्ट रेट मॉनिटर, स्टॉक मार्केट टिकर, या ग्रहों की गति।
वह "रहस्य" वह छिपा हुआ नियम (गणितीय समीकरण) है जिसने उन संख्याओं को बनाया है। यदि आप उस नियम को खोज लेते हैं, तो आप भविष्य की भविष्यवाणी कर सकते हैं।
यह शोध पत्र, SymbolBench, मूल रूप से एक "प्रशिक्षण शिविर" और एक "परीक्षा" है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या आर्टिफिशियल इंटेलिजेंस (जैसे ChatGPT) एक वैज्ञानिक जासूस बनने के लिए पर्याप्त स्मार्ट है।
यहाँ इसका विवरण दिया गया है कि उन्होंने इसे कैसे किया:
1. तीन प्रकार के रहस्य (कार्य/Tasks)
शोधकर्ताओं ने AI को केवल सरल गणितीय समस्याएँ नहीं दीं। उन्होंने इसे तीन अलग-अलग "अपराध स्थल" दिए:
- द स्मूथ स्लाइडर (सिम्बॉलिक रिग्रेशन): कल्पना कीजिए कि एक कार गति पकड़ रही है। संख्याएँ सुचारू रूप से ऊपर जा रही हैं। AI को वह सटीक गणितीय सूत्र (जैसे ) खोजना है जो उस सुचारू गति का वर्णन करता है।
- द लाइट स्विच (बूलियन नेटवर्क): कल्पना कीजिए कि एक जटिल सर्किट है जहाँ चीजें या तो चालू (ON) हैं या बंद (OFF)। AI को तर्क समझना होगा: "यदि स्विच A चालू है और स्विच B बंद है, तो लाइट C चालू होती है।" यह एक जैविक कोशिका के "तर्क" को समझने जैसा है।
- द डोमिनो इफेक्ट (कॉज़ल डिस्कवरी): कल्पना कीजिए कि गिरते हुए डोमिनोज़ की एक पंक्ति है। AI को यह पता लगाना होगा कि किस डोमिनो ने किसे टक्कर मारी, और उनके बीच कितना विलंब था। यह "कारण और प्रभाव" की श्रृंखला खोजने के बारे में है।
2. "डिटेक्टिव नोटबुक" (फ्रेमवर्क)
शोधकर्ताओं ने महसूस किया कि AI से केवल यह पूछना कि "सूत्र क्या है?" पर्याप्त नहीं है। उन्होंने एक क्लोज्ड-लूप सिस्टम बनाया। इसे एक ऐसे जासूस के रूप में सोचें जो केवल एक बार अनुमान नहीं लगाता, बल्कि एक चक्र का पालन करता है:
- अनुमान लगाना (प्रपोजल): AI एक परिकल्पना बनाता है (जैसे, "मुझे लगता है कि नियम है!")।
- परीक्षण करना (वेरिफिकेशन): सिस्टम अनुमान को वास्तविक डेटा के विरुद्ध जांचता है कि क्या वह वास्तव में काम करता है।
- समीक्षा करना (जज): एक दूसरा "AI जज" अनुमान को देखता है और कहता है, "वह गणित काम तो करता है, लेकिन यह मानव हृदय के लिए समझ में नहीं आता। कुछ ऐसा प्रयास करें जो अधिक जैविक हो।"
- परिष्करण (कॉन्टेक्स्ट): AI उस सभी फीडबैक को लेता है, अपने नोट्स देखता है, और एक बेहतर अनुमान लगाने की कोशिश करता है। वह तब तक दोहराता रहता है जब तक कि वह सही न हो जाए।
3. उन्हें क्या मिला? (परिणाम)
शोधकर्ताओं ने कुछ बहुत ही दिलचस्प बातें खोजीं कि ये AI वास्तव में कितने "स्मार्ट" हैं:
- अच्छी खबर: जब बात सुचारू गणित और कारण-प्रभाव खोजने की आती है, तो AI वास्तव में काफी अच्छा है—कभी-कभी तो पुराने पारंपरिक गणित कार्यक्रमों से भी बेहतर!
- बुरी खबर: जब बात "लाइट स्विच" वाले तर्क (बूलियन नेटवर्क) की आती है, तो AI संघर्ष करता है। यह एक कवि से कंप्यूटर सर्किट ठीक करने के लिए कहने जैसा है; वे बहुत प्रतिभाशाली हो सकते हैं, लेकिन वे उस विशिष्ट प्रकार के तर्क के लिए प्रशिक्षित नहीं हैं।
- "कॉन्टेक्स्ट" का रहस्य: AI बहुत बेहतर प्रदर्शन करता है जब आप उसे "सुराग" देते हैं। यदि आप AI को कहते हैं, "आप एक जैविक कोशिका को देख रहे हैं," तो वह ऐसे गणितीय सूत्र सुझाना बंद कर देता है जो केवल भौतिकी (physics) में समझ में आते हैं। संदर्भ (Context) AI की सुपरपावर है।
बड़ी तस्वीर
अतीत में, AI का उपयोग मुख्य रूप से पैटर्न पहचानने (जैसे "यह बिल्ली की तस्वीर है") के लिए किया जाता था। यह शोध पत्र AI को नियमों को समझने (जैसे "यह गुरुत्वाकर्षण का नियम है") की ओर धकेल रहा है।
यदि हम इसे पूर्ण कर सकते हैं, तो हमारे पास केवल ऐसा AI नहीं होगा जो यह बता सके कि क्या हो रहा है; हमारे पास एक डिजिटल वैज्ञानिक के रूप में कार्य करने वाला AI होगा, जो मनुष्यों को नई दवाएं खोजने, जलवायु परिवर्तन को समझने, या डेटा में लिखे गए छिपे हुए "नियमों" को खोजकर ब्रह्मांड के रहस्यों को खोलने में मदद करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।