Towards Verifiable Agentic Data Science: Solving Irregular TSQA Via Tool-Grounded Reasoning
यह शोध पत्र IRTS-ToolBench प्रस्तुत करता है, जो 13 डोमेन में 1,700 प्रश्नों वाला एक व्यापक बेंचमार्क है, जिसे अनियमित समय श्रृंखला (irregular time series) प्रश्न उत्तर कार्यों पर बड़े भाषा मॉडल और एआई एजेंटों के प्रदर्शन का मूल्यांकन करने और सुधारने के लिए डिज़ाइन किया गया है, जो मौजूदा बेंचमार्क द्वारा छोड़े गए महत्वपूर्ण अंतर को संबोधित करता है जो नियमित सैंपलिंग का अनुमान लगाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट को दुनिया की लय (rhythm) समझना सिखाने की कोशिश कर रहे हैं। आमतौर पर, जब हम रोबोट को समय के बारे में सिखाते हैं, तो हम उन्हें ऐसा डेटा देते हैं जो एक सटीक घड़ी की तरह टिक-टिक करता है: एक सेकंड, दो सेकंड, तीन सेकंड। यह साफ-सुथरा, व्यवस्थित और अनुमानित होता है।
लेकिन वास्तविक दुनिया में, जीवन एक घड़ी की तरह टिक-टिक नहीं करता। कभी-कभी एक हार्ट मॉनिटर की धड़कन रुक जाती है क्योंकि नर्स व्यस्त होती है। कभी-कभी एक मौसम सेंसर डेटा भेजना बंद कर देता है क्योंकि उस पर कोई पक्षी बैठ जाता है। कभी-कभी स्टॉक मार्केट फीड रुक जाता है क्योंकि इंटरनेट में रुकावट आ जाती है। यह इर्रेगुलर टाइम सीरीज़ डेटा (irregular time series data) है: ऐसी जानकारी जो यादृच्छिक (random) समय पर आती है, जिसमें अंतराल (gaps) होते हैं, और कभी-कभी इसमें ऐसे गायब हिस्से होते हैं जो वास्तव में यह बताने की कहानी कहते हैं कि वे क्यों गायब हैं।
आपके द्वारा साझा किया गया पेपर, "Towards Verifiable Agentic Data Science," यह देखने के लिए एक नया प्रशिक्षण मैदान (बेंचमार्क) बनाने के बारे में है कि क्या हमारे सबसे स्मार्ट AI रोबोट इस अव्यवस्थित, वास्तविक दुनिया की अराजकता को संभाल सकते हैं।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है:
1. समस्या: "परफेक्ट क्लॉक" बनाम "मेसी डायरी"
अधिकांश पिछले परीक्षणों ने यह माना कि डेटा एक आदर्श घड़ी की तरह है। लेखक कहते हैं, "वास्तविक दुनिया ऐसे काम नहीं करती।"
- पुराना तरीका: कल्पना कीजिए कि एक छात्र को एक ऐसी कहानी पढ़ने के लिए कहना जहाँ हर वाक्य बिल्कुल एक समान लंबाई का है और उनके बीच की दूरी भी एकदम सटीक है।
- वास्तविक दुनिया: कल्पना कीजिए कि उसी छात्र को एक डायरी पढ़ने के लिए कहना जहाँ कुछ पन्ने फटे हुए हैं, कुछ प्रविष्टियाँ (entries) जल्दबाजी में लिखी गई हैं, और कुछ दिन पूरी तरह से छोड़ दिए गए हैं क्योंकि लेखक बीमार था।
- अंतराल (The Gap): लेखकों ने देखा कि किसी ने भी यह परीक्षण बनाने के लिए कोई निष्पक्ष तरीका नहीं निकाला था जिससे यह देखा जा सके कि क्या AI इस "मेसी डायरी" को पढ़ सकता है। मौजूदा परीक्षण बहुत आसान थे क्योंकि वे केवल "परफेक्ट क्लॉक" वाले डेटा का उपयोग करते थे।
2. समाधान: IRTS-ToolBench (नया प्रशिक्षण मैदान)
टीम ने एक विशाल नया परीक्षण बनाया जिसे IRTS-ToolBench कहा जाता है। इसे अनियमित डेटा के लिए विशेष रूप से डिज़ाइन किया गया "AI के लिए जिम" के रूप में समझें।
- आकार: इसमें 1,700 प्रश्न शामिल हैं जो 13 अलग-अलग दुनियाओं (जैसे स्वास्थ्य सेवा, वित्त और मौसम) और 10 अलग-अलग प्रकार की पहेलियों को कवर करते हैं।
- लक्ष्य: यह देखना कि क्या एक AI एक अव्यवठे, अंतराल वाले टाइमलाइन को देखकर यह बता सकता है कि, "क्या यहाँ हृदय गति बढ़ी थी?" या "सेंसर क्यों बंद हो गया?"
3. उन्होंने इसे कैसे बनाया: "मैजिक ट्रांसफॉर्मेशन" मशीन
आप केवल एक परफेक्ट क्लॉक लेकर उसमें से नंबरों को बेतरतीब ढंग से हटा नहीं सकते; इससे नकली, निरर्थक डेटा बन जाएगा। लेखकों ने एक विशेष तीन-चरणीय पाइपलाइन बनाई है जो परफेक्ट डेटा को वास्तविक, मेसी डेटा में बदल देती है:
- कॉन्टेक्स्ट एनरिचमेंट (Context Enrichment): उन्होंने एक AI से डेटा के पीछे की कहानी की कल्पना करने को कहा (जैसे, "यह एक व्यस्त अस्पताल में लगा हार्ट मॉनिटर है")।
- टैक्सोनॉमी सिलेक्शन (Taxonomy Selection): उस कहानी के आधार पर, AI ने तय किया कि डेटा को कैसे अव्यवस्थित होना चाहिए। क्या नर्स ने एक रीडिंग मिस कर दी? क्या कोई सेंसर टूट गया? उन्होंने डेटा गायब होने के 9 वास्तविक कारणों की एक विशिष्ट "मेनू" का उपयोग किया।
- पैरामीटर जनरेशन (Parameter Generation): इसके बाद AI ने उन विशिष्ट "मेसी" नियमों को गणितीय रूप से डेटा पर लागू किया, जिससे एक वास्तविक टूटा हुआ या अनियमित टाइमलाइन का सिमुलेशन तैयार हुआ।
4. टूलकिट: AI को "हाथ" देना
पेपर एक महत्वपूर्ण विचार पेश करता है: टूल-ग्राउंडेड रीजनिंग (Tool-Grounded Reasoning)।
AI को केवल अपने दिमाग से "अनुमान" लगाने के लिए कहने के बजाय, उन्होंने उसे 30 डिजिटल उपकरणों का एक टूलबॉक्स दिया।
- उपमा: कल्पना कीजिए कि एक जासूस को अपराध सुलझाने के लिए कहना।
- बिना टूल्स के: जासूस को केवल दृश्य को देखकर उत्तर का अनुमान लगाना पड़ता है।
- टूल्स के साथ: जासूस के पास एक आवर्धक लेंस (magnifying glass), एक फिंगरप्रिंट किट और एक कैलकुलेटर है।
- टूल्स: AI विभिन्न टाइम स्टैम्प को "संरेखित" (align) करने, गायब अंतरालों को "भरने", या यह "गिनने" के लिए टूल्स का उपयोग कर सकता है कि कितनी बार एक सेंसर ने बीट मिस की। प्रत्येक प्रश्न के लिए बेंचमार्क में एक "गोल्डन टूल सेट" शामिल है—उन टूल्स की सटीक सूची जिनका उपयोग AI को सही उत्तर पाने के लिए करना चाहिए था।
5. परीक्षण: क्या हुआ?
उन्होंने कई शीर्ष-स्तरीय AI मॉडलों (दोनों व्यावसायिक जैसे Claude और ओपन-सोर्स जैसे Qwen) का इस नए जिम पर परीक्षण किया।
- अच्छी खबर: जब AI को उसके टूल्स का उपयोग करने की अनुमति दी गई, तो वह पहेलियों को हल करने में बहुत बेहतर हो गया। यह जासूस को आवर्धक लेंस देने जैसा था; अचानक, वह उन सुरागों को देख सका जिन्हें उसने पहले मिस कर दिया था।
- बुरी खबर: टूल्स के साथ भी, AI अभी भी सबसे कठिन पहेलियों के साथ संघर्ष कर रहा था, जैसे कि डेटा गायब होने के गहरे "कारण" को समझना या एक अराजक अनुक्रम में आगे क्या होगा इसकी भविष्यवाणी करना।
- निर्णय: AI स्मार्ट हो रहा है, लेकिन वास्तविक दुनिया के अनियमित डेटा को संभालने के लिए इसे अभी भी बहुत अधिक मदद (scaffolding) की आवश्यकता है।
सारांश
लेखकों ने एक नया, वास्तविक परीक्षण बनाया है यह देखने के लिए कि क्या AI उस डेटा को संभाल सकता है जो परफेक्ट नहीं है। उन्होंने पाया कि जबकि AI बेहतर हो रहा है, उसे वास्तविक दुनिया के डेटा के अंतराल और अनियमितताओं को समझने के लिए वास्तव में एक "टूलबॉक्स" की आवश्यकता है। इन टूल्स के बिना, AI एक ऐसे छात्र की तरह है जो आवर्धक लेंस के बिना फटी हुई किताब पढ़ने की कोशिश कर रहा है—वह अनुमान तो लगा सकता है, लेकिन अक्सर गलत हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।