Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities
यह शोधपत्र DataGovBench प्रस्तुत करता है, जो सरकारी ओपन डेटा से प्राप्त एक नया बेंचमार्क है जो जटिल टेबल QA और खोजपूर्ण अंतर्दृष्टि (exploratory insight) कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिससे वर्तमान मॉडल्स और वास्तविक दुनिया के डेटा एनालिटिक्स की मांगों के बीच महत्वपूर्ण प्रदर्शन अंतराल का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोटिक सहायक है। इसे लाखों किताबों, समाचार लेखों और वेबसाइटों पर प्रशिक्षित किया गया है। यह कविता लिख सकता है, फिल्मों का सारांश दे सकता है, और इतिहास के बारे में सामान्य ज्ञान के प्रश्नों के उत्तर दे सकता है। आप सोच सकते हैं, "शानदार! चलिए इस रोबोट से अपनी कंपनी के बिक्री डेटा या शहर के ट्रैफ़िक रिकॉर्ड का विश्लेषण करने में मदद लेने के लिए कहते हैं।"
लेकिन इस शोध पत्र के अनुसार, यदि आप वास्तव में उस रोबोट को वास्तविक, अव्यवस्थित डेटा का ढेर थमा देते हैं, तो वह अक्सर अपने ही पैरों में उलझकर गिर जाता है।
इस पेपर के लेखक, जो फुजित्सु (Fujitsu) के शोधकर्ता हैं, ने इस सिद्धांत का परीक्षण करने का निर्णय लिया। उन्होंने एक नया "परीक्षा" बनाया जिसे DataGovBench कहा गया, ताकि यह देखा जा सके कि लार्ज लैंग्वेज मॉडल्स (LLMs) वास्तव में वास्तविक दुनिया में डेटा विश्लेषण को कितनी अच्छी तरह संभालते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "पाठ्यपुस्तक" बनाम "जंगल"
इन AI मॉडलों के लिए अधिकांश पिछले परीक्षण एक शांत कक्षा में गणित की क्विज़ लेने की तरह थे। समस्याएँ छोटी थीं, संख्याएँ साफ-सुथरी थीं, और नियम स्पष्ट थे।
- वास्तविकता: वास्तविक दुनिया का डेटा एक डिनर पार्टी के बाद की अराजक रसोई की तरह है। वहाँ रसीदों के विशाल ढेर (लाखों पंक्तियाँ), निर्देशों के साथ स्टिकी नोट्स (मेटाडेटा), और विभिन्न शेफ की रेसिपी (बाहरी ज्ञान) हर जगह बिखरे हुए हैं।
- अंतराल: पेपर का तर्क है कि वर्तमान AI मॉडल "कक्षा की क्विज़" में तो बेहतरीन हैं लेकिन "अराजक रसोई" में बुरी तरह विफल हो जाते हैं। वे अलग-अलग तालों को जोड़ने, संदर्भ को समझने, या भ्रमित हुए बिना छिपे हुए पैटर्न खोजने में संघर्ष करते हैं।
2. नई परीक्षा: DataGovBench
इसे ठीक करने के लिए, शोधकर्ताओं ने सरकारी ओपन डेटा (जैसे शहर के निर्माण रिकॉर्ड या स्वास्थ्य सांख्यिकी) का उपयोग करके एक नया बेंचमार्क बनाया। यह डेटा अव्यवस्थित, विशाल है और इसे समझने के लिए बाहरी ज्ञान की आवश्यकता होती है।
उन्होंने AI का परीक्षण दो विशिष्ट कार्यों पर किया:
कार्य A: "विशिष्ट प्रश्न" (Table QA)
- उपमा: कल्पना कीजिए कि आप रोबोट से पूछते हैं, "बोस्टन में 2010 के बाद कितनी इमारतें बनी थीं, और उनकी ऊँचाई का एक चार्ट दिखाएं।"
- चुनौती: रोबोट को सही फ़ाइल ढूँढनी होगी, गलत वर्षों को फ़िल्टर करना होगा, गणित करना होगा, और चित्र बनाना होगा।
- परिणाम: सबसे स्मार्ट रोबोट भी लगभग 60-70% बार गलत हुए। वे अक्सर "पुरुष" और "महिला" गणनाओं को अलग-अलग देखते समय "कुल" गणनाओं को फ़िल्टर करना भूल जाते हैं, या अलग-अलग दिनांक स्वरूपों (date formats) से भ्रमित हो जाते हैं।
कार्य B: "जासूसी कार्य" (Table Insight)
- उपमा: केवल एक विशिष्ट प्रश्न पूछने के बजाय, आप रोबोट को डेटा का एक ढेर थमा देते हैं और कहते हैं, "यहाँ जो दिलचस्प है वह मुझे बताओ।"
- चुनौती: रोबोट को एक मानव विश्लेषक की तरह कार्य करना होगा, जो संख्याओं में छिपे रुझानों, आश्चर्यों या कहानियों की तलाश करता है।
- परिणाम: रोबोट इसमें बहुत खराब थे। वे सामान्य विषय (जैसे, "रेडॉन गैस स्तर") को तो पहचान सकते थे, लेकिन वे यह समझाने में विफल रहे कि यह क्यों महत्वपूर्ण था या वे कौन सी विशिष्ट संख्याएँ थीं जो उनके बिंदु को सिद्ध करती थीं। वे विश्लेषण करने के बजाय केवल अनुमान लगाते हुए प्रतीत होते थे।
3. "एजेंट" प्रयोग
शोधकर्ताओं ने रोबोट की मदद करने के लिए उन्हें एक "टूलबेल्ट" (जिसे Agentic Framework कहा जाता है) दिया। केवल अनुमान लगाने के बजाय, रोबोट को प्रोग्राम किया गया था कि:
- गणित करने के लिए एक कंप्यूटर स्क्रिप्ट (Python कोड) लिखे।
- स्क्रिप्ट चलाए।
- अपने काम की जाँच करे। यदि स्क्रिप्ट क्रैश हो जाती है या परिणाम अजीब दिखता है, तो वह कोड को ठीक करने और उसे फिर से चलाने का प्रयास करेगा।
क्या यह काम आया?
हाँ, लेकिन केवल थोड़ा सा। यह एक छात्र को कैलकुलेटर देने जैसा था; उनके स्कोर बढ़ गए, लेकिन वे अभी भी सबसे कठिन समस्याओं को हल नहीं कर सके। सर्वश्रेष्ठ मॉडल भी आधे से अधिक समय विफल रहे।
4. वे कहाँ विफल हुए?
पेपर ने पहचाना कि वर्तमान AI के पास कौन सी दो मुख्य "सुपरपावर" की कमी है:
- नैरेटिव रीजनिंग (Narrative Reasoning): AI एक संख्या ढूँढ सकता है, लेकिन वह उस संख्या को एक तार्किक कहानी या तर्क में नहीं पिरो सकता। यह सामग्री की सूची होने जैसा है लेकिन यह न जानना कि भोजन कैसे पकाया जाए।
- तथ्य प्राप्ति (Fact Retrieval): जब डेटा विशाल और अव्यवस्थित होता है, तो AI अक्सर गलत संख्या या गलत तालिका चुन लेता है, जिससे वह एक आत्मविश्वासी लेकिन पूरी तरह से गलत उत्तर देता है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI बातचीत करने और लिखने में अद्भुत है, यह वास्तविक दुनिया की अव्यवस्थित स्थितियों के लिए एक विश्वसनीय डेटा विश्लेषक बनने के लिए अभी तैयार नहीं है।
शोधकर्ताओं ने यह "DataGovBench" परीक्षा दुनिया को यह दिखाने के लिए बनाई है कि रोबोट वास्तव में कहाँ विफल हो रहे हैं, इस उम्मीद में कि भविष्य के AI डेवलपर्स हमारे महत्वपूर्ण डेटा पर भरोसा करने से पहले इन विशिष्ट कमजोरियों को ठीक करने पर ध्यान केंद्रित करेंगे।
संक्षेप में: हमने एक बहुत ही बुद्धिमान रोबोट लाइब्रेरियन तो बना लिया है, लेकिन हम अभी भी एक रोबोट अकाउंटेंट का इंतज़ार कर रहे हैं जो बिना गड़बड़ी किए हिसाब-किताब कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।