Business Utility of Large Language Models as Exploratory Data Analysis Agents
यह शोध पत्र एक आपूर्ति श्रृंखला सिमुलेशन बेंचमार्क का उपयोग करते हुए एक्सप्लोरेटरी डेटा एनालिसिस एजेंट के रूप में लार्ज लैंग्वेज मॉडल्स की व्यावसायिक उपयोगिता का मूल्यांकन करता है, जिससे यह पता चलता है कि स्वीकार्य औसत प्रदर्शन के बावजूद अधिकांश कॉन्फ़िगरेशन स्वायत्त उपयोग के लिए आवश्यक पुनरावृत्ति की कमी रखते हैं, जबकि एक विशिष्ट उच्च-प्रयास वाले GPT-5.4 कॉन्फ़िगरेशन में गुणवत्ता और विश्वसनीयता का सबसे मजबूत संतुलन प्रदर्शित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक रहस्य सुलझाने के लिए अत्यधिक बुद्धिमान, सुपर-फास्ट जासूसों की एक टीम को काम पर रखा है: किस आपूर्तिकर्ता (supplier) ने वे खराब सेब भेजे थे जिनके कारण एक किराने की दुकान को नुकसान हुआ?
यह पेपर इस बात का रिपोर्ट कार्ड है कि ये "AI जासूस" (लार्ज लैंग्वेज मॉडल्स) वास्तव में इस विशिष्ट कार्य को कितनी अच्छी तरह से करते हैं। शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या उन्हें सही उत्तर मिला?" बल्कि उन्होंने यह पूछा, "क्या हम उन पर भरोसा कर सकते हैं कि जब भी हम उनसे पूछेंगे, वे हर बार सही उत्तर देंगे?"
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।
1. कार्य: "खराब सेबों" को खोजना
वास्तविक दुनिया में, व्यवसायों के पास हमेशा ऐसा लेबल नहीं होता जिस पर लिखा हो "यह बैच सड़ा हुआ है।" इसके बजाय, उन्हें सुरागों को देखना पड़ता है: शायद ग्राहकों ने किसी उत्पाद को खरीदना बंद कर दिया, या स्टोरों ने सामान वापस कर दिया।
- कार्य: AI को बिखरे हुए डेटा के निशानों (जैसे पैरों के निशान देखते हुए एक जासूस) को देखना था ताकि यह पता लगाया जा सके कि कौन सा विशिष्ट आपूर्तिकर्ता-उत्पाद संयोजन दोषी था।
- चुनौती: यह कोई साधारण गणितीय समस्या नहीं है जिसका एक ही सही उत्तर हो। इसके लिए अनुमान लगाने, कड़ियों को जोड़ने और एक सिद्धांत बनाने की आवश्यकता होती है। इसे एक्सप्लोरेटरी डेटा एनालिसिस (EDA) कहा जाता है।
2. परीक्षण: "पांच-रन" का नियम
शोधकर्ताओं ने AI को केवल एक बार कोशिश करने के लिए नहीं छोड़ा। उन्होंने 15 अलग-अलग AI मॉडलों (जैसे GPT-5, Gemini, Claude, आदि) को इस रहस्य को पाँच बार हल करने के लिए कहा, चार अलग-अलग स्थितियों के तहत (जैसे उन्हें एक स्पष्ट मानचित्र देना, या एक उलझा हुआ मानचित्र देना)।
उन्होंने दो चीजें मापीं:
- सटीकता (Accuracy): क्या उन्होंने खराब सेबों को खोज लिया?
- निरंतरता (Consistency): यदि आप उनसे एक ही प्रश्न पाँच बार पूछते हैं, तो क्या वे हर बार एक ही उत्तर देते हैं?
3. बड़ी समस्या: "रोलरकोस्टर" प्रभाव
पेपर में एक आश्चर्यजनक सत्य सामने आया: अधिकांश AI मॉडल रोलरकोस्टर की तरह हैं।
- कभी-कभी वे ऊपर की ओर तेजी से जाते हैं और रहस्य को पूरी तरह से सुलझा लेते हैं।
- अन्य समय में, वे नीचे गिर जाते हैं और गलत उत्तर देते हैं।
- भले ही उनका औसत स्कोर ठीक दिखता हो, लेकिन तथ्य यह है कि वे इतने अप्रत्याशित हैं कि वास्तविक व्यवसाय में उपयोग करने के लिए खतरनाक हैं।
उपमा: कल्पना कीजिए कि आपने एक शेफ को काम पर रखा है। यदि वह 50% बार एक बेहतरीन स्टेक बनाता है और बाकी 50% बार कोयले का जला हुआ टुकड़ा, तो उनका "औसत" भोजन कागज पर ठीक लग सकता है। लेकिन आप उन्हें अपना रेस्टोरेंट चलाने के लिए नहीं चुनेंगे क्योंकि आप अनुमान नहीं लगा सकते कि आपको क्या मिलने वाला है। वर्तमान में इन AI एजेंटों के साथ यही समस्या है।
4. नया स्कोरकार्ड: "बिजनेस यूटिलिटी"
शोधकर्ताओं ने AI को ग्रेड करने का एक नया तरीका बनाया जिसे बिजनेस यूटिलिटी (Business Utility) कहा जाता है। इसे एक "ट्रस्ट स्कोर" (विश्वास स्कोर) के रूप में सोचें।
- यह AI की औसत सटीकता को लेता है और यदि वह असंगत (inconsistent) है, तो उसे भारी दंड (punish) देता है।
- फॉर्मूला: यदि कोई AI बुद्धिमान है लेकिन अस्थिर है, तो उसका स्कोर गिर जाता है। यदि कोई AI थोड़ा कम बुद्धिमान है लेकिन बहुत विश्वसनीय है, तो उसका स्कोर ऊंचा रहता है।
परिणाम:
- विजेता: एक मॉडल, GPT-5.4 (अतिरिक्त "सोचने" के प्रयास के साथ), स्पष्ट विजेता था। यह बुद्धिमान और सुसंगत दोनों था। इसका "ट्रस्ट स्कोर" उच्च था।
- हारने वाले: अन्य अधिकांश मॉडल, यहाँ तक कि कुछ जो आमतौर पर बहुत लोकप्रिय होते हैं, बहुत अस्थिर थे। उन्हें औसत पर अच्छे स्कोर मिले, लेकिन उनका "ट्रस्ट स्कोर" कम था क्योंकि वे बहुत अप्रत्याशित थे।
5. "सिग्नल" परीक्षण
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या AI भ्रमित हो जाता है जब सुराग ढूंढना कठिन हो जाता है (एक "कमजोर सिग्नल")।
- कुछ मॉडलों ने कठिन सुराग मिलने पर अपना व्यवहार नाटकीय रूप रूप से बदल लिया।
- हालाँकि, पेपर में पाया गया कि आंतरिक असंगति (internal inconsistency) (रोलरकोस्टर प्रभाव) कठिन सुरागों से भ्रमित होने की तुलना में एक बड़ी समस्या थी। यहाँ तक कि जब सुराग आसान थे, तब भी AI उत्तर पर खुद से सहमत नहीं हो सका।
6. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI इन पहेलियों को सुलझाने में बेहतर हो रहा है, हम अभी उन्हें अकेले काम करने देने के लिए तैयार नहीं हैं।
- वर्तमान स्थिति: AI एक प्रतिभाशाली इंटर्न की तरह है जिसके पास बेहतरीन विचार हैं लेकिन वह आधे समय में लिखना भूल जाता है। आप हर एक कदम की मानवीय जांच किए बिना उन पर भरोसा नहीं कर सकते।
- सबक: जब कंपनियाँ डेटा विश्लेषण के लिए AI का उपयोग करना चाहती हैं, तो उन्हें केवल "औसत" सफलता दर को नहीं देखना चाहिए। उन्हें विश्वसनीयता (reliability) को देखने की आवश्यकता है। यदि AI काम को लगातार (consistently) नहीं कर सकता, तो वह वास्तविक दुनिया के लिए तैयार नहीं है, चाहे वह किसी भी अच्छे दिन कितना भी स्मार्ट क्यों न दिखे।
संक्षेप में: AI जासूस बुद्धिमान हैं, लेकिन वे अभी तक व्यवसाय की चाबियाँ संभालने के लिए बहुत अधिक अनिश्चित (moody) हैं। हमें उन्हें बिना किसी देखरेख के काम करने देने से पहले उन्हें सुसंगत (consistent) होने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।