Spreadsheet Modeling Experiments Using GPTs on Small Problem Statements and the Wall Task
यह शोध पत्र पुन: प्रयोज्य स्प्रेडशीट मॉडल बनाने में GPT-आधारित उपकरणों, विशेष रूप से एक्सेल एआई (Excel AI) की क्षमताओं का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि वे सुव्यवस्थित ड्राफ्ट तैयार कर सकते हैं, लेकिन उनकी असंगतता, पुनरुत्पादकता का अभाव और परिणामस्वरूप कुशल उपयोगकर्ता सत्यापन की आवश्यकता वर्तमान में पेशेवर उपयोग के लिए उनकी विश्वसनीयता को सीमित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी थोड़ा लापरवाह रोबोटिक सहायक को एक्सेल (Excel) फाइल बनाना सिखाने की कोशिश कर रहे हैं। आप उसे एक गणितीय समस्या का सरल विवरण देते हैं, और आप उम्मीद करते हैं कि वह आपको एक पूरी तरह से व्यवस्थित एक्सेल फाइल सौंप देगा जिसे आप हमेशा के लिए उपयोग कर सकें।
यह पेपर इस बात की रिपोर्ट कार्ड है कि उस रोबोट सहायक ने वास्तव में कैसा प्रदर्शन किया। शोधकर्ताओं, थॉमस ग्रौसमैन और उनकी टीम ने पाँच अलग-अलग "AI सहायकों" को यह देखने के लिए परखा कि कौन सा उपकरण सबसे अच्छा पुन: प्रयोज्य (reusable) स्प्रेडशीट मॉडल बना सकता है। उन्होंने विजेता चुना, एक टूल जिसका नाम Excel AI है, और फिर इसे कई तनाव परीक्षणों (stress tests) से गुजारा।
उनके निष्कर्षों का विवरण यहाँ दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. लक्ष्य: एक "लेगो सेट" बनाना, न कि "रेत का महल"
शोधकर्ता चाहते थे कि AI एक ऐसी स्प्रेडशीट बनाए जिसे पुन: उपयोग (reusable) किया जा सके।
- गलत तरीका (रेत का महल): कल्पना कीजिए कि AI सीधे सेल्स में नंबर लिख देता है (जैसे "10" और "12")। यदि आप बाद में कमरे का आकार बदलना चाहते हैं, तो आपको सब कुछ मिटाना और फिर से लिखना होगा। यह रेत का महल बनाने जैसा है; यह एक पल के लिए अच्छा दिखता है, लेकिन आप इसे आसानी से दोबारा नहीं बना सकते।
- सही तरीका (लेगो सेट): शोधकर्ता चाहते थे कि AI नंबरों को विशेष "इनपुट" बॉक्स में डाले और बाकी चीज़ों के लिए फॉर्मूला (जैसे
=A1*B1) का उपयोग करे। यह एक लेगो सेट की तरह है। आप ईंटों (इनपुट नंबरों) को बदल सकते हैं, और पूरा ढांचा अपने आप अपडेट हो जाता है। इसे वे ERFR (अनिवार्य पुन: प्रयोज्यता आवश्यकताएं) कहते हैं।
2. स्क्रीनिंग: सबसे अच्छा सहायक खोजना
टीम ने पाँच अलग-अलग AI टूल्स का परीक्षण किया। यह एक शेड (छोटा कमरा) बनाने के लिए पाँच अलग-अलग ठेकेदारों को काम पर रखने जैसा था।
- कुछ ठेकेदारों ने टूटे हुए ब्लूप्रिंट थमा दिए।
- कुछ ने असली शेड के बजाय शेड की तस्वीर दे दी।
- एक ठेकेदार, Excel AI, सबसे सुसंगत (consistent) था। इसने आमतौर पर एक साफ, डाउनलोड करने योग्य फ़ाइल सही संरचना के साथ सौंपी। इसलिए, शोधकर्ताओं ने भविष्य के सभी परीक्षणों के लिए इसी एक टूल पर ध्यान केंद्रित करने का निर्णय लिया।
3. प्रयोग: रोबोट ने विभिन्न कार्यों को कैसे संभाला
शोधकर्ताओं ने Excel AI को हल करने के लिए आठ अलग-अलग सरल गणितीय समस्याएं दीं, जैसे "एक कमरे का क्षेत्रफल निकालें" या "एक महीने में सेब की लागत का पता लगाएं।" उन्होंने तीन विशिष्ट चीजों का परीक्षण किया:
"रेसिपी" टेस्ट (डेटा बनाम वेरिएबल्स):
- परिदृश्य A: "यहाँ नंबर हैं: 10 और 12।"
- परिदृश्य B: "यहाँ नंबरों के नाम हैं: लंबाई और चौड़ाई।"
- परिणाम: रोबोट ने दोनों को पूरी तरह से संभाला। वह समझ गया कि यदि कोई नंबर नहीं दिया गया है, तो उपयोगकर्ता के भरने के लिए खाली बॉक्स छोड़ देने चाहिए।
"कैलेंडर" टेस्ट (30 दिन बनाम एक महीना):
- परिदृश्य A: "इसे 30 दिनों के लिए करें।"
- परिदृश्य B: "इसे एक महीने के लिए करें।"
- परिणाम: यहीं पर रोबोट लड़खड़ा गया। जब उसे "30 दिन" कहा गया, तो उसने 30 पंक्तियों की एक सटीक सूची बनाई। लेकिन जब उसे "एक महीना" कहा गया, तो वह भ्रमित हो गया। कभी-कभी उसने वर्तमान महीने के लिए सूची बनाई (जिसमें 31 दिन या उससे कम होते हैं), और कभी-कभी उसने फॉर्मूला के बजाय सेल्स में वास्तविक नंबर डाल दिए। यह एक ऐसे शेफ की तरह था जो "30 मिनट" की रेसिपी को तो ठीक से फॉलो कर सकता है, लेकिन जब आप कहें "एक घंटा", तो वह भ्रमित हो जाता है और अंदाज़ा लगाने लगता है।
"बेमतलब का शब्द" टेस्ट:
- उन्होंने एक वास्तविक वस्तु (जैसे "सेब") के बजाय एक बनावटी शब्द (जैसे "ज़ोरप" - Zorp) का उपयोग किया।
- परिणाम: रोबोट को इससे कोई फर्क नहीं पड़ा। उसने "ज़ोरप" के साथ भी बिल्कुल वैसा ही व्यवहार किया जैसा "सेब" के साथ करता। यह एक सफलता थी।
4. बड़ी समस्या: "मैजिक 8-बॉल" प्रभाव
सबसे बड़ी समस्या जो शोधकर्ताओं ने पाई वह है पुनरुत्पादकता (reproducibility)।
- यदि आप रोबोट से वही सटीक सवाल दो बार पूछते हैं, तो आपको दो अलग-अलग उत्तर मिल सकते हैं।
- उपमा: कल्पना कीजिए कि आप एक मानव सहायक से पूछते हैं, "मेरे लिए एक सैंडविच बनाओ।" पहली बार में, वह आपको एक बेहतरीन टर्की सैंडविच देता है। दूसरी बार, जब आप बिल्कुल वही चीज़ मांगते हैं, तो वह आपको बिना क्रस्ट वाला पीनट बटर सैंडविच देता है।
- "वॉल टास्क" (दीवार बनाने के बारे में एक थोड़ा जटिल कार्य) में, रोबोट कभी-कभी एक बेहतरीन, पेशेवर-ग्रेड मॉडल बनाता है। अन्य समय में, वह टूटे हुए मॉडल के साथ काम करता है जिसमें फॉर्मूला गायब होते हैं जिससे एक्सेल क्रैश हो जाता है। आप कभी नहीं जान सकते कि आपको कौन सा संस्करण मिलने वाला है।
5. "विश्वास" और "वर्कफ़्लो" की समस्याएँ
पेपर उन दो बड़ी समस्याओं को रेखांकित करता है जो इस तकनीक का उपयोग करने वाले किसी भी व्यक्ति के लिए सिरदर्द हैं:
विश्वास की समस्या:
यदि कोई रोबोट आपको एक स्प्रेडशीट देता है, तो आप कैसे जानेंगे कि वह सही है?- उपमा: यदि कोई छात्र गणित का टेस्ट देता है, तो आप उत्तरों की जांच कर सकते हैं। लेकिन यदि छात्र एक रोबोट है जो गलत जानकारी (hallucinating) दे सकता है, तो आपको उसके काम को सत्यापित करने के लिए खुद एक विशेषज्ञ गणितज्ञ होना पड़ेगा। आप बस उस पर भरोसा नहीं कर सकते। पेपर कहता है कि आपको रोबोट के काम की दोबारा जांच करने के लिए एक कुशल मानव की आवश्यकता है, जो रोबोट का उपयोग करके समय बचाने के उद्देश्य को ही विफल कर देता है।
वर्कफ़्लो की समस्या:
कुछ लोग तर्क देते हैं, "शायद रोबोट को हमें केवल एक 'रफ ड्राफ्ट' देना चाहिए जिसे हम ठीक कर सकें।"- उपमा: यह एक रोबोट से उपन्यास का पहला ड्राफ्ट लिखने के लिए कहने जैसा है। यदि ड्राफ्ट में कहानी की खामियां और गलतियाँ भरी हुई हैं, तो क्या उसे ठीक करना या शुरू से किताब लिखना अधिक तेज़ है? शोधकर्ताओं ने पाया कि जटिल स्प्रेडशीट के लिए, रोबोट के बिखरे हुए ड्राफ्ट को ठीक करने में अक्सर उतना ही समय (या अधिक) लगता है जितना कि इसे स्वयं बनाना।
अंतिम निर्णय
पेपर का निष्कर्ष सतर्क है।
- अच्छा: AI सरल निर्देशों से कभी-कभी सुंदर, पेशेवर दिखने वाली स्प्रेडशीट बना सकता है।
- बुरा: यह असंगत, अविश्वसनीय और अक्सर अप्रत्याशित है।
- वास्तविकता: वर्तमान में, ये टूल्स व्यावसायिक उपयोग के लिए तैयार नहीं हैं। वे पेशेवर उपयोग के लिए पर्याप्त विश्वसनीय नहीं हैं जहाँ गलतियाँ पैसों का नुकसान कर सकती हैं। इन्हें एक "ड्राफ्टिंग असिस्टेंट" के रूप में देखा जाना सबसे अच्छा है जिसे काम की निगरानी, सत्यापन और सुधार करने के लिए एक कुशल मानव की आवश्यकता होती है।
संक्षेप में, रोबोट एक प्रतिभाशाली प्रशिक्षु (apprentice) है जो कभी-त कभी उत्कृष्ट कृति बनाता है और कभी-कभी ताश का घर (house of cards) बना देता है। जब तक वह सुसंगत होना नहीं सीख जाता, आपको अभी भी एक मास्टर बिल्डर (मानव) की आवश्यकता है जो क्लिपबोर्ड पकड़कर रखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।