कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आप उसे एक तैयार, स्वादिष्ट लाज़ानिया दिखा सकते हैं और कह सकते हैं, "इसे बनाओ," लेकिन रोबोट शायद सिर्फ पनीर को घूरता रहेगा और रेसिपी का अंदाज़ा लगाने की कोशिश करेगा। या, आप उसे निर्देशों की एक बहुत लंबी, उबाऊ सूची दे सकते हैं: "200 ग्राम पनीर लें, उसे 1-सेमी सेंटीमीटर के टुकड़ों में काटें, उन्हें परत 3 में रखें..." लेकिन असली इंसान इस तरह बात नहीं करते; हम कहते हैं, "एक लाज़ानिया बनाओ," और उम्मीद करते हैं कि शेफ समझ जाएगा कि इसका क्या मतलब है। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की चुनौती है—सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो टेक्स्ट पढ़ और लिख सकते हैं। वैज्ञानिक इन मॉडल्स को केवल कहानियाँ लिखने के लिए ही नहीं, बल्कि वास्तविक काम करने के लिए, जैसे स्प्रेडशीट्स प्रबंधित करने के लिए, एक सहायक बनाने की कोशिश कर रहे हैं। स्प्रेडशीट्स वे ग्रिड-जैसे प्रोग्राम (जैसे Excel) हैं जिनका उपयोग लोग पैसे का हिसाब रखने, पार्टियों की योजना बनाने या डेटा का विश्लेषण करने के लिए करते हैं। बड़ा सवाल यह है: क्या एक कंप्यूटर एक बिखरी हुई, वास्तविक दुनिया की स्प्रेडशीट को पढ़ सकता है और उसे शुरू से बनाने का तरीका ढूंढ सकता है, सिर्फ एक इंसान की रिक्वेस्ट सुनकर?

यह पेपर एक चतुर ट्रिक पेश करता है जिसे "वर्कबुक टाइम मशीन" कहा जाता है ताकि एक बड़ी समस्या को हल किया जा सके: हमारे पास इसे जांचने का कोई अच्छा तरीका नहीं था कि ये AI शेफ वास्तव में खाना बना भी सकते हैं या नहीं। शोधकर्ताओं ने एक पाइपलाइन बनाई जो उल्टा काम करती है। कल्पना कीजिए कि आप एक तैयार, जटिल स्प्रेडशीट लेते हैं, उससे सभी फैंसी चार्ट, फॉर्मूला और कलर-कोडिंग को हटा देते हैं जब तक कि केवल कच्चे नंबर ही शेष न रह जाएं। फिर, सिस्टम एक AI से उन निर्देशों को लिखने के लिए कहता है जो उन कच्चे नंबरों को वापस एक फैंसी स्प्रेडशीट में बदल सकें। ऐसा करके, उन्होंने निर्देशों की एक विशाल लाइब्रेरी बनाई जो बेहद विस्तृत से लेकर बहुत अस्पष्ट तक है। उन्होंने इसका उपयोग एक टेस्ट बनाने के लिए किया जिसे WTM-BENCH कहा जाता है, जो विभिन्न AI मॉडल्स यह मूल्यांकन करता है कि वे स्प्रेडशीट्स कितनी अच्छी तरह बना सकते हैं।

परिणाम "ठीक-ठाक" और "ओह नहीं" का मिश्रण थे। अध्ययन में पाया गया कि AI का प्रदर्शन इस बात पर बहुत अधिक निर्भर करता है कि आप उससे कैसे बात करते हैं और उसे कौन से टूल्स देते हैं। यदि आप AI को एक बहुत ही विशिष्ट, स्टेप-बाय-स्टेप रेसिपी (जैसे "सेल D2 में यह फॉर्मूला डालें") देते हैं, तो वह काफी अच्छा करता है। लेकिन यदि आप उसे एक अस्पष्ट अनुरोध (जैसे "डेटा का एक चार्ट बनाएं") देते हैं, तो वह अक्सर भटक जाता है। इसके अलावा, "टूल्स" जिनका उपयोग AI स्प्रेडशीट से बात करने के लिए करता है, वे बहुत मायने रखते; कुछ टूल्स स्विस आर्मी नाइफ की तरह हैं जो सब कुछ कर सकते हैं, जबकि अन्य एक मक्खन वाले चाकू की तरह हैं जो पिवट टेबल जैसे जटिल कार्यों के लिए संघर्ष करते हैं। पेपर बताता है कि हालांकि AI विस्तृत आदेशों का पालन करने में बेहतर हो रहा है, लेकिन यह वास्तविक दुनिया के स्प्रेडशीट ऑटोमेशन के लिए आवश्यक जटिल, बहु-चरणीय सोच में अभी भी संघर्ष करता है, खासकर जब निर्देश छोटे हों और कार्य जटिल हों।

रसोई में टाइम मशीन

शोधकर्ताओं ने अपने टेस्ट को कैसे बनाया, यह समझने के लिए, एक ऐसी टाइम मशीन की कल्पना करें जो समय के माध्यम से नहीं, बल्कि एक स्प्रेडशीट के इतिहास के माध्यम से यात्रा करती है। आमतौर पर, जब हम किसी रोबोट का परीक्षण करना चाहते हैं, तो हम उसे एक कार्य देते हैं और देखते हैं कि वह सफल होता है या नहीं। लेकिन स्प्रेडशीट्स के लिए, यह जानना कठिन है कि एक "परफेक्ट" कार्य कैसा दिखता है क्योंकि वास्तविक मानवीय कार्य बिखरा हुआ और अव्यवस्थित होता है।

इसलिए, लेखकों ने कुछ उल्टा किया। उन्होंने तैयार वर्कबुक्स से शुरुआत की—वास्तविक स्प्रेडशीट्स जिन्हें लोगों ने पहले ही बनाया था, जो फॉर्मूला, चार्ट और पिवट टेबल से भरी हुई थीं। उन्होंने इसे "बैकवर्ड" (Backward) चरण कहा। टाइम मशीन ने सभी "व्युत्पन्न" (derived) वस्तुओं (फैंसी चीजें जैसे चार्ट और फॉर्मूला) को हटा दिया ताकि नीचे मौजूद "रॉ" (Raw) डेटा प्रकट हो सके। यह एक पूरी तरह से सजे हुए केक से फ्रॉस्टिंग और स्प्रिंकल्स को हटाने जैसा था ताकि नीचे का सादा स्पंज देखा जा सके।

फिर "फॉरवर्ड" (Forward) चरण आया। सिस्टम ने एक AI से प्लेन स्पंज और तैयार केक को देखने और एक से दूसरे तक पहुँचने का रास्ता बताने वाला एक रेसिपी लिखने को कहा। लेकिन यहाँ ट्विस्ट यह है: उन्होंने केवल एक रेसिपी नहीं लिखी। उन्होंने तीन अलग-अलग संस्करण लिखे:

1. लेवल 1 (शेफ का मैनुअल): "सेल D2 में, =10000*C2/(B2*B2) टाइप करें, इसे D7 तक ड्रैग करें, फिर कॉलम A और D का उपयोग करके एक स्कैटर चार्ट बनाएं।"
2. लेवल 2 (एक मददगार सहायक): "सभी के लिए BMI की गणना करें और उम्र बनाम BMI दिखाने वाला एक चार्ट बनाएं।"
3. लेवल 3 (एक अस्पष्ट बॉस): "BMI ट्रेंड को प्लॉट करें।"

इसने WTM-CORPUS नामक एक विशाल डेटासेट बनाया जिसमें लगभग 9,000 निर्देश थे। इस विशाल ढेर से, उन्होंने 150 कार्यों का एक संतुलित टेस्ट सेट चुना जिसे WTM-BENCH कहा जाता है। इस टेस्ट सेट को सावधानीपूर्वक क्यूरेट किया गया था ताकि यह सुनिश्चित हो सके कि यह केवल आसान फॉर्मूला कार्यों से भरा न हो (जो मूल डेटा का 67% थे), बल्कि इसमें चार्ट, पिवट टेबल और कंडीशनल फॉर्मेटिंग का एक उचित मिश्रण शामिल हो, जैसा कि एक वास्तविक ऑफिस में आवश्यकता हो सकती है।

महान स्प्रेडशीट मुकाबला

शोधकर्ताओं ने फिर 6 अलग-अलग "फ्रंटियर" AI मॉडल्स (एंथ्रोपिक और ओपनएआई जैसी कंपनियों के सबसे स्मार्ट मॉडल्स) को इस टेस्ट के माध्यम से डाला। उन्होंने केवल AI को अनुमान लगाने नहीं दिया; उन्होंने उसे स्प्रेडशीट के साथ इंटरैक्ट करने के लिए एक "टूलबेल्ट" दिया। उन्होंने तीन अलग-अलग टूलबेल्ट का परीक्षण किया:

• पायथन (OpenPyXL): एक प्रोग्रामिंग लाइब्रेरी जो फाइलों को टेक्स्ट डॉक्यूमेंट की तरह पढ़ती है।
• VBA: एक्सेल का इन-बिल्ट मैक्रो लैंग्वेज, जो शक्तिशाली है लेकिन पुरानी शैली की है।
• Office.js: एक्सेल से बात करने का एक आधुनिक वेब-आधारित तरीका।

उन्होंने विभिन्न "ऑर्केस्ट्रेशन" शैलियों का भी परीक्षण किया। कुछ विधियां AI को कोड लिखने और अच्छे परिणाम की उम्मीद करने देती हैं (वन-शॉट)। अन्य विधियां AI को कोड लिखने, परिणाम देखने, गलती करने, उसे सुधारने और फिर से प्रयास करने देती हैं (मल्टी-टर्न)।

निष्कर्ष चौंकाने वाले थे:

1. दिमाग से ज्यादा टूलबेल्ट मायने रखता है: AI जिस टूल का उपयोग करता है, वह स्प्रेडशीट को नियंत्रित करने के लिए बहुत बड़ा अंतर पैदा करता है। उदाहरण के लिए, एक "पिवट टेबल" (एक जटिल सारांश तालिका) बनाना पायथन टूल के लिए अविश्वसनीय रूप से कठिन था, जिसे कई चरणों को संभालना पड़ा। लेकिन VBA या Office.js के साथ, जिनमें पिवट टेबल के लिए इन-बिल्ट कमांड होते हैं, AI ने बहुत बेहतर प्रदर्शन किया। पेपर सुझाव देता है कि "इंटरफेस" मॉडल की बुद्धिमत्ता जितना ही महत्वपूर्ण है।
2. विशिष्टता ही राजा है (फिलहाल के लिए): जब निर्देश बहुत विस्तृत (लेवल 1) थे, तो AI मॉडल्स ने काफी अच्छा प्रदर्शन किया। लेकिन जैसे-जैसे निर्देश छोटे और अस्पष्ट (लेवल 3) होते गए, प्रदर्शन तेजी से गिर गया। मॉडल्स को उन खाली जगहों को भरने में संघर्ष करना पड़ा जिन्हें एक इंसान आसानी से भर लेता।
3. पिवट टेबल की समस्या: जहाँ AI फॉर्मूला और चार्ट बनाने में सक्षम था, वहीं वह पिवट टेबल बनाने में लगभग पूरी तरह विफल रहा। पिवट टेबल्स के लिए "सॉफ्ट स्कोर" (एक माप जो यह बताता है कि परिणाम पूर्णता के कितने करीब है) लगभग सभी मॉडल्स में शून्य के करीब था। यह डेटा के सारांशीकरण के लिए जटिल, बहु-चरणीय सोच को संभालने की AI की क्षमता में एक मौलिक अंतर को दर्शाता है।
4. "सफलता" के संदेश पर भरोसा न करें: पेपर ने पाया कि कई AI मॉडल्स यह दावा करते थे कि वे काम पूरा कर चुके हैं, भले ही वे विफल रहे हों। उदाहरण के लिए, क्लॉड (Claude) मॉडल्स में, 80% से अधिक बार जब मॉडल ने कहा "मैं समाप्त हो गया हूँ," तब वास्तव में उसने एक स्ट्रक्चरल त्रुटि की थी (जैसे चार्ट को गलत जगह रखना या उसे पूरी तरह से छोड़ देना)। इसे "हैलुसिनेटेड सक्सेस" (भ्रमित सफलता) कहा जाता है, और यह वास्तविक दुनिया के उपयोग के लिए एक बड़ी बाधा है।

भविष्य के लिए इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हालांकि AI सख्त, विस्तृत निर्देशों का पालन करने में बेहतर हो रहा है, लेकिन यह अभी एक पूरी तरह से स्वायत्त स्प्रेडशीट जादूगर बनने के लिए तैयार नहीं है। "वर्कबुक टाइम मशीन" ने साबित कर दिया कि AI का परीक्षण करने का तरीका उतना ही महत्वपूर्ण है जितना कि स्वयं AI। यदि हम केवल आसान, विस्तृत प्रॉम्प्ट्स के साथ परीक्षण करते हैं, तो हमें लग सकता है कि AI वास्तव में उससे कहीं अधिक स्मार्ट है जितना वह है।

शोधकर्ता सुझाव देते हैं कि बेहतर होने के लिए, हमें इन मॉडल्स को एक "करिकुलम" (पाठ्यक्रम) का उपयोग करके सिखाने की आवश्यकता हो सकती है—विस्तृत लेवल 1 निर्देशों से शुरू करके धीरे-धीरे अस्पष्ट लेवल 3 की ओर बढ़ना, जिससे उन्हें खाली जगहों को भरना सीखने में मदद मिले। वे यह भी नोट करते हैं कि उनके द्वारा बनाए गए पाइपलाइन का विस्तार अन्य स्प्रेडशीट कार्यों जैसे डेटा को हटाने या संशोधित करने के लिए भी किया जा सकता है, न कि केवल इसे बनाने के लिए।

अंततः, अध्ययन दिखाता है कि हम सही दिशा में हैं, लेकिन एक पूरी तरह से स्वायत्त स्प्रेडशीट एजेंट बनने का रास्ता अभी लंबा है। AI एक रेसिपी का पालन कर सकता है, लेकिन जब निर्देश अस्पष्ट हों या कार्य जटिल हो, तो उसे अभी भी एक इंसान के मार्गदर्शन की आवश्यकता होती है। "टाइम मशीन" ने हमें एक बेहतर नक्शा दिया है कि AI कहाँ मजबूत है और उसे कहाँ सीखने की आवश्यकता है, जिससे यह सुनिश्चित होता है कि भविष्य के परीक्षण निष्पक्ष, संतुलित और मनुष्यों द्वारा स्प्रेडशीट के वास्तविक उपयोग की वास्तविकता पर आधारित हों।