Office Comprehension Benchmark
यह शोध पत्र ऑफिस कॉम्प्रिहेंशन बेंच (OCB) को प्रस्तुत करता है, जो वर्ड, एक्सेल और पावरपॉइंट बोध के मूल्यांकन के लिए डिज़ाइन किया गया पहला सार्वजनिक बेंचमार्क है, जो दो ट्रैक्स—फाइल फिडेलिटी Q&A और डोमेन Q&A—के माध्यम से यह प्रकट करता है कि शीर्ष स्तर के मॉडल भी जटिल दस्तावेज़ तर्क करने में संघर्ष करते हैं, और डोमेन कार्यों पर केवल 59.3% सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट सहायक है जो दस्तावेज़ पढ़ सकता है। आप जानना चाहते हैं: क्या यह वास्तव में वास्तविक ऑफिस फाइलों को पढ़ने में कुशल है, या यह सिर्फ अंदाज़ा लगा रहा है?
माइक्रोसॉफ्ट के शोधकर्ताओं ने एक विशाल परीक्षण बनाया जिसे ऑफिस कॉम्प्रिहेंशन बेंच (OCB) कहा जाता है ताकि यह पता लगाया जा सके। इस परीक्षण को एक AI के लिए "ड्राइवर लाइसेंस परीक्षा" की तरह समझें, लेकिन कार चलाने के बजाय, AI को वर्ड डॉक्यूमेंट्स, एक्सेल स्प्रेडशीट्स और पावरपॉइंट स्लाइड्स के माध्यम से गाड़ी चलानी है।
यह परीक्षण कैसे काम करता है, इसे सरल भागों में यहाँ दिया गया है:
1. परीक्षण के दो प्रकार
इस परीक्षा में दो अलग-अलग "ट्रैक" हैं, जैसे कि वीडियो गेम के दो अलग-अलग स्तर।
ट्रैक 1: "ईगल आई" टेस्ट (फाइल फिडेलिटी - File Fidelity)
- लक्ष्य: क्या AI देख सकता है कि पेज पर वास्तव में क्या है?
- उपमा: कल्पना कीजिए कि आप AI को एक छपा हुआ मेनू देते हैं और पूछते हैं, "सूप की कीमत क्या है?" या "क्या सूप बोल्ड टेक्स्ट में लिखा है?"
- यह क्या जाँचता है: क्या AI टेबल में विशिष्ट नंबर ढूंढ सकता है? क्या वह चार्ट को पहचान सकता है? क्या वह स्लाइड के नीचे लिखे छोटे स्पीकर नोट्स को पढ़ सकता है? यह तथ्यों को पहचानने और पढ़ने के बारे में है बिना कुछ मनगढ़ंत बनाए।
- परिणाम: AI इसमें वास्तव में बहुत अच्छा है! यह एक अथक लाइब्रेरियन की तरह काम करता है जो कभी कोई विवरण मिस नहीं करता। वास्तव में, AI ने इन कार्यों में औसत मनुष्यों से अधिक स्कोर किया क्योंकि इंसान थक जाते हैं और छोटी चीजें मिस कर देते हैं, जबकि AI सब कुछ पूरी तरह से स्कैन करता है।
ट्रैक 2: "एक्सपर्ट डिटेक्टिव" टेस्ट (डोमेन Q&A)
- लक्ष्य: क्या AI जटिल व्यावसायिक समस्याओं को समझ सकता है और उन्हें हल कर सकता है?
- उपमा: कल्पना कीजिए कि आप AI को 50 पन्नों की वित्तीय रिपोर्ट, बिक्री डेटा वाली एक स्प्रेडशीट और एक नए उत्पाद के बारे में एक स्लाइड डेक देते हैं। फिर आप उससे पूछते हैं: "यदि हम इस कंपनी को खरीदते हैं, तो हम तीन वर्षों में कितना पैसा कमाएंगे, और इसके जोखिम क्या हैं?"
- यह क्या जाँचता है: यह केवल एक नंबर खोजने के बारे में नहीं है। AI को सब कुछ पढ़ना होगा, विभिन्न फाइलों के बीच संबंध जोड़ना होगा, गणित करना होगा, और एक तार्किक तर्क बनाना होगा। यह एक जासूस से एक रहस्य सुलझाने के लिए कहने जैसा है जिसके सुराग तीन अलग-अलग नोटबुक में बिखरे हुए हैं।
- परिणाम: यहीं पर AI संघर्ष करता है। यहाँ तक कि सबसे स्मार्ट AI मॉडल भी केवल 59% से 63% सही होते हैं। वे एक स्मार्ट इंटर्न की तरह हैं जो तथ्यों को तो जानते हैं लेकिन कभी-कभी बड़ी तस्वीर को समझने में या गणना करने में गलती कर देते हैं।
2. उन्होंने परीक्षा को कैसे ग्रेड किया
शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या उत्तर सही था?" उन्होंने हर उत्तर को छोटे, परमाणु टुकड़ों (जैसे चेकलिस्ट की जांच करना) में विभाजित किया।
- "थ्री-जज" पैनल: एक व्यक्ति द्वारा ग्रेडिंग करने के बजाय, उन्होंने तीन अलग-अलग AI मॉडल का उपयोग जजों के रूप में किया। यदि दो में से तीन जज सहमत थे कि उत्तर सही है, तो इसे पास माना गया। यह तीन शिक्षकों के एक पैनल द्वारा छात्र के निबंध को ग्रेड करने जैसा है ताकि यह सुनिश्चित हो सके कि ग्रेड निष्पक्ष है।
- "एटॉमिक" दावे: यदि किसी प्रश्न के उत्तर के 50 भाग थे, तो AI को सभी 50 भागों को सही होना था। यदि उसने 49 सही किए लेकिन एक छोटा सा विवरण मिस कर दिया, तो उसके अंक कट गए। यह सुनिश्चित करता है कि AI केवल "अस्पष्ट रूप से" सही नहीं है; उसे सटीक होना ही होगा।
3. बड़ी खोजें
यह पेपर आज के AI के दोहरे व्यक्तित्व को प्रकट करता है:
- सुपर-रीडर: जब बात केवल दस्तावेज़ को देखने और तथ्य खोजने (जैसे "इस पत्र पर तारीख क्या है?") की आती है, तो AI एक सुपर-ह्यूमन है। यह दस्तावेज़ को एक बार पढ़ने वाले इंसान की तुलना में तेज़ और अधिक सटीक है।
- सब-एक्सपर्ट: जब बात जटिल व्यावसायिक समस्याओं (जैसे "इस सप्लाई चेन जोखिम का विश्लेषण करें") के बारे में गहराई से सोचने की आती है, तो AI अभी भी एक सब-एक्सपर्ट है। यह स्मार्ट है, लेकिन यह अभी तक एक अनुभवी पेशेवर के स्तर पर नहीं पहुँचा है।
4. क्या "ज़्यादा गहराई से सोचना" मदद करता है?
शोधकर्ताओं ने परीक्षण किया कि क्या AI को "ज़्यादा देर तक सोचने" या "गहराई से सोचने" (अधिक कंप्यूटर पावर का उपयोग करने) से समस्याओं का समाधान होगा।
- परिणाम: आश्चर्यजनक रूप से, वास्तव में नहीं। एक ही "फैमिली" के मॉडल्स के भीतर AI को अधिक सोचने के लिए मजबूर करने से स्कोर में बहुत अधिक सुधार नहीं हुआ। यह एक छात्र को गणित के सवाल पर 10 मिनट के बजाय एक घंटे तक घूरने के लिए कहने जैसा था; वे अभी भी वही गलतियाँ करते हैं।
- असली समाधान: बेहतर स्कोर पाने का एकमात्र तरीका एक "बड़े, अधिक महंगे" मॉडल (एक उच्च स्तर) पर स्विच करना था। यह एक स्टैंडर्ड कैलकुलेटर को सुपर-कंप्यूटर में अपग्रेड करने जैसा है; बड़ी मशीन बस काम को बेहतर ढंग से करती है, लेकिन यह अधिक महंगी और समय लेने वाली होती है।
सारांश
यह पेपर एक नया तरीका पेश करता है यह परीक्षण करने का कि क्या AI वास्तव में हमारी ऑफिस फाइलों को समझ सकता है। यह दिखाता है कि जबकि AI दस्तावेज़ों में जानकारी खोजने में अद्भुत है, यह अभी भी जटिल, वास्तविक दुनिया की व्यावसायिक समस्याओं के माध्यम से तर्क (reasoning) करना सीख रहा है। यह परीक्षण अब सार्वजनिक है, ताकि अन्य शोधकर्ता इसका उपयोग यह देखने के लिए कर सकें कि उनका AI एक सच्चे ऑफिस असिस्टेंट बनने में कितना बेहतर हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।