🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

यह शोध पत्र PPT-Eval प्रस्तुत करता है, जो कंप्यूटर-उपयोग एजेंटों के मूल्यांकन के लिए डिज़ाइन किए गए 120 पावरपॉइंट कार्यों का एक बेंचमार्क है, जिसमें एक नवीन रूब्रिक-आधारित ढांचा शामिल है जो आंशिक प्रगति को कैप्चर करता है और मानव निर्णय के साथ दृढ़ता से सह-संबंधित है ताकि यह प्रकट किया जा सके कि वर्तमान फ्रंटियर मॉडल अभी भी जटिल प्रेजेंटेशन संपादन में संघर्ष कर रहे हैं।

मूल लेखक: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को माइक्रोसॉफ्ट पावरपॉइंट (Microsoft PowerPoint) का उपयोग करना सिखाने की कोशिश कर रहे हैं। आप देखना चाहते हैं कि क्या रोबोट वास्तव में एक स्लाइड को देख सकता है, "यहाँ एक नीला गोला जोड़ें" जैसे अनुरोध को समझ सकता है, और फिर इसे करने के लिए सही बटनों पर क्लिक कर सकता है।

"PPT-EVAL" पेपर मूल रूप से एक विशाल, कठिन परीक्षा है जिसे यह देखने के लिए बनाया गया है कि "कंप्यूटर-उपयोग" करने वाले रोबोट वास्तविक दुनिया के प्रेजेंटेशन कार्य करने में कितने अच्छे हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है:

1. समस्या: रोबोट बनाम वास्तविक दुनिया

रोबोट के लिए अधिकांश पिछले परीक्षण एक वीडियो गेम कंट्रोलर देने की तरह थे जिसमें बटनों का एक सीमित सेट था। रोबोट केवल वही कर सकता था जो गेम उसे करने की अनुमति देता था (जैसे कोड कमांड के माध्यम से "टेक्स्ट जोड़ना" या "रंग बदलना")।

लेकिन वास्तविक दुनिया में, इंसान कोड का उपयोग नहीं करते; वे माउस, कीबोर्ड और स्क्रीन का उपयोग करते हैं। वे मेनू पर क्लिक करते हैं, आकृतियों (shapes) को खींचते हैं, और डिज़ाइन टूल्स का उपयोग करते जिनमें सरल कोड बटन नहीं होते।

पेपर का दावा: मौजूदा परीक्षणों ने यह जाँच नहीं की कि क्या रोबोट वास्तव में पावरपॉइंट में माउस का उपयोग कर सकते हैं। उन्होंने केवल यह जाँच की कि क्या रोबोट "चीट कोड" (API) का उपयोग कर सकते हैं। PPT-EVAL पहला परीक्षण है जो रोबोट को ठीक उसी तरह वास्तविक पावरपॉइंट इंटरफेस (GUI) का उपयोग करने के लिए मजबूर करता है जैसे एक इंसान करता है।

2. परीक्षण: "पावरपॉइंट जिम"

शोधकर्ताओं ने 120 अलग-अलग व्यायामों (कार्यों) वाला एक जिम बनाया जो 12 विभिन्न पावरपॉइंट फाइलों में फैले हुए हैं।

फाइलें: ये एक लाइब्रेरी में मिलने वाले वास्तविक दुनिया के डेक की तरह हैं—कुछ चिकित्सा के बारे में हैं, कुछ इतिहास के बारे में, और कुछ अकाउंटिंग के बारे में। इनमें चार्ट, अजीब लेआउट और एनिमेशन हैं।
कठिनाई का स्तर: अभ्यासों को एक वीडियो गेम की तरह ग्रेड किया जाता है:
- आसान (Easy): "बैकग्राउंड का रंग बदलकर नीला कर दें।" (सरल)
- मध्यम (Medium): "सूची में एक नया टीम सदस्य जोड़ें और उनका फॉन्ट बदलें।" (कुछ चरण)
- कठिन (Hard): "इस जटिल आरेख (diagram) को पुनर्व्यवस्थित करें, एक नया अनुभाग जोड़ें, और सुनिश्चित करें कि एनिमेशन सही ढंग से चलता है।" (सोचने और कई चरणों की आवश्यकता होती है)।

3. स्कोरिंग: "रूब्रिक" (सबसे महत्वपूर्ण हिस्सा)

यह इस पेपर का सबसे बड़ा नवाचार है। अतीत में, परीक्षण पास/फेल परीक्षा की तरह थे। यदि रोबोट 90% सही होता लेकिन एक छोटी सी चीज़ चूक जाता, तो उसे शून्य मिलता। यह अनुचित था क्योंकि रोबोट ने प्रयास किया था और अधिकांश काम किया था।

शोधकर्ताओं ने एक रूब्रिक (एक विस्तृत ग्रेडिंग शीट) बनाया, जो एक सख्त शिक्षक के बजाय एक टैलेंट शो जज की तरह है।

आंशिक क्रेडिट (Partial Credit): यदि रोबत गोला जोड़ता है लेकिन उसे गलत जगह पर रखता है, तो जज उसे गोला जोड़ने के लिए अंक देता है लेकिन स्थान (placement) के लिए अंक काट लेता है।
जुर्माना (Penalties): यदि रोबोट गलती से एक स्लाइड हटा देता है या कोई अजीब एनिमेशन जोड़ देता है जिसकी उसे आवश्यकता नहीं थी, तो जज अंक काट लेता है।
"मानवीय स्पर्श": स्कोरिंग सिस्टम प्राकृतिक भाषा में स्पष्टीकरण लिखने के लिए AI का उपयोग करता है, जैसे: "आपने गोला तो प्राप्त किया, लेकिन यह टेक्स्ट को ब्लॉक कर रहा है। रंग के लिए अच्छा काम, लेकिन स्थिति (position) में सुधार की आवश्यकता है।"

परिणाम: यह "टैलेंट शो जज" प्रणाली वास्तविक मनुष्यों द्वारा किए गए मूल्यांकन के साथ 77% संरेखित (aligned) थी। इसका मतलब है कि यह परीक्षण निष्पक्ष और सटीक है।

4. परिणाम: रोबोट अभी भी सीख रहे हैं

शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI रोबोट्स (जैसे Claude-4.5 और OpenAI के मॉडल्स) को इस परीक्षण के माध्यम से गुजारा।

स्कोर: यहाँ तक कि सर्वश्रेष्ठ रोबोट भी केवल लगभग 45% कार्यों को "परफेक्ट" करने में सफल रहे।
औसत: जब आप उनकी आंशिक प्रगति (partial progress) को गिनते हैं, तो वे औसतन लगभग 57% अंक प्राप्त करते हैं।
तुलना: एक मानव विशेषज्ञ को, समान परीक्षण दिए जाने पर, लगभग 80% स्कोर करना होगा।
API बनाम GUI अंतर: दिलचस्प बात यह है कि जब रोबोटों को माउस के बजाय "चीट कोड" (APIs) का उपयोग करने की अनुमति दी गई, तो वे बहुत बेहतर प्रदर्शन कर रहे थे (62% सफलता)। यह साबित करता है कि हालांकि रोबोट स्मार्ट हैं, लेकिन वे कोड संभालने की तुलना में माउस और कीबोर्ड के साथ काफी अनाड़ी हैं।

सारांश

PPT-EVAL को रोबोट के लिए ड्राइविंग टेस्ट की तरह समझें।

पुराने परीक्षण: रोबोट से पूछते थे, "क्या आप कार की गति की गणना कर सकते हैं?" (कोड/API)।
PPT-EVAL: रोबोट को ड्राइवर की सीट पर बिठाता है, उसे स्टीयरिंग व्हील थमाता है, और कहता है, "दुकान तक जाओ, पार्किंग स्पॉट में पार्क करो, और फुटपाथ से न टकराओ।" (GUI/माउस)।

पेपर निष्कर्ष निकालता है कि हालांकि हमारे वर्तमान रोबोट बेहतर हो रहे हैं, वे अभी भी पावरपॉइंट का उपयोग करने के लिए आवश्यक सूक्ष्म मोटर कौशल (fine motor skills) और दृश्य तर्क (visual reasoning) के लिए संघर्ष कर रहे हैं। इससे पहले कि वे हमारे प्रेजेंटेशन के कामों को पूरी तरह से संभाल सकें, अभी एक लंबा रास्ता तय करना बाकी है।

तकनीकी सारांश: PPT-EVAL

समस्या विवरण

प्रस्तुति स्लाइड (presentation slides) बनाना और संपादित करना एक सर्वव्यापी व्यावसायिक गतिविधि है, फिर भी यह कंप्यूटर-उपयोग एजेंटों के मूल्यांकन के लिए एक अल्प-अन्वेषित क्षेत्र बना हुआ है। मौजूदा बेंचमार्क या तो प्रेजेंटेशन सॉफ्टवेयर में गहराई की कमी रखते हैं (जैसे, OSWORLD, WindowsAgentArena) या प्रोग्रामैटिक API (जैसे, PPTC) और टेक्स्ट-टू-स्लाइड जनरेशन (जैसे, SlidesBench) तक सीमित हैं। ये सीमाएँ एजेंटों को आधुनिक प्रेजेंटेशन टूल्स के पूर्ण फीचर सेट, जैसे कि डिज़ाइन टूल्स, उन्नत ग्राफिक्स, ट्रांज़िशन और एनिमेशन तक पहुँचने से रोकती हैं, जो आमतौर पर केवल ग्राफिकल यूजर इंटरफेस (GUI) के माध्यम से उपलब्ध होते हैं। इसके अलावा, वर्तमान मूल्यांकन मेट्रिक्स अक्सर बाइनरी सफलता/विफलता मानदंडों पर निर्भर करते हैं, जो आंशिक प्रगति को पकड़ने में विफल रहते हैं या जटिल, ओपन-एंडेड कार्यों में अनावश्यक परिवर्तनों के लिए दंडित करते हैं।

कार्यप्रणाली

PPT-EVAL बेंचमार्क

लेखक PPT-EVAL पेश करते हैं, जो इंटरनेट आर्काइव से लिए गए 12 प्रकार की पावरपॉइंट फाइलों में 120 कार्यों का एक बेंचमार्क है। कार्य विविध डोमेन (चिकित्सा, कंप्यूटर साइंस, अकाउंटिंग, आदि) को कवर करते हैं और उन्हें तीन कठिनाई स्तरों में विभाजित किया गया है:

आसान (Easy): सरल कार्य जिनमें $\le$ 5 चरण आवश्यक हैं।
मध्यम (Medium): संयुक्त कार्य जिनमें 5–10 चरण आवश्यक हैं।
कठिन (Hard): जटिल कार्य जिनमें $\ge$ 10 चरण या उन्नत तर्क की आवश्यकता होती है।

यह बेंचमार्क PowerPoint Online का उपयोग करके GUI-आधारित इंटरैक्शन के लिए डिज़ाइन किया गया है। एजेंट एक सैंडबॉक्स्ड उबंटू (Ubuntu) वातावरण के भीतर क्रोमियम ब्राउज़र का उपयोग करके संचालित होते हैं, जिससे वे python-pptx जैसे API कॉल्स तक सीमित रहने के बजाय पूर्ण एंड-यूज़र फीचर सतह (माउस, कीबोर्ड, स्क्रॉलिंग) के साथ इंटरैक्ट कर सकते हैं।

मूल्यांकन ढांचा: ट्री-स्ट्रक्चर्ड रूब्रिक्स (Tree-Structured Rubrics)

बहु-मोडल, ओपन-एंडेड कार्यों को, जिनके कई वैध समाधान हो सकते हैं, मूल्यांकित करने की चुनौती को हल करने के लिए, लेखकों ने एक रूब्रिक-आधारित मूल्यांकन प्रणाली डिज़ाइन की है। मुख्य घटकों में शामिल हैं:

ट्री-स्ट्रक्चर्ड रूब्रिक्स: प्रत्येक कार्य को मानदंडों के पदानुक्रम (hierarchy) में विभाजित किया जाता है। नोड्स को क्रिटिकल (मुख्य आवश्यकताएं) या नॉन-क्रिटिकल (शैलीगत विकल्प, जो अतिरिक्त परिवर्तनों को दंडित करते हैं) के रूप में वर्गीकृत किया जाता है।
आंशिक क्रेडिट स्कोरिंग (Partial Credit Scoring): बाइनरी मेट्रिक्स के विपरीत, यह प्रणाली मध्यवर्ती प्रगति के लिए आंशिक क्रेडिट प्रदान करती है। एक संशोधित सूत्र का उपयोग करके एकत्रीकरण रणनीति अपनाई जाती है:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
जहाँ $\lambda = 0.3$ है। यह सुनिश्चित करता है कि क्रिटिकल विफलताओं का स्कोर पर महत्वपूर्ण प्रभाव पड़ता है जबकि नॉन-क्रिटिकल त्रुटियां सार्थक प्रगति को शून्य किए बिना दंड (penalty) पेश करती हैं।
बहु-मोडल सत्यापन (Multi-Modal Verification): लीफ नोड्स निम्नलिखित का उपयोग करते हैं:
- संरचनात्मक परिवर्तनों, एनिमेशन और ट्रांज़िशन के लिए प्रोग्रामैटिक चेक्स (python-pptx, कस्टम PPTDiff क्लास)।
- सिमेंटिक शुद्धता और विजुअल सत्यापन (जैसे, रंग मिलान, लेआउट संरेखण) के लिए LLM/VLM कॉल्स, जहाँ सटीक पिक्सेल मिलान अपर्याप्त है।
प्राकृतिक भाषा फीडबैक: सिस्टम अंतिम स्कोर के लिए मानव-पठनीय फीडबैक उत्पन्न करने के लिए चाइल्ड नोड्स से स्पष्टीकरण को पुनरावर्ती रूप से एकत्रित करता है।

प्रयोगात्मक सेटअप

लेखकों ने PPT-EVAL पर एजेंटों की एक श्रृंखला का मूल्यांकन किया:

क्लोज्ड फ्रंटियर मॉडल्स: OpenAI का COMPUTER-USE-PREVIEW, Anthropic का CLAUDE-4-SONNET, और CLAUDE-4.5-OPUS|
ओपन-वेट्स मॉडल्स: OPENCUA (7B, 32B), और QWEN3-VL (8B, 32B)।
बेसलाइन: एक मानव बेसलाइन (5 प्रतिभागी) और pptx स्किल के साथ CLAUDE-4.5-OPUS का उपयोग करने वाला एक API-आधारित बेसलाइन।

मुख्य परिणाम

एजेंट प्रदर्शन

महत्वपूर्ण अंतर: फ्रंटियर एजेंट पावरपॉइंट कार्यों के साथ संघर्ष करते हैं। सबसे मजबूत मॉडल, CLAUDE-4.5-OPUS, ने 45% सफलता दर (परफेक्ट स्कोर) और 0.57 का औसत आंशिक स्कोर प्राप्त किया।
मानव बेसलाइन: मानव प्रतिभागियों ने 80% सफलता दर और 0.90 का औसत आंशिक स्कोर प्राप्त किया, जो एजेंट क्षमताओं में सुधार की काफी गुंजाइश को उजागर करता है।
API बनाम GUI: API-आधारित बेसलाइन (CLAUDE-4.5-OPUS via pptx skill) ने सर्वश्रेष्ठ GUI एजेंट (45% बनाम 62% सफलता दर) से काफी बेहतर प्रदर्शन किया, यह दर्शाता है कि वर्तमान GUI एजेंट, समृद्ध फीचर्स तक पहुंच होने के बावजूद, परिपक्वता में CLI/API-प्रशिक्षित मॉडल्स से पीछे हैं।
कार्य की कठिनाई: कठिनाई के साथ प्रदर्शन तेजी से गिरता है। CLAUDE-4.5-OPUS आसान कार्यों पर 56% सफलता से गिरकर कठिन कार्यों पर 35% पर आ गया।
विफलता के मोड (Failure Modes): विश्लेषण से पता चला कि एजेंट उन्नत संरचनाओं (टेबल, एनिमेशन, गैर-मानक लेआउट) के साथ संघर्ष करते हैं और अक्सर स्लाइड्स के बीच निरंतरता बनाए रखने या अनपेक्षित संशोधनों से बचने में विफल रहते हैं।

रूब्रिक विश्वसनीयता

रूब्रिक-आधारित मूल्यांकन ने मानव निर्णय के साथ मजबूत संरेखण दिखाया:

सहसंबंध (Correlation): रूब्रिक स्कोर और मानव-अपेक्षित श्रेणियों के बीच 0.77 का केंडल का $\tau_b$ और 0.84 का स्पीरमैन का $\rho$ ।
विस्तार (Granularity): सिस्टम ने प्रभावी ढंग से "कोई प्रगति नहीं," "कुछ प्रगति," "महत्वपूर्ण प्रगति," और "पूर्ण समापन" के बीच अंतर किया, हालांकि कुछ असहमति व्यक्तिपरक सौंदर्य संबंधी निर्णयों या VLM मतिभ्रम (hallucinations) से उत्पन्न हुई।

महत्व और दावे

पेपर का दावा है कि PPT-EVAL प्रेजेंटेशन एडिटिंग के लिए एक यथार्थवादी, GUI-स्तर का बेंचमार्क प्रदान करके कंप्यूटर-उपयोग एजेंटों के मूल्यांकन में एक महत्वपूर्ण अंतर को भरता है। इसके प्राथमिक योगदान हैं:

एक यथार्थवादी टेस्टबेड: यह एजेंटों को ट्रांज़िशन, एनिमेशन और डिज़ाइन टूल्स सहित पावरपॉइंट के पूर्ण फीचर सेट पर मूल्यांकन करने के लिए API-बाउंड कार्यों से आगे बढ़ता है।
सूक्ष्म मूल्यांकन: आंशिक क्रेडिट और प्राकृतिक भाषा फीडबैक के साथ ट्री-स्ट्रक्चर्ड रूब्रिक्स पेश करके, यह बाइनरी सफलता मेट्रिक्स की सीमाओं को दूर करता है, जिससे एजेंट की क्षमताओं का अधिक सूक्ष्म मूल्यांकन संभव होता है।
वास्तविकता का बेंचमार्किंग: परिणाम दर्शाते हैं कि हालांकि फ्रंटियर मॉडल्स सार्थक प्रगति कर सकते हैं, फिर भी वे जटिल, पुनरावृत्ति वाले GUI वर्कफ़्लो में मानव प्रदर्शन और API-आधारित एजेंटों से काफी पीछे हैं।

लेखक निष्कर्ष निकालते हैं कि "वास्तविक GUI-आधारित कंप्यूटर-उपयोग क्षमताओं में प्रगति के लिए महत्वपूर्ण स्थान" है और उनका बेंचमार्क सरल पास/फेल मेट्रिक्स से परे इस प्रगति को मापने के लिए एक मजबूत ढांचा प्रदान करता है।