PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks
यह शोध पत्र PPT-Eval प्रस्तुत करता है, जो कंप्यूटर-उपयोग एजेंटों के मूल्यांकन के लिए डिज़ाइन किए गए 120 पावरपॉइंट कार्यों का एक बेंचमार्क है, जिसमें एक नवीन रूब्रिक-आधारित ढांचा शामिल है जो आंशिक प्रगति को कैप्चर करता है और मानव निर्णय के साथ दृढ़ता से सह-संबंधित है ताकि यह प्रकट किया जा सके कि वर्तमान फ्रंटियर मॉडल अभी भी जटिल प्रेजेंटेशन संपादन में संघर्ष कर रहे हैं।