WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting
यह शोधपत्र WorldCupArena को पेश करता है, जो फुटबॉल पूर्वानुमान के लिए भाषा मॉडल (language models) और डीप-रिसर्च एजेंटों का मूल्यांकन करने के लिए एक गतिशील बेंचमार्क है, जो मैचों के होने से पहले वास्तविक समय की जानकारी का उपयोग करके मैच के परिणामों, स्कोर और घटनाओं की भविष्यवाणी करने की उनकी क्षमता का परीक्षण करता है, जिसमें प्रारंभिक परिणाम सटीक सटीकता (exact accuracy) में सट्टेबाजी और मानव बेसलाइन की तुलना में मामूली बढ़त दिखाते हैं, लेकिन विस्तृत स्कोरलाइन भविष्यवाणियों में स्पष्ट सुधार दर्शाते हैं।