SPECTRA: Synthetic IR Test Collections with Relevance Oracles and Controlled Distractor Diagnostics
यह शोध पत्र SPECTRA को प्रस्तुत करता है, जो एक पुनरुत्पादक (reproducible) पायथन फ्रेमवर्क है जो सूचना पुनर्प्राप्ति (information retrieval) प्रणाली के प्रदर्शन और विफलता के रूपों का निदान करने के लिए नियत प्रासंगिकता ओरेकल (deterministic relevance oracles) के साथ स्केलेबल सिंथेटिक टेक्स्ट कॉर्पोरा और रिट्रीवल टेस्ट कलेक्शंस उत्पन्न करता है, जिससे महंगे मानव-एनोटेटेड कलेक्शंस बनाए जाने से पहले ही इनका परीक्षण किया जा सके।