AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents
यह शोध पत्र AssayBench प्रस्तुत करता है, जो 1,920 CRISPR स्क्रीन्स से बना एक नया बेंचमार्क है जिसे सेलुलर फेनोटाइपिक परिणामों (cellular phenotypic outcomes) की भविष्यवाणी करने के लिए लार्ज लैंग्वेज मॉडल्स और एजेंट्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि ज़ीरो-शॉट जनरलिस्ट LLMs वर्तमान में विशिष्ट जीव विज्ञान मॉडल्स (specialized biology models) से बेहतर प्रदर्शन करते हैं और साथ ही एक सुदृढ़ वर्चुअल सेल मॉडल प्राप्त करने की दिशा में सुधार की महत्वपूर्ण गुंजाइश को भी उजागर करते हैं।