BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance
यह शोधपत्र BioSecBench-Surveillance प्रस्तुत करता है, जो एक सत्यापन योग्य बेंचमार्क है यह प्रदर्शित करता है कि वर्तमान में सबसे उन्नत AI एजेंट भी रोगजनक निगरानी (pathogen surveillance) के लिए सही जीनोमिक विश्लेषण पाइपलाइनों का विश्वसनीय रूप से अनुमान लगाने में संघर्ष करते हैं, और विविध कार्यों में केवल लगभग 50% सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सार्वजनिक स्वास्थ्य की दुनिया की कल्पना एक विशाल, उच्च-दांव वाले जासूसी एजेंसी के रूप में करें। उनका काम अदृश्य खलनायकों—वायरस, बैक्टीरिया और अन्य रोगजनकों—को तब पहचानना है, इससे पहले कि वे वैश्विक पार्टी क्रैश, जैसे कि महामारी, शुरू कर सकें। इसे करने के लिए, वैज्ञानिक एक सुपर-पावरफुल माइक्रोस्कोप का उपयोग करते हैं जिसे "जीनोमिक सर्विलांस" (genomic surveillance) कहा जाता है। केवल एक लेंस के नीचे कीटाणु को देखने के बजाय, वे इसके पूरे निर्देश मैनुअल (इसके DNA या RNA) को पढ़ते हैं ताकि यह पता चल सके कि यह वास्तव में क्या है, कहाँ से आया है, और यह कितना खतरनाक हो सकता है।
लंबे समय तक, कठिन हिस्सा केवल इन निर्देश मैनुअल्स को प्राप्त करना था। लेकिन अब, मशीनें उन्हें पढ़ने में इतनी कुशल हो गई हैं कि हम डेटा में डूब रहे हैं। असली बाधा बदल गई है: अब समस्या सुराग ढूँढने की नहीं है; बल्कि रहस्य को सुलझाने की है। यहीं पर आर्टिफिशियल इंटेलिजेंस (AI) एजेंट आते हैं। इन एजेंटों को सुपर-स्मार्ट, अथक जूनियर जासूसों के रूप में सोचें। वे सेकंडों में लाखों पन्ने पढ़ सकते हैं। लेकिन यहाँ बड़ा सवाल यह है: क्या ये AI जासूस वास्तव में केस सुलझा सकते हैं, या वे बस लाइब्रेरी में खो जाते हैं? क्या वे आनुवंशिक सुरागों के ढेर को देखकर यह तय कर सकते हैं कि, "ठीक है, मुझे इस विशिष्ट उपकरण का उपयोग इस विशिष्ट सेटिंग के साथ करना चाहिए ताकि उत्तर मिल सके," ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है?
यह शोध पत्र, BioSecPath-Surveillance, इन AI जासूसों के लिए एक विशाल, कठोर अंतिम परीक्षा की तरह है। शोधकर्ताओं ने एक "सत्यापनीय बेंचमार्क" (verifiable benchmark) बनाया है—एक मानकीकृत परीक्षण जिसमें 100 अलग-अलग परिदृश्य हैं—जहाँ एक AI एजेंट को कच्चा आनुवंशिक डेटा और एक विशिष्ट निगरानी संदर्भ (जैसे, "यह एक शहर का अपशिष्ट जल है" या "यह एक अस्पताल का नमूना है") दिया जाता है। AI को बिना उत्तर बताए, शुरुआत से ही सही विश्लेषण पाइपलाइन का पता लगाना होता है: किन डेटाबेस की जाँच करनी है, कौन से फिल्टर लगाने हैं, और किन थ्रेशोल्ड (सीमाओं) को सेट करना है।
इस परीक्षा के परिणाम वास्तविकता का आईना दिखाने वाले थे। परीक्षण किए गए AI मॉडल और सॉफ्टवेयर टूल्स के 16 विभिन्न संयोजनों में से, सबसे अच्छे मॉडलों ने केवल लगभग 50.2% प्रश्न सही हल किए। इसका मतलब है कि सबसे स्मार्ट AI एजेंट भी आधे समय विफल रहे। शीर्ष प्रदर्शन करने वालों में Opus 4.8 के साथ PI टूल, और GPT-5.5 के साथ Codex, दोनों शामिल थे, जिन्होंने 50.2% स्कोर किया। इसके बाद क्रमशः Opus 4.7 (49.6%) और Sonnet 4.6 (48.6%) आए। सबसे कमजोर कॉन्फ़िगरेशन, जैसे कि Grok के कुछ संस्करण, केवल 14% से 16% कार्यों को ही सही ढंग से पूरा कर पाए।
शोध में पाया गया कि AI एजेंट आमतौर पर इसलिए विफल नहीं होते थे क्योंकि वे यह नहीं जानते थे कि किन उपकरणों का उपयोग करना है। वास्तव में, उन्होंने लगभग हमेशा सही "जासूसी उपकरण" (जैसे DNA पढ़ने के लिए सही सॉफ्टवेयर) चुने। उनकी गलतियाँ बारीक विवरणों में हुईं: उन्होंने गलत संदर्भ पुस्तकें चुनीं, गलत संवेदनशीलता सीमाएं (sensitivity thresholds) निर्धारित कीं, या डेटा को सामान्य करने (normalizing) के गणित में गड़बड़ी की। यह एक ऐसे जासूस की तरह है जो जानता है कि उसे फिंगरप्रिंट स्कैनर की आवश्यकता है, लेकिन वह संवेदनशीलता को इतना अधिक सेट कर देता है कि वह प्रिंट को मिस कर देता है, या इतनी कम कि वह एक धब्बे को मैच समझ लेता है।
परीक्षण की कठिनाई केस के प्रकार के आधार पर बहुत भिन्न थी। AI के लिए सबसे आसान कार्य सोर्स ट्रैकिंग (नमूना कहाँ से आया यह पता लगाना) और टैक्सोनोमिक क्लासिफिकेशन (जीव का नामकरण करना) थे, जहाँ उन्होंने क्रमशः लगभग 50% और 46% सफलता प्राप्त की। हालाँकि, AI को एनोमली डिटेक्शन (अजीब, अप्रत्याशित संकेतों को पहचानना) में भारी संघर्ष करना पड़ा, जहाँ वे केवल 20% सही रहे। उन्हें जेनेटिक-इंजीनियरिंग कैरेक्टराइजेशन (यह पता लगाना कि वायरस कृत्रिम रूप से संशोधित है या नहीं) में भी कठिनाई हुई, जहाँ उन्होंने केवल 35% स्कोर किया। दिलचस्प बात यह है कि नमूने का प्रकार (जैसे अपशिष्ट जल बनाम क्लिनिकल नमूने) उतना महत्वपूर्ण नहीं था जितना कि DNA को पढ़ने के लिए उपयोग की जाने वाली तकनीक। लॉन्ग-रीड सीक्वेंसिंग डेटा (long-read sequencing data) को संभालना AI के लिए शॉर्ट-रीड डेटा (41% पास रेट) की तुलना में बहुत अधिक कठिन था (26% पास रेट)।
शोधकर्ताओं ने यह भी देखा कि कुछ AI मॉडल बहुत "शर्मीले" थे। लगभग 27% से 31% बार, कुछ मॉडलों ने उत्तर देने से इनकार कर दिया, यह कहते हुए कि वे यह नहीं कर सकते, जबकि अन्य मॉडल लगभग कभी इनकार नहीं करते थे। यह "इनकार" (refusal) की दर इस बात पर बहुत निर्भर करती थी कि मॉडल किस सॉफ्टवेयर "हार्नेस" (harness) पर चल रहा है।
अंततः, यह पत्र निष्कर्ष निकालता है कि हालांकि AI एजेंट बेहतर हो रहे हैं, वे अभी भी रोगजनक निगरानी (pathogen surveillance) में एकमात्र निर्णय लेने वाले के रूप में भरोसेमंद नहीं हैं। वे विश्लेषण तो चला सकते हैं, लेकिन वे अक्सर इस बारे में गलत निर्णय लेते हैं कि इसे कैसे चलाना है। लेखक सुझाव देते हैं कि जब तक AI इन सूक्ष्म विकल्पों को विश्वसनीय रूप से नहीं बना लेता—जैसे कि यह जानना कि किस संदर्भ पर भरोसा करना है या कौन सी सीमा सेट करनी है—हम पूरी तरह से उन पर अगले प्रकोप को रोकने के लिए भरोसा नहीं कर सकते। फिलहाल, मानव विशेषज्ञ ही वह है जिसके पास केस का अंतिम निर्णय होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।