AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation
यह शोध पत्र यह प्रदर्शित करता है कि ड्रग-एसेट मूल्यांकन में, जबकि रीजनिंग स्कैफोल्ड्स (reasoning scaffolds) एक एआई एजेंट के अंशांकन (calibration) और अनुशासन में सुधार करते हैं, मालिकाना साक्ष्यों (proprietary evidence) की उपलब्धता ही वह निर्णायक सीमित कारक है जो तथ्यात्मक सटीकता और निर्णय उपयोगिता (decision utility) पर ऊपरी सीमा निर्धारित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल मामले को सुलझाने के लिए जासूसों की एक टीम रख रहे हैं: क्या करोड़ों डॉलर निवेश करने के लिए एक नया ड्रग आइडिया (दवा का विचार) सही है?
इस उत्तर तक पहुँचने के लिए, जासूस को तीन चीजें जानने की आवश्यकता है:
- विज्ञान (The Science): क्या जीव विज्ञान (biology) तर्कसंगत है?
- प्रतिस्पर्धा (The Competition): और कौन लोग यह करने की कोशिश कर रहे हैं?
- इतिहास (The History): क्या इससे पहले इसी तरह की दवाएं सफल या विफल हुई हैं?
आपके द्वारा प्रदान किया गया पेपर तीन अलग-अलग प्रकार के AI जासूसों का एक "स्ट्रेस टेस्ट" है यह देखने के लिए कि वास्तव में सबसे अच्छा कौन है। शोधकर्ता यह जानना चाहते थे: क्या जासूस की बुद्धिमत्ता (AI मॉडल) सबसे महत्वपूर्ण है, या वह गुणवत्ता वाला साक्ष्य (evidence) जिसे वे पढ़ने की अनुमति दी गई है, असली बाधा है?
यहाँ प्रयोग का विवरण और उनके निष्कर्ष दिए गए हैं, सरल उपमाओं (analogies) का उपयोग करते हुए।
तीन जासूस (प्रयोग)
शोधकर्ताओं ने एक ही "दिमाग" (समान अंतर्निहित AI मॉडल) का उपयोग करके एक AI एजेंट के तीन संस्करण तैयार किए। एकमात्र अंतर यह था कि उन्हें कौन से उपकरण और जानकारी उपयोग करने की अनुमति दी गई थी।
- जासूस A (द "वेब सर्फर"):
- उपकरण: केवल एक मानक वेब खोज (जैसे Google) का उपयोग कर सकता है और इसके पास कोई विशेष प्रशिक्षण नहीं है।
- उपमा: यह एक स्मार्ट इंटर्न है जो सार्वजनिक पुस्तकालय में जाता है और खुली अलमारियों पर रखी किताबें पढ़ता है। वे स्मार्ट हैं, लेकिन वे केवल वही पा सकते हैं जो कोई भी ढूंढ सकता है।
- जासूस B (द "प्रशिक्षित विश्लेषक"):
- उपूल: इनके पास वही वेब एक्सेस है, लेकिन इन्हें एक सख्त प्लेबुक (नियमों की चेकलिस्ट), एक "रेड टीम" (उनके काम की जांच करने के लिए एक आलोचक), और सार्वजनिक डेटाबेस (जैसे क्लिनिकल ट्रायल रजिस्ट्री) तक पहुंच दी गई है।
- उपमा: यह वही इंटर्न है, लेकिन अब उनके पास एक वरिष्ठ मेंटर है जो उन्हें एक चेकलिस्ट दे रहा है, रिपोर्ट लिखने के लिए एक नियम पुस्तिका दे रहा है, और सार्वजनिक सरकारी रिकॉर्ड तक पहुंच दे रहा है। वे अधिक अनुशासित और व्यवस्थित हैं, लेकिन वे अभी भी "गुप्त फाइलों" को नहीं देख सकते।
- जासूस C (द "इनसाइडर"):
- उपकरण: जासूस C के पास वह सब कुछ है जो जासूस B के पास है, प्लस एक विशाल, निजी, सशुल्क डेटाबेस (Noah AI) तक पहुंच है जिसमें दवाओं के परीक्षणों, सौदों और प्रतिस्पर्धियों के क्यूरेटेड (व्यवस्थित) रिकॉर्ड शामिल हैं जो सार्वजनिक वेब से छिपे हुए हैं।
- उपमा: यह वह वरिष्ठ अन्वेषक है जिसके पास गोपनीय तिजोरी की चाबी है। वे निजी ईमेल, अप्रकाशित परीक्षण परिणाम और वे "लॉन्ग-टेल" सौदे देख सकते हैं जो कभी समाचारों में नहीं आए।
परिणाम: उन्होंने क्या पाया?
शोधकर्ताओं ने 13 अलग-अलग ड्रग मामलों पर इन जासूसों का परीक्षण किया। यहाँ निर्णय दिया गया है:
1. "प्लेबुक" मदद करती है, लेकिन केवल सीमित स्तर तक (जासूस B बनाम A)
जब जासूस B (प्रशिक्षित विश्लेषक) की तुलना जासूस A (वेब सर्फर) से की गई, तो परिणाम दिलचस्प थे:
- बेहतर अनुशासन: जासूस B ने बेहतर रिपोर्ट लिखी। उनके द्वारा गलत अनुमान लगाने की संभावना कम थी और वे नियमों का पालन बेहतर तरीके से करते थे।
- समस्या: जासूस B अभी भी 60% से 75% महत्वपूर्ण प्रतिस्पर्धियों और सौदों को मिस कर गया।
- उपमा: कल्पना करें कि जासूस B एक बहुत ही विनम्र, सुव्यवस्थित लाइब्रेरियन है जो हर नियम का पालन करता है। लेकिन यदि वह किताब जिसे उन्हें ढूंढना है, एक निजी तिजोरी में बंद है, तो कितनी भी अच्छी व्यवस्था उन्हें उसे खोजने में मदद नहीं करेगी। वे "कैलिब्रेटेड" (स्पष्ट रूप से सोचने वाले) हैं लेकिन "अंधे" (तथ्यों को मिस करने वाले) हैं।
2. "निजी तिजोरी" सब कुछ बदल देती है (जासूस C)
जब जासूस C (इनसाइडर) को लाया गया, तो परिणाम नाटकीय रूप से बदल गए:
- पूर्णता (Completeness): जासूस C ने 96% महत्वपूर्ण जानकारी खोजी। जासूस A और B केवल लगभग 25% से 38% ही खोज पाए।
- "लॉन्ग-टेल" प्रभाव: सबसे बड़ा अंतर "लॉन्ग-टेल" डेटा खोजने में था—छोटे, अस्पष्ट या क्षेत्रीय ड्रग ट्रायल जो कभी खुले वेब पर दिखाई नहीं देते। जासूस C ने लगभग उन सभी को खोज लिया; अन्य लगभग कुछ भी नहीं खोज सके।
- उपमा: जासूस C ने केवल एक बेहतर रिपोर्ट नहीं लिखी; उन्होंने पूरे बोर्ड को देखा। जबकि अन्य लोग केवल आधे मोहरों के साथ शतरंज खेल रहे थे, जासूस C ने पूरा खेल देखा।
3. "सूचित निर्णय" स्कोर (Informed Decision Score)
यह सबसे महत्वपूर्ण निष्कर्ष है।
- कच्ची गुणवत्ता (Raw Quality): यदि आप केवल अंतिम रिपोर्ट पढ़ते बिना यह जाने कि कितने तथ्य गायब थे, तो जासूस A और B भी जासूस C जितने ही अच्छे लगते। वे आत्मविश्वासी और तार्किक लगते थे।
- वास्तविक गुणवत्ता: लेकिन क्योंकि A और B कई तथ्यों को मिस कर रहे थे, उनके निर्णय अधूरी जानकारी पर आधारित थे।
- गणित: शोधकर्ताओं ने एक स्कोर बनाया जिसे "इन्फॉर्म्ड डिसीजन क्वालिटी" कहा गया।
- जासूस A/B स्कोर: ~2.0 (वे अच्छे लग रहे थे, लेकिन 75% तथ्य गायब थे)।
- जासूस C स्कोर: ~7.4 (वे अच्छे लग रहे थे और उनके पास सभी तथ्य भी थे)।
- सीमा (The Ceiling): पेपर का तर्क है कि भले ही आप जासूस B को एक "परफेक्ट" दिमाग और एक परफेक्ट रिपोर्ट देते, वे अभी भी एक कम स्कोर पर सीमित रहते क्योंकि वे भौतिक रूप से गायब साक्ष्य तक नहीं पहुँच सकते थे। आप उस सत्य तक तर्क के माध्यम से नहीं पहुँच सकते जिसे आप देख ही नहीं सकते।
मुख्य निष्कर्ष (The Big Takeaway)
पेपर AI वैज्ञानिकों के निर्माण के लिए एक सरल सबक के साथ समाप्त होता है:
"कौशल और डेटा दोनों उपयोगी हैं, लेकिन डेटा ही सीमा (limit) है।"
- तर्क कौशल (Reasoning Skills - द प्लेबुक): ये आवश्यक हैं। ये AI को लापरवाह होने से रोकते हैं, इसे अपने विचारों को व्यवस्थित करने में मदद करते हैं, और यह सुनिश्चित करते हैं कि यह नियमों का पालन करे। ये AI को एक बेहतर लेखक और एक अधिक अनुशासित विचारक बनाते हैं।
- साक्ष्य आधार (Evidence Substrate - द डेटा): यह सीमित कारक (limiting factor) है। यदि AI के पास निजी, क्यूरेटेड, लॉन्ग-टेल डेटा तक पहुंच नहीं है, तो वह वास्तव में पूर्ण सत्य को नहीं जान सकता। कोई भी चतुर प्रॉम्प्टिंग या तर्क के तरीके गायब जानकारी के अंतराल को नहीं भर सकते।
संक्षेप में: आपके पास दुनिया का सबसे स्मार्ट जासूस और सबसे अच्छी नियम पुस्तिका हो सकती है, लेकिन यदि उन्हें साक्ष्य कक्ष (evidence room) में जाने की अनुमति नहीं है, तो वे कभी भी मामले को सही ढंग से हल नहीं कर पाएंगे। ड्रग डिस्कवरी जैसे उच्च-दांव वाले क्षेत्रों में AI के वास्तव में उपयोगी होने के लिए, इसे निजी, क्यूरेटेड साक्ष्य तक पहुंच की आवश्यकता है, न कि केवल सार्वजनिक इंटरनेट की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।