AutoSupervision: Closing the Feedback Loop in Scientific Workflows with Grounded Revision Verification
यह शोधपत्र AutoSupervision प्रस्तुत करता है, जो 56,000 नेचर कम्युनिकेशंस (Nature Communications) समीक्षा अभिलेखों का लाभ उठाते हुए यह मूल्यांकन करता है कि क्या पांडुलिपि संशोधन वास्तव में ठोस साक्ष्यों के माध्यम से समीक्षकों की चिंताओं को संबोधित करते हैं, जिससे यह पता चलता है कि जहाँ बड़े भाषा मॉडल (large language models) चिंताओं को प्रभावी ढंग से चित्रित कर सकते हैं, वहीं साक्ष्य-आधारित सत्यापन एक महत्वपूर्ण बाधा बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान की कल्पना एक विशाल, कभी न खत्म होने वाले "टेलीफोन" खेल के रूप में करें जो दुनिया के सबसे बुद्धिमान लोगों द्वारा खेला जा रहा है, लेकिन एक ट्विस्ट के साथ: इसमें फुसफुसाने के बजाय, वे अपने विचारों को लिखते हैं, और केवल उन्हें आगे बढ़ाने के बजाय, उन्हें यह साबित करना होता है कि जब कोई गलती की ओर इशारा करता है, तो उन्होंने वास्तव में संदेश को बदला है। यह पीयर रिव्यू (peer review) की दुनिया है, जहाँ वैज्ञानिक अपनी खोजों को प्रस्तुत करते हैं और अन्य विशेषज्ञ सख्त संपादकों के रूप में कार्य करते हैं, जो तर्क में कमियों, छूटे हुए प्रयोगों या भ्रमित करने वाली व्याख्याओं की ओर इशारा करते हैं। लंबे समय से, हमारे पास ऐसे कंप्यूटर रहे हैं जो इन वैज्ञानिक कहानियों को बनाने या यहाँ तक कि एक कठोर संपादक की तरह उनकी आलोचना करने में काफी अच्छे हैं। लेकिन पहेली का एक हिस्सा गायब था: क्या एक कंप्यूटर वास्तव में अंतिम ड्राफ्ट को देख सकता है, संपादक की मूल शिकायतों से उसकी तुलना कर सकता है, और कह सकता है, "हाँ, लेखक ने वास्तव में समस्या को ठीक कर दिया है, और यहाँ वह सटीक वाक्य है जहाँ उन्होंने ऐसा किया है"? यह "फीडबैक लूप" का पेचीदा हिस्सा है—यह सत्यापित करना कि किए गए परिवर्तन वास्तविक, सार्थक और साक्ष्य पर आधारित हैं, न कि केवल खाली वादे।
यहाँ AutoSupervision आता है, जो शोधकर्ताओं द्वारा ठीक इसी क्षमता का परीक्षण करने के लिए बनाया गया एक नया टूल है। इसे एक स्मार्ट "फैक्ट-चेकर" के रूप में सोचें जो वैज्ञानिक शोध पत्रों के लिए बना है। टीम ने Nature Communications के 56,000 वास्तविक लेखों और उनके समीक्षा रिकॉर्ड का उपयोग करके एक विशाल प्रशिक्षण मैदान तैयार किया। उन्होंने एक चुनौती स्थापित की जहाँ एक AI को एक समीक्षक की शिकायत, लेखक का उत्तर और पेपर का नया संस्करण पढ़ना होता है, और फिर यह तय करना होता है: क्या लेखक ने वास्तव में समस्या को ठीक कर दिया है? यदि हाँ, तो पाठ में उसका प्रमाण कहाँ है? परिणाम थोड़े मिले-जुले हैं। AI मॉडल यह समझने में शानदार हैं कि समीक्षक किस बात को लेकर चिंतित था—लगभग एक आदर्श छात्र की तरह जो शिक्षक के नोट्स का सारांश बना सकता है। हालाँकि, जब यह सत्यापित करने के कठिन काम की बात आती है कि क्या परिवर्तन वास्तव में किए गए थे और पाठ में विशिष्ट साक्ष्य खोजने की बात आती है, तो AI लड़खड़ा जाता है। सबसे अच्छा प्रदर्शन करने वाले मॉडल ने इस सत्यापन कार्य पर केवल 0.501 का स्कोर प्राप्त किया, जबकि केवल समस्या को समझने की इसकी क्षमता बहुत अधिक 0.754 थी। सार रूप में, कंप्यूटर समस्या को सुनने में तो माहिर हैं लेकिन समाधान वास्तविक है या नहीं, इसे साबित करने में अभी भी संघर्ष कर रहे हैं।
शोधकर्ताओं ने पाया कि जबकि आधुनिक AI चिंताओं को लगभग पूरी तरह से पहचान सकता है (एक "कवरेज" स्कोर 1.000 के करीब), यह अक्सर लेखक के दावे ("हमने इसे ठीक कर दिया!") और संशोधित पांडुलिपि में वास्तविक पाठ के बीच संबंध जोड़ने में विफल रहता है। यह एक ऐसे छात्र की तरह है जो आत्मविश्वास से शिक्षक को बताता है, "मैंने अपना होमवर्क कर लिया है," लेकिन जब उसे काम दिखाने के लिए कहा जाता है, तो वह सही पृष्ठ की ओर इशारा नहीं कर पाता। अध्ययन बताता है कि जबकि AI फीडबैक उत्पन्न करने में मदद करने के लिए तैयार है, यह इस बात का अंतिम निर्णायक बनने के लिए तैयार नहीं है कि उस फीडबैक पर वास्तव में अमल किया गया या नहीं। टीम ने यह भी पाया कि AI को थोड़ी मदद देना—जैसे कार्य को छोटे चरणों में तोड़ना या इसे विशेष रूप से इस प्रकार की समस्याओं पर प्रशिक्षित करना—इसके प्रदर्शन में सुधार करता है, लेकिन "ग्राउंडिंग" की समस्या (सटीक साक्ष्य खोजना) सबसे बड़ी बाधा बनी हुई है। संक्षेप में, हमारे पास ऐसा AI है जो माहौल को पढ़ सकता है, लेकिन हमें अभी भी इसे रसीदें (सबूत) चेक करना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।