← नवीनतम पेपर
💬 NLP

AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026

BOSC 2026 की यह अनुभव रिपोर्ट एक एआई-सहायता प्राप्त प्री-रिव्यू सिस्टम के विकास और मूल्यांकन का विवरण देती है जिसने ओपन-सोर्स सॉफ्टवेयर सबमिशन का आकलन करने में मानव समीक्षकों को सहायता प्रदान करने के लिए एजेंटिक कौशल और स्वचालित कंटेनरीकृत परीक्षण का उपयोग किया, जिससे यह पता चला कि हालांकि समीक्षकों ने टूल को उपयोगी पाया, लेकिन वे इसके निष्कर्षों पर बिना प्रश्न किए भरोसा करने के बजाय उन्हें सत्यापित करना पसंद करते थे।

मूल लेखक: Tazro Ohta, Nomi L. Harris, Seth Carbon

प्रकाशित 2026-07-31
📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Tazro Ohta, Nomi L. Harris, Seth Carbon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

विज्ञान का महाप्रलय और रोबोट सहायक

कल्पना कीजिए कि विज्ञान की दुनिया एक विशाल, हलचल भरी लाइब्रेरी की तरह है जहाँ शोधकर्ता लगातार इस बारे में नई किताबें लिख रहे हैं कि दुनिया कैसे काम करती है। लंबे समय तक, यह लाइब्रेरी स्वयंसेवकों के एक छोटे समूह पर निर्भर थी जो हर नई किताब को पढ़ते थे, यह जाँचते थे कि तथ्य सही हैं या नहीं, और यह तय करते थे कि कौन सी किताबें शेल्फ पर रखने के लिए पर्याप्त अच्छी हैं। लेकिन हाल ही में, "जेनरेटिव एआई" (Generative AI) नामक एक जादुई नया उपकरण सामने आया है। यह उपकरण एक सुपर-फास्ट लेखन सहायक की तरह है जो शोधकर्ताओं को उनकी किताबें बहुत तेज़ी से लिखने में मदद करता है। हालाँकि यह सुनने में बहुत अच्छा लगता है, लेकिन इसने एक बड़ी समस्या पैदा कर दी है: लाइब्रेरी अचानक हजारों नई पांडुलिपियों से भर गई है, और स्वयंसेवक लाइब्रेरियन इसमें डूब रहे हैं। उनके पास हर एक पन्ने को पढ़ने, हर तथ्य की जाँच करने या हर प्रयोग का परीक्षण करने के लिए पर्याप्त समय नहीं है।

यह कहानी विज्ञान के एक विशिष्ट कोने में घटित होती है जिसे बायोइन्फॉर्मेटिक्स (bioinformatics) कहा जाता है, जो मूल रूप से कंप्यूटर का उपयोग करके जैविक पहेलियों को सुलझाने की कला है, जैसे डीएनए (DNA) को डिकोड करना या वायरस को ट्रैक करना। इस क्षेत्र में, एक सुनहरा नियम है खुलापन (openness): वैज्ञानिकों को अपना कोड (उनके कंप्यूटर प्रोग्राम के निर्देश) और अपना डेटा साझा करना चाहिए ताकि कोई भी उनके काम की जाँच कर सके। यह पुनरुत्पादकता (reproducibility) के लिए महत्वपूर्ण है, जो इस विचार पर आधारित है कि यदि आप किसी अन्य व्यक्ति को बिल्कुल वही सामग्री और निर्देश देते हैं, तो वे ठीक वैसा ही परिणाम बना पाने चाहिए। यदि कोई वैज्ञानिक कहता है, "मैंने एक नई दवा बनाई है," लेकिन वह उसकी रेसिपी साझा नहीं करता है, तो कोई भी उन पर भरोसा नहीं कर सकता। यह पेपर जिस चुनौती का समाधान करता है वह सरल लेकिन अत्यंत आवश्यक है: जब किताबों का सैलाब इतना बड़ा हो जाए कि मानव स्वयंसेवक अकेले उसे संभाल न सकें, तो हम लाइब्रेरी को सुचारू रूप से कैसे चला सकते हैं, और वह भी बिना किसी रोबोट को यह तय करने का काम सौंपे कि क्या अच्छा है और क्या बुरा?


BOSC प्रयोग: एक रोबोट लाइब्रेरियन का पहला दिन

2026 में, बायोइन्फॉर्मेटिक्स ओपन सोर्स कॉन्फ्रेंस (BOSC) के आयोजकों ने एक साहसिक प्रयोग करने का निर्णय लिया। वे जानते थे कि उनके स्वयंसेवक समीक्षक थक चुके हैं और बोझ तले दबे हैं। इसलिए, रोबोट को अंतिम निर्णय लेने के लिए कहने के बजाय, उन्होंने एक "रोबोट सहायक" बनाया जो इंसानों द्वारा पढ़ना शुरू करने से पहले उबाऊ और भारी काम कर सके। उन्होंने इस सिस्टम को bosc-pre-review नाम दिया, और इसका एक विशेष साथी था जिसका नाम Runabilly था।

इस समीक्षा प्रक्रिया को एक टैलेंट शो के जज की तरह समझें। आमतौर पर, जज को तीन चीजें जाँचनी होती हैं: क्या माइक्रोफ़ोन प्लग इन है? क्या गायक अपने साथ संगीत की शीट लाया है? और सबसे महत्वपूर्ण बात, क्या गायक वास्तव में बिना लड़खड़ाए ऊंचे सुर लगा सकता है? अतीत में, मानव स्वयंसेवकों को यह सब खुद करना पड़ता था। कभी-कभी, यह जाँचने में कि "माइक्रोफ़ोन" (कोड) वास्तव में काम कर रहा है या नहीं, सॉफ्टवेयर और तारों के साथ घंटों मशक्कत करनी पड़ती थी।

इस प्रयोग के लिए, आयोजकों ने एक डिजिटल असेंबली लाइन स्थापित की। सबसे पहले, bosc-pre-review रोबोट ने प्रत्येक सबमिशन को स्कैन किया। उसने यह अनुमान लगाने की कोशिश नहीं की कि विज्ञान शानदार है या विचार "कूल" है। इसके बजाय, इसने एक बहुत ही सख्त तथ्य-जांचकर्ता (fact-checker) की तरह काम किया। इसने लेखकों द्वारा दिए गए लिंक की जाँच की ताकि देखा जा सके कि:

  • क्या दरवाजा खुला है? (क्या हम वास्तव में कोड पा सकते हैं?)
  • क्या लाइसेंस वैध है? (क्या उन्होंने दूसरों को इसे उपयोग करने की अनुमति दी है?)
  • क्या यह एक नया गाना है? (क्या यह प्रोजेक्ट पहले इस शो में प्रस्तुत किया गया है?)
  • क्या बैंड सक्रिय है? (क्या लोग अभी भी इस पर काम कर रहे हैं?)

फिर आया Runabilly, जो सबसे रोमांचक हिस्सा था। कल्पना कीजिए कि एक रोबोट हर एक प्रोजेक्ट के लिए एक छोटा, डिस्पोजेबल "सैंडबॉक्स" (एक सुरक्षित, अलग कंप्यूटर कमरा) बनाता है। यह सैंडबॉक्स में कोड को क्लोन करेगा, इसे बनाने (build) की कोशिश करेगा, और इसे चलाकर देखेगा कि क्या यह वास्तव में काम करता है। यदि कोड क्रैश हो गया, तो रोबोट कहेगा, "ओह, यह वाला टूट गया।" यदि यह काम कर गया, तो वह कहेगा, "सफलता!" यह समय बचाने वाला एक बड़ा कदम था क्योंकि, मनुष्यों के लिए, सॉफ्टवेयर बनाना और परीक्षण करना घंटों की हताशा भरा काम हो सकता है। रोबोट इसे मिनटों में, सुरक्षित रूप से कर सकता था, बिना मानव समीक्षकों के अपने कंप्यूटरों को जोखिम में डाले।

परिणाम: एक सहायक, न कि एक बॉस

टीम ने इस सिस्टम को 60 सबमिशन पर चलाया। यहाँ उन्हें क्या मिला:

  • रोबोट तेज़ और काफी हद तक सही था: AI ने लगभग सभी के लिए लिंक और लाइसेंस की सफलतापूर्वक जाँच की। इसने पाया कि 39 प्रोजेक्ट्स के लिंक काम कर रहे थे और 37 के लाइसेंस वैध थे। इसने 3 प्रोजेक्ट्स में टूटे हुए लिंक और 3 में गायब लाइसेंसों का पता लगाया जिन्हें इंसान शायद जल्दबाजी में मिस कर देते।
  • "ताजगी" की जाँच: रोबोट पुराने प्रोजेक्ट्स को पहचानने में माहिर था। इसने पाया कि 60 में से 50 सबमिशन कॉन्फ्रेंस के लिए नए थे, जबकि 10 पिछले चार वर्षों में देखे गए प्रोजेक्ट्स के अपडेट थे। इसने उन मामलों को भी पकड़ा जहाँ लेखकों ने थोड़े अलग शीर्षकों के साथ पुराने प्रोजेक्ट्स को चुपके से शामिल करने की कोशिश की थी।
  • "रनैबिलिटी" (चलाने की क्षमता) का आश्चर्य: जब रोबोट ने कोड को बनाने और चलाने की कोशिश की, तो उसने पाया कि 17 प्रोजेक्ट्स पूरी तरह से बने और सभी परीक्षणों में सफल रहे। हालाँकि, 18 प्रोजेक्ट्स बने लेकिन एक "चेतावनी" (WARNING) के साथ रुके। इसका मतलब यह नहीं था कि कोड खराब था; इसका मतलब था कि रोबोट के छोटे से सैंडबॉक्स में कुछ ऐसी चीज़ गायब थी जिसकी कोड को आवश्यकता थी, जैसे कि कोई विशेष ग्राफिक्स कार्ड या कोई पेड डेटाबेस। 5 प्रोजेक्ट्स पूरी तरह विफल रहे, और 4 केवल डेटा या प्रशिक्षण सामग्री थे जिन्हें "बनाया" (build) नहीं जा सकता था।
  • मानवीय स्पर्श: सबसे महत्वपूर्ण खोज आंकड़ों के बारे में नहीं थी; यह लोगों के बारे में थी। समीक्षा के बाद, आयोजकों ने 28 मानव स्वयंसेवकों से पूछा कि वे क्या सोचते हैं। उनमें से 17 ने उत्तर दिया। उन 17 में से, 15 लोगों ने रोबोट के नोट्स देखे।
    • 13 लोगों ने कहा कि रोबोट लिंक और लाइसेंस जैसे उबाऊ तथ्यों की जाँच करने के लिए बहुत मददगार था।
    • 10 लोगों ने कहा कि इसने उन्हें प्रति समीक्षा कम से कम 3 मिनट बचाए, और 2 लोगों ने कहा कि इसने 15 मिनट से अधिक समय बचाया।
    • महत्वपूर्ण बात यह थी कि किसी ने भी रोबोट पर पूरी तरह भरोसा नहीं किया। प्रत्येक समीक्षक जिसने नोट्स का उपयोग किया, उसने कहा कि वे अभी भी रोबोट के काम की दोबारा जाँच करते हैं। एक समीक्षक ने कहा, "मैं AI टूल्स के साथ 'वेरिफाई एनीथिंग' (किसी भी चीज़ को सत्यापित करने) के चरण में हूँ।" उन्हें मदद पसंद आई, लेकिन वे नहीं चाहते थे कि रोबोट अंतिम फैसला ले।

रोबोट ने क्या नहीं किया (और यह क्यों मायने रखता है)

यह पेपर इस बारे में बहुत स्पष्ट है कि रोबोट ने क्या नहीं किया। इसने यह तय नहीं किया कि कौन से प्रोजेक्ट स्वीकार किए गए या अस्वीकार किए गए। निर्णय मनुष्यों ने ही लिए। रोबोट ने "रचनात्मकता" या "प्रासंगिकता" का न्याय करने की कोशिश भी नहीं की क्योंकि ये बहुत ही व्यक्तिपरक (subjective) चीजें हैं। एक समीक्षक ने तर्क दिया कि रोबोट को यह अनुमान लगाने देना कि कोई प्रोजेक्ट "प्रासंगिक" है या नहीं, पक्षपात पैदा कर सकता है, और इस तरह का निर्णय उन मनुष्यों के पास रहना चाहिए जो इसकी जिम्मेदारी ले सकें।

लेखकों ने यह भी पाया कि रोबोट कभी-कभी छोटी गलतियाँ करता था, लेकिन आमतौर पर इसलिए क्योंकि उसे दिए गए नियम थोड़े अस्पष्ट थे। उदाहरण के लिए, यदि किसी प्रोजेक्ट में लाइसेंस फ़ाइल उस फाइल से मेल नहीं खाती थी जो लेखक ने लिखी थी, तो रोबमाट भ्रमित हो सकता था। पेपर सुझाव देता है कि समस्या रोबोट के दिमाग में नहीं थी, बल्कि उसे दिए गए निर्देशों में थी। यदि नियम स्पष्ट हैं, तो रोबोट बेहतरीन है; यदि नियम अस्पष्ट हैं, तो रोबोट भी अस्पष्ट होगा।

निष्कर्ष

इस प्रयोग ने दिखाया कि AI एक शानदार "प्री-रिव्यूअर" (पूर्व-समीक्षक) हो सकता है। यह उबाऊ और यांत्रिक कार्यों को संभाल सकता है जैसे लिंक की जाँच करना, लाइसेंस सत्यापित करना और यह परीक्षण करना कि कोड वास्तव में चलता है या नहीं। यह मानव स्वयंसेवकों को काम के उन हिस्सों पर ध्यान केंद्रित करने के लिए मुक्त करता है जिनमें मानवीय हृदय और मस्तिष्क की आवश्यकता होती है: विज्ञान की गुणवत्ता और विचारों की रचनात्मकता का निर्णय लेना।

पेपर निष्कर्ष निकालता है कि जबकि रोबोट एक बेहतरीन सहायक है, वह कोई विकल्प (replacement) नहीं है। स्वयंसेवकों ने बचाए गए समय की सराहना की, लेकिन वे AI को अंतिम निर्णय लेने देने के प्रति संशय में रहे। जैसा कि लेखकों ने कहा, विज्ञान समीक्षा का भविष्य रोबोट के नियंत्रण लेने के बारे में नहीं है; यह रोबोट द्वारा भारी काम करने के बारे में है ताकि मनुष्य सोचने का काम कर सकें। यह प्रयोग एक सफलता थी, लेकिन यह तो बस शुरुआत थी। टीम अगले वर्ष के लिए नियमों को बेहतर बनाने और रोबोट को और भी स्मार्ट बनाने के बारे में पहले से ही सोच रही है, और यह सब करते हुए मानव स्वयंसेवकों को मुख्य भूमिका में बनाए रखना चाहती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →