Benchmarking locally hosted language models for journal editorial work on a compact desktop workstation
यह अध्ययन प्रदर्शित करता है कि एक कॉम्पैक्ट डेस्कटॉप वर्कस्टेशन जर्नल संपादकीय कार्यों के लिए ओपन-वेट लैंग्वेज मॉडल्स को प्रभावी ढंग से होस्ट कर सकता है, जो यह प्रकट करता है कि हालांकि प्रदर्शन मॉडल के आकार के साथ सख्ती से सहसंबंधित नहीं है, लेकिन इन मॉडल्स को सरल नियतात्मक (डिटरमिनिस्टिक) जांचों के साथ संयोजित करने से दिशानिर्देशों के उल्लंघन का लगभग पूर्ण पता लगाया जा सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अकादमिक प्रकाशन की शांत और उच्च-दांव वाली दुनिया में, एक नए प्रकार का दबाव बढ़ रहा है। दशकों से, वैज्ञानिक शोध पत्रों की मात्रा लगातार बढ़ी है, लेकिन टेक्स्ट लिखने में सक्षम आर्टिफिशियल इंटेलिजेंस (एआई) उपकरणों के आगमन ने इस बाढ़ को तेज कर दिया है। शोधकर्ता अब अधिक काम, तेजी से कर सकते हैं, लेकिन यह प्रवेश द्वार पर एक बाधा उत्पन्न करता है: संपादकीय कार्यालय। किसी पेपर के सहकर्मी समीक्षकों (पीयर रिव्यूअर्स) तक पहुँचने से पहले, इसे कुछ जांचों से गुजरना पड़ता है ताकि यह सुनिश्चित किया जा सके कि यह जर्नल के नियमों का पालन करता है, वास्तविक स्रोतों का हवाला देता है, और तार्किक रूप से सही है। पारंपरिक रूप से, ये जांच मानव संपादकों या सरल कंप्यूटर स्क्रिप्ट द्वारा की जाती हैं। अब, प्रकाशक पूछ रहे हैं कि क्या आर्टिफिशियल इंटेलिजेंस मदद कर सकता है। लेकिन इसमें एक पेंच है। समीक्षा किए जाने वाले पांडुलिपि (मैनुस्क्रिप्ट) गोपनीय होते हैं; उनमें अप्रकाशित खोजें और निजी डेटा होता है। अधिकांश शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम बाहरी कंपनियों के स्वामित्व वाले सर्वरों पर चलते हैं, और ऐसी गुप्त पांडुलिपि को ऐसे सर्वर पर भेजना अक्सर नीति द्वारा वर्जित होता है। यह संपादकों के सामने एक कठिन विकल्प छोड़ देता है: काम को गुप्त रखना और जांच मैन्युअल रूप से करना, या अपने स्वयं के कंप्यूटरों के भीतर, अपनी ही दीवारों के अंदर आर्टिफिशियल इंटेलिजेंस चलाने का तरीका खोजना।
इस प्रश्न ने RIKEN सेंटर फॉर बायोसिस्टम डायनेमिक्स रिसर्च के एक शोधकर्ता को यह परीक्षण करने के लिए प्रेरित किया कि क्या एक कॉम्पैक्ट, डेस्कटॉप कंप्यूटर इस काम को संभाल सकता है। लक्ष्य दुनिया का सबसे शक्तिशाली आर्टिफिशियल इंटेलिजेंस खोजना नहीं था, बल्कि यह देखना था कि क्या एक छोटा, स्थानीय रूप से होस्ट किया गया संस्करण एक जर्नल संपादक का काम कर सकता है। शोधकर्ता ने एक मानक डेस्कटॉप वर्कस्टेशन का उपयोग करके एक कठोर परीक्षण स्थापित किया, जो उस प्रकार का है जिसे एक छोटा प्रयोगशाला या संपादकीय कार्यालय वास्तव में रख सकता है। उन्होंने आठ विशिष्ट कार्यों की एक श्रृंखला बनाई जो वास्तविक संपादकीय कार्य की नकल करते हैं, जैसे यह जांचना कि क्या पांडुलिपि फॉर्मेटिंग नियमों का पालन करती है, यह सत्यापित करना कि टेक्स्ट के विभिन्न अनुभागों में संख्याएं मेल खाती हैं या नहीं, और यह सुनिश्चित करना कि अन्य शोध पत्रों के संदर्भ वास्तविक हैं। सफलता को मापने के लिए, उन्होंने "ग्राउंड ट्रुथ" उत्तरों का एक सेट बनाया, जिसमें चालीस विशिष्ट त्रुटियां डाली गई थीं, और फिर बीस अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल को इन कार्यों के विरुद्ध चलाया। ये मॉडल आकार में बहुत भिन्न थे, बहुत छोटे प्रोग्रामों से लेकर विशाल मॉडलों तक जो डेस्कटॉप कंप्यूटर की लगभग पूरी मेमोरी की आवश्यकता रखते थे।
परिणामों ने क्षेत्र की एक सामान्य धारणा को चुनौती दी: कि बड़े आर्टिफिशियल इंटेलिजेंस मॉडल हमेशा बेहतर होते हैं। अध्ययन में पाया गया कि मॉडल के आकार और उसके काम करने की क्षमता के बीच कोई सुसंगत संबंध नहीं था। वास्तव में, एक मॉडल जिसने 17 गीगाबाइट मेमोरी ली थी, उसने चालीस में से तैंतीस त्रुटियों का पता लगाया, जबकि सबसे बड़ा मॉडल, जिसने 81 गीगाबाइट घेरा था, उसने केवल छत्तीस त्रुटियों का पता लगाया। अंतर नगण्य था, फिर भी बड़े मॉडल को लगभग पांच गुना अधिक मेमोरी की आवश्यकता थी और उसे चलने में काफी अधिक समय लगा। यहाँ तक कि अधिक आश्चर्यजनक रूप से, एक ही परिवार के मॉडलों के भीतर, एक छोटा संस्करण कभी-कभी बड़े, नए संस्करण से बेहतर प्रदर्शन करता है। डेटा ने सुझाव दिया कि केवल एक बड़ा मॉडल खरीदने से बेहतर संपादकीय सहायता की गारंटी नहीं मिलती है।
आकार के बजाय, अध्ययन ने पाया कि कार्य को कैसे पूछा गया और मॉडल के पास उपलब्ध उपकरण कहीं अधिक महत्वपूर्ण थे। सबसे प्रभावी दृष्टिकोण एक स्तरित रणनीति (लेयर्ड स्ट्रैटेजी) साबित हुआ। सबसे पहले, एक सरल, नियतात्मक (डिटरमिनिस्टिक) प्रोग्राम—जो बुनियादी गणित और पैटर्न मिलान का उपयोग करता है लेकिन इसमें कोई आर्टिफिशियल इंटेलिजेंस नहीं है—ने पांडुलिपि की जांच की। इस गैर-बौद्धिक कार्यक्रम ने एक सेकंड के अंश में चालीस में से इकतीस त्रुटियों को ढूंढ लिया और कोई मेमोरी का उपयोग नहीं किया। इसके बाद आर्टिफिशियल इंटेलिजेंस की आवश्यकता केवल शेष नौ त्रुटियों के लिए पड़ी, जिनके लिए वाक्यों के अर्थ को समझने या संदर्भ के बारे में निर्णय लेने की आवश्यकता थी। जब दोनों को मिला दिया गया, तो उन्होंने हर एक त्रुटि को पकड़ लिया। यह निष्कर्ष बताता है कि आगे का सबसे कुशल मार्ग एक विशाल मस्तिष्क के साथ एक एकल विशाल एआई से बदलना नहीं है, बल्कि एक सरल कंप्यूटर स्क्रिप्ट का उपयोग करना है जो स्पष्ट, नियम-आधारित जांच को संभाल सके, और फिर आर्टिफिशियल इंटेलिजेंस को उन कुछ जटिल निर्णयों के लिए सुरक्षित रखना है जिनके लिए वास्तव में समझ की आवश्यकता होती है।
अध्ययन ने यह भी देखा कि ये मॉडल पीयर रिव्यू के अधिक व्यक्तिपरक कार्य को कैसे संभालते हैं, जैसे कि उन मुख्य आलोचनाओं की पहचान करना जो एक मानव समीक्षक उठा सकता है। यहाँ, प्रदर्शन अधिक मध्यम रहा। सबसे अच्छे मॉडल ने एक एकल मामले में मानव समीक्षकों द्वारा उठाए गए बारह प्रमुख बिंदुओं में से केवल छह को ही पुनः प्राप्त किया। यह इंगित करता है कि हालांकि आर्टिफिशियल इंटेलिजेंस नियमों और फॉर्मेटिंग की जांच के लिए एक सहायक हो सकता है, लेकिन यह अभी भी एक मानव विशेषज्ञ की गहरी, आलोचनात्मक सोच को बदलने के लिए तैयार नहीं है। शोध ने यह भी रेखांकित किया कि जिस हार्डवेयर पर मॉडल चलता है, वह मॉडल के समान ही महत्वपूर्ण है। परीक्षण में उपयोग किया गया डेस्कटॉप कंप्यूटर एक यूनिफाइड मेमोरी सिस्टम के साथ था, जिससे यह उन मॉडलों को चलाने में सक्षम हुआ जो मानक ग्राफिक्स कार्ड पर फिट नहीं हो सकते थे। हालांकि, अध्ययन ने नोट किया कि कंप्यूटर की गति अक्सर इस बात से सीमित होती थी कि वह मेमोरी से डेटा को कितनी तेजी से पढ़ सकता है, न कि केवल इस बात से कि उसके पास कितनी मेमोरी है। सेटअप में दूसरे कंप्यूटर को जोड़ने से प्रक्रिया के कुछ हिस्सों में मदद मिली लेकिन इसने सबसे मांग वाले कार्यों के लिए मौलिक गति सीमाओं को हल नहीं किया।
अंततः, यह कार्य प्रदर्शित करता है कि कॉम्पैक्ट डेस्कटॉप वर्कस्टेशन के माध्यम से उपयोगी संपादकीय सहायता प्राप्त करना संभव है, बशर्ते कार्य को सही ढंग से विभाजित किया जाए। सबसे सक्षम प्रणाली एक एकल, विशाल आर्टिफिशियल इंटेलिजेंस मॉडल नहीं है, बल्कि एक तेज़, सरल चेकर और सूक्ष्मताओं के लिए एक छोटे, स्मार्ट मॉडल का संयोजन है। यह दृष्टिकोण प्रकाशकों को सख्त गोपनीयता बनाए रखने की अनुमति देता है, जिससे अप्रकाशित पांडुलिपियों को उनके अपने हार्डवेयर पर रखा जा सकता है, जबकि वे स्वचालन की दक्षता भी प्राप्त कर सकते हैं। अध्ययन निष्कर्ष निकालता है कि संपादकीय कार्य का भविष्य संभवतः श्रम के इस विभाजन में निहित है: कंप्यूटर को गणना और फॉर्मेटिंग करने दें, और आर्टिफिशियल इंटेलिजेंस को उन क्षणों के लिए बचाकर रखें जहाँ मानव जैसी समझ वास्तव में आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।