Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
यह शोध पत्र DGEval को प्रस्तुत करता है, जो इंटरनेशनल मैरीटाइम डेंजरस गुड्स (IMDG) कोड पर लार्ज लैंग्वेज मॉडल्स का आकलन करने के लिए पहला बेंचमार्क है, जो यह प्रकट करता है कि हालांकि मॉडल बहुविकल्पीय प्रश्नों और संरचित खोजों (structured lookups) पर मनुष्यों से बेहतर प्रदर्शन कर सकते हैं, लेकिन स्टॉज और सेग्रिगेशन जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में उनकी अविश्वसनीयता तैनाती से पहले निरंतर मानव निरीक्षण की आवश्यकता को अनिवार्य बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
महासागर एक विशाल, शक्तिशाली शक्ति है, और इसके पार सामान ले जाने के लिए जहाजों, चालक दल और पर्यावरण को सुरक्षित रखने हेतु नियमों के एक सख्त समूह की आवश्यकता होती है। जब कंपनियाँ रसायनों, बैटरियों या ज्वलनशील तरल पदार्थों जैसी खतरनाक वस्तुओं को शिप करती हैं, तो उन्हें 'इंटरनेशनल मैरीटाइम डेंजरस गुड्स कोड' नामक एक विशाल अंतर्राष्ट्रीय नियम पुस्तिका का पालन करना होता है। यह दस्तावेज़ कोई साधारण सूची नहीं है; यह निर्देशों का एक जटिल जाल है जो यह निर्धारित करता है कि प्रत्येक वस्तु को कैसे वर्गीकृत, पैक, लेबल और जहाज पर कहाँ रखा जाना चाहिए। इसे गलत करने से आग, विस्फोट या जहरीले रिसाव जैसी स्थितियाँ पैदा हो सकती हैं जिन्हें समुद्र में होने पर ठीक करना लगभग असंभव होता है। दशकों से, इन निर्णयों के लिए जिम्मेदार लोग इन सुनिश्चितताओं को सुनिश्चित करने के लिए अपने स्वयं के प्रशिक्षण और सावधानीपूर्वक मैनुअल जांच पर निर्भर रहे हैं। हालाँकि, आज, इनमें से कई पेशेवर एक नए प्रकार के उपकरण की ओर मुड़ रहे हैं: आर्टिफिशियल इंटेलिजेंस सिस्टम जिन्हें 'लार्ज लैंग्वेज मॉडल्स' कहा जाता है। ये कंप्यूटर प्रोग्राम मानवीय भाषा में पढ़ सकते हैं और प्रश्नों के उत्तर दे सकते हैं, जो नियमों के हजारों पृष्ठों तक त्वरित पहुँच का वादा करते हैं। लेकिन क्योंकि इस क्षेत्र में एक गलती जीवन की कीमत वसूल सकती है, इसलिए प्रश्न केवल यह नहीं है कि क्या ये उपकरण स्मार्ट हैं, बल्कि यह भी है कि क्या वे सबसे महत्वपूर्ण निर्णयों के लिए भरोसेमंद रूप से सुरक्षित हैं।
शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए एक कठोर परीक्षण विशेष रूप से समुद्री सुरक्षा के लिए डिज़ाइन करके काम शुरू किया। उन्होंने 'DGEval' नामक एक बेंचमार्क बनाया, जो आर्टिफिशियल इंटेलिजेंस के लिए एक अंतिम परीक्षा की तरह कार्य करता है। यह परीक्षण समुद्री पेशेवरों द्वारा उपयोग की जाने वाली वास्तविक दुनिया की प्रशिक्षण सामग्री और खतरनाक वस्तुओं की आधिकारिक सूची से बनाया गया था। इसमें लगभग 1,700 प्रश्न शामिल हैं जो किसी रसायन के सही नाम की पहचान करने से लेकर यह पता लगाने तक कि किसी विशिष्ट कंटेनर को आपदा के बिना जहाज पर कहाँ रखा जा सकता है। शोधकर्ताओं ने छह प्रमुख प्रौद्योगिकी कंपनियों के तेरह अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स का मूल्यांकन किया। उन्होंने इन मॉडल्स का विभिन्न तरीकों से परीक्षण किया, जिसमें उन्हें बहुविकल्पीय प्रश्नों के उत्तर देने, मुक्त-पाठ (फ्री-टेक्स्ट) स्पष्टीकरण लिखने, विशिष्ट डेटा खोजने और यह पहचानने के लिए कहा गया कि नियम पुस्तिका का कौन सा हिस्सा उत्तर का स्रोत था। उन्होंने यह भी परीक्षण किया कि क्या मॉडल्स को जानकारी खोजने के लिए इंटरनेट तक पहुँच देने से उनके प्रदर्शन में सुधार हुआ।
परिणामों ने एक स्पष्ट विभाजन प्रकट किया कि ये मॉडल्स क्या कर सकते हैं और क्या नहीं। सबसे अच्छा प्रदर्शन करने वाला मॉडल, गूगल का एक बड़ा सिस्टम, औसत प्रशिक्षित मानव पेशेवर की तुलना में बहुविकल्पीय प्रश्नों को अधिक बार सही ढंग से उत्तर देने में सक्षम था। यह सीधे तथ्यों को खोजने में उत्कृष्ट था, जैसे कि किसी रसायन का आधिकारिक नाम या उसका बुनियादी खतरा वर्ग। हालाँकि, अध्ययन में पाया गया कि मॉडल्स उन क्षेत्रों में काफी कमजोर थे जो सुरक्षा के लिए सबसे महत्वपूर्ण हैं। जब प्रश्नों में जटिल परिचालन निर्णय शामिल थे—विशेष रूप से असंगत वस्तुओं को अलग करने या जहाज पर उन्हें कहाँ रखना है—तो मॉडल्स संघर्ष करते दिखे। यहाँ तक कि शीर्ष प्रदर्शन करने वाले सिस्टम भी इन उच्च-जोखम वाले क्षेत्रों में बार-बार गलतियाँ करते थे। शोधकर्ताओं ने यह भी पाया कि मॉडल्स उस विशिष्ट अनुभाग की ओर इशारा करने में बहुत खराब थे जहाँ उत्तर पाया जा सकता है, जो कि मानव द्वारा AI के काम को सत्यापित करने के लिए एक आवश्यक कौशल है।
अध्ययन ने यह भी देखा कि विभिन्न प्रकार के प्रश्नों ने प्रदर्शन को कैसे प्रभावित किया। जब मॉडल्स को केवल एक सूची में से सही उत्तर चुनने के लिए कहा गया, तो उन्होंने ठीक-ठाक प्रदर्शन किया। लेकिन जब उन्हें बिना किसी विकल्प के शून्य से उत्तर उत्पन्न करने के लिए कहा गया, तो उनकी सटीकता गिर गई। यह सुझाव देता है कि मॉडल्स को जब जानकारी उनके सामने प्रस्तुत की जाती है तो वे उसे पहचानने में अच्छे होते हैं, लेकिन वे स्वयं उस जानकारी को उत्पन्न करने में कम विश्वसनीय होते हैं। शोधकर्ताओं ने पाया कि विशिष्ट डेटा खोजने के लिए मॉडल्स को इंटरनेट तक पहुँच देने से उन्हें काफी मदद मिली, लेकिन यह उन्हें जटिल तर्क कार्यों में मदद नहीं कर सका। दिलचस्प बात यह है कि समुद्री नियमों पर विशेष रूप से प्रशिक्षित मॉडल ने सामान्य-उद्देश्य वाले मॉडल से बेहतर प्रदर्शन नहीं किया, जो यह दर्शाता है कि केवल प्रशिक्षण डेटा में जहाजों के बारे में अधिक पाठ जोड़ना समस्या को हल करने के लिए पर्याप्त नहीं है।
शायद सबसे महत्वपूर्ण निष्कर्ष यह था कि मॉडल्स असंगत थे। एक सिस्टम एक सरल तथ्य को सही बता सकता है लेकिन एक सुरक्षा-महत्वपूर्ण नियम पर विफल हो सकता है जो आग लगने से रोक सकता है। शोधकर्ताओं ने नोट किया कि मॉडल्स अक्सर विस्फोटक या जहरीली गैसों जैसे खतरनाक पदार्थों के बारे में प्रश्नों का उत्तर देने से इनकार कर देते थे, जिससे वैध सुरक्षा पूछताछ को हानिकारक अनुरोधों की तरह माना गया। सुरक्षा प्रश्न और सुरक्षा खतरे के बीच अंतर करने में यह अक्षमता उन्हें वर्तमान में काम के सबसे खतरनाक हिस्सों के लिए अविश्वसनीय बनाती है। अध्ययन ने निष्कर्ष निकाला कि हालांकि ये आर्टिफिशियल इंटेलिजेंस उपकरण पेशेवरों को जानकारी जल्दी खोजने में मदद करने के लिए उपयोगी हो सकते हैं, लेकिन वे अभी स्वयं सुरक्षा निर्णय लेने के लिए तैयार नहीं हैं। शोधकर्ताओं ने इस बात पर जोर दिया कि मानवीय निरीक्षण अनिवार्य बना हुआ है। एक पेशेवर को अंतिम निर्णय लेने से पहले आधिकारिक नियम पुस्तिका के विरुद्ध AI के काम की जाँच अवश्य करनी चाहिए। यह अध्ययन एक बार का फैसला नहीं है, बल्कि निरंतर सुरक्षा आश्वासन का एक उपकरण है, जो उद्योग को याद दिलाता है कि जैसे-जैसे ये कंप्यूटर सिस्टम विकसित होते हैं, उन्हें लगातार परीक्षण किया जाना चाहिए ताकि यह सुनिश्चित हो सके कि वे महत्वपूर्ण समय पर विफल न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।