Disagreement reliability routing for multimodal large language model evidence pipelines with imperfect counterfactual priors
यह शोध पत्र EviRoute-DR को प्रस्तुत करता है, जो एक असहमति-विश्वसनीयता (disagreement-reliability) आधारित रूटिंग विधि है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सुधारात्मक नियम पूर्वधारणाओं (corrected rule priors) को प्रत्यक्ष तथ्यात्मक परिणाम विशेषज्ञों के साथ प्रभावी ढंग से संलयित करती है ताकि प्रतिकूल सत्य-विपरीत नियमों (counterfactual rules) के अपूर्ण होने और प्रति मामला केवल एक तथ्यात्मक परिणाम देखे जाने की स्थिति में भी साक्ष्य पाइपलाइन अंशांकन (evidence pipeline calibration) और समाधान लागत में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल अर्थव्यवस्था में, सूचना की विशाल मात्रा स्वचालित प्रणालियों के माध्यम से प्रवाहित होती है जो यह तय करती हैं कि एक गलत जगह रखे गए पैकेज से लेकर एक विवादित लेनदेन तक, हर चीज़ को कैसे संभालना है। ये प्रणालियाँ अक्सर दस्तावेजों को पढ़ने, नीतियों की जाँच करने और सुधार सुझाने के लिए आर्टिफिशियल इंटेलिजेंस (AI) पर निर्भर करती हैं। हालाँकि, इस क्षेत्र में एक निरंतर चुनौती यह है कि जबकि मशीनें कई संभावित समाधान उत्पन्न कर सकती हैं, वास्तविक दुनिया केवल उस एकल विकल्प के परिणाम को प्रकट करती है जिसे वास्तव में चुना गया था। कल्पना कीजिए कि एक डॉक्टर एक मरीज के लिए दस अलग-अलग उपचारों का सुझाव दे सकता है लेकिन उसे केवल उसी एक के परिणाम को देखने का मौका मिलता है जिसे उसने निर्धारित किया था; बाकी नौ अज्ञात रह जाते हैं। स्वचालित निर्णय लेने की दुनिया में, यह एक अंतर पैदा करता है कि सिस्टम अपने नियमों के आधार पर क्या सोचता है कि क्या काम कर सकता है और वास्तव में वास्तविकता में क्या हुआ। जब ये प्रणालियाँ अपने अतीत से सीखने की कोशिश करती हैं, तो उन्हें यह पहचानने में संघर्ष करना पड़ता है कि कोई नियम केवल गलत था या वह सही था लेकिन एक ऐसे मामले में लागू हुआ जिसका परिणाम संयोगवश अलग रहा।
eBay के शोधकर्ताओं, नटराज अगारम सुंदर और तेजस मोराबिया ने इस विशिष्ट समस्या पर ध्यान केंद्रित करते हुए एक नए अध्ययन में काम किया, जो यह सुधारने पर केंद्रित है कि ये AI प्रणालियाँ साक्ष्य को सही समाधान तक कैसे पहुँचाती हैं। उन्होंने EviRoute-DR नामक एक विधि विकसित की, जो निर्णय लेने के लिए एक स्मार्ट फिल्टर के रूप में कार्य करती है। सिस्टम के शुरुआती नियमों पर आँख मूँदकर भरोसा करने या उन्हें पूरी तरह से अनदेखा करने के बजाय, यह नया दृष्टिकोण यह पहचानने के लिए सीखता है कि कब किसी नियम के गलत होने की संभावना है। यह एक नियम के पूर्वानुमान की तुलना पूर्ण हुए मामले के लिए दर्ज किए गए एकल, तथ्यात्मक परिणाम से करके ऐसा करता है। हजारों वास्तविक उदाहरणों का विश्लेषण करके, सिस्टम "असहमति" के पैटर्न को पहचानना सीखता है—यह पहचानता है कि किन विशिष्ट परिस्थितियों में मानक नियम विफल होने की प्रवृत्ति रखते हैं। फिर यह इस ज्ञान को अतीत में जो काम कर गया उसके प्रत्यक्ष अवलोकन के साथ जोड़कर भविष्य के निर्णयों के लिए एक अधिक विश्वसनीय मार्गदर्शिका बनाता है।
अध्ययन में सात अलग-अलग संभावित कार्यों (जैसे कि खोज को फिर से प्रयास करना, मानव सहायता मांगना, या बस प्रतीक्षा करना) से जुड़े दो हजार से अधिक वास्तविक मामलों की जांच की गई। प्रत्येक मामले के लिए, सिस्टम के पास सुझाव देने के लिए कुछ पूर्व-लिखित नियम थे, लेकिन वास्तव में केवल एक ही कार्रवाई की गई थी, और केवल उसी एक कार्रवाई का पुष्ट परिणाम प्राप्त हुआ था। शोधकर्ताओं ने पाया कि मानक नियम उन मामलों में लगभग 18 प्रतिशत बार परिणाम के बारे में गलत थे जहाँ उन्हें लागू किया गया था। इसका मतलब था कि नियमों का आँख मूँदकर पालन करने से लगभग पाँच में से एक बार गलत निर्णय लिया जाता। नई विधि, EviRoute-DR, त्रुटि के इन क्षणों को पहचानने में सफल रही। इसने सफलतापूर्वक पहचाना कि कब एक नियम के गलत होने की संभावना थी और तदनुसार अपनी विश्वसनीयता को समायोजित किया, प्रभावी रूप से खुद को यह सिखाया कि नियम पर केवल तभी भरोसा करें जब वह विश्वसनीय हो और जब वह नहीं हो तो कहीं और देखें।
जब नए, अनदेखे मामलों के एक बड़े सेट पर परीक्षण किया गया, तो यह दृष्टिकोण मानक तरीकों की तुलना में अधिक सटीक साबित हुआ। शोधकर्ताओं ने यह मापने के लिए एक स्कोर का उपयोग किया कि सिस्टम के अनुमान वास्तविक सत्य के कितने करीब थे। नई विधि ने 0.926 का स्कोर प्राप्त किया, जो कि सबसे अच्छे पारंपरिक सांख्यिकीय मॉडल (जिसने 0.921 स्कोर किया) की तुलना में एक स्पष्ट सुधार था। हालांकि यह अंतर छोटा लग सकता है, लेकिन लाखों लेनदेन संभालने वाले सिस्टम में, सटीकता में मामूली वृद्धि भी बड़ी संख्या में त्रुटियों को रोक सकती है। यह विधि उन कठिन मामलों को संभालने में विशेष रूप से प्रभावी थी जहाँ जानकारी अधूरी या विरोधाभासी थी, जिससे यह पता चला कि यह उपलब्ध डेटा की विश्वसनीयता के आधार पर अपनी रणनीति को अनुकूलित कर सकती है।
महत्वपूर्ण रूप से, शोधकर्ताओं ने यह परिभाषित करने में सावधानी बरती कि उनके अध्ययन ने क्या सिद्ध किया है। उन्होंने इस बात पर जोर दिया कि उनका सिस्टम लिए गए एकल कार्य से सीखता है, न कि उन अन्य छह संभावनाओं से जिन पर विचार किया गया था लेकिन जिन्हें खारिज कर दिया गया था। क्योंकि सिस्टम ने हमेशा वही कार्रवाई चुनी जिसे उसने सबसे अच्छा समझा, इसलिए यह निश्चित रूप से जानने का कोई तरीका नहीं है कि क्या अन्य विकल्प बेहतर या बदतर होते। इसलिए, अध्ययन यह दावा नहीं करता है कि उसने हर संभावित परिदृश्य के लिए पूर्ण समाधान खोज लिया है, और न ही यह दावा करता है कि उसने उन परिणामों की भविष्यवाणी करने की समस्या को हल कर लिया है जो कभी आजमाए ही नहीं गए। इसके बजाय, यह वास्तविक दुनिया के संचालन में उपलब्ध सीमित तथ्यात्मक फीडबैक का सर्वोत्तम संभव उपयोग करने का एक व्यावहारिक तरीका प्रदान करता है। परिणाम बताते हैं कि यह स्वीकार करके कि नियम विफल हो सकते हैं और तदनुसार समायोजन करके, स्वचालित प्रणालियाँ अपने पूरे तर्क को फिर से लिखे बिना काफी अधिक विश्वसनीय बन सकती हैं।
अध्ययन ने यह भी पता लगाया कि यह विधि तब कैसा प्रदर्शन करती है जब इसमें लागत शामिल होती है, जैसे कि समस्या को हल करने में लगने वाला समय या मानव समीक्षक द्वारा आवश्यक प्रयास। एक सफल समाधान की संभावना और कार्रवाई की लागत के बीच संतुलन बनाकर, सिस्टम ने ऐसे ऑपरेटिंग पॉइंट्स की पहचान की जहाँ यह अत्यधिक लागत के बिना उच्च सफलता दर प्राप्त कर सकता है। पिछले निर्णयों के सिम्युलेटेड रीप्ले में, नई विधि ने मध्यम लागत स्तर पर लगभग 81.5 प्रतिशत की समाधान दर प्राप्त की, जो मानक नियम-आधारित दृष्टिकोण से बेहतर थी। यह इंगित करता है कि यह विधि संगठनों को न केवल अधिक सटीक बल्कि अधिक कुशल निर्णय लेने में भी मदद कर सकती है।
अंततः, यह कार्य जटिल वातावरण में आर्टिफिशियल इंटेलिजेंस के बारे में हमारी सोच में आए बदलाव को रेखांकित करता है। मशीनों से पूर्ण होने या हर काल्पनिक परिणाम से सीखने की अपेक्षा करने के बजाय, ध्यान ऐसे सिस्टम बनाने पर है जो अपनी अनिश्चितता को समझते हों। नियमों को पूर्ण सत्य के बजाय सहायक लेकिन त्रुटिपूर्ण मार्गदर्शिका के रूप में मानकर, और उपलब्ध कुछ ठोस तथ्यों से सीखकर, ये प्रणालियाँ उत्पादन परिवेश की जटिल वास्तविकताओं को अधिक प्रभावी ढंग से संभाल सकती हैं। निष्कर्ष उन क्षेत्रों में स्वचालित निर्णय लेने की विश्वसनीयता में सुधार करने के लिए एक ब्लूप्रिंट प्रदान करते हैं जहाँ डेटा अधूरा है और त्रुटि की लागत अधिक है, यह सिद्ध करते हुए कि अपने स्वयं के नियमों के प्रति थोड़ा संदेह रखना भी कहीं बेहतर परिणाम दे सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।