HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRA एक प्रशिक्षण-मुक्त, ऑन-प्रिमाइसेस रिट्रीवल-ऑगमेंटेड कैस्केड है जो विनियमित दस्तावेज़ वर्गीकरण के लिए मल्टी-मोडल रिट्रीवल को स्थानीय रूप से होस्ट किए गए LLM वेरीफायर और ह्यूमन-इन-द-लूप फीडबैक के साथ जोड़ता है ताकि उच्च सटीकता प्राप्त की जा सके और मानवीय समीक्षा को कम करते हुए लागतपूर्ण मॉडल रिट्रेनिंग की आवश्यकता को समाप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बैंकिंग, स्वास्थ्य सेवा और कानून की उच्च-जोखिम वाली दुनिया में, दस्तावेज़ भरोसे की प्राथमिक मुद्रा होते हैं। प्रत्येक ऋण आवेदन, मेडिकल रिकॉर्ड और कानूनी अनुबंध को सही श्रेणी में वर्गीकृत किया जाना चाहिए ताकि अनुपालन, सुरक्षा और दक्षता सुनिश्चित की जा सके। दशकों से, इस छंटनी की समस्या के लिए मानक दृष्टिकोण कंप्यूटर को हजारों लेबल वाले उदाहरण दिखाकर उसे सिखाना रहा है, जिसे 'ट्रेनिंग' (प्रशिक्षण) कहा जाता है। हालाँकि, यह तरीका विनियमित उद्योगों में एक दीवार से टकरा जाता है। खेल के नियम सख्त हैं: संवेदनशील दस्तावेज़ उस सुरक्षित वातावरण को नहीं छोड़ सकते जहाँ वे बनाए गए हैं, जिसका अर्थ है कि उन्हें क्लाउड पर नहीं भेजा जा सकता ताकि शक्तिशाली, रिमोट आर्टिफिशियल इंटेलिजेंस द्वारा प्रोसेस किया जा सके। इसके अलावा, किसी बैंक के आंतरिक फाइलों के लिए आवश्यक विशिष्ट श्रेणियां अक्सर अद्वितीय होती हैं और बार-बार बदलती रहती हैं, जिससे शून्य से एक नया मॉडल प्रशिक्षित करने के लिए आवश्यक विशाल, पूर्व-मौजूद डेटासेट एकत्र करना असंभव हो जाता है। जब एक बैंक अपने सॉर्टिंग सिस्टम को अपडेट करने की कोशिश करता है, तो यह प्रक्रिया इतनी धीमी और महंगी होती है कि यह अक्सर अव्यवहारिक हो जाती है, जिससे संस्थान या तो पुराने उपकरणों के साथ फंस जाते हैं या हर एक फाइल को पढ़ने के लिए महंगे मानव श्रमिकों पर निर्भर रहने को मजबूर होते हैं।
शोधकर्ता शांगक्सुआन टियान, यानहुई चेन और कार्लोस क्विरोज़ ने एक अलग रास्ता प्रस्तावित किया है, एक प्रणाली जिसे HIRA कहा जाता है, जिसे विशेष रूप से इन सख्त बाधाओं को पार करने के लिए डिज़ाइन किया गया है। हर बार जब कोई नया दस्तावेज़ प्रकार आता है या कोई नियम बदलता है, तो एक जटिल मॉडल को फिर से प्रशिक्षित करने की कोशिश करने के बजाय, HIRA एक अत्यधिक संगठित लाइब्रेरियन की तरह कार्य करता है जो काम करते हुए सीखता है। यह प्रणाली दो चरणों में संचालित होती है। पहले, यह एक नए दस्तावेज़ को स्कैन करता है और तुरंत अपनी आंतरिक स्मृति में पहले देखे गए समान उदाहरणों की खोज करता है। यह टेक्स्ट, लेआउट और यहाँ तक कि पृष्ठ के दृश्य आकार को भी देखता है ताकि सर्वोत्तम मिलान ढूंढा जा सके। यदि सिस्टम को एक स्पष्ट मिलान मिलता है, तो यह दस्तावेज़ को तुरंत वर्गीकृत कर देता है। यदि दस्तावेज़ भ्रमित करने वाला है या कई अलग-अलग श्रेणियों जैसा दिखता है, तो सिस्टम अनुमान नहीं लगाता; इसके बजाय, यह फ़ाइल को दूसरे, अधिक सावधानीपूर्ण चरण के लिए भेज देता है। यह चरण एक शक्तिशाली, स्थानीय रूप से होस्ट किए गए आर्टिफिशियल इंटेलिजेंस का उपयोग करता है जो सिस्टम द्वारा खोजे गए सर्वोत्तम उदाहरणों के साथ दस्तावेज़ की समीक्षा करता है, और उसे अंतिम निर्णय लेने के लिए कहता है। यदि यह दूसरा चरण भी अनिश्चित है, तो दस्तावेज़ को सुधार के लिए एक मानव विशेषज्ञ के पास भेज दिया जाता है।
वास्तविक नवाचार इसमें निहित है कि मानवीय सुधार के बाद क्या होता है। पारंपरिक प्रणालियों में, एक गलती को ठीक करने वाला इंसान केवल एक बार का समाधान होता है। HIRA में, प्रत्येक सुधार एक स्थायी सबक बन जाता है। जब एक मानव किसी दस्तावेज़ को ठीक करता है, तो सिस्टम उस उदाहरण को एक विशेष 'वेट' (भार) के साथ अपनी स्मृति में सहेज लेता है, जिससे अगली बार इसी तरह का दस्तावेज़ आने पर उसे पहचानना अधिक संभव हो जाता है। यह भ्रम के मानचित्र (map of confusion) को भी अपडेट करता है, यह सीखता है कि कौन सी श्रेणियां आपस में मिल सकती हैं और कौन से विशिष्ट शब्द या दृश्य विशेषताएं उन्हें अलग करती हैं। यह सिस्टम को अपने मूल सॉफ़्टवेयर को फिर से प्रशिक्षित किए बिना या अपने अंतर्निहित गणितीय भार को अपडेट किए बिना, समय के साथ अपनी सटीकता में सुधार करने की अनुमति देता है। सिस्टम केवल अपनी गलतियों और उन विशिष्ट विवरणों को याद करके स्मार्ट होता है जिन्होंने विवादों को सुलझाया था।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण दो बहुत अलग डेटा सेटों पर किया। पहला एक सार्वजनिक बेंचमार्क था जिसमें पत्रों से लेकर वैज्ञानिक रिपोर्टों तक 2,737 दस्तावेज़ शामिल थे। इस सेट पर, सिस्टम ने कुछ उदाहरणों के साथ शुरुआत की और नए दस्तावेज़ों के प्रवाह को प्रोसेस किया। आने वाली फाइलों के लगभग एक चौथाई हिस्से को ही इंसानों द्वारा सुधारने के लिए कहकर, सिस्टम की सटीकता उस काल्पनिक "ओरेकल" (oracle) के प्रदर्शन के बराबर पहुँच गई जिसने शुरुआत से ही प्रत्येक दस्तावेज़ को उसके सही लेबल के साथ देखा था। यह एक महत्वपूर्ण छलांग थी, जिसने बिना किसी मदद के अनुमान लगाने वाले एक मानक आर्टिफिशियल इंटेलिजेंस की तुलना में काफी बेहतर प्रदर्शन किया, जबकि बहुत कम कंप्यूटर संसाधनों का उपयोग किया। सिस्टम ने केवल लगभग 40% दस्तावेज़ों को दूसरे, अधिक महंगे AI चरण में भेजा, और उससे भी कम दस्तावेज़ों को मानव समीक्षकों के पास भेजा, जिससे यह सिद्ध हुआ कि वह आसान मामलों को कुशलतापूर्वक फ़िल्टर कर सकता है।
दूसरा परीक्षण एक प्रमुख बैंक के 30,233 ट्रेड-फाइनेंस दस्तावेजों के निजी संग्रह से जुड़ी एक वास्तविक दुनिया की चुनौती थी। यह वातावरण बहुत कठिन था, जिसमें 80 अलग-अलग श्रेणियां थीं, जिनमें से कई लगभग एक जैसी थीं, जैसे कि विभिन्न प्रकार के चालान (invoices) या प्रमाण पत्र। डेटा अत्यधिक असंतुलित था, जिसमें कुछ श्रेणियों में हजारों उदाहरण थे और कुछ में बहुत कम। इन कठिनाइयों के बावजूद, सिस्टम ने दस्तावेज़ों के पूरे प्रवाह को प्रोसेस किया और मानव श्रमिकों से केवल 1,945 को सुधारने के लिए कहा, जो कुल का केवल 6.4% है। मानवीय प्रयास की यह छोटी सी मात्रा सिस्टम की सटीकता को एक मामूली स्तर से अत्यधिक विश्वसनीय स्तर तक बढ़ाने के लिए पर्याप्त थी। शोधकर्ताओं ने पाया कि जैसे-जैसे सिस्टम इन सुधारों से सीखता गया, मानव समीक्षा की आवश्यकता वाले दस्तावेज़ों की संख्या तेजी से गिर गई, और जैसे-जैसे सिस्टम की स्मृति समृद्ध हुई, यह एक निम्न दर पर स्थिर हो गई।
यह कार्य प्रदर्शित करता है कि विनियमित उद्योगों में, उच्च सटीकता का मार्ग आवश्यक रूप से विशाल डेटासेट या निरंतर सॉफ़्टवेयर पुन: प्रशिक्षण की मांग नहीं करता है। एक स्मार्ट खोज तंत्र के साथ स्थानीय आर्टिफिशियल इंटेलिजेंस और मानवीय सुधारों से सीखने वाले फीडबैक लूप को जोड़कर, यह संभव है कि एक ऐसी प्रणाली बनाई जाए जो अपने आप नए दस्तावेज़ों और बदलते नियमों के अनुकूल हो सके। यह प्रणाली इस सख्त आवश्यकता का सम्मान करती है कि डेटा कभी भी सुरक्षित वातावरण को न छोड़े, फिर भी यह प्रदर्शन के ऐसे स्तर प्राप्त करती है जो विशाल डेटा पर प्रशिक्षित प्रणालियों के बराबर है। परिणाम बताते हैं कि जिन उद्योगों में डेटा गोपनीयता और अनुपालन सर्वोपरि है, उनके लिए एक ऐसी प्रणाली जो चुनिंदा रूप से सीखती है और अपने सुधारों को याद रखती है, आर्टिफिशियल इंटेलिजेंस के प्रशिक्षण के पारंपरिक तरीकों का एक व्यावहारिक और शक्तिशाली विकल्प है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।