MM-BizRAG: Rethinking Multimodal Retrieval-Augmented Generation for General Purpose Enterprise Q&A
MM-BizRAG एक मल्टीमॉडल रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क पेश करता है जो संरचनात्मक जानकारी को स्पष्ट रूप से कैप्चर करने के लिए एंटरप्राइज दस्तावेजों को ओरिएंटेशन-विशिष्ट पार्सिंग पाइपलाइनों के माध्यम से गतिशील रूप से रूट करता है, जो Q&A सटीकता में मौजूदा विजन-केंद्रित बेसलाइन से काफी बेहतर प्रदर्शन करता है और साथ ही FastRAGEval नामक एक लागत प्रभावी मूल्यांकन मीट्रिक भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अव्यवस्थित पुस्तकालय में काम करते हैं जहाँ किताबें दो बहुत ही अलग आकारों में आती हैं: लंबी, संकरी रिपोर्ट (जैसे वित्तीय विवरण) और चौड़ी, सपाट स्लाइड डेक (जैसे पावरपॉइंट प्रेजेंटेशन)।
लंबे समय से, सवालों के जवाब देने की कोशिश करने वाले "रोबोट्स" (AI सिस्टम) ने एक आलसी तरीका अपनाया है। उन्हें बस हर पेज की एक फोटो खींचने और उस फोटो को रोबोट के दिमाग में फीड करने के लिए कहा गया है। वे उम्मीद करते हैं कि रोबोट पेज की तस्वीर को देखकर उसकी संरचना का "अंदाजा" लगा लेगा।
समस्या:
यह "केवल-फोटो" वाला तरीका सरल स्लाइड्स के लिए ठीक काम करता है, लेकिन जटिल रिपोर्टों के साथ बुरी तरह विफल हो जाता है। यह एक विस्तृत ब्लूप्रिंट (खाके) को उसकी धुंधली तस्वीर देखकर समझने की कोशिश करने जैसा है। रोबोट तालिकाओं (tables) के विशिष्ट नंबरों, टेक्स्ट के प्रवाह और एक चार्ट तथा उसके बगल में स्थित पैराग्राफ के बीच के संबंध को समझने में चूक जाता है। वह "पूरी तस्वीर" देखने में इतना व्यस्त रहता है कि महत्वपूर्ण विवरणों को देख ही नहीं पाता।
समाधान: MM-BizRAG
लेखकों ने इस पेपर में एक नया सिस्टम बनाया है जिसे MM-BizRAG कहा जाता है। हर दस्तावेज़ के साथ एक जैसा व्यवहार करने के बजाय, यह सिस्टम एक स्मार्ट लाइब्रेरियन की तरह काम करता है जिसे पता है कि विभिन्न प्रकार की किताबों को कैसे संभालना है।
यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "स्मार्ट सॉर्टर" (दस्तावेज़ संरचना-जागरूक विभाजन)
जब कोई दस्तावेज़ आता है, तो सिस्टम सबसे पहले पूछता है: "क्या यह एक लंबी रिपोर्ट है या एक चौड़ा स्लाइड डेक?"
- यदि यह एक रिपोर्ट है (Vertical): सिस्टम केवल फोटो नहीं खींचता। यह दस्तावेज़ को सावधानी से टुकड़ों में काटता है, टेक्स्ट को पढ़ता है, तालिकाओं (tables) को निकालता है, और छवियों (images) का वर्णन करता है। यह ट्रैक रखता है कि पेज पर सब कुछ कहाँ था, ठीक वैसे ही जैसे एक पहेली सुलझाने वाला मास्टर टुकड़ों को क्रम में रखता है।
- यदि यह एक स्लाइड डेक है (Horizontal): सिस्टम को एहसास होता है कि एक स्लाइड पर, टेक्स्ट, इमेज और चार्ट एक कहानी बताने के लिए आपस में मिले हुए होते हैं। इसलिए, यह पूरे स्लाइड को एक एकल इकाई (single unit) के रूप में मानता है, और पूरी दृश्य स्थिति का एक साथ वर्णन करता है।
2. "दो-बैकपैक" रणनीति (रिट्रीवल और जनरेशन का अलगाव)
यही इस सिस्टम का असली मंत्र है। अधिकांश अन्य सिस्टम एक ही बैकपैक में सब कुछ भरने की कोशिश करते हैं ताकि जवाब ढूँढा जा सके। MM-BizRAG दो अलग-अलग बैकपैक का उपयोग करता है:
- बैकपैक A (खोजने के लिए): इसमें सरल, टेक्स्ट-प्रधान सारांश और विवरण होते हैं। यह हल्का और तेज़ है, जिससे हजारों दस्तावेज़ों में से सही दस्तावेज़ों को खोजना आसान हो जाता है।
- बैकपैक B (जवाब देने के लिए): एक बार जब सही दस्तावेज़ मिल जाते हैं, तो सिस्टम उनके पूर्ण, समृद्ध संस्करणों (जिसमें वास्तविक चित्र और तालिकाएं शामिल हैं) को बाहर निकालता है और अंतिम उत्तर के लिए उन्हें पूरी तरह से व्यवस्थित करता है।
यह क्यों महत्वपूर्ण है: यह एक सस्ते, तेज़ मानचित्र का उपयोग करके शहर खोजने (बैकपैक A) और फिर वहां पहुँचने के बाद, अपने टूर गाइड को बेहतरीन दिशा-निर्देश देने के लिए एक हाई-डेफिनिशन, 3D मॉडल (बैकपैक B) का उपयोग करने जैसा है। आपको सर्च इंजन की गति और मानव विशेषज्ञ की गहराई, दोनों मिलते हैं।
3. "एक-कॉल" जज (FastRAGEval)
यह परीक्षण करने के लिए कि क्या उनका सिस्टम वास्तव में अच्छा है, उन्हें जवाबों को ग्रेड देने के लिए एक तरीके की आवश्यकता थी। मौजूदा ग्रेडिंग उपकरण उस शिक्षक की तरह थे जिसे जवाब को पढ़ना पड़ता था, उसे छोटे-छोटे वाक्यों में तोड़ना पड़ता था, प्रत्येक की जांच करनी पड़ती थी, और फिर एक रिपोर्ट लिखनी पड़ती थी। इसमें बहुत समय लगता था और बहुत पैसा खर्च होता था।
लेखकों ने FastRageval का आविष्कार किया, जो एक सुपर-फास्ट शिक्षक की तरह है जो पूरे उत्तर को एक नज़र में पढ़ सकता है, तथ्यों की जांच कर सकता है और ग्रेड दे सकता है। यह पुराने तरीकों की तुलना में दोगुना तेज़ है और मानव जजों के साथ बेहतर तालमेल रखता है।
परिणाम
जब उन्होंने इस नए सिस्टम का "केवल-फोटो" वाले रोबोट्स के मुकाबले परीक्षण किया:
- रिपोर्टों के लिए: यह एक बड़ी जीत थी, जिसने सटीकता में 32% तक सुधार किया। सिस्टम आखिरकार उन जटिल तालिकाओं और चार्टों को समझ पाया जिन्हें दूसरे मिस कर रहे थे।
- स्लाइड्स के लिए: इसने सबसे अच्छे फोटो-आधारित सिस्टम के समान ही प्रदर्शन किया, जिससे यह साबित हुआ कि स्लाइड्स को संभालने के लिए आपको टेक्स्ट को अनदेखा करने की आवश्यकता नहीं है।
- गति: उन्होंने एक ऐसी "स्वीट स्पॉट" कॉन्फ़िगरेशन पाई जो सबसे जटिल संस्करण जितनी ही सटीक थी लेकिन लगभग दोगुनी तेज़ थी।
संक्षेप में
यह पेपर तर्क देता है कि हमें केवल AI पर निर्भर नहीं रहना चाहिए कि वह किसी तस्वीर को देखकर दस्तावेज़ की संरचना का "अंदाजा" लगाए। इसके बजाय, हमें दस्तावेज़ के आकार के आधार पर उसे सक्रिय रूप से पार्स (parse) (विभाजित) करना चाहिए, सही जानकारी खोजने के लिए एक तेज़ विधि का उपयोग करना चाहिए, और फिर अंतिम उत्तर लिखने के लिए आवश्यक होने पर ही समृद्ध विवरणों को इकट्ठा करना चाहिए। यह दृष्टिकोण AI को बहुत स्मार्ट बनाता है, विशेष रूप से उन जटिल दस्तावेज़ों के लिए जिनका उपयोग व्यवसाय हर दिन करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।