Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing
यह शोध पत्र AMODD को प्रस्तुत करता है, जो एक ML-संवर्धित पाइपलाइन है जो ज्ञान ग्राफ निर्माण (knowledge graph construction) के लिए LLM टोकन खपत और विलंबता (latency) को काफी कम करते हुए उच्च रिट्रीवल गुणवत्ता बनाए रखने के लिए अनावश्यक दस्तावेज़ अनुभागों को डीडुप्लिकेट करने और ग्राफ संस्थाओं (graph entities) को क्लस्टर करने के लिए हल्के सेमेंटिक एम्बेडिंग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सूचनाओं की विशाल मात्रा को समझने की इच्छा और कंप्यूटिंग शक्ति की व्यावहारिक सीमाओं के बीच एक बढ़ता हुआ तनाव है। लार्ज लैंग्वेज मॉडल्स (LLMs), जो कि परिष्कृत सॉफ्टवेयर हैं जो मानवीय भाषा को पढ़ और लिख सकते हैं, अक्सर अव्यवस्थित और असंरचित दस्तावेजों को संगठित नॉलेज ग्राफ (ज्ञान मानचित्र) में बदलने के लिए उपयोग किए जाते हैं। एक नॉलेज ग्राफ को तथ्यों के एक संरचित मानचित्र के रूप में समझें, जहाँ विशिष्ट सूचनाओं को आपस में इस तरह जोड़ा जाता है कि उनके बीच के संबंध स्पष्ट हो सकें। यह ऊर्जा या कानून जैसे उद्योगों के लिए अविश्वसनीय रूप से उपयोगी है, जहाँ नियम और तकनीकी मानक सैकड़ों पृष्ठों तक फैले हो सकते हैं। हालाँकि, एक महत्वपूर्ण समस्या तब उत्पन्न होती है जब इन दस्तावेजों में पुनरावृत्ति (repetition) होती है। तकनीकी नियमावली और कानूनी संहिताएं अक्सर कई अनुभागों में थोड़े अलग शब्दों का उपयोग करके एक ही नियम या परिभाषा को बार-बार दोहराती हैं। जब एक कंप्यूटर ऐसे दस्तावेज़ को प्रोसेस करने की कोशिश करता है, तो वह अक्सर प्रत्येक अनुभाग को एक अद्वितीय पहेली के रूप में देखता है, जिससे वह महंगी एआई (AI) को एक ही मूल विचार का बार-बार विश्लेषण करने के लिए कहता है। यह दृष्टिकोण न केवल धीमा है बल्कि आर्थिक रूप से भी थका देने वाला है, क्योंकि इन एआई प्रणालियों का उपयोग करने की लागत सीधे तौर पर उस टेक्स्ट की मात्रा से जुड़ी होती है जिसे वे प्रोसेस करते हैं।
फ्यूजित्सु रिसर्च ऑफ यूरोप (Fujitsu Research of Europe) के शोधकर्ताओं ने इन नॉलेज मैप्स को बनाने के एक स्मार्ट तरीके को विकसित करके इस अक्षमता को हल करने का प्रयास किया। उन्होंने AMODD नामक एक प्रणाली विकसित की, जिसका अर्थ है 'ऑटोमेटेड मैपिंग ऑफ डेटा डेफिनिशन' (Automated Mapping of Data Definitions), और इसमें बुद्धिमत्ता की एक नई परत जोड़ी। दस्तावेज़ के हर पृष्ठ को अंधाधुंध प्रोसेस करने के बजाय, यह उन्नत प्रणाली पहले टेक्स्ट को पढ़ने और उसके अर्थ को समझने के लिए एक हल्के उपकरण (lightweight tool) का उपयोग करती है। यह उपकरण एक त्वरित स्कैनर की तरह कार्य करता है जो यह पहचान सकता है कि दस्तावेज़ के दो अलग-अलग अनुभाग वास्तव में एक ही बात कह रहे हैं, भले ही वे अलग-अलग शब्दों का उपयोग कर रहे हों। मुख्य एआई के देखने से पहले ही इन लगभग-समान (near-duplicates) हिस्सों की पहचान करके, यह प्रणाली पूरी तरह से अनावश्यक काम को छोड़ सकती है। इसके बाद यह केवल अद्वितीय अनुभागों को प्रोसेस करती है, तथ्यों को निकालती है, और उन सभी समान तथ्यों को एक साथ समूहित करती है जिन्हें अलग तरह से प्रस्तुत किया गया हो सकता है। अंत में, जब कोई मानव दस्तावेज़ के बारे में प्रश्न पूछता है, तो सिस्टम केवल सटीक कीवर्ड्स को मिलाने के बजाय शब्दों के अर्थ के आधार पर उत्तरों की खोज करता है।
यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम करता है, टीम ने हाइड्रोजन ऊर्जा नियमों से संबंधित सिंथेटिक दस्तावेजों की एक श्रृंखला बनाई। उन्होंने इन दस्तावेजों के तीन संस्करण डिज़ाइन किए: एक छोटा दस्तावेज़ जिसमें लगभग कोई पुनरावृत्ति नहीं थी, एक मध्यम-लंबाई वाला दस्तावेज़ जिसमें कुछ दोहराव था, और एक लंबा दस्तावेज़ जो भारी पुनरावृत्ति से भरा हुआ था। इसके बाद उन्होंने एक ही दस्तावेज़ को दो अलग-अलग पाइपलाइनों के माध्यम से चलाया। पहला मानक तरीका था, जिसने प्रत्येक अनुभाग को स्वतंत्र रूप से प्रोसेस किया। दूसरा, उनका नया, उन्नत तरीका था जो 'मीनिंग-स्कैनिंग लेयर' (अर्थ-स्कैनिंग परत) से लैस था। परिणामों ने एक स्पष्ट पैटर्न दिखाया जो पूरी तरह से दस्तावेज़ में मौजूद पुनरावृत्ति पर निर्भर था। छोटे, गैर-पुनरावृत्ति वाले दस्तावेज़ के लिए, नया सिस्टम थोड़ा धीमा था क्योंकि इसे उन डुप्लिकेट्स को स्कैन करने के लिए अतिरिक्त कदम उठाना पड़ा जो मौजूद ही नहीं थे। हालाँकि, जैसे-जैसे दस्तावेज़ अधिक पुनरावृत्ति वाले होते गए, नया सिस्टम चमकने लगा। मध्यम-लंबाई वाले दस्तावेज़ पर, जिसमें मध्यम पुनरावृत्ति थी, नए तरीके ने एआई को कॉल किए जाने की संख्या को लगभग 58 प्रतिशत कम कर दिया और एआई द्वारा प्रोसेस किए गए कुल टेक्स्ट को 56.7 प्रतिशत कम कर दिया। अत्यधिक पुनरावृत्ति वाले लंबे दस्तावेज़ पर, बचत और भी नाटकीय थी, जिससे एआई कॉल्स में 85.4 प्रतिशत की कमी आई और प्रोसेस किए गए टेक्स्ट की मात्रा में 84.9 प्रतिशत की कमी आई।
केवल पैसा और समय बचाने के अलावा, शोधकर्ता इस बात के प्रति भी सतर्क थे कि क्या यह दक्षता महत्वपूर्ण जानकारी खोने की कीमत पर तो नहीं आ रही है। उन्होंने नॉलेज ग्राफ में अंततः शामिल होने वाले तथ्यों, या "ट्रिपल्स" (triples) की अंतिम संख्या को मापा। उन्होंने पाया कि हालांकि नए सिस्टम ने पुनरावृत्ति वाले दस्तावेजों पर एक छोटा ग्राफ बनाया, लेकिन ऐसा इसलिए नहीं था क्योंकि वह अद्वितीय तथ्यों को फेंक रहा था। इसके बजाय, ग्राफ का छोटा आकार उन डुप्लिकेट प्रतियों को हटाने का सीधा परिणाम था जिन्हें पुराना सिस्टम रख रहा था। नए सिस्टम ने मूल ज्ञान को सफलतापूर्वक संरक्षित किया जबकि शोर (noise) को हटा दिया। इसके अलावा, जब उन्होंने यह परीक्षण किया कि सिस्टम प्रश्नों के उत्तर देने में कितना सक्षम है, तो नया तरीका बेहतर साबित हुआ। जब "यह दस्तावेज़ किस बारे में है?" जैसा व्यापक प्रश्न पूछा गया, तो नया सिस्टम, अपने शब्दों के अर्थ की समझ का उपयोग करते हुए, पुराने सिस्टम की तुलना में बहुत अधिक प्रभावी ढंग से प्रासंगिक तथ्यों को खोजने में सक्षम रहा, जो तब संघर्ष करता था जब प्रश्न में दस्तावेज़ के शब्दों का सटीक मिलान नहीं होता था।
अध्ययन यह निष्कर्ष निकालता है कि यह हल्का सुधार इन प्रणालियों के काम करने के तरीके को बदल देता है। बजाय इसके कि लागत और समय दस्तावेज़ की कुल लंबाई के साथ रैखिक रूप से (linearly) बढ़े, नया दृष्टिकोण दस्तावेज़ के भीतर मौजूद अद्वितीय जानकारी के साथ स्केल करता है। यदि कोई दस्तावेज़ दोहराए गए क्लॉज़ (clauses) से भरा है, तो सिस्टम इसे पहचान लेता है और उन पर संसाधन बर्बाद करना बंद कर देता है। शोधकर्ताओं ने उल्लेख किया कि यह विधि हर स्थिति के लिए जादुई समाधान नहीं है; यह उन छोटे, अद्वितीय दस्तावेजों के लिए कोई लाभ नहीं देती जहाँ छोड़ने के लिए कुछ भी नहीं है। हालाँकि, कई उद्योगों में सामान्य रूप से पाए जाने वाले लंबे, पुनरावृत्ति वाले तकनीकी और नियामक ग्रंथों के लिए, यह दृष्टिकोण अंतिम नॉलेज मैप की गुणवत्ता से समझौता किए बिना आर्टिफिशियल इंटेलिजेंस को अधिक कुशल और किफायती बनाने का एक व्यावहारिक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।