Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions
यह शोध पत्र यूएन सुरक्षा परिषद के प्रस्तावों की सटीक और विश्वसनीय सिमेंटिक टैगिंग प्राप्त करने और मतिभ्रम (hallucinations) को न्यूनतम करने के लिए एलएलएम (LLMs) और नवीन मूल्यांकन मेट्रिक्स (कंटेंट प्रिजर्वेशन रेश्यो और टैग वेल-फॉर्म्डनेस) का उपयोग करते हुए एक लागत प्रभावी एंसेम्बल पद्धति प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि संयुक्त राष्ट्र सुरक्षा परिषद एक विशाल, प्राचीन पुस्तकालय है। इसके अंदर पिछले 80 वर्षों में लिखे गए हजारों दस्तावेज़ (प्रस्ताव) मौजूद हैं। कुछ एकदम नए और स्पष्ट हैं, लेकिन कई पुराने हैं, जो भारी-भरकम टाइपराइटरों पर टाइप किए गए थे, जिन्हें कंप्यूटर में स्कैन किया गया, और फिर रोबोटिक आँखों (OCR) द्वारा पढ़ा गया, जिससे अक्सर गलतियाँ होती हैं। यहाँ तक कि कुछ पन्नों पर दो कॉलम में टेक्स्ट अगल-बगल है, जिससे यह एक उलझे हुए पहेली जैसा दिखता है जहाँ अंग्रेजी और फ्रेंच एक ही लाइन में आपस में मिल गए हैं।
इस शोध पत्र का लक्ष्य AI रोबोट्स (लार्ज लैंग्वेज मॉडल्स या LLMs) की एक टीम को यह सिखाना है कि इस बिखरे हुए पुस्तकालय को कैसे साफ किया जाए और इसके महत्वपूर्ण हिस्सों पर रंग-बिरके स्टिकी नोट्स (सिमेंटिक टैग्स) कैसे लगाए जाएं, जैसे कि "कौन," "कहाँ," "कब" और "क्या हुआ।"
यहाँ इसका सरल विवरण दिया गया है कि उन्होंने इसे कैसे किया:
1. समस्या: "शोर वाले" दस्तावेज़ (The "Noisy" Documents)
उन पुराने UN दस्तावेज़ों को एक खराब रेडियो की तरह समझें। सिग्नल मौजूद है, लेकिन वह स्टैटिक (शोर), गायब शब्दों और अजीब रुकावटों से भरा हुआ है। यदि आप उन्हें पढ़ने की कोशिश करेंगे, तो उन्हें समझना कठिन होगा।
- चुनौती: यदि आप किसी एक AI को इसे ठीक करने के लिए कहते हैं, तो वह भ्रमित हो सकता है। कभी-कभी वह गलती से एक शब्द को हटा सकता है (अंडर-जनरेट करना) या एक नया वाक्य बना सकता है जो कभी अस्तित्व में ही नहीं था (हैलुसिनेशन/ओवर-जनरेट करना)। हमें AI को एक वफादार लाइब्रेरियन होना चाहिए, न कि एक रचनात्मक लेखक।
2. समाधान: "AI एन्सेम्बल" (निर्णायकों का पैनल)
केवल एक AI रोबोट पर भरोसा करने के बजाय, शोधकर्ता ने निर्णायकों का एक पैनल तैयार किया।
- उन्होंने अलग-अलग वर्ज़न के AI का उपयोग किया (कुछ बड़े और शक्तिशाली जैसे GPT-4.1, कुछ छोटे और सस्ते जैसे GPT-4.1-mini)।
- उन्होंने प्रत्येक रोबोट को टेक्स्ट को ठीक करने और टैग जोड़ने के लिए दो बार कहा।
- इससे अलग-अलग प्रयासों का एक "भीड़" (Crowd) तैयार हुआ। कुछ शायद एकदम सही हों, कुछ थोड़े गलत हो सकते हैं।
3. स्कोरकार्ड: विजेता को कैसे चुनें
आप बिना हर पन्ने को पढ़े यह कैसे जानेंगे कि किस रोबोट ने सबसे अच्छा काम किया? लेखक ने दो सरल स्कोरकार्ड बनाए:
स्कोर 1: "कॉपी-पेस्ट" स्कोर (कंटेंट प्रिजर्वेशन रेशियो)
- उपमा: कल्पना कीजिए कि आप एक दुर्लभ, नाजुक पेंटिंग की फोटोकॉपी कर रहे हैं। आप चाहते हैं कि कॉपी बिल्कुल मूल के समान दिखे, बस उसमें एक फ्रेम जोड़ा गया हो।
- मेट्रिक: सिस्टम यह जाँचता है: "क्या AI ने गलती से कोई शब्द मिटा दिया? क्या इसने ऐसा शब्द जोड़ दिया जो वहाँ नहीं था?" यह गिनता है कि कितने अक्षर-जोड़े (जैसे "th" या "ing") समान रहे। यदि स्कोर अधिक है, तो AI वफादार था। यदि स्कोर कम है, तो AI ने मूल टेक्स्ट के साथ गड़बड़ी की।
स्कोर 2: "सफाई" स्कोर (टैग वेल-फॉर्म्डनेस)
- उपमा: कल्पना कीजिए कि आप एक उपहार पैक कर रहे हैं। आपको यह सुनिश्चित करना होगा कि टेप का हर हिस्सा अपने मिलते-जुलते सिरे के साथ जुड़ा हो, और आप बॉक्स को आधा खुला न छोड़ दें।
- मेट्रिक: सिस्टम यह जाँचता है कि क्या AI ने अपने टैग्स को सही ढंग से बंद किया है (उदाहरण के लिए,
<date>का अंत में</date>होना चाहिए)। यदि AI टैग को खुला छोड़ देता है या उन्हें मिला देता है, तो स्कोर गिर जाता है।
4. प्रक्रिया: "टूर्नामेंट"
प्रत्येक दस्तावेज़ के लिए:
- दौड़ आयोजित करें: सभी AI मॉडल कार्य (सफाई और टैगिंग) को कई बार करते हैं।
- स्कोरकार्ड की जाँच करें: सिस्टम प्रत्येक प्रयास के लिए "कॉपी-पेस्ट" और "सफाई" स्कोर की गणना करता है।
- चैंपियन चुनें: सिस्टम भीड़ में से स्वचालित रूप से सबसे अच्छे आउटपुट का चयन करता है।
- सेव करें: उस सटीक संस्करण को सहेज लिया जाता है, और मूल बिखरे हुए दस्तावेज़ को उससे बदल दिया जाता है।
5. बड़ी खोज: आपको सबसे महंगे रोबोट की आवश्यकता नहीं है
शोध पत्र का सबसे रोमांचक हिस्सा लागत बनाम प्रदर्शन (Cost vs. Performance) की खोज है।
- आमतौर पर, लोग सोचते हैं कि आपको सबसे बड़े, सबसे महंगे AI (एक "सुपर रोबोट") की आवश्यकता होगी ताकि सबसे अच्छे परिणाम मिल सकें।
- वास्तविकता: शोधकर्ता ने पाया कि एक छोटा, सस्ता रोबोट (GPT-4.1-mini) लगभग वही काम कर सकता है जो बड़ा रोबोट करता है, लेकिन केवल 20% लागत पर।
- उपमा: यह महसूस करने जैसा है कि आपको किराने के सामान के लिए फॉर्मूला 1 रेस कार की आवश्यकता नहीं है; एक छोटी, कुशल इलेक्ट्रिक कार आपको उतनी ही जल्दी पहुँचा देती है और पेट्रोल के पैसे भी बहुत कम खर्च करती है।
6. यह क्यों महत्वपूर्ण है
इस "एन्सेम्बल" पद्धति (AI की एक टीम और एक सख्त स्कोरकार्ड का उपयोग करके) का उपयोग करके, शोधकर्ता ने एक विश्वसनीय, स्वचालित प्रणाली बनाई है जो:
- 80 वर्षों के बिखरे हुए इतिहास को साफ कर सकती है।
- अनस्ट्रक्चर्ड टेक्स्ट को एक स्ट्रक्चर्ड नॉलेज ग्राफ (लोगों, स्थानों और घटनाओं को जोड़ने वाला एक विशाल डिजिटल मानचित्र) में बदल सकती है।
- इसे इतना सस्ता बना सकती है कि इसका उपयोग केवल कुछ दस्तावेजों के लिए ही नहीं, बल्कि हजारों दस्तावेजों के लिए किया जा सके।
संक्षेप में: यह शोध पत्र हमें सिखाता है कि कैसे AI रोबोट्स की एक स्मार्ट, स्व-सुधार करने वाली टीम बनाई जाए जो महंगे टूल्स पर पैसा बर्बाद किए बिना या फर्जी तथ्य बनाए बिना, बिखरे हुए ऐतिहासिक दस्तावेज़ों को साफ कर सके और उन्हें पूरी तरह से व्यवस्थित कर सके। यह AI को भरोसेमंद बनाने के लिए गणित और टीम वर्क का उपयोग करने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।