DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles
यह शोध पत्र DistilledGemma को प्रस्तुत करता है, जो एक तीन-चरणीय नॉलेज डिस्टिलेशन पाइपलाइन है जो ऐतिहासिक लेखों में बहुभाषी व्यक्ति-स्थान संबंध निष्कर्षण (person-place relation extraction) के लिए 26B Gemma 4 शिक्षक मॉडल का लाभ उठाकर एक संक्षिप्त 2.3B छात्र मॉडल को प्रशिक्षित करता है, जिससे HIPE-2026 साझा कार्य में शीर्ष स्तर की दक्षता-सटीकता रैंकिंग प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 1800 के दशक के पुराने अखबारों का एक विशाल, धूल भरा पुस्तकालय है जो अंग्रेजी, जर्मन और फ्रेंच में लिखे गए हैं। ये पन्ने लोगों और स्थानों की कहानियों से भरे हुए हैं, लेकिन वे बहुत अस्त-व्यस्त हैं: स्याही फीकी पड़ गई है, टेक्स्ट धुंधला है (जैसे किसी खराब फोटोकॉपी की तरह), और वाक्य समझने में कठिन हैं।
आपका लक्ष्य प्रत्येक व्यक्ति और स्थान के लिए दो सरल प्रश्नों के उत्तर देना है जो लेखों में वर्णित हैं:
- "At" वाला प्रश्न: क्या यह व्यक्ति कभी इस स्थान पर गया था? (शायद वह सालों पहले वहां रहा हो, या वह बस वहां से गुजरा हो)।
- "IsAt" वाला प्रश्न: क्या यह व्यक्ति वर्तमान में उस स्थान पर है, जैसा कि कहानी में बताया गया है?
यह चुनौती है जिसे यह पेपर हल करता है। लेखकों ने, जो अलेक्जेंड्रिया यूनिवर्सिटी की एक टीम है, DistilledGemma नामक एक सिस्टम बनाया ताकि इसे हल किया जा सके। उन्होंने इसे इस प्रकार किया, जिसे सरल रूप में यहाँ समझाया गया है:
समस्या: "दिमाग" बनाम "बैकपैक"
इन पुराने, बिखरे हुए अखबारों को अच्छी तरह से पढ़ने के लिए, आपको एक बहुत ही स्मार्ट "दिमाग" (एक विशाल कंप्यूटर मॉडल) की आवश्यकता है। लेखकों ने Gemma 26B नामक एक विशाल दिमाग से शुरुआत की। यह अविश्वसनीय रूप से स्मार्ट है और लोगों और स्थानों के बीच जटिल संबंधों को समझ सकता है, लेकिन यह बहुत बड़ा, भारी और चलाने में महंगा भी है। यह एक एकल पृष्ठ को पढ़ने के लिए अपने बैकपैक में एक पूरी लाइब्रेरी ले जाने जैसा है।
टीम एक ऐसा समाधान चाहती थी जो काम करने के लिए पर्याप्त स्मार्ट हो, लेकिन इतना छोटा भी हो कि एक साधारण बैकपैक (एक मानक कंप्यूटर) में फिट हो सके ताकि इसे इतिहासकारों और शोधकर्ताओं द्वारा आसानी से उपयोग किया जा सके।
समाधान: एक तीन-चरणीय "शिक्षु" योजना
केवल एक विशाल दिमाग का उपयोग करने या एक छोटे दिमाग को खुद से अनुमान लगाने की कोशिश करने के बजाय, उन्होंने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक एक चतुर तीन-चरणीय शिक्षण पद्धति का उपयोग किया। इसे एक मास्टर शेफ द्वारा जूनियर शेफ को प्रशिक्षित करने की तरह समझें।
चरण 1: सबसे अच्छा मास्टर शेफ खोजना
सबसे पहले, उन्होंने इन पुराने अखबारों को पढ़ने में आठ अलग-अलग "दिमागों" (AI मॉडल्स) का परीक्षण किया ताकि यह देखा जा सके कि कौन सा सबसे अच्छा है। उन्होंने पाया कि विशाल Gemma 26B सबसे स्मार्ट था। उन्होंने इसे "टीचर" (शिक्षक) के रूप में चुना।
चरण 2: टीचर अपना होमवर्क करता है
टीचर (विशाल मॉडल) ने हजारों पुराने अखबार के लेखों को पढ़ा। लेकिन केवल एक साधारण "हाँ" या "नहीं" उत्तर देने के बजाय, टीचर से अपनी सोचने की प्रक्रिया (thought process) लिखने के लिए कहा गया।
- उदाहरण: "मैं 'पेरिस' और 'नेपोलियन' शब्द देख रहा हूँ। टेक्स्ट कहता है कि वह 1800 में वहां था, इसलिए उत्तर 'हाँ' है, लेकिन टेक्स्ट यह नहीं कहता कि वह आज वहां है, इसलिए दूसरा उत्तर 'नहीं' है।"
इससे "सिल्वर स्टैंडर्ड" होमवर्क उत्तरों का एक विशाल सेट तैयार हुआ जिसमें केवल अंतिम ग्रेड ही नहीं, बल्कि तर्क (reasoning) भी शामिल थे।
चरण 3: स्टूडेंट नोट्स से सीखता है
अब, उन्होंने एक बहुत छोटे, हल्के दिमाग Gemma 2.3B (स्टूडेंट/छात्र) को लिया। स्टूडेंट को केवल सही उत्तर दिखाने के बजाय, उन्हें टीचर के नोट्स और तर्क दिखाए गए।
स्टूडेंट ने उन नोट्स का अध्ययन किया, यह सीखते हुए कि टीचर कैसे सोचता था। यह एक छात्र के गणित के उत्तरों को सीखने के बजाय, तर्क को सीखने जैसा है। परिणाम स्वरूप, स्टूडेंट इस कार्य में बहुत कुशल हो गया, लेकिन यह टीचर से 11 गुना छोटा था।
सुरक्षा जाल: नियम पुस्तिका (The Rulebook)
एक स्मार्ट स्टूडेंट होने के बावजूद, AI कभी-कभी भ्रमित हो सकता है, खासकर इसलिए क्योंकि पुराने अखबारों में कई त्रुटियां (जैसे खराब स्कैनिंग के कारण टाइपो) होती हैं। इसे ठीक करने के लिए, टीम ने एक "नियम पुस्तिका" (पोस्ट-प्रोसेसिंग) जोड़ी।
- यदि AI कहता है कि कोई व्यक्ति किसी स्थान पर "वर्तमान में है" (Currently at), तो नियम पुस्तिका उसे यह भी कहने के लिए मजबूर करती है कि वह किसी समय "वहाँ था" (At)। (आप वहां तब तक नहीं हो सकते जब तक आप पहले वहां न रहे हों)।
- यह भी जाँचता है कि क्या व्यक्ति और स्थान टेक्स्ट के आधार पर वास्तव में एक साथ मेल खाते हैं।
परिणाम: छोटा लेकिन शक्तिशाली
जब उन्होंने एक बड़ी प्रतियोगिता (HIPE-2026) में अपने सिस्टम का परीक्षण किया:
- सटीकता (Accuracy): छोटा स्टूडेंट मॉडल विशाल टीचर के लगभग बराबर प्रदर्शन करता है (लग लगभग 88% के बराबर)।
- रैंकिंग: वे समग्र सटीकता के लिए तीसरे स्थान पर और "संतुलित" स्कोर (जो सटीक और कुशल दोनों होने के लिए पुरस्कृत करता है) के लिए दूसरे स्थान पर आए।
- दक्षता (Efficiency): अंतिम सिस्टम इतना छोटा है कि यह एक एकल, मानक कंप्यूटर ग्राफिक्स कार्ड पर चल सकता है, जबकि "टीचर" को एक विशाल, महंगे सुपरकंप्यूटर की आवश्यकता होगी।
संक्षेप में
यह पेपर दिखाता है कि इतिहास को समझने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है। एक सुपर-स्मार्ट AI को एक छोटे, सस्ते AI को यह सिखाकर कि कैसे सोचना है (न कि केवल क्या उत्तर देना है), आप बहुत कम लागत और प्रयास के साथ लगभग समान परिणाम प्राप्त कर सकते हैं। यह एक बच्चे को प्रोफेसर के नोट्स पढ़कर इतिहासकार बनने की शिक्षा देने जैसा है, बजाय इसके कि प्रोफेसर को सारा काम करने के लिए नियुक्त किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।