Self-Filtered Distillation with LLMs-generated Trust Indicators for Reliable Patent Classification
यह शोध पत्र सेल्फ-फिल्टर्ड डिस्टिलेशन (SFD) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो LLM-जनित तर्कों को ग्राउंड-ट्रुथ लेबल के बजाय गतिशील विश्वास संकेतकों के रूप में मानकर विश्वसनीय पेटेंट वर्गीकरण को बढ़ाता है, जिससे तार्किक त्रुटियों को फ़िल्टर किया जाता है और एक एकीकृत अनसुपरवाइज्ड ट्रस्ट स्कोरिंग तंत्र के माध्यम से बड़े पैमाने के डेटासेट पर महत्वपूर्ण प्रदर्शन सुधार प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक युवा प्रशिक्षु (एक छोटा कंप्यूटर प्रोग्राम) को लाखों जटिल कानूनी दस्तावेजों, जिन्हें पेटेंट (patents) कहा जाता है, को छाँटना सिखाने की कोशिश कर रहे हैं। ये दस्तावेज़ किसी गुप्त कोड में लिखे गए तकनीकी मैनुअल की तरह घने होते हैं। प्रशिक्षु को सिखाने में मदद करने के लिए, आप एक प्रतिभाशाली लेकिन कभी-कभी विचलित होने वाले मास्टर टीचर (Master Teacher) (एक लार्ज लैंग्वेज मॉडल या LLM) को नियुक्त करते हैं, जो इन दस्तावेजों को पढ़ता है और समझाता है कि कोई पेटेंट एक विशिष्ट श्रेणी में क्यों आता है।
समस्या क्या है? मास्टर टीचर बुद्धिमान तो है, लेकिन कभी-कभी भ्रमित हो जाता है, तथ्य गढ़ लेता है, या ऐसी व्याख्याएँ देता है जो नियमों के अनुकूल नहीं होतीं। यदि आप केवल प्रशिक्षु को यह कहकर छोड़ देंगे कि, "मास्टर की हर बात को सच मानो," तो प्रशिक्षु भी उनकी गलतियाँ सीख जाएगा।
यह पेपर एक नई शिक्षण पद्धति पेश करता है जिसे सेल्फ-फिल्टर्ड डिस्टिलेशन (Self-Filtered Distillation - SFD) कहा जाता है। मास्टर के स्पष्टीकरणों को पूर्ण सत्य मानने के बजाय, SFD उन्हें "ट्रस्ट इंडिकेटर्स" (Trust Indicators) के रूप में देखता है—जैसे कि एक गुणवत्ता नियंत्रण स्कोर जो यह बताता है कि आप प्रत्येक पाठ पर कितना भरोसा कर सकते हैं।
यह प्रणाली कैसे काम करती है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. तीन "ट्रस्ट चेक" (विश्वास जाँच)
इससे पहले कि प्रशिक्षु किसी विशिष्ट स्पष्टीकरण से सीखे, सिस्टम मास्टर के उत्तर को तीन अलग-अलग "फिल्टरों" के माध्यम से चलाता है ताकि यह देखा जा सके कि वह कितना विश्वसनीय है। इसे तीन अलग-अलग निरीक्षकों के रूप में सोचें जो शेल्फ पर उत्पाद रखने से पहले उसकी जाँच करते हैं:
निरीक्षक #1: "कंसिस्टेंसी" (निरंतरता) की जाँच (Self-Consistency)
- उपमा: कल्पना कीजिए कि आप मास्टर टीचर से एक ही सवाल लगातार पाँच बार पूछते हैं। यदि वे हर बार आपको पाँच अलग-अलग कहानियाँ सुनाते हैं, तो कुछ गड़बड़ है। यदि वे हर बार एक ही कहानी बताते हैं, तो वे आश्वस्त और स्थिर हैं।
- यह क्या करता है: यह जाँचता है कि क्या मास्टर बार-बार एक ही तार्किक स्पष्टीकरण देता है। यदि कहानी बहुत अधिक बदलती है, तो सिस्टम विश्वास स्कोर (trust score) कम कर देता है।
निरीक्षक #2: "डिक्शनरी" की जाँच (Class Entailment Alignment)
- उपमा: कल्पना कीजिए कि मास्टर कहता है कि "एंटीना" के बारे में एक पेटेंट "आर्टिफिशियल इंटेलिजेंस" अनुभाग में होना चाहिए। लेकिन आधिकारिक नियम पुस्तिका (पेटेंट वर्गीकरण प्रणाली) कहती है कि एंटीना "टेलीकम्युनिकेशंस" में आते हैं। मास्टर सही शब्दों का उपयोग कर रहा है लेकिन गलत श्रेणी का।
- यह क्या करता है: यह मास्टर के स्पष्टीकरण की तुलना श्रेणियों की आधिकारिक परिभाषाओं से करता है। यदि स्पष्टीकरण "श्रेणी की शब्दकोश परिभाषा" से मेल नहीं खाता है, तो विश्वास स्कोर गिर जाता है।
निरीक्षक #3: "दूसरी राय" की जाँच (LLM Agreement Scoring)
- उपमा: कल्पना कीजिए कि मास्टर टीचर अति-आत्मविश्वासी है और ज़िद करता है कि उसका गलत उत्तर सही है। यह निरीक्षक एक अलग AI मॉडल है जो न्यायाधीश के रूप में कार्य करता है। यह स्पष्टीकरण और उत्तर को देखता है और पूछता है, "क्या यह वास्तव में समझ में आता है?"
- यह क्या करता है: यह एक स्वतंत्र AI का उपयोग करके सत्यापित करता है कि क्या स्पष्टीकरण तर्कसंगत है। यदि दूसरा AI कहता है, "नहीं, यह बकवास है," तो विश्वास स्कोर कम हो जाता है।
2. "वेटेड लर्निंग" (भारित शिक्षण) प्रक्रिया
एक बार जब ये तीन निरीक्षक अपने स्कोर दे देते हैं, तो उन्हें एक एकल ट्रस्ट स्कोर (Trust Score) (0 से 1 के बीच) में संयोजित किया जाता है।
- उच्च ट्रस्ट स्कोर (High Trust Score): स्पष्टीकरण सुसंगत है, नियम पुस्तिका से मेल खाता है, और दूसरी राय में भी खरा उतरता है। प्रशिक्षु इस पाठ को गहराई से और तेज़ी से सीखता है।
- निम्न ट्रस्ट स्कोर (Low Trust Score): स्पष्टीकरण संदिग्ध, विरोधाभासी या तथ्यात्मक रूप से गलत है। प्रशिक्षु इसे अभी भी देखता है, लेकिन सिस्टम उन्हें कहता है, "इस उदाहरण की बहुत चिंता न करें; यह शायद एक बुरा उदाहरण है।"
- शून्य ट्रस्ट स्कोर (Zero Trust Score): यदि स्कोर बहुत कम है, तो सिस्टम उस उदाहरण को पूरी तरह से हटा देता है ताकि वह प्रशिक्षु को भ्रमित न करे।
3. परिणाम
शोधकर्ताओं ने 2 मिलियन से अधिक पेटेंटों (USPTO-2M बेंचमार्क) के विशाल डेटासेट पर इसका परीक्षण किया।
- बेहतर सटीकता: "बुरे पाठों" को फ़िल्टर करके, प्रशिक्षु (छात्र मॉडल) बहुत तेज़ी से और अधिक सटीकता से सीखता है। कुछ मामलों में, इस प्रणाली ने पुराने तरीकों की तुलना में पेटेंटों को सही ढंग से छाँटने की क्षमता में लगभग 39% का सुधार किया, जिनमें शिक्षक की गलतियों को फ़िल्टर नहीं किया गया था।
- मानवीय अनुमोदन: जब मानव विशेषज्ञों ने सिस्टम के "ट्रस्ट स्कोर" को देखा, तो वे 68% बार इसके साथ सहमत थे। इसका अर्थ है कि कंप्यूटर की "अंतरात्मा" कि कौन से स्पष्टीकरण अच्छे थे, वास्तव में एक मानव विशेषज्ञ के विचारों से मेल खाती थी।
यह क्यों महत्वपूर्ण है
पेटेंट की दुनिया में, एक गलती केवल एक गलत उत्तर नहीं है; यह कानूनी विवादों या आविष्कार छूटने का कारण बन सकती है। यह पेपर दिखाता है कि हमें हर एक स्पष्टीकरण की जाँच करने के लिए हजारों मनुष्यों को नियुक्त करने की आवश्यकता नहीं है। इसके बजाय, हम एक ऐसी प्रणाली बना सकते हैं जो स्वयं को सावधान होने के लिए प्रशिक्षित करती है, अपने स्वयं के भ्रम को छात्र को सिखाने से पहले ही फ़िल्टर कर देती है।
यह सीखने की प्रक्रिया को "शिक्षक की अंधाधुंध नकल करने" से बदलकर "शिक्षक का आलोचनात्मक मूल्यांकन करने" में बदल देता है, जिससे अंतिम प्रणाली विश्वसनीय, पारदर्शी और उच्च-दांव वाले निर्णयों के लिए तैयार होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।