Heterogeneous Dependency Graph-Guided Attentionfor Patent Representation Learning
यह शोध पत्र PHAGE को प्रस्तुत करता है, जो एक नवीन पेटेंट हेट्रोजेनियस अटेंशन ग्राफ एनकोडर (Patent Heterogeneous Attention Graph Encoder) है, जो प्री-ट्रेन्ड लैंग्वेज मॉडल्स में फ्लैट टोकन अनुक्रमों की सीमाओं को दूर करने के लिए एक टाइप्ड ग्राफ और कनेक्टिविटी मास्क के माध्यम से क्लेम-स्तरीय डिपेंडेंसी पदानुक्रमों को मॉडल करके पेटेंट रिप्रजेंटेशन लर्निंग को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल कानूनी दस्तावेज़, जैसे कि एक पेटेंट को समझने की कोशिश कर रहे हैं। पारंपरिक रूप से, कंप्यूटर इन दस्तावेज़ों को एक मानक उपन्यास की तरह पढ़ते हैं: वे पहले शब्द से आखिरी शब्द तक, एक पंक्ति से दूसरी पंक्ति तक पढ़ते हैं। वे मान लेते हैं कि जो शब्द पास-पास हैं वे संबंधित हैं, और जो दूर हैं वे नहीं हैं।
समस्या: "फ्लैट" (सपाट) गलतफहमी
एक पेटेंट में, यह "फ्लैट" पठन एक आपदा है। एक पेटेंट केवल एक कहानी नहीं है; यह एक डिपेंडेंसी ट्री (निर्भरता वृक्ष) है।
- दावा 1 (Claim 1) कह सकता है: "एक पहिये वाली मशीन।"
- दावा 2 (Claim 2) कह सकता है: "दावा 1 की वह मशीन, जहाँ पहिया रबर का बना है।"
- दावा 5 (Claim 5) कह सकता है: "दावा 3 की वह मशीन, जहाँ पहिया लाल है।"
ध्यान दें कि दावा 5, दावा 4 पर नहीं, बल्कि दावा 3 पर निर्भर है। यदि कोई कंप्यूटर उन्हें एक सीधी रेखा में पढ़ता है, तो वह भ्रमित हो जाता है। वह सोचता है कि दावा 5, दावा 4 से संबंधित है, और इस प्रकार वह दावा 3 के साथ उस महत्वपूर्ण कानूनी संबंध को चूक जाता है। यह एक पारिवारिक वंशावली (फैमिली ट्री) को समझने जैसा है, जहाँ आप नामों को उनके वर्णानुक्रम (alphabetical order) में पढ़ रहे हैं, बजाय इसके कि आप देख सकें कि किसका माता-पिता कौन है।
समाधान: PHAGE (एक "स्मार्ट कनेक्टर")
लेखकों ने PHAGE नामक एक नई प्रणाली बनाई है। PHage को एक स्मार्ट लाइब्रेरियन की तरह समझें जो केवल किताब पढ़ता ही नहीं है; वह एक शब्द भी पढ़ने से पहले यह नक्शा बनाता है कि दावे आपस में कैसे जुड़ते हैं।
PHAGE इस प्रकार कार्य करता है, सरल उपमाओं का उपयोग करते हुए:
1. नक्शा बनाना (हेटरोजेनियस ग्राफ)
PHAGE सबसे पहले एक "क्लेम डिपेंडेंसी ग्राफ" बनाता है। यह पेटेंट को देखता है और यह दिखाने के लिए दावों के बीच तीर (arrows) खींचता है कि कौन किस पर निर्भर है।
- "कानूनी" तीर (The "Legal" Arrows): ये आधिकारिक, ठोस लिंक हैं (जैसे, "दावा 1 की विधि...")। कंप्यूटर इन्हें एक हाईवे की तरह मानता है—बहुत विश्वसनीय और तेज़।
- "तकनीकी" तीर (The "Technical" Arrows): ये शब्दों के उपयोग पर आधारित ढीले संबंध हैं (जैसे, एक दावे में "एक पहिया" दूसरे दावे में "वह पहिया" बन जाता है)। कंप्यूटर इन्हें स्थानीय सड़कों की तरह मानता है—उपयोगी, लेकिन शायद थोड़े शोर वाले।
इन अलग-अलग प्रकार की सड़कों में विभाजित करके, PHAGE जानता है कि कौन से संबंध कानूनी रूप से बाध्यकारी हैं और कौन से केवल तकनीकी संकेत हैं। यह उन्हें एक शोर वाले तकनीकी संकेत और एक सख्त कानूनी नियम के समान नहीं मानता।
2. स्मार्ट ट्रैफिक लाइट (कनेक्टिविटी मास्क और बायस)
मानक AI मॉडल (जैसे ट्रांसफॉर्मर) एक भीड़ भरे कमरे की तरह हैं जहाँ हर कोई एक साथ सबको चिल्लाकर सुना रहा है। PHAGE ट्रैफिक लाइट लगा देता है।
- मास्क (द गेटकीपर): यह एक सख्त नियम है। यदि दो दावे नक्शे पर आपस में जुड़े नहीं हैं, तो ट्रैफिक लाइट लाल हो जाती है। कंप्यूटर को उन्हें सुनने से मना किया जाता है। यह AI को केवल प्रासंगिक दावों पर ध्यान केंद्रित करने के लिए मजबूर करता है।
- बायस (द वॉल्यूम नॉब): भले ही दो दावे जुड़े हुए हों, उन्हें अलग-अलग आवाज़ (वॉल्यूम) की आवश्यकता हो सकती है। PHAGE प्रत्येक प्रकार के कनेक्शन के लिए छोटे "वॉल्यूम नॉब" रखता है। यह "कानूनी" हाईवे पर वॉल्यूम बढ़ाने और "तकनीकी" स्थानीय सड़कों पर वॉल्यूम कम करने के बारे में सीखता है। यह कंप्यूटर को संबंध की मजबूती समझने में मदद करता है।
3. दो कोणों से सीखना (डुअल-ग्रैनुलैरिटी ट्रेनिंग)
बेहद कुशल बनने के लिए, PHAGE दो अलग-अलग अभ्यासों का अभ्यास करता है:
- अभ्यास A (बड़ी तस्वीर): यह उन पेटेंटों को समूह में बनाना सीखता है जो एक ही श्रेणी (जैसे, "कारें" बनाम "साइकिलें") के अंतर्गत आते हैं।
- अभ्यास B (आंतरिक कार्य): यह एक एकल पेटेंट की आंतरिक संरचना को समझना सीखता है। यह "पैरेंट" दावों को उनके "चाइल्ड" दावों के साथ मिलाने का अभ्यास करता है।
इन दोनों को करके, AI सीखता है कि एक पेटेंट की आंतरिक संरचना (कैसे उसके अपने दावे आपस में संबंधित हैं) वास्तव में उसे समझने के लिए अन्य पेटेंटों के साथ उसके संबंध को देखने की तुलना में एक मजबूत सुराग है।
सबसे बड़ा आश्चर्य
सबसे दिलचस्प खोज यह है कि बाहरी नेटवर्क की तुलना में आंतरिक नक्शा अधिक महत्वपूर्ण है।
आमतौर पर, शोधकर्ता AI की मदद करने के लिए उसे यह दिखाने की कोशिश करते हैं कि लाखों पेटेंट एक-दूसरे को कैसे उद्धृत (cite) करते हैं (एक विशाल बाहरी वेब)। PHAGE ने पाया कि आपको उस विशाल वेब की आवश्यकता नहीं है। यदि आप बस AI को एक एकल पेटेंट के आंतरिक पारिवारिक पेड़ को बहुत अच्छी तरह से समझना सिखा देते हैं, तो यह एक बहुत बेहतर विशेषज्ञ बन जाता है।
सबसे अच्छी बात: बाद में नक्शे की ज़रूरत नहीं
यहाँ जादू का कमाल है: PHAGE को सीखने के लिए नक्शा बनाने की आवश्यकता होती है। लेकिन एक बार जब यह सीख जाता है, तो इसे नक्शे की आवश्यकता नहीं होती।
जब आप PHAGE को विश्लेषण के लिए एक नया पेटेंट देते हैं, तो इसे पहले ग्राफ बनाने की आवश्यकता नहीं होती। इसने पहले ही पैटर्न को "याद" कर लिया है कि दावे कैसे जुड़ते हैं। यह सामान्य रूप से टेक्स्ट के माध्यम से चलता है, लेकिन इसका मस्तिष्क अब इस तरह से तैयार (wired) हो चुका है कि बिना किसी दृश्य मानचित्र के भी यह स्वचालित रूप से जान सके कि कौन से दावे संबंधित हैं।
सारांश में:
PHAGE एक पेटेंट पाठक है जो सीधी रेखा में पढ़ना बंद कर देता है। इसके बजाय, यह हर पेटेंट के भीतर छिपे "पारिवारिक पेड़" को देखना सीखता है। यह सख्त कानूनी नियमों और ढीले तकनीकी संकेतों के बीच अंतर करना सीखता है, और एक बार जब यह कौशल सीख लेता है, तो यह बिना पहले आरेख (diagram) बनाए किसी भी नए पेटेंट को तुरंत पढ़ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।