💬 NLP

Adaptive Cost-Efficient Evaluation for Reliable Patent Claim Validation

यह शोध पत्र ACE को प्रस्तुत करता है, जो एक हाइब्रिड फ्रेमवर्क है जो स्टेट-ऑफ-द-आर्ट पेटेंट क्लेम वैलिडेशन सटीकता (94.95% F1) प्राप्त करने के लिए प्रेडिक्टिव एंट्रॉपी-आधारित रूटिंग को 'चेन ऑफ पेटेंट थॉट' प्रोटोकॉल के साथ जोड़ता है, जबकि नए ACE-40k बेंचमार्क द्वारा समर्थित, स्टैंडअलोन LLMs की तुलना में परिचालन लागत को 78% तक कम करता है।

मूल लेखक: Yongmin Yoo, Qiongkai Xu, Longbing Cao

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongmin Yoo, Qiongkai Xu, Longbing Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए गगनचुंबी इमारत के ब्लूप्रिंट की समीक्षा कर रहे एक मास्टर आर्किटेक्ट हैं। पेटेंट की दुनिया में, इन "ब्लूप्रिंट्स" को दावे (claims) कहा जाता है। वे सटीक रूप से परिभाषित करते हैं कि आविष्कार क्या है और मालिक के पास क्या अधिकार हैं।

यहाँ पेंच यह है: सामान्य लेखन में, एक टाइपो (लिखने की गलती) सिर्फ एक टाइपो होता है। लेकिन पेटेंट कानून में, एक शब्द की कमी या एक भ्रमित करने वाला संदर्भ पूरे कानूनी ढांचे को ढहा सकता है। यदि कोई दावा कहता है "द सेंसर" (वह सेंसर) बिना पहले कभी "ए सेंसर" (एक सेंसर) का उल्लेख किए, तो पूरा पेटेंट अमान्य हो जाता है। यह एक जीरो-डिफेक्ट (शून्य-दोष) का खेल है।

समस्या क्या है? इन लाखों ब्लूप्रिंट्स की जांच करना एक दुस्वप्न है।

तेज़ तरीका: आप एक जूनियर असिस्टेंट (एक साधारण कंप्यूटर प्रोग्राम) को काम पर रख सकते हैं जो तेज़ी से पढ़ता है लेकिन सूक्ष्म, जटिल गलतियों को छोड़ देता है।
धीमा तरीका: आप एक वरिष्ठ कानूनी विशेषज्ञ (एक विशाल AI) को काम पर रख सकते हैं जो हर एक गलती को पकड़ लेता है, लेकिन यह बहुत महंगा है और प्रत्येक पृष्ठ को पढ़ने में बहुत समय लेता है।

इस शोध पत्र के लेखकों ने, यू, जू और काओ (Yoo, Xu, and Cao) ने इस "कठोरता-संसाधन दुविधा" (Rigidity-Resource Dilemma) को हल करने के लिए ACE (Adaptive Cost-Efficient Evaluation) नामक एक समाधान बनाया है।

ACE कैसे काम करता है, इसे रोजमर्रा के उपमाओं के साथ समझाया गया है:

1. स्मार्ट गेटकीपर (द "ट्रैफिक पुलिस")

एक व्यस्त हवाई अड्डे की सुरक्षा लाइन की कल्पना करें। आप नहीं चाहेंगे कि हर यात्री को फुल-बॉडी स्कैनर (महंगे, धीमे विशेषज्ञ) से गुजरना पड़े। इससे समय और पैसे की बर्बादी होगी।

इसके बजाय, ACE एक गेटकीपर (एक हल्का AI) का उपयोग करता है।

यह कैसे काम करता है: गेटकीपर दावे को तेज़ी से स्कैन करता है। यदि दावा स्पष्ट और सीधा दिखता है, तो गेटकीपर कहता है, "सब ठीक है, आगे बढ़ें!" (यह फास्ट पाथ है)।
जादुई ट्रिक: गेटकीपर केवल "हाँ" या "ना" नहीं कहता। इसके पास एक "कॉन्फिडेंस मीटर" (विश्वास मीटर) होता है। यदि यह थोड़ा अनिश्चित या भ्रमित महसूस करता है, तो यह घबरा जाता है। गणितीय शब्दों में, इसे प्रेडिक्टिव एंट्रॉपी (Predictive Entropy) कहा जाता है।
- लो एंट्रॉपी (आत्मविश्वास): "मुझे 99% यकीन है कि यह ठीक है।" -> फास्ट पाथ पर भेजें।
- हाई एंट्रॉपी (घबराहट): "रुको, यहाँ कुछ गड़बड़ लग रही है..." -> रुकिए! विशेषज्ञ के पास भेजें।

2. चेकलिस्ट के साथ विशेषज्ञ (द "सीनियर लॉयर")

जब गेटकीपर अनिश्चित होता है, तो वह दावे को एक्सपर्ट LLM (एक शक्तिशाली AI) के पास भेज देता है। लेकिन यह विशेषज्ञ केवल अनुमान नहीं लगाता; यह चेन ऑफ पेटेंट थॉट (CoPT) नामक एक सख्त प्रोटोकॉल का पालन करता है।

CoPT को अमेरिकी पेटेंटों के नियम पुस्तिका (Manual of Patent Examining Procedure) पर आधारित एक कानूनी चेकलिस्ट के रूप में समझें।

केवल यह कहने के बजाय कि "यह खराब है," विशेषज्ञ को इन चरणों से गुजरना होगा:
1. "क्या उन्होंने पहले वस्तु को परिभाषित किया?"
2. "क्या तर्क चक्रीय (circular) है?"
3. "क्या यह विशिष्ट कानूनों (35 U.S.C.) से मेल खाता है?"
यह AI को एक मानव वकील की तरह अपना "काम दिखाने" के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वह केवल किसी कारण का भ्रम (hallucination) पैदा नहीं कर रहा है, बल्कि वास्तव में संरचनात्मक दोष को खोज रहा है।

3. परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

इस "ट्रैफिक पुलिस + विशेषज्ञ" प्रणाली का उपयोग करके, ACE दो अद्भुत चीजें हासिल करता है:

यह पैसा बचाता है: क्योंकि गेटकीपर 80% मामलों को संभाल लेता है, सिस्टम केवल कठिन 20% मामलों के लिए महंगे विशेषज्ञ को बुलाता है। यह लागत को 78% तक कम कर देता है।
यह जीवन (कानूनी रूप से) बचाता है: यह उन सूक्ष्म गलतियों को पकड़ लेता है जिन्हें गेटकीपर छोड़ देता है, जिससे 94.95% सटीकता दर प्राप्त होती है, जो परीक्षण की गई सभी विधियों में सबसे अधिक है।

नया डेटासेट: "ACE-40k"

इस सिस्टम को प्रशिक्षित करने के लिए, लेखकों ने ACE-40k नामक एक विशाल अभ्यास परीक्षण बनाया।

उन्होंने 20,000 वास्तविक, वैध पेटेंट लिए।
उन्होंने AI का उपयोग करके 20,000 पेटेंटों को विशिष्ट तरीकों से जानबूझकर "खराब" किया (जैसे कि परिभाषा हटा देना या तार्किक लूप बनाना)।
इससे एक आदर्श प्रशिक्षण मैदान तैयार हुआ जहाँ AI ने सीखा कि एक "खराब" पेटेंट कैसा दिखता है।

यह क्यों महत्वपूर्ण है

अतीत में, कंपनियों को गति (तेज़ लेकिन जोखिम भरा) या सुरक्षा (धीमा लेकिन महंगा) में से किसी एक को चुनना पड़ता था। ACE साबित करता है कि आप दोनों पा सकते हैं। यह एक सुरक्षा प्रणाली की तरह है जो 99% लोगों को तुरंत सामने के दरवाजे से जाने देती है, लेकिन जैसे ही कोई संदिग्ध दिखता है, यह स्वचालित रूप से लॉकडाउन कर देती है और SWAT टीम को बुला लेती है।

यह सुनिश्चित करता है कि पेटेंट कानूनी रूप से सुदृढ़ हों बिना उन कंपनियों को दिवालिया किए जो अपने आविष्कारों की रक्षा करने की कोशिश कर रही हैं।

यहाँ यू, ज़ू और काओ के शोध पत्र "Adaptive Cost-Efficient Evaluation for Reliable Patent Claim Validation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

पेटेंट दावों (patent claims) का स्वचालित सत्यापन प्राकृतिक भाषा प्रसंस्करण (NLP) में एक अद्वितीय "कठोरता-संसाधन द्वंद्व" (rigidity-resource dilemma) प्रस्तुत करता है:

शून्य-दोष सहिष्णुता (Zero-Defect Tolerance): सामान्य टेक्स्ट के विपरीत, पेटेंट दावे कानूनी रूप से बाध्यकारी होते हैं। एक एकल संरचनात्मक दोष (जैसे, पूर्ववर्ती असंगतता या चक्रीय निर्भरता) एक दावे को कानूनी रूप से दोषपूर्ण बना देता है, जिससे महत्वपूर्ण वित्तीय और कानूनी परिणाम होते हैं।
मौजूदा विधियों की सीमाएँ:
- लाइटवेट एनकोडर (जैसे, BERT, PatentBERT): हालांकि ये गणनात्मक रूप से कुशल हैं, लेकिन ये लंबी दूरी की कानूनी निर्भरताओं और सूक्ष्म संरचनात्मक दोषों को समझने में संघर्ष करते हैं, और अक्सर "पूर्ववर्ती आधार" (Antecedent Basis) जैसे महत्वपूर्ण त्रुटियों का पता लगाने में विफल रहते हैं।
- लार्ज लैंग्वेज मॉडल्स (LLMs): हालांकि ये गहन तर्क करने में सक्षम हैं, लेकिन लाखों दावों के व्यापक सत्यापन के लिए इनका उपयोग अत्यधिक महंगा है और यह स्टोकेस्टिक अस्थिरता (stochastic instability) उत्पन्न करता है।
- स्थिर चेकलिस्ट (Static Checklists): वर्तमान चेकलिस्ट-आधारित दृष्टिकोण सभी दावों पर समान स्तर की जांच लागू करते हैं, जिससे एक स्केलेबिलिटी बाधा उत्पन्न होती है जहाँ सरल दावे भी उतने ही संसाधनों का उपभोग करते हैं जितने जटिल दावे।

मुख्य चुनौती उच्च विश्वसनीयता (शून्य-दोष सहिष्णुता) प्राप्त करना है, बिना अत्यधिक कम्प्यूटेशनल लागत के।

2. कार्यप्रणाली: ACE फ्रेमवर्क (Methodology: The ACE Framework)

लेखक ACE (Adaptive Cost-efficient Evaluation) का प्रस्ताव करते हैं, जो एक हाइब्रिड फ्रेमवर्क है जो दक्षता और सटीकता को संतुलित करने के लिए अनिश्चितता के आधार पर दावों को गतिशील रूप से रूट करता है।

A. मुख्य वास्त architecture (Core Architecture)

ACE दो चरणों में कार्य करता है:

अनिश्चितता-जागरूक गेटकीपर (Uncertainty-Aware Gatekeeper - चरण 1):
- मॉडल: एक फाइन-ट्यून्ड PatentBERT एनकोडर।
- तंत्र: यह $K+1$ वर्गों (1 वैध अवस्था + $K$ विशिष्ट त्रुटि प्रकार) पर संभाव्यता वितरण (probability distribution) आउटपुट करने के लिए एक यूनिफाइड कैटेगोरिकल प्रोजेक्शन का उपयोग करता है।
- कार्य: यह एक उच्च-थ्रूपुट फ़िल्टर के रूप में कार्य करता है। यह दावा वैध है या अमान्य, इसकी संभावना के आधार पर प्रेडिक्टिव एंट्रॉपी ( $U$ ) की गणना करता है।
विशेषज्ञ मूल्यांकनकर्ता (Expert Evaluator - चरण 2):
- मॉडल: QLoRA (Quantized Low-Rank Adaptation) के माध्यम से फाइन-ट्यून्ड किया गया एक Llama-3-70B-Instruct मॉडल।
- प्रोटोकॉल: यह Chain of Patent Thought (CoPT) को निष्पादित करता है। यह एक स्कीमा-बाधित प्रोटोकॉल है जो मॉडल को निम्नलिखित के लिए मजबूर करता है:
  1. दावे के तत्वों को विघटित करना।
  2. उन्हें विशिष्ट 35 U.S.C. वैधानिक मानकों (जैसे, MPEP दिशानिर्देश) से मैप करना।
  3. तर्क श्रृंखला स्थापित करने के बाद ही एक संरचित निर्णय (JSON प्रारूप में) उत्पन्न करना।

B. अनुकूली अनुमान रणनीति (Adaptive Inference Strategy)

रूटिंग लॉजिक: सिस्टम गेटकीपर के आउटपुट की प्रेडिक्टिव एंट्रॉपी ( $U$ $U$ ) की गणना करता है।
- फास्ट पाथ ( $U \leq \tau$ ): यदि दावा स्पष्ट है (कम एंट्रॉपी), तो गेटकीपर के बाइनरी प्रेडिक्शन को तुरंत स्वीकार कर लिया जाता है।
- कठोर पाथ ( $U > \tau$ ): यदि दावा संदिग्ध है (उच्च एंट्रॉपी), तो इसे गहन, संरचित सत्यापन के लिए विशेषज्ञ LLM को भेज दिया जाता है।
थ्रेशोल्ड अंशांकन (Threshold Calibration): रूटिंग थ्रेशोल्ड ( $\tau$ ) को रिस्क-कवरेज ट्रेड-ऑफ विश्लेषण के माध्यम से निर्धारित किया जाता है ताकि रिटेन किए गए नमूनों के F1-स्कोर को अधिकतम करते हुए एस्केलेशन दर को न्यूनतम किया जा सके।

3. प्रमुख योगदान (Key Contributions)

सिस्टम-स्तरीय नवाचार (ACE): एक हाइब्रिड फ्रेमवर्क जो तर्क की गहराई को मूल्यांकन लागत से अलग करता है। यह स्टैंडअलोन LLM तैनाती की तुलना में 78% कम परिचालन लागत के साथ सर्वोत्तम F1 स्कोर (94.95%) प्राप्त करता है।
Chain of Patent Thought (CoPT): 35 U.S.C. मानकों पर आधारित एक नवीन तर्क प्रोटोकॉल। मानक ज़ीरो-शॉट जनरेशन के विपरीत, CoPT एक सख्त JSON स्कीमा लागू करता है, जो व्याख्यात्मकता (explainability) में सुधार करता है, मतिभ्रम (hallucinations) को कम करता है, और आश्चर्यजनक रूप से अनियंत्रित वाचालता को रोककर अनुमान विलंबता (inference latency) को कम करता है।
नैदानिक अंतर्दृष्टि (Diagnostic Insight): यह पेपर एक विशिष्ट "एन्टीसीडेंट बॉटलनेक" (Antecedent Bottleneck) की पहचान करता है जहाँ एनकोडर-ओनली मॉडल लंबी दूरी के एंटिटी लाइफसाइकिल (जैसे, "a widget" बनाम "the widget") को ट्रैक करने में विफल रहते हैं। ACE इन उच्च-अनिश्चितता वाले मामलों को जेनेरेटिव ऑडिटिंग की ओर रूट करके इस अंतर को पाटता है।
ACE-40k डेटासेट: MPEP त्रुटि श्रेणियों (Antecedent Basis, Dependency, Logical, Ambiguity, Syntax) पर आधारित पदानुक्रमित लेबल के साथ एक बड़े पैमाने के, संतुलित बेंचमार्क (40,000 दावे) का निर्माण। यह डेटासेट पेटेंट NLP के लिए उच्च-गुणवत्ता वाले, कानूनी रूप से आधारित डेटा की कमी को संबोधित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

NVIDIA H100 GPU का उपयोग करके ACE-40k डेटासेट (8:1:1 स्प्लिट) पर मूल्यांकन किया गया:

प्रदर्शन (Performance):
- ACE हाइब्रिड: 94.95% F1 प्राप्त किया, जिसने सभी बेसलाइन्स को पीछे छोड़ दिया।
- गेटकीपर (केवल चरण 1): 91.58% F1 और उल्लेखनीय 97.16% AUC प्राप्त किया, जो वैध और अमान्य दावों के बीच अंतर करने की इसकी क्षमता को दर्शाता है।
- बेसलाइन्स: डोमेन-विशिष्ट एनकोडर (PatentBERT) लगभग 76% F1 पर रुक गए, जबकि मानक LLMs (Zero-shot) डोमेन संरेखण की कमी के कारण लगभग 67% F1 के साथ संघर्ष करते रहे।
दक्षता और लागत (Efficiency & Cost):
- लागत में कमी: ACE के साथ 1 मिलियन दावों को प्रोसेस करने की लागत $1,247 है, जबकि स्टैंडअलोन एक्सपर्ट LLM के लिए यह $5,733 है (एक 78% की कमी)।
- विलंबता (Latency): CoPT प्रोटोकॉल ने स्कीमा बाधाओं के कारण LLM अनुमान समय को 11.85s (असंरचित) से घटाकर 6.88s कर दिया।
मजबूती (Robustness):
- रिस्क-कवरेज विश्लेषण: सिस्टम एक "स्वीट स्पॉट" प्राप्त करता है जहाँ केवल 20% दावे (सबसे संदिग्ध) LLM को भेजे जाते हैं, जबकि शेष 80% पर गेटकीपर 97.47% F1 बनाए रखता है।
- औद्योगिक सिमुलेशन: एक विषम 9:1 वैध/अमान्य परिदृश्य (जो वास्तविक दुनिया के पेटेंट कार्यालयों की नकल करता है) में, LLM एस्केलेशन दर गिरकर 8.2% हो गई, जिससे लागत प्रति मिलियन दावों के लिए ~$600 हो गई।

5. महत्व (Significance)

स्केलेबल लीगल AI: ACE उन उच्च-दांव वाले कानूनी डोमेन में तैनात करने के लिए एक ब्लूप्रिंट प्रदान करता है जहाँ "ठीक-ठाक" (good enough) स्वीकार्य नहीं है। यह सिद्ध करता है कि अनिश्चितता-संचालित रूटिंग महंगी जेनेरेटिव मॉडल्स को आर्थिक रूप से व्यवहार्य बना सकती है।
पेटेंट से परे: प्रेडिक्टिव एंट्रॉपी का उपयोग करने की पद्धति, जो तर्क की गहराई को नियंत्रित करती है, अन्य डोमेन (जैसे, चिकित्सा निदान, वित्तीय अनुपालन) में भी लागू की जा सकती है जहाँ शून्य-दोष सहिष्णुता की आवश्यकता होती है।
संरचित तर्क: CoPT की सफलता यह दर्शाती है कि LLM आउटपुट को कानूनी स्कीमा के भीतर सीमित करने से न केवल सटीकता और विश्वसनीयता में सुधार होता है, बल्कि कम्प्यूटेशनल दक्षता भी बढ़ती है।

निष्कर्षतः, यह शोध पत्र एनकोडर की गति और LLM की तर्क शक्ति के बीच के व्यापार-बंद (trade-off) को सफलतापूर्वक हल करता है, जो बौद्धिक संपदा के कठोर सत्यापन के लिए एक व्यावहारिक, लागत प्रभावी समाधान प्रदान करता है।