तकनीकी सारांश: KBF – भाषा मॉडल और ब्लैक-बॉक्स API ऑडिटिंग के लिए फिंगरप्रिंट के रूप में नॉलेज बाउंड्री (ज्ञान की सीमा)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र रिले और रिसेलर API के बढ़ते पारिस्थितिकी तंत्र में निहित "विश्वास की समस्या" (trust problem) को संबोधित करता है। उपयोगकर्ता अक्सर तीसरे पक्ष के मध्यस्थों (third-party intermediaries) के माध्यम से LLMs तक पहुँचते हैं जो मॉडलों को एकत्रित करते हैं, एकीकृत बिलिंग और स्विचिंग क्षमताएं प्रदान करते हैं। हालांकि, ये मध्यस्थ अपने मार्जिन बढ़ाने के लिए विज्ञापित, महंगे फ्लैगशिप मॉडल को एक सस्ते, कम सक्षम बैकएंड के साथ चुपचाप बदल सकते हैं।

मुख्य चुनौती ब्लैक-बॉक्स रिले ऑडिटिंग (black-box relay auditing) है: यह निर्धारित करना कि क्या एक संदिग्ध रिले एंडपॉइंट ($O_{sus}$) वास्तव में उस विशिष्ट मॉडल को परोस रहा है जिसका वह दावा करता है ($O_{ref}$), बिना निम्नलिखित तक पहुँच के:

• मॉडल वेट्स (weights), लॉजिट्स (logits), या प्रशिक्षण डेटा।
• सर्वर-साइड रूटिंग लॉग या छिपे हुए सिस्टम प्रॉम्प्ट।
• प्रदाता सहयोग (जैसे वॉटरमार्क्स या सत्यापन योग्य इन्फरेंस)।

ऑडिटर के पास केवल आधिकारिक संदर्भ एंडपॉइंट और संदिग्ध एंडपॉइंट तक सार्वजनिक API एक्सेस होता है। लक्ष्य पूर्ण प्रतिस्थापन (full substitution) (पूरी तरह से अलग मॉडल परोसना) और मिश्रित रूटिंग (mixed routing) (दावा किए गए मॉडल और एक सस्ते विकल्प के मिश्रण को परोसना) का पता लगाना है, जबकि कम फाल्स-पॉजिटिव दर (ईमानदार प्रदाताओं के खिलाफ गलत आरोपों से बचना) बनाए रखना और सौहार्दपूर्ण परिनियोजन विविधताओं (जैसे विभिन्न सिस्टम प्रॉम्प्ट, टेम्परेचर, या RAG रैपर्स) के प्रति मजबूत रहना है।

मौजूदा ब्लैक-बॉक्स विधियाँ इन आवश्यकताओं को एक साथ पूरा करने में विफल रहती हैं। व्यवहार संबंधी फिंगरप्रिंटिंग (जैसे LLMmap) निश्चित प्रोब्स (probes) पर निर्भर करती है जो आसानी से चकमा दी जा सकती हैं या रैपर्स के प्रति संवेदनशील होती हैं। वितरण संबंधी परीक्षण (जैसे MET) कॉन्फ़िगरेशन परिवर्तनों के तहत उच्च विचलन (variance) से ग्रस्त होते हैं। स्व-पहचान प्रॉम्प्ट (Self-identification prompts) अविश्वसनीय हैं क्योंकि मॉडल अक्सर अपनी पहचान गलत बताते हैं।

2. कार्यप्रणाली: नॉलेज बाउंड्री फिंगरप्रिंटिंग (KBF)

लेखक KBF का प्रस्ताव करते हैं, जो नॉलेज बाउंड्री के पास स्थिर संख्यात्मक रिकॉल (stable numerical recall) का उपयोग एक फिंगरप्रिंट के रूप में करता है।

मूल अंतर्ज्ञान (Core Intuition)

लेखक देखते हैं कि जबकि मॉडल सामान्य तथ्यों पर सहमत होते हैं (कम सिग्नल) और अस्पष्ट तथ्यों पर विफल होते हैं (अस्थिर), वे "नॉलेज बाउंड्री" के पास एक विशिष्ट व्यवहार प्रदर्शित करते हैं:

1. बाउंड्री के अंदर: मॉडल सही संख्यात्मक तथ्यों को स्थिरता से याद रखते हैं।
2. बाउंड्री के ठीक बाहर: मॉडल अक्सर स्थिर लेकिन तथ्यात्मक रूप से गलत संख्यात्मक मान उत्पन्न करते हैं।

ये "गलत-लेकिन-स्थिर" मान निरंतर, मॉडल-विशिष्ट पैरामीट्रिक जुड़ाव (parametric associations) के रूप में कार्य करते हैं। एक प्रतिस्थापित मॉडल द्वारा संदर्भ मॉडल के सटीक समान स्थिर त्रुटि या विशिष्ट स्थिर सही मान को पुनरुत्पादित करने की संभावना कम होती है।

KBF प्रोटोकॉल

KBF तीन चरणों में कार्य करता है:

चरण 1: प्रोब जनरेशन (ऑफलाइन)

• अनुकूली फ्रंटियर खोज (Adaptive Frontier-Search): ऑडिटर विभिन्न डोमेन (रसायन विज्ञान, खगोल विज्ञान, गणित, आदि) में उम्मीदवार संख्यात्मक तथ्यों के लिए आधिकारिक संदर्भ एंडपॉइंट ($O_{ref}$) को क्वेरी करता है। खोज स्थिर रिकॉल की सीमा के पास तेजी से अस्पष्ट तथ्यों की ओर बढ़ने के लिए अनुकूलित होती है।
• संदर्भ-निरंतरता जाँच (Reference-Consistency Checks): उम्मीदवारों को विभिन्न सौहार्दपूर्ण कॉन्फ़िगरेशन (जैसे, बदलते सिस्टम प्रॉम्प्ट, टेम्परेचर) के तहत पुन: क्वेरी किया जाता है। केवल वे उम्मीदवार जिन्हें $O_{ref}$ एक स्थिर, पारसेबल (parseable) संख्यात्मक मान (भले ही तथ्यात्मक रूप से गलत हो) प्रदान करता है, उन्हें बरकरार रखा जाता है।
• विभेदक स्क्रीनिंग (Contrastive Screening - वैकल्पिक): दक्षता में सुधार के लिए, उम्मीदवारों को एक ज्ञात सस्ते विकल्प (जैसे, 9B पैरामीटर वाला मॉडल) के विरुद्ध स्क्रीन किया जाता है। यदि विकल्प संदर्भ मॉडल से मेल खाता है, तो प्रोब को हटा दिया जाता है ताकि विभेदक शक्ति सुनिश्चित की जा सके।
• आउटपुट: प्रोब्स का एक संक्षिप्त सेट $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, जहाँ $a_i$ संदर्भ का सर्वसम्मति मान (consensus value) है।

चरण 2: स्व-कैलिब्रेशन (Self-Calibration)

• ऑडिटर संदिग्ध के लिए इच्छित विशिष्ट ऑडिट कॉन्फ़िगरेशन के तहत नामांकित प्रोब्स के साथ $O_{ref}$ को पुन: क्वेरी करता है।
• सिस्टम "साधारण स्व-शोर" (ordinary self-noise) का अनुमान लगाने के लिए स्व-विसंगतियों ($k_{self}$) को गिनता है।
• एक क्लोपर-पियर्सन (CP) अपर कॉन्फिडेंस बाउंड ($p_0$) की गणना की जाती है। यह संदर्भ स्वयं से अपेक्षित त्रुटियों की संख्या के लिए एक रूढ़िवादी शून्य सहनशीलता (null tolerance) निर्धारित करता है।

चरण 3: संदिग्ध एंडपॉइंट ऑडिट (ऑनलाइन)

• ऑडिटर नामांकित प्रोब्स को संदिग्ध एंडपॉइंट ($O_{sus}$) को भेजता है।
• प्रतिक्रियाओं को पार्स किया जाता है और डोमेन-विशिष्ट मिलान नियमों का उपयोग करके संदर्भ सर्वसम्मति $a_i$ के विरुद्ध तुलना की जाती है।
• एक द्विपद सांख्यिकीय परीक्षण (binomial statistical test) किया जाता है: यदि विसंगतियों की संख्या ($k$) $p_0$ द्वारा परिभाषित थ्रेसहोल्ड (महत्व स्तर $\alpha = 0.05$ पर) से अधिक हो जाती है, तो शून्य परिकल्पना ($H_0: O_{sus} \approx O_{ref}$) को खारिज कर दिया जाता है, और एंडपॉइंट को DIFFERENT (अलग) के रूप में चिह्नित किया जाता है।

अनुकूली रूटिंग विस्तार (Adaptive Routing Extension)
मिश्रित रूटिंग के लिए (जहाँ केवल एक अंश $\alpha$ ट्रैफ़िक को प्रतिस्थापित किया जाता है), KBF एक दो-चरण ऑडिट का उपयोग करता है:

1. चरण 1: सभी प्रोब्स का ऑडिट करें।
2. चरण 2: केवल उन प्रोब्स का पुन: ऑडिट करें जो चरण 1 में मिसमैच हुए थे।
   यह क्वेरी को सबसे संभावित प्रतिस्थापित ट्रैफ़िक पर केंद्रित करता है, जिससे कम प्रतिस्थापन दर (जैसे, 5–10%) होने पर भी पता लगाना संभव हो जाता है।

3. प्रमुख योगदान

1. नया सिग्नल पहचान: शोध पत्र "नॉलेज-बाउंड्री न्यूमेरिकल रिकॉल" (स्थिर गलत उत्तरों सहित) को एक स्थिर, मॉडल-विशिष्ट सिग्नल के रूप में पहचानता है जो स्व-पहचान, शैली, या विशेषाधिकार प्राप्त मेटाडेटा पर निर्भर नहीं करता है।
2. एंड-टू-एंड प्रोटोकॉल (KBF): एक ब्लैक-बॉक्स ऑडिटिंग प्रोटोकॉल जो अनुकूली फ्रंटियर खोज, कॉन्फ़िगरेशन-स्थिरता फ़िल्टरिंग और कंट्रास्टिव स्क्रीनिंग के माध्यम से इस सिग्नल को संक्षिप्त प्रोब सेट में बदल देता है।
3. व्यापक मूल्यांकन: 16 प्रोडक्शन LLM एंडपॉइंट्स (8 परिवार, 3 मूल्य स्तर) में मूल्यांकन, जो आर्थिक रूप से प्रासंगिक प्रतिस्थापनों के विरुद्ध उच्च भेदभाव प्रदर्शित करता है।
4. वास्तविक दुनिया का अनुप्रयोग: छह "शैडो API" प्लेटफार्मों पर तैनाती, जो बिना प्रदाता सहयोग के सांख्यिकीय रूप से असंगत एंडपॉइंट्स को सफलतापूर्वक चिह्नित करता है।
5. ओपन रिसोर्स: पुनरुत्पादकता का समर्थन करने के लिए कोड, डेटा और बेंचमार्क प्रोब सेट जारी करना।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने तीन बेसलाइनों (MET, LLMmap, ZeroPrint) के विरुद्ध KBF का मूल्यांकन किया और पाया:

• उच्च सटीकता: KBF ने सभी 155 आर्थिक रूप से प्रासंगिक प्रतिस्थापनों (एक ही परिवार के डाउनग्रेड सहित) का पता लगाया, जिसमें समान-संदर्भ नियंत्रणों पर 0 फाल्स पॉजिटिव दर्ज किए गए। बेसलाइनों ने उच्च फाल्स-पॉजिटिव दर (LLMmap के लिए 37.5% तक) या प्रतिस्थापन को मिस करने की समस्या दिखाई।
• मजबूती (Robustness): छह अलग-अलग परिनियोजन कॉन्फ़िगरेशन (रोल प्रॉम्प्ट, टेम्परेचर परिवर्तन, RAG रैपर्स) के तहत, KBF ने 0 फाल्स पॉजिटिव बनाए रखा और 100% प्रतिस्थापनों का पता लगाया। बेसलाइनों ने या तो अत्यधिक गलत अलार्म उत्पन्न किए या रैपर्स के प्रति संवेदनशीलता के कारण प्रतिस्थापित मॉडलों को मिस कर दिया।
• मिश्रित रूटिंग का पता लगाना: KBF ने प्रतिस्थापन का पता लगाया जब केवल 5–10% ट्रैफ़िक को एक प्रतिस्थापित मॉडल (Opus-आधारित मॉडलों के लिए) पर रूट किया गया था और कठिन मामलों (Sonnet-आधारित) के लिए 50% तक।
• लागत दक्षता:
  • नामांकन लागत (Enrollment Cost): मॉडल संस्करण के लिए प्रोब्स बनाने की एक बार की लागत ~$22।
  • ऑडिट लागत: सभी 16 मॉडलों को ऑडिट करने के लिए ~$0.39 कुल लागत (लगभग$0.02–$0.24 प्रति मॉडल)।
• शैडो API निष्कर्ष: 6 शैडो प्लेटफार्मों के माध्यम से 27 एंडपॉइंट्स के ऑडिट में:
  • 7 एंडपॉइंट्स को सांख्यिकीय रूप से असंगत के रूप में चिह्नित किया गया।
  • 7 में से 6 फ्लैग्स प्रीमियम Claude एंडपॉइंट्स (Opus और Sonnet) पर केंद्रित थे, जो महंगे मॉडलों को प्रतिस्थापित करने के आर्थिक प्रोत्साहन के अनुरूप है।
  • टियर विश्लेषण: एक ही मॉडल के लिए कई मूल्य स्तर (pricing tiers) प्रदान करने वाले प्लेटफार्मों पर, उच्च-मूल्य वाले टियर्स की तुलना में कम-मूल्य वाले टियर्स के चिह्नित होने की संभावना काफी अधिक थी, जो टियर-निर्भर बैकएंड प्रतिस्थापन का सुझाव देता है।

5. महत्व और दावे

शोध पत्र का दावा है कि KBF तीसरे पक्ष के LLM रिले API के ऑडिटिंग के लिए एक व्यावहारिक, कम लागत वाला और मजबूत समाधान प्रदान करता है। इसका महत्व है:

• परिचालन व्यवहार्यता (Operational Feasibility): यह पूरी तरह से ब्लैक-बॉक्स सेटिंग में काम करता है, जिसके लिए मॉडल प्रदाता या रिले के सहयोग की आवश्यकता नहीं है।
• आर्थिक प्रासंगिकता: यह विशेष रूप से रिले के आर्थिक प्रोत्सातनों (महंगे मॉडलों को सस्ते मॉडलों से बदलना) को लक्षित करता है, न कि जेनेरिक मॉडल पहचान को।
• विश्वसनीयता: विशिष्ट संदर्भ एंडपॉइंट के स्व-शोर (self-noise) के विरुद्ध कैलिब्रेट करके, यह उच्च फाल्स-पॉजिटिव दर से बचता है जो वितरण संबंधी या व्यवहार संबंधी फिंगरप्रिंटिंग विधियों को प्रभावित करती है जब परिनियोजन कॉन्फ़िगरेशन भिन्न होते हैं।
• कार्यवाही योग्य (Actionability): यह उपयोगकर्ताओं और शोधकर्ताओं को सेवा दावों को सत्यापित करने और उन "शैडो" API की पहचान करने में सक्षम बनाता है जो घटिया या असंगत सेवाएं प्रदान कर रहे हैं, विशेष रूप से उच्च-मूल्य वाले मालिकाना मॉडलों के लिए।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि KBF एक सांख्यिकीय ट्राइएज टूल (statistical triage tool) है न कि बैकएंड पहचान का क्रिप्टोग्राफिक प्रमाण। वे स्वीकार करते हैं कि उच्च-दांव वाले परिचालन उपयोग के लिए आगे के अंशांकन (जैसे, समय और क्षेत्रों में बार-बार ऑडिट) की आवश्यकता है और वर्तमान द्विपद मॉडल (binomial model) प्रोब स्वतंत्रता को मानता है, जिसे डोमेन-ब्लॉक सहसंबंधों के लिए संशोधित करने की आवश्यकता हो सकती है।