🤖 AI

TensorCommitments: A Lightweight Verifiable Inference for Language Models

यह शोध पत्र TensorCommitments का प्रस्ताव करता है, जो एक हल्का, टेंसर-नेटिव प्रूफ-ऑफ-इन्फरेंस (proof-of-inference) स्कीम है जो मौजूदा क्रिप्टोग्राफिक और गैर-क्रिप्टोग्राफिक विधियों की तुलना में न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ अनट्रस्टेड क्लाउड्स पर लार्ज लैंग्वेज मॉडल आउटपुट्स के कुशल और सुदृढ़ सत्यापन को सक्षम बनाता है।

मूल लेखक: Oguzhan Baser, Elahe Sadeghi, Eric Wang, David Ribeiro Alves, Sam Kazemian, Hong Kang, Sandeep P. Chinchali, Sriram Vishwanath

प्रकाशित 2026-02-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oguzhan Baser, Elahe Sadeghi, Eric Wang, David Ribeiro Alves, Sam Kazemian, Hong Kang, Sandeep P. Chinchali, Sriram Vishwanath

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रसिद्ध शेफ से एक जटिल, कस्टम-बिल्ट भोजन ऑर्डर कर रहे हैं जो दूसरे देश में रहता है। आप उन्हें अपना ऑर्डर (प्रॉम्ट) भेजते हैं, वे व्यंजन पकाते हैं (इन्फरेंस/inference), और आपको अंतिम प्लेट (आउटपुट) भेजते हैं।

समस्या क्या है? आप रसोई देख नहीं सकते। आपको भरोसा करना होगा कि उन्होंने:

कीमती ट्रफल्स को सस्ते मशरूमों से नहीं बदला।
खाना जलाया नहीं, बल्कि उसे वैसे ही परोस दिया।
किसी अलग, सस्ते नुस्खे का उपयोग नहीं किया जिससे स्वाद थोड़ा अलग हो जाए।

वर्तमान में, यदि आप यह जांचना चाहते हैं कि शेफ ने काम सही ढंग से किया है या नहीं, तो आपको उनके देश में उड़कर जाना होगा, वही समान व्यंजन फिर से बनते हुए देखना होगा और परिणामों की तुलना करनी होगी। यह बहुत धीमा, बहुत महंगा और हर एक ऑर्डर के लिए असंभव है।

TensorCommitments (TCs) एक नई प्रणाली है जो आपको यह सत्यापित करने देती है कि शेफ ने आपका भोजन सही ढंग से पकाया है या नहीं, बिना यह देखे कि वे कैसे पका रहे थे या उनके देश में जाए बिना। यह एक जादुई, अटूट "टैम्पर-एविडेंट सील" (छेड़छाड़-रोधी सील) की तरह है जो साबित करता है कि खाना ठीक वैसे ही पकाया गया जैसा वादा किया गया था।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "जादुई रसीद" (Tensor Commitments)

आमतौर पर, जब हम यह सिद्ध करने की कोशिश करते हैं कि कंप्यूटर ने गणित सही ढंग से किया है, तो हम डेटा को संख्याओं की एक लंबी, सपाट सूची (जैसे किराने की सूची) की तरह मानते हैं। लेकिन लार्ज लैंग्वेज मॉडल्स (LLMs) सूचियों में नहीं सोचते; वे टेन्सर्स (बहु-आयामी ब्लॉक, जैसे पैनकेक का ढेर या डेटा का 3D क्यूब) में सोचते हैं।

पुराना तरीका: कल्पना करें कि एक 3D केक को सही ढंग से बेक किया गया है, यह साबित करने के लिए आप हर एक कण को एक लंबी लाइन में सूचीबद्ध कर रहे हैं। इसे जांचने में बहुत समय लगता है।
TC का तरीका: यह पेपर कहता है, "आइए केक को उसके 3D आकार में ही रहने दें!" डेटा को सपाट करने के बजाय, वे पूरे 3D ब्लॉक को एक क्रिप्टोग्राफिक "जादुई रसीद" में लपेट देते हैं। यह रसीद एक एकल, छोटा सा टैग है जो पूरी जटिल संरचना का प्रतिनिधित्व करता है। यदि कोई भी एक कण बदलने की कोशिश करता है (डेटा के साथ छेड़छाड़ करता है), तो रसीद तुरंत टूट जाती है और अमान्य हो जाती है।

2. "स्मार्ट ट्री" (Terkle Trees)

एक LLM केवल एक चरण नहीं निभाता; वह एक साथ सैकड़ों चरणों (परतों) को पकाता है। हर चरण की जांच करना अभी भी बहुत अधिक काम है।

उपमा: एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब पकाने की प्रक्रिया के एक चरण की तरह है।
- पुराने पेड़ (Merkle Trees): किसी विशिष्ट पुस्तक को वास्तविक साबित करने के लिए, आपको ऊपर की हर किताब की रीढ़ (spine) की जांच करनी पड़ती है, ऊपर तक। यह जांच की एक लंबी श्रृंखला है।
- Terkle Trees: यह पेपर एक विशेष पेड़ बनाता है जहाँ शाखाएं डेटा के आकार की तरह होती हैं। क्योंकि पेड़ का आकार "केक" (टेन्सर) के समान है, इसलिए आप केवल एक त्वरित नज़र से पूरे सेक्शन की जांच कर सकते हैं। यह एक पूरी शेल्फ की किताबों को देखने के लिए हर किताब की रीढ़ की जांच करने के बजाय, शेल्फ के लेबल को देखने जैसा है।

3. "स्मार्ट इंस्पेक्टर" (Layer Selection)

जादुई रसीद के साथ भी, हर चरण की जांच करना ज़रूरत से ज़्यादा है। लेखकों ने महसूस किया कि खाना पकाने के सभी चरण समान रूप से महत्वपूर्ण नहीं होते।

अंतर्दृष्टि: एक LLM में, कुछ परतें (चरण) "मसाले" की तरह होती हैं (छोटे बदलाव बहुत मायने रखते हैं), जबकि अन्य "उबलते पानी" की तरह होती हैं (बदलाव ज्यादा मायने नहीं रखते)।
समाधान: उन्होंने एक "स्मार्ट इंस्पेक्टर" एल्गोरिदम बनाया। पूरे किचन की जांच करने के बजाय, इंस्पेक्टर रेसिपी को देखता है और कहता है, "हे, शेफ के स्टेप 42 और स्टेप 89 पर गलती करने की संभावना सबसे अधिक है। आइए बस उन दो जगहों की जांच करें।"
परिणाम: इससे बहुत सारा समय बचता है। इंस्पेक्टर केवल सबसे महत्वपूर्ण हिस्सों की जांच करता है, जिससे सत्यापन अविश्वसनीय रूप से तेज़ (लाइटवेट) हो जाता है और फिर भी 99% धोखाधड़ी को पकड़ लेता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: परीक्षणों में, इस सत्यापन को जोड़ने से "शेफ" (सर्वर) केवल 0.97% धीमा हुआ और "ग्राहक" (वेरिफायर) केवल 0.12% धीमा हुआ। यह 10 सेकंड की प्रक्रिया में एक सेकंड के एक अंश के बराबर है।
यह सुरक्षित है: यह उन "स्लो-बर्न" हमलों को पकड़ता है जिन्हें अन्य तरीके मिस कर देते हैं। उदाहरण के लिए, यदि शेफ खाने के स्वाद को समान रखते हुए रेसिपी को सूक्ष्म रूप से कम स्वस्थ बनाने के लिए बदल देता है, तो पुराने तरीके इसे मिस कर सकते हैं। TCs इन सूक्ष्म बदलावों को पकड़ लेते हैं क्योंकि वे केवल अंतिम स्वाद को नहीं, बल्कि खाना पकाने की संरचना को सत्यापित करते हैं।
आपके लिए कोई भारी काम नहीं: आपको काम को सत्यापित करने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। एक साधारण लैपटॉप भी "जादुई रसीद" की जांच कर सकता है और 100% आश्वस्त हो सकता है कि काम सही ढंग से किया गया था।

निष्कर्ष

TensorCommitments हर AI उत्तर को एक डिजिटल फिंगरप्रिंट देने जैसा है जिसे जालसाजी करना असंभव है। यह हमें महत्वपूर्ण क्षेत्रों (जैसे चिकित्सा, वित्त या कानून) में AI सिस्टम पर भरोसा करने की अनुमति देता है, बिना उन कंपनियों पर भरोसा किए जो सर्वर चला रही हैं। यह साबित करता है कि AI ने गणित सही किया है, बिना हमें स्वयं उस गणित को दोबारा करने की आवश्यकता के।

यहाँ शोध पत्र "TensorCommitments: A Lightweight Verifiable Inference for Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) को महत्वपूर्ण कार्यों (जैसे, चिकित्सा निदान, वित्तीय व्यापार, स्वायत्त एजेंट) के लिए बाहरी क्लाउड इंफ्रास्ट्रक्चर पर तैनात किया जा रहा है, उपयोगकर्ता एक "विश्वास अंतराल" (trust gap) का सामना कर रहे हैं। उन्हें दूरस्थ सर्वरों पर सही ढंग से इन्फरेंस (inference) निष्पादित करने के लिए उन पर भरोसा करना पड़ता है, जबकि वे आंतरिक अवस्थाओं (activations, hidden layers) का निरीक्षण करने या भारी गणनात्मक लागत के कारण विशाल मॉडलों को पुन: चलाने में सक्षम नहीं होते हैं।

मौजूदा समाधान वेरिफिएबल इन्फरेंस (Verifiable Inference) के लिए महत्वपूर्ण समझौतों (trade-offs) से जूझते हैं:

क्रिप्टोग्राफिक दृष्टिकोण (जैसे, ZK-SNARKs): मजबूत सुरक्षा गारंटी प्रदान करते हैं लेकिन LLMs के लिए बहुत धीमे हैं, जिनमें अक्सर प्रति क्वेरी मिनटों का प्रोवर समय और भारी ओवरहेड की आवश्यकता होती है।
गैर-क्रिप्टोग्राफिक/लर्निंग-आधारित दृष्टिकोण: अक्सर वर्िफायर (verifier) को मॉडल को पुन: चलाने या सहायक मॉडलों का उपयोग करने के लिए एक शक्तिशाली GPU की आवश्यकता होती है, जो आंतरिक अवस्थाओं को उजागर करके गोपनीयता का उल्लंघन करता है या पुन: प्रशिक्षण की मांग करता है।
वेक्टर-केंद्रित कमिटमेंट्स (Vector-centric commitments): पिछले तरीकों ने टेंसर डेटा को 1D वेक्टर्स में समतल (flatten) कर दिया और यूनिवेरिएट बहुपदों (univariate polynomials) का उपयोग किया। यह LLMs की प्राकृतिक टेंसर संरचना (परतें, हेड्स, स्थानिक ग्रिड) को नष्ट कर देता है, जिससे जैसे-जैसे मॉडल के आयाम बढ़ते हैं, अक्षम इंटरपोलेशन और बड़े प्रूफ आकार की समस्या उत्पन्न होती है।

मुख्य चुनौती: एक हल्का, गोपनीयता-संरक्षण तंत्र कैसे डिज़ाइन किया जाए जो एक सीमित संसाधनों वाले क्लाइंट को यह सत्यापित करने की अनुमति दे कि एक जटिल LLM इन्फरेंस सही ढंग से निष्पादित किया गया था, बिना मॉडल को पुन: चलाए या उसकी आंतरिक अवस्थाओं को उजागर किए।

2. कार्यप्रणाली (Methodology)

लेखक TensorCommitments (TCs) का प्रस्ताव करते हैं, जो एक टेंसर-नेटिव प्रूफ-ऑफ-इन्फरेंस योजना है जो LLM एक्टिवेशन के बहु-आयामी (multi-dimensional) ढांचे का लाभ उठाती है। यह समाधान तीन मुख्य घटकों से बना है:

A. TensorCommitments (TCs)

LLM एक्टिवेशन को एक फ्लैट वेक्टर के रूप में मानने के बजाय, TCs उन्हें टेंसर (बहु-आयामी सरणियों) के रूप में मानते हैं।

मल्टीवेरिएट इंटरपोलेशन (Multivariate Interpolation): प्रोवर एक्टिवेशन टेंसर $T$ को एक ऑर्डर $m$ के मल्टीवेरिएट बहुपद $f_T$ में इंटरपोलेट करता है (जहाँ $m$ परतों, हेड्स आदि जैसे टेंसर आयामों को दर्शाता है)।
कमिटमेंट (Commitment): प्रोवर इस बहुपद को एक विश्वसनीय सेटअप (trusted setup) से प्राप्त स्ट्रक्चर्ड रेफरेंस स्ट्रिंग (SRS) का उपयोग करके कमिट करता है। कमिटमेंट एक एकल ग्रुप एलिमेंट $C_T = g^{f_T(\tau_1, \dots, \tau_m)}$ है, जहाँ $\tau$ गुप्त ट्रैपडोर (trapdoors) हैं।
ओपनिंग और वेरिफिकेशन (Opening & Verification): किसी विशिष्ट बिंदु $\omega$ पर एक मान को सिद्ध करने के लिए, प्रोवर कोटिएंट बहुपदों (quotient polynomials) को उत्पन्न करने के लिए पुनरावृत्ति यूनिवेरिएट बहुपद विभाजन (peeling off variables) करता है। इन्हें प्रूफ बनाने के लिए कमिट किया जाता है। वर्िफायर पूरे टेंसर को देखे बिना या मॉडल को पुन: चलाए बिना बाइलीनियर पेयरिंग्स ( $e(\cdot, \cdot)$ ) का उपयोग करके निरंतरता की जाँच करता है।
मुख्य अंतर्दृष्टि (Key Insight): उच्च-आयामी डेटा के लिए मल्टीवेरिएट इंटरपोलेशन, यूनिवेरिएट इंटरपोलेशन की तुलना में काफी तेज़ है। जैसा कि चित्र 1 में दिखाया गया है, समान डेटा आकार के लिए 1D से 2D इंटरपोलेशन पर जाने से रनटाइम में 30 गुना से अधिक की कमी आती है।

B. Terkle Trees

लंबे अनुक्रमों (sequences) और मल्टी-टर्न संवादों को संभालने के लिए, लेखक Terkle Trees पेश करते हैं, जो एक टेंसर-नेटिव ऑथेंटिकेशन संरचना है।

संरचना: मर्केल ट्री (हैश-आधारित) या वर्कल ट्री (1D वेक्टर कमिटमेंट) के विपरीत, Terkle Trees को एक उच्च-एरिटी (high-arity) ट्री में व्यवस्थित किया जाता है जहाँ प्रत्येक नोड पैरामीटर्स या फीचर्स के एक टेंसर-आकार के ग्रिड को कमिट करता है।
दक्षता: एक एकल रूट कमिटमेंट संपूर्ण संवाद अवस्था का प्रतिनिधित्व करता है। प्रोवर को विशिष्ट गणनाओं को सत्यापित करने के लिए केवल कुछ पथों (लेयर पॉलिसी द्वारा चयनित) को खोलने की आवश्यकता होती है।
स्केलेबिलिटी: Terkle Trees डेटा वॉल्यूम के लिए समान होने पर ट्री में $O(1/m)$ कम स्तरों का उपयोग करके Verkle trees की तुलना में प्रूफ आकार और सत्यापन समय को कम करते हैं।

C. लेयर सिलेक्शन एल्गोरिदम (Layer Selection Algorithm)

एक विशाल मॉडल (जैसे, 70B पैरामीटर्स) की प्रत्येक परत को सत्यापित करना अभी भी बहुत महंगा है। लेखक एक रोबस्टनेस-अवेयर लेयर सिलेक्शन रणनीति डिजाइन करते हैं।

स्पेक्ट्रल विश्लेषण (Spectral Analysis): वे लेयर वेट मैट्रिसेस के "हेवी-टेल्ड" (heavy-tailed) स्पेक्ट्रल स्कोर का विश्लेषण करते हैं। भारी पूंछ (heavier tails/lower $\alpha$ -scores) वाली परतें अनुभवजन्य रूप से गड़बड़ी (perturbations) के प्रति अधिक संवेदनशील होती हैं और आउटपुट अखंडता के लिए महत्वपूर्ण होती हैं।
अनुकूलन (Optimization): डायनेमिक प्रोग्रामिंग के माध्यम से हल किए गए एक इंटीजर लीनियर प्रोग्राम (ILP) का उपयोग करके, सिस्टम परतों का एक निरंतर अंतराल चुनता है जो प्रति इकाई सत्यापन लागत (बजट) के लिए "लाभ" (रोबस्टनेस) को अधिकतम करता है। यह सुनिश्चित करता है कि वर्िफायर अपने संसाधनों को मॉडल के सबसे संवेदनशील और प्रभावशाली हिस्सों पर केंद्रित करे।

3. मुख्य योगदान (Key Contributions)

टेंसर-नेटिव कमिटमेंट स्कीम: एक नवीन क्रिप्टोग्राफिक प्रिमिटिव जो LLM इन्फरेंस को मल्टीवेरिएट बहुपदों से जोड़ता है, टेंसर संरचना को सुरक्षित रखता है और कुशल सत्यापन सक्षम करता है।
Terkle Trees: एक नया ऑथेंटिकेशन ट्री स्ट्रक्चर जो विकसित होते LLM स्टेट्स को एक एकल रूट में एकत्रित करता है, जबकि स्थानीयकृत, टेंसर-आकार के प्रश्नों का समर्थन करता है।
रोबस्टनेस-अवेयर लेयर सिलेक्शन: एक एल्गोरिदम जो LLM की सबसे महत्वपूर्ण परतों की पहचान करता है और उन्हें सत्यापित करता है, जो सत्यापन लागत और अनुकूलित हमलों (tailored attacks) के विरुद्ध सुरक्षा के बीच संतुलन को अनुकूलित करता है।
सिस्टम कार्यान्वयन और मूल्यांकन: एक पूर्ण कार्यान्वयन जो प्रदर्शित करता है कि TCs न्यूनतम ओवरहेड (0.97% प्रोवर, 0.12% वर्िफायर) जोड़ते हैं, जबकि रोबस्टनेस में अत्याधुनिक (state-of-the-art) विधियों से काफी बेहतर प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA2 मॉडल्स (7B, 13B, 70B) पर zkLLM (ZK-proofs), SVIP (learned inspector), और TOPLOC (last-layer activation hashing) जैसे बेसलाइन्स के विरुद्ध TensorCommitments का मूल्यांकन किया।

ओवरहेड:
- प्रोवर समय: इन्फरेंस समय में केवल 0.97% जोड़ता है।
- वर्िफायर समय: इन्फरेंस समय में केवल 0.12% जोड़ता है।
- मेमोरी: वर्िफायर को 0 GB GPU मेमोरी की आवश्यकता होती है (TOPLOC के विपरीत जिसे ~71 GB की आवश्यकता होती है)।
रोबस्टनेस:
- TCs ने TOPLOC (पिछले SOTA) की तुलना में अनुकूलित हमलों के खिलाफ डिटेक्शन सटीकता को 48% तक सुधार दिया।
- विशेष रूप से, TCs ने प्रॉम्प्ट टैम्परिंग (एंटिटी/एडजेक्टिव स्वैप) और नॉइज़ इंजेक्शन हमलों का पता लगाया जिन्हें TOPLOC मिस कर गया क्योंकि TOPLOC केवल अंतिम परत के टॉप- $k$ एक्टिवेशन की जांच करता है।
स्केलेबिलिटी:
- बड़े डेटासेट्स के लिए Verkle trees की तुलना में Terkle Trees ने 67x तेज़ प्रूफ जनरेशन और 1416x तेज़ सत्यापन हासिल किया, जबकि मर्केल ट्री के करीब प्रोवर लागत बनाए रखी।
गोपनीयता: उन तरीकों के विपरीत जिनमें वर्िफायर को मॉडल को पुन: चलाने या एक्टिवेशन देखने की आवश्यकता होती है, TCs पूरी तरह से क्रिप्टोग्राफिक हैं और मॉडल गोपनीयता को सुरक्षित रखते हैं।

5. महत्व (Significance)

यह कार्य LLMs के लिए क्रिप्टोग्राफिक सुरक्षा और व्यावहारिक स्केलेबिलिटी के बीच के अंतर को पाटता है।

AI में विश्वास: यह एक ऐसा भविष्य सक्षम बनाता है जहाँ उपयोगकर्ता उच्च-दांव वाले निर्णयों के लिए दूरस्थ LLM इन्फरेंस पर भरोसा कर सकते हैं, बिना हार्डवेयर के स्वामित्व या प्रदाता पर आँख मूंदकर भरोसा किए।
दक्षता: डेटा को समतल (flatten) करने के बजाय टेंसरों की गणितीय संरचना (मल्टीवेरिएट इंटरपोलेशन) का लाभ उठाकर, लेखक दक्षता में एक प्रतिमान बदलाव (paradigm shift) लाते हैं, जिससे वर्िफिएबल इन्फरेंस अरबों-पैरामीटर वाले मॉडल्स के लिए व्यवहार्य हो जाता है।
रक्षा तंत्र: लेयर सिलेक्शन एल्गोरिदम "स्लो-बर्न" हमलों के खिलाफ एक नया बचाव प्रदान करता है जो अंतिम आउटपुट सिग्नेचर को बदले बिना आंतरिक अवस्थाओं में हेरफेर करते हैं, जो पिछले फिंगरप्रिंटिंग तरीकों में एक भेद्यता (vulnerability) है।

निष्कर्षतः, TensorCommitments एक हल्का, गोपनीयता-संरक्षण वाला और अत्यधिक रोबस्ट फ्रेमवर्क प्रदान करता है, जो महत्वपूर्ण बुनियादी ढांचे में स्वायत्त AI एजेंटों की सुरक्षित तैनाती की दिशा में एक महत्वपूर्ण कदम है।