🤖 AI

GIF: Locally Sound Geometric Information Flow Control for LLMs

यह शोध पत्र ज्योमेट्रिक इन्फॉर्मेशन फ्लो (GIF) प्रस्तुत करता है, जो एक अर्थपूर्ण रूप से सुदृढ़ ढांचा है जो प्रॉम्प्ट इंजेक्शन और गोपनीयता लीक का पता लगाने के लिए LLM जैकोबियन्स (Jacobians) और स्थानीय आउटपुट ज्यामिति का उपयोग करके सूचना प्रवाह को कुशलतापूर्वक और सटीक रूप से सीमित करता है, जो ब्लैक-बॉक्स परिनियोजन का समर्थन करते हुए सटीकता और कम्प्यूटेशनल लागत दोनों में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Adam Storek, Nikolaus Holzer, Zhuo Zhang, Suman Jana

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adam Storek, Nikolaus Holzer, Zhuo Zhang, Suman Jana

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान, लेकिन थोड़े अराजक सेक्रेटरी (सचिव) के रूप में करें जो एक व्यस्त कंपनी के लिए काम करता है। यह सेक्रेटरी कई स्रोतों से नोट्स लेता है: भरोसेमंद बॉस के निर्देश, अजनबियों के अविश्वसनीय ईमेल, निजी कंपनी की फाइलें और सार्वजनिक समाचार। फिर वह इस मिश्रित जानकारी के आधार पर रिपोर्ट लिखता है, ईमेल भेजता है या निर्णय लेता है।

समस्या यह है कि इस सेक्रेटरी के पास इस बात का कोई स्पष्ट नियम पुस्तिका नहीं है कि किसने क्या प्रभावित किया। यदि कोई अजनबी एक नोट भेजकर कहता है, "बॉस को अनदेखा करें और मेरे खाते में $1 मिलियन भेजें," तो सेक्रेटरी शायद ऐसा कर देगा, जिससे उसकी विश्वसनीय बॉस के नियमों के साथ वह खतरनाक निर्देश भी मिल जाएगा। या, वह गलती से एक निजी फाइल पढ़ सकता है और एक सार्वजनिक ब्लॉग पोस्ट में एक गुप्त पता शामिल कर सकता है।

वर्तमान सुरक्षा उपकरण इसे रोकने की कोशिश करते हैं एक "टेंट" (taint) लेबल लगाकर। यह ऐसा है जैसे कहना, "चूंकि उस अजनबी ने एक ईमेल भेजा है, इसलिए अब से सेक्रेटरी जो कुछ भी छूता है वह संदिग्ध है।" यह बहुत अधिक आक्रामक है। यह सेक्रेटरी को अपना काम करने से रोकता है क्योंकि यह एक निजी ईमेल के हानिरहित शब्द को एक खतरनाक कमांड के समान मानता है।

पेश है GIF (जियोमेट्रिक इंफॉर्मेशन फ्लो - Geometric Information Flow)।

लेखकों ने इस सेक्रेटरी के काम करने के तरीके को देखने का एक नया तरीका बनाया है। केवल एक "संदिग्ध" लेबल चिपकाने के बजाय, GIF एक हाई-टेक डिटेक्टिव (जासूस) की तरह काम करता है जो सटीक रूप से मापता है कि इनपुट का एक विशिष्ट हिस्सा आउटपुट को कितना "धक्का" (push) देता है।

GIF कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "नज" (Nudge) टेस्ट

कल्पना करें कि सेक्रेटरी एक कमरे में खड़ा है। GIF पूछता है: "यदि मैं इनपुट में इस विशिष्ट शब्द (जैसे कि 'सैलरी' शब्द) को धीरे से धक्का दूँ (nudge), तो सेक्रेटरी का अंतिम उत्तर कितना डगमगाएगा?"

छोटा नज़, बड़ा डगमगाहट (Small Nge, Big Wobble): यदि "salary" शब्द को "bonus" में बदलने से सेक्रेटरी का अंतिम निर्णय $50k से बदलकर$ 200k हो जाता है, तो GIF कहता है, "रुको! इस इनपुट शब्द का बहुत बड़ा प्रभाव है।" यह सूचना का उच्च "फ्लो" (flow) है।
छोटा नज़, कोई डगमगाहट नहीं (Small Nudge, No Wobble): यदि "experience" को "skills" में बदलने से अंतिम निर्णय में कोई बदलाव नहीं आता है, तो GIF कहता है, "ठीक है, उस इनपुट से कोई फर्क नहीं पड़ा।" फ्लो कम है।

2. प्रभाव का "जियोमेट्री" (Geometry of Influence)

पेपर इसे "जियोमेट्रिक" कहता है क्योंकि यह सेक्रेटरी के मस्तिष्क को एक जटिल परिदृश्य (landscape) के रूप में मानता है।

कल्पना करें कि इनपुट शब्द एक पहाड़ी से लुढ़कने वाली गेंदों की तरह हैं।
GIF पहाड़ी के ढलान (slope) को मापता है। यदि ढलान तीव्र है (इनपुट में मामूली बदलाव से आउटपुट बहुत बदल जाता है), तो सूचना का प्रवाह मजबूत है।
यदि ढलान समतल है, तो सूचना फंसी हुई है; यह वास्तव में परिणाम को प्रभावित नहीं कर रही है।

पेपर गणितीय रूप से सिद्ध करता है (एक कंप्यूटर-जांची गई प्रूफ़ के माध्यम से) कि यह "ढलान मापन" यह अनुमान लगाने का एक सुरक्षित और विश्वसनीय तरीका है कि कितनी गुप्त या खतरनाक जानकारी लीक हो रही है, बिना किसी अनुमान या अस्पष्ट अंतर्ज्ञान पर निर्भर रहे।

3. "सरोगेट" (Surrogate) डिटेक्टिव

एक विशाल AI मॉडल के लिए इस "ढलान" की गणना करना आमतौर पर बहुत धीमा और महंगा होता है, जैसे समुद्र तट पर रेत के हर एक कण को मापने की कोशिश करना।

ट्रिक: लेखकों ने पाया कि आप इस माप को करने के लिए एक छोटे, सस्ते AI मॉडल (एक "सरोगेट") का उपयोग कर सकते हैं।
परिणाम: भले ही छोटा मॉडल बड़े वाले से 200 गुना छोटा है, फिर भी यह सटीक रूप से बता सकता है कि बड़े मॉडल के इनपुट में कौन से शब्द खतरनाक हैं। यह एक विशाल हाथी के वजन को मापने के लिए एक छोटे, सस्ते तराजू का उपयोग करने जैसा है; पेपर दिखाता है कि छोटा तराजू वजन की आश्चर्यजनक रूप से सटीक रीडिंग देता है।

4. वास्तविक दुनिया के परिणाम

टीम ने तीन अलग-अलग "सेक्रेटरी" परिदृश्यों पर इसका परीक्षण किया:

इंटीग्रिटी (हाइजैकिंग को रोकना): क्या कोई अजनबी सेक्रेटरी को कुछ बुरा करने के लिए trick कर सकता है? GIF उन सटीक शब्दों को पहचानने में उत्कृष्ट था जिनका उपयोग अजनबी ने सिस्टम को हाइजैक करने के लिए किया था, यह पिछले तरीकों से कहीं बेहतर था जो केवल इस बात को देखते थे कि AI किन शब्दों पर "ध्यान" (attention) दे रहा है।
कॉन्फिडेंशियलिटी (लीक होने से रोकना): क्या सेक्रेटरी गलती से राज खोल सकता है? GIF ने सही ढंग से पहचाना कि कब निजी जानकारी सार्वजनिक आउटपुट में प्रवाहित हो रही थी।
लागत (Cost): एक कार्य की सुरक्षा का आकलन करने के लिए छोटे AI का उपयोग करने के लिए GIF का उपयोग करना, पूरी बातचीत को पढ़ने वाले एक विशाल, महंगे AI की तुलना में 81 गुना सस्ता था।

मुख्य निष्कर्ष (The Bottom Line)

GIF एक नया टूल है जो हमें यह देखने की अनुमति देता है कि प्रॉम्प्ट के कौन से सटीक शब्द AI के कार्यों को संचालित कर रहे हैं।

किसी एक शब्द के संदिग्ध होने के कारण सब कुछ ब्लॉक करने के बजाय, GIF कहता है, "केवल ये विशिष्ट शब्द खतरनाक हैं; बाकी सब ठीक है।"
यह सिद्ध करने के लिए गणित का उपयोग करता है कि यह केवल अनुमान नहीं लगा रहा है।
यह सबसे बड़े AI मॉडल पर भी तेज़ और सस्ता काम करता है।

यह हमें सुरक्षित AI एजेंट बनाने की अनुमति देता है जो उपयोगी भी बने रहें, क्योंकि हम उनके काम को अंधाधुंध ब्लॉक नहीं कर रहे हैं, बल्कि केवल उन विशिष्ट हिस्सों को रोक रहे हैं जो वास्तव में खतरनाक हैं।

तकनीकी सारांश: एलएलएम (LLMs) के लिए ज्यामितीय सूचना प्रवाह (Geometric Information Flow - GIF)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से एजेंटिक सिस्टम में केंद्रीय कंप्यूटेशन इंजन के रूप में कार्य कर रहे हैं, जो अविश्वसनीय इनपुट, निजी संदर्भ (private context) और विशेषाधिकार प्राप्त कार्यों (privileged actions) के बीच मध्यस्थता करते हैं। यह आर्किटेक्चर दो प्राथमिक सुरक्षा जोखिम उत्पन्न करता है:

अखंडता उल्लंघन (Integrity Violations): हमलावर-नियंत्रित सामग्री (जैसे, प्रॉम्प्ट इंजेक्शन) डाउनस्ट्रीम टूल के उपयोग, कोड जनरेशन, या मेमोरी अपडेट को मैनिपुलेट कर सकती है, जिससे एजेंट अपने विश्वसनीय निर्देशों के विपरीत कार्य करने लगता है।
गोपनीयता उल्लंघन (Confidentiality Violations): निजी संदर्भ जेनरेट किए गए आउटपुट, टूल आर्गुमेंट्स, या सारांशों में लीक हो सकता है, जिससे डेटा गोपनीयता नीतियों का उल्लंघन होता है।

मौजूदा सूचना प्रवाह नियंत्रण (Information Flow Control - IFC) दृष्टिकोण इस क्षेत्र में संघर्ष करते हैं। पारंपरिक IFC मोटे सुरक्षा लेबल (जैसे, विश्वसनीय/अविश्वसनीय) पर निर्भर करता है जो स्पष्ट प्रोग्राम सेमेंटिक्स के माध्यम से प्रसारित होते हैं। हालांकि, LLMs ऑटोरेग्रेसिव और अपारदर्शी (opaque) हैं; कोई भी इनपुट टोकन किसी भी डाउनस्ट्रीम आउटपुट टोकन को कमजोर रूप से प्रभावित कर सकता है। मोटे लेबल लागू करने से गंभीर ओवरटेंटिंग (overtainting) होती है, जहाँ लगभग सारा डाउनस्ट्रीम संदर्भ को अविश्वसनीय के रूप में चिह्नित कर दिया जाता है, जिससे वैध कार्यक्षमता बाधित होती है। इसके विपरीत, ह्यूरिस्टिक रक्षाएं (जैसे, प्रॉम्प्ट फिल्टर, अटेंशन-आधारित मॉनिटर) में एक सिद्धांतगत सेमेटिक आधार की कमी होती है, और वे सूक्ष्म, मॉडल-मध्यस्थ सूचना प्रवाह को पकड़ने में विफल रहती हैं जो निष्पादन ट्रेसेस (execution traces) में संचित होते हैं।

LLMs के लिए एक मात्रात्मक सूचना-प्रवाह सेमेंटिक्स (quantitative information-flow semantics) की आवश्यकता है जो सटीक रूप से माप सके कि एक विशिष्ट इनपुट स्पैन (input span) से कितना स्थानीय सूचना प्रवाह एक डाउनस्ट्रीम आउटपुट के माध्यम से दृश्यमान है, जिससे सौहार्दपूर्ण प्रभाव और नीति-उल्लंघनकारी रिसाव के बीच अंतर किया जा सके।

2. कार्यप्रणाली: ज्यामितीय सूचना प्रवाह (Geometric Information Flow - GIF)

लेखक ज्यामितीय सूचना प्रवाह (GIF) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो LLM के इनपुट-आउटपुट मैपिंग के स्थानीय ज्यामिति (local geometry) का विश्लेषण करके सूचना प्रवाह को ट्रैक करता है।

मूल अवधारणा

GIF एक इनपुट स्पैन (टोकन का एक निरंतर समूह) से डाउनस्ट्रीम आउटपुट तक के प्रभाव की शक्ति को उस स्पैन के एम्बेडिंग (embedding) को विक्षेपित (perturb) करके और मॉडल के आउटपुट वितरण में बदलाव को देखकर मापता है।

कम प्रवाह (Low Flow): यदि स्पैन के एम्बेडिंग को विक्षेपित करने से आउटपुट वितरण में बहुत कम बदलाव आता है, तो स्पैन में कम सूचना प्रवाह होता है।
उच्च प्रवाह (High Flow): यदि एक छोटा विक्षेपण आउटपुट वितरण में महत्वपूर्ण बदलाव का कारण बनता है, तो स्पैन में उच्च प्रवाह होता है।

सैद्धांतिक सूत्रीकरण

GIF इस अंतर्ज्ञान को एक इनपुट स्पैन के यादृच्छिक विक्षेपण और देखे गए अगले-टोकन आउटपुट के बीच शैनन म्यूचुअल इंफॉर्मेशन (Shannon mutual information) के रूप में औपचारिक रूप देता है।

स्थानीय नियमितता (Local Regularity): फ्रेमवर्क यह मानता है कि एक बेस प्रॉम्प्ट के आसपास छोटे विक्षेपणों के लिए, LLM के व्यवहार को इसके प्रथम-क्रम टेलर विस्तार (Jacobian) द्वारा अनुमानित किया जा सकता है।
गौसियन सरोगेट (Gaussian Surrogate): चूंकि उच्च-आयामी ऑटोरेग्रेसिव मॉडल्स के लिए सटीक म्यूचुअल इंफॉर्मेशन की गणना करना कठिन है, इसलिए GIF एक स्थानीय गौसियन सरोगेट चैनल का निर्माण करता है। यह चैनल वास्तविक LLM चैनल के स्थानीय क्लालबैक-लीब्लर (KL) ज्यामिति से मेल खाता है।
क्षमता (Capacity) एक माप के रूप में: GIF का परिचालन माप इस सरोगेट चैनल की क्षमता (capacity) है, जिसे इस प्रकार परिभाषित किया गया है:
$\text{Cap}_T(\tau; x) = \frac{1}{2} \log \det(I + \tau M_T(x))$
जहाँ $M_T(x)$ एक "फिशर पुलबैक" (Fisher pullback) मैट्रिक्स है, जो मॉडल के जैकोबियन (Jacobian) और सॉफ्टमैक्स फिशर इंफॉर्मेशन मैट्रिक्स के माध्यम से इनपुट स्पैन तक वापस ले जाए गए आउटपुट ज्यामिति का प्रतिनिधित्व करता है।
प्रभाव प्रॉक्सी (Influence Proxy): कम्प्यूटेशनल दक्षता के लिए, लेखक $M_T(x)$ के ट्रेस (trace) (जिसे $\text{Inf}_T(x)$ के रूप में दर्शाया गया है) का उपयोग एक रैखिक ऊपरी सीमा और सस्ते प्रॉक्सी के रूप में करते हैं।

कार्यान्वयन और स्केलेबिलिटी

पूर्ण जैकोबियन (Jacobian) की गणना अत्यधिक महंगी है। GIF ट्रेस अनुमान (Hutch++) का उपयोग करके प्रभाव स्कोर का अनुमान लगाने के लिए रैंडमाइज्ड ट्रेस एस्टीमेशन (Hutch++) का उपयोग करता है।

पूर्ण जैकोबियन को भौतिक रूप देने के बजाय, सिस्टम फिशर पुलबैक मैट्रिक्स के ट्रेस का अनुमान लगाने के लिए वेक्टर-जैकोबियन उत्पादों (VJPs) के माध्यम से कुछ यादृच्छिक प्रोब वेक्टर्स का उपयोग करता है।
यह कम्प्यूटेशनल लागत को कुछ बैकवर्ड पासेज तक कम कर देता है, जिससे यह बड़े ओपन-वेट मॉडल्स के लिए स्केलेबल बन जाता है।

सुदृढ़ता (Soundness)

लेखक एक पूर्णतः यांत्रिककृत लीन 4 (Lean 4) प्रमाण प्रदान करते हैं जो यह प्रदर्शित करता है कि GIF स्थानीय रूप से सुदृढ़ (locally sound) है। हल्के नियमितता संबंधी धारणाओं के तहत, GIF स्कोर (क्षमता) एक प्रॉम्प्ट द्वारा प्रेरित वास्तविक सूचना प्रवाह का एसिम्प्टोटिक रूप से ऊपरी आउंड (upper-bound) है। यह सुनिश्चित करता है कि GIF रिसाव को कम करके नहीं आंकता है, जो सुरक्षा प्रमाणपत्रों के लिए एक रूढ़िवादी गारंटी प्रदान करता है।

3. मुख्य योगदान

ज्यामितिक सूचना-प्रवाह फ्रेमवर्क: LLM के जैकोबियन की ज्यामिति पर आधारित, आउटपुट को मॉडल करने वाले स्पैन-एम्बेडिंग विक्षेपण से प्राप्त स्थानीय म्यूचुअल-इंफॉर्मेशन माप के रूप में GIF की परिभाषा।
यांत्रिककृत सुदृढ़ता प्रमाण: लीन 4 (Lean 4) में एक औपचारिक सत्यापन जो यह सिद्ध करता है कि GIF एक वास्तविक सरोगेट म्यूचुअल इंफॉर्मेशन है और स्थानीय सुदृढ़ता (यह वास्तविक प्रवाह को कम नहीं आंकता है) को संतुष्ट करता है।
स्केलेबल एस्टिमेटर: बड़े मॉडल्स पर पूर्ण जैकोबियन बनाए बिना GIF को कंप्यूट करने की अनुमति देने के लिए Hutch++ ट्रेस एस्टीमेशन और लो-रैंक एप्रोक्सिमेशन का उपयोग करते हुए एक व्यावहारिक कार्यान्वयन।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): तीन बेंचमार्क (AgentDojo, MSB, AgentDAM) और छह मॉडल्स पर व्यापक मूल्यांकन, जो सूचना अखंडता और गोपनीयता उल्लंघन का पता लगाने में GIF की प्रभावशीलता को प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने GIF का मूल्यांकन RTBAS (अटेंशन-आधारित एट्रिब्यूशन), GIF- (ग्रेडिएंट-आधारित एट्रिब्यूशन), और LLM-as-a-judge (GPT-5.5 xhigh) सहित बेसलाइन्स के विरुद्ध किया।

डिटेक्शन प्रदर्शन: GIF ने डाउनस्ट्रीम डिक्लासिफायर की आवश्यकता के बिना नीति उल्लंघन के लिए लगभग पूर्ण रिकॉल दर प्राप्त की। इसने सभी डेटासेट्स में अटेंशन-आधारित ह्यूरिस्टिक्स (RTBAS) और ग्रेडिएंट-आधारित बेसलाइन्स (GIF-) को लगातार पछाड़ दिया।
LLM जजों के मुकाबले लागत-दक्षता: जब हल्के LLM डिक्लासिफायर को निर्देशित करने के लिए उपयोग किया गया, तो GIF ने सीधे "LLM-as-judge" बेसलाइन्स (जैसे, GPT-5.5 xhigh) के F1/F2 स्कोर के बराबर या उससे बेहतर प्रदर्शन किया, जबकि टोकन इन्फरेंस लागत को 81× तक कम कर दिया।
स्थानांतरणीयता (Transferability): छोटे सरोगेट मॉडल्स (जैसे, 0.6B मॉडल) का उपयोग करके अनुमानित फ्लो, बहुत बड़े टारगेट मॉडल्स (जैसे, 120B) और विभिन्न मॉडल परिवारों में प्रभावी ढंग से स्थानांतरित हुआ, जो ब्लैक-बॉक्स डिप्लॉयमेंट में भी इसकी प्रयोज्यता का सुझाव देता है जहाँ ग्रेडिएंट एक्सेस सीमित है।
परिशुद्धता (Precision): केस स्टडीज में, GIF ने आंशिक-सफलता हमलों (जहाँ एजेंट ने इंजेक्शन का आंशिक रूप से पालन किया) में दुर्भावनापूर्ण फ्लो की सफलतापूर्वक पहचान की और उस निजी डेटा के लिए शून्य फ्लो को सही ढंग से प्रमाणित किया जिसने आउटपुट को प्रभावित नहीं किया, जिससे अटेंशन-आधारित तरीकों में होने वाली ओवर-टेंटिंग से बचा जा सका।

5. महत्व और दावे

पेपर का दावा है कि GIF आधुनिक एजेंटिक सिस्टम के लिए स्केलेबल IFC के लिए एक व्यावहारिक आधार स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

सिद्धांतिक सेमेंटिक्स: ह्यूरिस्टिक विधियों के विपरीत, GIF एक औपचारिक सेमेटिक फॉर्मुलेशन (स्थानीय म्यूचुअल इंफॉर्मेशन) पर आधारित है जिसमें एक सिद्ध सुदृढ़ता गारंटी है।
सूक्ष्मता (Granularity): यह मोटे "विश्वसनीय/अविश्वसनीय" लेबल से आगे बढ़कर उन विशिष्ट इनपुट क्षेत्रों की पहचान करता है जो विशिष्ट डाउनस्ट्रीम कार्यों पर बड़ा प्रभाव डालते हैं, जिससे सूक्ष्म नीति प्रवर्तन सक्षम होता है।
स्केलेबिलिटी: ज्यामितीय सन्निकटन (approximations) और ट्रेस एस्टीमेशन का लाभ उठाकर, यह बड़े पैमाने के LLMs के लिए कठोर सूचना प्रवाह विश्लेषण को संभव बनाता है।
ब्लैक-बॉक्स क्षमता: बड़े मॉडल्स के लिए फ्लो का अनुमान लगाने के लिए छोटे सरोगेट्स का उपयोग करने की क्षमता, उन डिप्लॉयमेंट्स में भी इन सुरक्षाओं को तैनात करने का मार्ग खोलती है जहाँ टारगेट मॉडल के आंतरिक भाग पूरी तरह से सुलभ नहीं हैं।

लेखक निष्कर्ष निकालते हैं कि GIF ऑटोरिगेसिव मॉडल्स के अपारदर्शी कंप्यूटेशन के भीतर अविश्वसनीय इनपुट, निजी संदर्भ और विशेषाधिकार प्राप्त कार्यों को अलग करने के लिए आवश्यक "लुप्त एब्स्ट्रैक्शन" (missing abstraction) प्रदान करता है, जिससे सुरक्षित और उपयोगिता-संरक्षण एजेंटिक सिस्टम संभव होते हैं।