🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

यह शोध पत्र CIVeX को प्रस्तुत करता है, जो एक कारण संबंधी हस्तक्षेप सत्यापनकर्ता (causal intervention verifier) है जो प्रस्तावित कार्यों को संरचनात्मक कारण प्रश्नों (structural causal queries) में मैप करके भाषा एजेंटों में विश्वसनीय टूल उपयोग सुनिश्चित करता है ताकि पहचान योग्य कारण प्रभावों की गारंटी दी जा सके, जिससे उन कन्फाउंडेड वर्कफ़्लो (confounded workflows) में गलत निष्पादन को रोका जा सके जहाँ मानक सत्यापन सुरक्षा उपाय विफल हो जाते हैं।

मूल लेखक: Fabio Rovai

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabio Rovai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं। आपका जहाज एक उन्नत एआई (AI) सहायक द्वारा नियंत्रित है जो जहाज का रास्ता बदलने, हैच खोलने या थ्रस्टर्स चलाने के लिए बटन दबा सकता है। एआई बहुत बुद्धिमान है, लेकिन इसमें एक खतरनाक अंधा बिंदु (blind spot) है: यह केवल इतिहास को देखता है।

यदि एआई देखता है कि हर बार जब जहाज बाईं ओर मुड़ा, तो तापमान गिर गया, तो वह निर्णय ले सकता है, "बाईं ओर मुड़ने से जहाज ठंडा होता है!" इसलिए, वह "बाईं ओर मुड़ें" (Turn Left) बटन दबाता है।

लेकिन क्या होगा यदि असली कारण यह था कि जहाज उसी समय एक छायादार नेबुला (nebula) में प्रवेश कर रहा था? एआई को नेबुला के बारे में पता नहीं था। उसने केवल एक पैटर्न देखा। दुनिया के डेटा में, इसे कन्फाउंडिंग (confounding) कहा जाता है: एक छिपा हुआ कारक जो आपको यह सोचने के लिए भ्रमित करता है कि दो चीजें आपस में जुड़ी हुई हैं जबकि वे वास्तव में नहीं हैं।

यह पेपर एक नया सुरक्षा गार्ड CIVeX (कॉज़ल इंटरवेंशन वेरिफिकेशन - Causal Intervention Verification) पेश करता है ताकि एआई को ऐसे खतरनाक अनुमान लगाने से रोका जा सके।

समस्या: "वैध" होने का मतलब "सुरक्षित" होना नहीं है

वर्तमान में, जब कोई एआई बटन दबाना चाहता है, तो वह एक चेकलिस्ट से गुजरता है:

व्याकरण जांच (Grammar Check): क्या कमांड सही ढंग से लिखी गई है?
अनुमति जांच (Permission Check): क्या एआई को यह करने की अनुमति है?
भविष्यवाणी जांच (Prediction Check): क्या एआई को लगता है कि यह काम करेगा?

पेपर का तर्क है कि इन जांचों को पास करना एक ड्राइवर के पास वैध लाइसेंस, एक साफ कार और एक अच्छे जीपीएस होने जैसा है। इसका मतलब यह नहीं है कि ड्राइवर को पता है कि पहिया घुमाने से वास्तव में कार मुड़ती है, खासकर यदि अदृश्य बल (जैसे तेज हवा या फिसलन भरी सड़क) परिणाम के साथ छेड़छाड़ कर रहे हों।

समाधान: "कॉज़ल सर्टिफिकेट" (Causal Certificate)

CIVeX एक सख्त सुरक्षा निरीक्षक की तरह कार्य करता है जो एआई को बटन दबाने की अनुमति देने से इनकार कर देता है जब तक कि वह गणितीय रूप से यह साबित न कर दे कि क्रिया वास्तव में वांछित परिणाम लाएगी।

केवल यह पूछने के बजाय कि, "क्या यह पहले हुआ था?", CIVeX पूछता है, "यदि हम इसे होने के लिए मजबूर करते हैं, तो क्या यह परिणाम का कारण बनेगा?"

अनुमति प्राप्त करने के लिए, एआई को एक कॉज़ल सर्टिफिकेट प्रस्तुत करना होगा। इस सर्टिफिकेट को एक "सुरक्षा पासपोर्ट" के रूप में सोचें जिसमें चार विशिष्ट चीजें होनी चाहिए:

नक्शा (The Map/Graph): एक ड्राइंग जो दिखाती है कि क्रिया, परिणाम और छिपे हुए कारक एक-दूसरे से कैसे जुड़े हैं।
प्रमाण (Identification): एक गणितीय तर्क जो दिखाता है कि हम प्रभाव की गणना वास्तव में कर सकते हैं, भले ही छिपे हुए कारक मौजूद हों।
सुरक्षा मार्जिन (Lower Confidence Bound): एक गारंटी कि सबसे खराब स्थिति में भी, यह क्रिया हमें नुकसान नहीं पहुँचाएगी।
स्रोत (Provenance): इस बात का प्रमाण कि डेटा कहाँ से आया, ताकि कोई भी नंबरों की नकल न कर सके।

चार निर्णय (The Four Verdicts)

जब एआई एक क्रिया प्रस्तावित करता है, तो CIVeX सर्टिफिकेट की समीक्षा करता है और चार में से एक उत्तर देता है:

EXECUTE (निष्पादित करें): "नक्शा स्पष्ट है, गणित काम करता है, और सुरक्षा मार्जिन अधिक है। आगे बढ़ें।"
REJECT (अस्वीकार करें): "गणित दिखाता है कि इससे हमें नुकसान होगा, या सुरक्षा मार्जिन बहुत कम है। इसे न करें।"
EXPERIMENT (प्रयोग करें): "हम अभी पक्के तौर पर नहीं कह सकते क्योंकि एक छिपा हुआ कारक है। लेकिन, यदि आप एक छोटा, सुरक्षित परीक्षण (जैसे कि रैंडमाइज्ड ट्रायल) चला सकते हैं, जिससे यह सिद्ध हो सके कि यह काम करता है, तो हम आपको इसे आज़माने देंगे।"
ABSTAIN (परहेज करें): "हमें कोई अंदाजा नहीं है कि क्या होगा, और अनुमान लगाना बहुत जोखिम भरा है। कुछ न करें।"

इसका प्रदर्शन कैसा रहा (द रेस)

लेखकों ने एक "Causal-ToolBench" (एक सिम्युलेटेड वातावरण जिसमें 1,890 अलग-अलग परिदृश्य हैं) का उपयोग करके अन्य तरीकों के मुकाबले CIVeX का परीक्षण किया।

"हमेशा अनुमान लगाने वाला" AI: जटिल स्थितियों में जहाँ छिपे हुए कारकों ने एआई को भ्रमित किया, इस तरीके ने 45% बार गलतियाँ कीं, जिससे अक्सर नुकसान हुआ।
"कभी कुछ न करने वाला" AI: यह तरीका सुरक्षित था लेकिन बेकार था। इसने तब भी कार्य करने से इनकार कर दिया जब यह सुरक्षित था, जिससे लाभ उठाने के अवसर हाथ से निकल गए।
"बड़ा लैंग्वेज मॉडल" (LLM) AI: भले ही इसे "स्टेप-बाय-स्टेप सोचने" के लिए स्मार्ट प्रॉम्प्ट दिया गया हो, फिर भी एआई ने गलतियाँ कीं। यह तर्क करने में अच्छा था लेकिन सुरक्षा की गारंटी नहीं दे सका। जटिल परिदृश्यों में यह अभी भी लगभग 1% से 10% बार "खतरनाक बटन" दबा देता था।
CIVeX: इसने परीक्षणों में शून्य गलतियाँ कीं। इसने कभी भी ऐसा बटन नहीं दबाया जिससे नुकसान पहुँचता। महत्वपूर्ण बात यह है कि यह केवल "सुरक्षित खेलने" के लिए कुछ न कर रहा था; इसने सफलतापूर्वक पहचान लिया कि कब कार्य करना सुरक्षित है और कब इसे पहले एक परीक्षण चलाने की आवश्यकता है।

कमी (सीमाएँ)

पेपर बहुत ईमानदार है कि CIVeX क्या नहीं करता है:

इसे एक अच्छे नक्शे की आवश्यकता है: CIVeX यह मानता है कि उसे प्रदान किया गया "नक्शा" (कॉज़ल ग्राफ) सही है। यदि नक्शा गलत है, तो सुरक्षा की गारंटी टूट जाती है। पेपर सुझाव देता है कि वास्तविक दुनिया में, इन नक्शों को सटीक सुनिश्चित करने के लिए मनुष्यों या अन्य प्रणालियों को इन पर हस्ताक्षर करने की आवश्यकता होती है।
यह एक गेटकीपर है, ड्राइवर नहीं: CIVE X यह तय नहीं करता कि क्या करना है; यह केवल यह तय करता है कि क्या एआई को वह करने की अनुमति है जो वह चाहता है।
यह जादू नहीं है: यह डेटा होने पर निर्भर करता है जो अनिश्चितता के समय "सुरक्षित परीक्षण" (Experiment) की अनुमति दे सके।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि AI एजेंटों के लिए दुनिया को सुरक्षित रूप से बदलने के लिए (जैसे फाइलें डिलीट करना, स्टॉक का व्यापार करना या कोड ठीक करना), हमें यह पूछना बंद करना होगा कि "क्या यह क्रिया वैध है?" और यह पूछना शुरू करना होगा कि "क्या यह क्रिया कॉज़ली प्रमाणित (causally proven) है?"

CIVeX पहला ऐसा सिस्टम है जो कहता है: "मैं आपको बटन दबाने नहीं दूँगा जब तक कि आप गणितीय प्रमाण के साथ यह साबित न कर दें कि बटन दबाने से वास्तव में वही अच्छा परिणाम आएगा जो आप चाहते हैं, और वह बुरा परिणाम नहीं आएगा जिससे आप डर रहे हैं।"

तकनीकी सारांश: CIVeX – भाषा एजेंटों के लिए कारण संबंधी हस्तक्षेप सत्यापन (Causal Intervention Verification)

1. समस्या विवरण

वर्तमान सुरक्षा तंत्र (जैसे स्कीमा वैलिडेटर्स, पॉलिसी फिल्टर्स, स्टेट प्रेडिक्टर्स और सेल्फ-वेरिफिकेशन प्रॉम्प्ट्स) यह सुनिश्चित करते हैं कि एक एक्शन सुव्यवस्थित, अनुमत और तार्किक रूप से सुसंगत है। हालाँकि, ये सुरक्षा उपाय एक महत्वपूर्ण विफलता मोड को संबोधित करने में विफल रहते हैं जो कन्फाउंडेड (confounded) वातावरण में होता है: एक वैध टूल कॉल अनिवार्य रूप से एक वैध हस्तक्षेप (intervention) नहीं होता है।

अवलोकनात्मक लॉग्स (observational logs) में, एक क्रिया किसी अज्ञात लेटेंट कन्फाउंडिंग कारकों के कारण उच्च उपयोगिता (utility) के साथ सह-संबंधित हो सकती है। जब इसे निष्पादित किया जाता है, तो यह कम उपयोगिता उत्पन्न कर सकती है या नुकसान पहुँचा सकती है क्योंकि ऐतिहासिक सह-संबंध वास्तविक कारण प्रभाव (causal effect) को प्रतिबिंबित नहीं करता है। मौजूदा सुरक्षा स्टैक यह सत्यापित नहीं करते हैं कि प्रस्तावित अवस्था-परिवर्तित क्रिया का रुचि के परिणाम पर एक पहचान योग्य कारण प्रभाव (identifiable causal effect) है या नहीं। पेपर का तर्क है कि पहचान योग्यता (identifiability) को सत्यापित किए बिना, एजेंट "हानिकारक जाल" (harmful traps) निष्पादित करने का जोखिम उठाते हैं—ऐसे मामले जहाँ अवलोकनात्मक संकेत लाभ का सुझाव देते हैं, लेकिन वास्तविक कारण प्रभाव हानिकारक होता है।

2. कार्यप्रणाली: CIVeX

लेखक CIVeX (Causal Intervention Verification) पेश करते हैं, जो एक रनटाइम वेरिफायर है जो टूल निष्पादन को एक कारण अनुमान (causal inference) समस्या के रूप में मानता है। क्रियाओं की भविष्यवाणी करने के बजाय, CIVeX उन्हें निष्पादन से पहले एक असेम्पशन-स्कोपड कॉज़ल सर्टिफिकेट (assumption-scoped causal certificate) की आवश्यकता के माध्यम से गेट करता है।

2.1 कॉज़ल सर्टिफिकेट (Causal Certificate)

एक वैध निष्पादन के लिए एक सर्टिफिकेट $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ की आवश्यकता होती है, जिसमें शामिल हैं:

$G$ : क्रिया और अवस्था चरों (लेटेंट कन्फाउंडिंग के लिए द्विदिश किनारों सहित) पर एक प्रतिबद्ध कॉज़ल ग्राफ।
$A$ : स्पष्ट धारणाओं का एक सेट (जैसे SUTVA, ग्राफ शुद्धता)।
$\pi$ : एक मशीन-चेकेबल आइडेंटिफिकेशन प्रूफ (जैसे बैकडोर एडजस्टमेंट, फ्रंटडोर डिकंपोजिशन, या इंस्ट्रूमेंटल वेरिएबल्स)।
$\hat{\theta}$ : कॉज़ल इफेक्ट $E[Y \mid do(T=t^*)]$ का पॉइंट एस्टीमेट।
$LCB_\alpha$ : स्तर $1-\alpha$ पर $\hat{\theta}$ का एक वन-साइडेड लोअर कॉन्फिडेंस बाउंड।
$prov$: उपयोग किए गए डेटा का प्रोवेनेंस मेटाडेटा (हैश)।
$risk$: संभावित नुकसान का ऊपरी स्तर।

2.2 ट्राइएज एल्गोरिदम (The Triage Algorithm)

CIVeX एक प्रस्तावित क्रिया को एक स्ट्रक्चरल कॉज़ल क्वेरी में मैप करता है और उसे चार ऑडिटेबल निर्णयों में से एक में रूट करता है:

EXECUTE (निष्पादित करें): केवल तभी जारी किया जाता है यदि क्वेरी प्रतिबद्ध ग्राफ के तहत पहचान योग्य (identifiable) है, एक-तरफा $LCB_\alpha$ उपयोगिता थ्रेशोल्ड ( $\tau_u$ ) से अधिक है, और लागत जोखिम सीमा ( $\tau_r$ ) के भीतर है।
REJECT (अस्वीकार करें): यदि क्वेरी पहचान योग्य है लेकिन $LCB_\alpha$ अपर्याप्त है या लागत जोखिम सीमा से अधिक है।
EXPERIMENT (प्रयोग करें): यदि प्रभाव पहचान योग्य नहीं है (जैसे, अनब्लॉक किए गए कन्फाउंडिंग पाथ के कारण) लेकिन क्रिया प्रतिवर्ती (reversible) और कम लागत वाली है। यह ग्राफ को हल करने के लिए प्रायोगिक डेटा (जैसे, एक RCT-शैली का डेटासेट) के लिए अनुरोध को ट्रिगर करता है।
ABSTAIN (परहेज करें): यदि प्रभाव पहचान योग्य नहीं है और क्रिया अपरिवर्तनीय (irreversible) है या बहुत महंगी है।

2.3 सैद्धांतिक गारंटी

पेपर दो प्रमुख प्रस्ताव प्रदान करता है:

प्रस्ताव 1: गैर-कारण सत्यापनकर्ता (जो केवल अवलोकनात्मक संकेतों पर निर्भर हैं) कन्फाउंडेड वातावरण में "फॉल्स-एग्जीक्यूशन रेट" के कम से कम बराबर का त्रुटि दर रखते हैं।
प्रस्ताव 2: सही ग्राफ प्रतिबद्धता और वैध एस्टिमेटर्स के तहत, CIVeX द्वारा एक हानिकारक क्रिया को निष्पादित करने की संभावना $\alpha$ के वन-साइडेड कॉन्फिडेंस लेवल द्वारा सीमित है। यह सीमा प्रति-इंस्टेंस (per-instance) होती है, न कि केवल एसिम्प्टोटिक (asymptotically)।

3. मुख्य योगदान

कॉज़ल सर्टिफिकेट का औपचारिकीकरण: पेपर एक कठोर, ऑडिटेबल ऑब्जेक्ट को परिभाषित करता है जो एक प्रस्तावित क्रिया को एक स्ट्रक्चरल कॉज़ल क्वेरी, आइडेंटिफिकेशन तर्क और अनिश्चितता सीमा से जोड़ता है।
CIVeX वेरिफायर: एक ट्राइएज एल्गोरिदम जो पहचान योग्यता और जोखिम बाधाओं को लागू करता है, जो वैध टूल कॉल्स और वैध हस्तक्षेपों के बीच अंतर करता है।
Causal-ToolBench: एक नया बेंचमार्क जिसमें छह टूल-वर्कफ़्लो परिवारों (जैसे, डेटाबेस इंडेक्सिंग, सर्विस रीस्टार्ट) में 1,890 इंस्टेंस शामिल हैं। इसमें शामिल हैं:
- स्पष्ट रूप से पैरामीटराइज्ड स्ट्रक्चरल कॉज़ल मॉडल्स (SCMs)।
- दो रिजीम: मॉडरेट कन्फाउंडिंग और एडवर्सरियल कन्फाउंडिंग (जहाँ लेटेंट कन्फाउंडर्स को वास्तविक कॉज़ल साइन के सापेक्ष ऑब्जर्वेशनल साइन को बदलने के लिए कैलिब्रेट किया गया है)।
- "EXPERIMENT" ब्रांच के मूल्यांकन के लिए युग्मित RCT-शैली का डेटा।
सैद्धांतिक लक्षण वर्णन: प्रमाण जो स्थापित करते हैं कि अवलोकनात्मक सत्यापन कन्फाउंडेड सेटिंग्स में स्वाभाविक रूप से असुरक्षित है और CIVeX ग्राफ शुद्धता की स्थिति में एक बाउंडेड फॉल्स-एग्जीक्यूशन रेट प्रदान करता है।

4. प्रयोगात्मक परिणाम

मूल्यांकन एक ओरेकल (Oracle), 12 बेसलाइन्स (पॉलिसी गेट्स, ह्यूरिस्टिक क्लासिफायर्स और LLM-आधारित वेरिफायर्स सहित) और एब्लेशन स्टडीज के विरुद्ध CIVeX की तुलना करता है।

4.1 कन्फाउंडिंग रिजीम में प्रदर्शन

एडवर्सरियल कन्फाउंडिंग (Adversarial Confounding): CIVeX ने 0% फॉल्स एग्जीक्यूशन और 84.9% सटीकता प्राप्त की, जिससे +2.23 की उपयोगिता मिली। इसके विपरीत, "AlwaysAbstain" बेसलाइन ने +0.99 दिया, और सर्वश्रेष्ठ LLM बेसलाइन (Chain-of-Thought Opus) 0% फॉल्स एग्जीक्यूशन के साथ +1.65 तक गिर गया (CIVeX की उपयोगिता का 74%) और अत्यधिक एब्स्टेंशन (abstention) दिखा।
मॉडरेट कन्फाउंडिंग (Moderate Confounding): CIVeX ने 0% फॉल्स एग्जीक्यूशन के साथ +2.29 उपयोगिता प्राप्त की।
मजबूती (Robustness): हार्ड ज़ीरो-फॉल्स-एग्जीक्यूशन बाधा के तहत, CIVeX ही एकमात्र नॉन-ओरेकल विधि थी जिसने "AlwaysAbstain" फ्लोर से ऊपर प्रदर्शन किया।

4.2 LLM बेसलाइन्स

पेपर ने वेरिफायर के रूप में चेन-ऑफ-थॉट (CoT) LLMs (Claude Opus और Sonnet) का परीक्षण किया।

जबकि CoT ने संक्षिप्त प्रॉम्प्ट्स की तुलना में फॉल्स एग्जीक्यूशन को कम किया, यह CIVeX की तरह प्रति-इंस्टेंस गारंटी प्रदान करने में विफल रहा।
एडवर्सरियल कन्फाउंडिंग के तहत, CoT-Opus की उपयोगिता अत्यधिक ओवर-एब्स्टेंशन के कारण काफी गिर गई, और CoT-Sonnet ने 1.0% की अवशेष फॉल्स-एग्जीक्यूशन दर बनाए रखी, जो हार्ड सेफ्टी बाधा को विफल करती है।
निष्कर्ष: मजबूत प्रॉम्प्टिंग तर्क में सुधार करती है लेकिन हार्ड सेफ्टी बाधाओं के लिए एल्गोरिथमिक आइडेंटिफिकेशन चेक का स्थान नहीं ले सकती।

4.3 एब्लेशन स्टडीज (Ablation Studies)

EXPERIMENT ब्रांच: प्रायोगिक डेटा मांगने की क्षमता को हटाने (EXPERIMENT को ABSTAIN में मैप करने) से एडवर्सरियल सेटिंग्स में CIVeX की उपयोगिता "AlwaysAbstain" फ्लोर (+0.99) तक गिर गई, जो दर्शाता है कि यह ब्रांच महत्वपूर्ण है।
ग्राफ मिसस्पेसिफिकेशन (Graph Misspecification): जब देखे गए कन्फाउंडर्स को लेटेंट के रूप में पुन: लेबल किया गया (अनब्लॉक करने योग्य पथों को पेश करते हुए), CIVeX ने सही ढंग से आइडेंटिफिकेशन में विफल होने का संकेत दिया और इंस्टेंस को EXPERIMENT या ABSTAIN में रूट किया, जिससे 0% फॉल्स एग्जीक्यूशन बनाए रखते हुए सही निष्पादन कम हुआ (जैसा कि अपेक्षित था)।

5. महत्व और दावे

पेपर का दावा है कि हस्तक्षेप पहचान योग्यता (intervention identifiability), न कि क्रिया वैधता, विश्वसनीय टूल उपयोग के लिए लापता प्रिमिटिव है।

सुरक्षा गारंटी: CIVeX एक सशर्त सुरक्षा गारंटी प्रदान करता है: यदि प्रतिबद्ध ग्राफ सही है और इंफ्रास्ट्रक्चर समर्थन करता है, तो फॉल्स एग्जीक्यूशन की संभावना $\alpha$ द्वारा सीमित है।
ऑडिटेबिलिटी (Auditability): प्रत्येक निर्णय एक सर्टिफिकेट या कमी को समझाने वाले इनकार के साथ आता है, जो पोस्ट-हॉक ऑडिटिंग को सक्षम बनाता है।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि CIVeX अपने आप में सुरक्षा की गारंटी नहीं देता है; गारंटी एक ग्राफ-कमिटमेंट इंफ्रास्ट्रक्चर (वर्जनिंग, साइनिंग, ड्रिफ्ट मॉनिटरिंग) पर सशर्त है, जो इस पेपर के दायरे से बाहर है लेकिन उत्पादन तैनाती के लिए आवश्यक है।
सीमाएँ: परिणाम सिंथेटिक SCMs (Causal-ToolBench) पर आधारित हैं और वे एसिम्प्टोटिक रिग्रेट बाउंड्स का दावा नहीं करते हैं। फॉल्स-एग्जीक्यूशन दरें बेंचमार्क पर अनुभवजन्य अवलोकन हैं, जो सैद्धांतिक रूप से कॉन्फिडेंस लेवल $\alpha$ द्वारा सीमित हैं।

संक्षेप में, CIVeX "टूल कॉल को मान्य करने" से बदलकर "हस्तक्षेप को मान्य करने" की ओर एक बदलाव का प्रस्ताव करता है, जो उन कार्यों को निष्पादित करने से रोकने के लिए कॉज़ल इन्फरेंस मशीनरी का उपयोग करता है जो अवलोकनात्मक रूप से सफलता के साथ सह-संबंधित हैं लेकिन वास्तव में हानिकारक हैं।