Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures
यह शोध पत्र कॉज़ल एजेंट रिप्ले (CAR) प्रस्तुत करता है, जो एक नवीन ढांचा है जो मौजूदा ऑब्जर्वेबिलिटी टूल्स और अविश्वसनीय LLM-जज ह्यूरिस्टिक्स की सीमाओं को पार करते हुए, LLM-एजेंट विफलताओं को उनके मूल कारणों के सटीक रूप से श्रेय देने के लिए स्ट्रक्चरल कॉज़ल मॉडलिंग और काउंटरफैक्चुअल इंटरवेंशन का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक एआई एजेंट (एक स्मार्ट कंप्यूटर प्रोग्राम) की फिल्म देख रहे हैं जो किसी ग्राहक की मदद करने की कोशिश कर रहा है। अचानक, एजेंट एक बहुत बड़ी गलती कर देता है: वह एक ऐसे ग्राहक को रिफंड दे देता है जो उसका हकदार नहीं था, या अनजाने में निजी डेटा लीक कर देता है।
आपके पास उस घटना की पूरी वीडियो रिकॉर्डिंग है। आप जानते हैं कि क्या हुआ (गलती) और कब हुआ (टाइमस्टैम्प)। लेकिन आप यह नहीं जानते कि क्यों हुआ या किस विशिष्ट क्षण ने इस आपदा को जन्म दिया।
यह वह समस्या है जिसे पेपर "कॉज़ल एजेंट रिप्ले" (CAR) हल करने की कोशिश करता है। यहाँ सरल शब्दों में, रोजमर्रा के उदाहरणों का उपयोग करके इसकी व्याख्या दी गई है।
समस्या: गलत व्यक्ति को दोष देना
जब चीजें गलत होती हैं, तो हमारे दिमाग (और वर्तमान कंप्यूटर टूल्स) सबसे स्पष्ट चीज़ को दोषी मानने लगते हैं।
- गलती: एजेंट ने पैसे सौंप दिए।
- गलत दोष: हम कहते हैं, "वह स्टेप जिसने पैसे सौंपे, वही बुरा है!"
- वास्तविकता: वह स्टेप केवल आदेशों का पालन करने वाला एक रोबोट था। असली गलती दो स्टेप पहले हुई थी, जब एजेंट ने ग्राहक के संदेश में एक चाल (trick) के कारण नियमों को अनदेखा करने का निर्णय लिया था।
वर्तमान टूल्स यह अनुमान लगाने की कोशिश करते हैं कि कारण क्या है, जैसे किसी दूसरे एआई से पूछना, "तुम्हें क्या लगता है किसने गड़बड़ी की?" पेपर कहता है कि यह एक जासूस से केवल अपराध स्थल की फोटो देखकर अपराधी का अनुमान लगाने के लिए कहने जैसा है। यह अविश्वसनीय है; पेपर नोट करता है कि ये टूल्स केवल 14% सटीक हैं।
समाधान: "क्या होगा अगर" सिम्युलेटर
लेखकों ने कॉज़ल एजेंट रिप्ले (CAR) नामक एक टूल बनाया है। अनुमान लगाने के बजाय, CAR एक समय-यात्रा करने वाले निर्देशक (time-traveling director) की तरह काम करता है जो "रिवाइंड" बटन दबा सकता है और एक छोटी सी चीज़ बदलकर देख सकता है कि क्या होता है।
एआई की निर्णय प्रक्रिया को एक "चूज़ योर ओन एडवेंचर" (Choose Your Own Adventure) किताब की तरह समझें।
- सेटअप: एआई एक पन्ना पढ़ता है (स्टेट), एक विकल्प चुनता है (एक्शन), और परिणाम देखता है (ऑब्जर्वेशन)।
- हस्तक्षेप (Intervention): CAR किताब का एक विशिष्ट पन्ना चुनता है। यह कहता है, "ठीक है, मान लेते हैं कि एआई ने यहाँ एक अलग विकल्प चुना, या मान लेते हैं कि उसने पन्ना फिर से पढ़ा और एक नया निर्णय लिया।"
- रिप्ले: इसके बाद टूल कहानी को आगे बढ़ाता है, अलग-अलग अंत देखने के लिए फिल्म को 100 बार चलाता है।
- यदि उस एक पन्ने को बदलने से "बुरा अंत" गायब हो जाता है, तो वही पन्ना कारण था।
- यदि बुरा अंत फिर भी होता है, तो वह पन्ना समस्या नहीं था।
पेचीदा हिस्सा: "बटरफ्लाई इफेक्ट"
एक पेच है। एआई के निर्णय थोड़े जुए की तरह होते हैं; वे रैंडम (stochastic) होते हैं।
यदि आप स्टेप 3 पर रिवाइंड करते हैं और विकल्प बदलते हैं, तो एआई स्टेप 4, स्टेप 5 और स्टेप 6 पर पूरी तरह से अलग विकल्प चुन सकता है क्योंकि "पासे" (dice) अलग तरह से गिरे थे। यह बताना मुश्किल बना देता है कि गलती स्टेप 3 के कारण हुई थी या स्टेप 6 की रैंडम अराजकता के कारण।
समाधान: "पॉइंट ऑफ कमिटमेंट" (Point of Commitment)
लेखकों ने "पॉइंट ऑफ कमिटमेंट" नामक एक चतुर नियम बनाया है।
कल्पना कीजिए कि एक ट्रेन स्टेशन से निकल रही है।
- यदि आप ट्रेन को स्टेशन पर ही रोक देते हैं (स्टेप 1), तो वह कभी निकल ही नहीं पाती।
- यदि आप उसे बीच में रोकते हैं (स्टेप 5), तो वह बाद में दुर्घटनाग्रस्त हो सकती है क्योंकि ट्रैक टूटे हुए थे।
- "पॉइंट ऑफ कमिटमेंट" वह अंतिम क्षण है जहाँ आप ट्रेन को रोक सकते थे और सब कुछ बचा सकते थे। एक बार जब ट्रेन उस बिंदु को पार कर लेती है, तो दुर्घटना अपरिहार्य हो जाती है। CAR इस विशिष्ट क्षण को ढूंढता है ताकि आपको ठीक-ठीक बताया जा सके कि निर्णय कहाँ गलत हुआ।
दोष साझा करना (शैपली वैल्यू - Shapley Value)
कभी-कभी, कोई गलती केवल एक स्टेप के कारण नहीं होती। शायद स्टेप 3 अजीब था, और स्टेप 7 भी अजीब था, लेकिन केवल तभी जब वे दोनों एक साथ हुए, तब आपदा आई।
- यदि आप अकेले स्टेप 3 को दोष देते हैं, तो वह निर्दोष दिखता है।
- यदि आप अकेले स्टेप 7 को दोष देते हैं, तो वह भी निर्दोष दिखता है।
- लेकिन साथ मिलकर, वे दोषी हैं।
इसे हल करने के लिए, CAR शैपली वैल्यू (Shapley Values) नामक एक गणितीय अवधारणा का उपयोग करता है (जिसका नाम नोबेल पुरस्कार विजेता अर्थशास्त्री के नाम पर रखा गया है)। इसे एक रेस्टोरेंट में बिल बांटने की तरह समझें। यदि दो लोगों ने मिलकर एक बड़ा पिज्जा ऑर्डर किया है, तो आप केवल यह नहीं कह सकते कि "व्यक्ति A ने पूरा पिज्जा खाया।" आपको यह गणना करनी होगी कि प्रत्येक व्यक्ति ने कुल लागत में कितना योगदान दिया। CAR दोष को चरणों के बीच निष्पक्ष रूप से बांटने के लिए गणितीय रूप से यही करता है।
क्या यह काम कर गया?
लेखकों ने अपने टूल का परीक्षण नकली, बनाए गए परिदृश्यों पर किया जहाँ वे पहले से ही उत्तर जानते थे (जैसे कि ज्ञात समाधान वाला गणित का सवाल)।
- परिणाम: टूल ने सफलतापूर्वक उस एकल स्टेप की पहचान की जिसने त्रुटि पैदा की।
- परिणाम: टूल ने उन दो स्टेप्स के बीच दोष को सफलतापूर्वक विभाजित किया जो मिलकर विफलता का कारण बने थे।
निचोड़
यह पेपर एक ऐसा टूल पेश करता है जो केवल एआई एजेंटों को विफल होते हुए देखता ही नहीं है; बल्कि यह टेप को रिवाइंड करता है, एक निर्णय बदलता है, और वैज्ञानिक रूप से सिद्ध करने के लिए फिल्म को फिर से चलाता है कि किस स्टेप ने समस्या पैदा की। यह "अनुमान लगाने" से "परीक्षण करने" की ओर बढ़ता है, जिससे डेवलपर्स को यह स्पष्ट उत्तर मिलता है कि उन्हें क्या सुधारना है।
यह टूल ओपन-सोर्स (मुफ्त में उपयोग के लिए उपलब्ध) है और क्लाउड-आधारित और लोकल, दोनों प्रकार के एआई मॉडल्स के साथ काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।