CausalFlow: Causal Attribution and Counterfactual Repair for LLM Agent Failures
CausalFlow एक इंटरवेंशनल फ्रेमवर्क है जो निष्पादन ट्रेसेस (execution traces) को मॉडल करके कारण संबंधी विफलता बिंदुओं (causal failure points) की पहचान करने और तत्काल टेस्ट-टाइम रिकवरी एवं ऑफलाइन ट्रेनिंग सुपरविजन दोनों के लिए न्यूनतम काउंटरफैक्चुअल रिपेयर्स (counterfactual repairs) उत्पन्न करने के माध्यम से LLM एजेंट विफलताओं को विश्वसनीय लर्निंग सिग्नल्स में परिवर्तित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अनाड़ी रोबोट को एक जटिल पहेली सुलझाते हुए देख रहे हैं। यह रोबोट, जो एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है, आपको केवल अंतिम उत्तर नहीं देता; बल्कि वह वहां तक पहुँचने के लिए कई कदम उठाता है, जैसे कि सुराग इकट्ठा करना, प्रश्न पूछना और रास्ते में गणित करना।
कभी-कभी, रोबोट विफल हो जाता है। अतीत में, जब कोई रोबोट विफल होता था, तो इंसान बस कहते थे, "यह गलत है, फिर से कोशिश करो," या "यहाँ सही उत्तर है।" लेकिन यह पेपर एक नई विधि पेश करता है जिसे CausalFlow कहा जाता है, जो रोबोट की गलतियों के लिए एक हाई-टेक जासूस की तरह काम करता है।
CausalFlow कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: विफलता का "ब्लैक बॉक्स" (The "Black Box" of Failure)
जब एक रोबोट किसी बहु-चरणीय कार्य (जैसे गणित की समस्या हल करना या कोड लिखना) में विफल होता है, तो हमें आमतौर पर केवल अंतिम गलत उत्तर दिखाई देता है। हमें यह नहीं पता होता कि किस विशिष्ट चरण ने आपदा मचाई।
- पुराना तरीका: यदि रोबट उत्तर गलत देता है, तो पिछली विधियाँ अक्सर रोबोट को अपनी पूरी कहानी फिर से लिखने के लिए कहती थीं। यह ऐसा है जैसे आपने 10 पन्नों का निबंध लिखा और एक अल्पविराम (comma) गलत होने पर आपके शिक्षक ने कहा कि आप पूरा का पूरा फेंक दें और इसे फिर से लिखें। यह संसाधनों की बर्बादी है और यह रोबोट को यह नहीं सिखाता कि वह क्यों विफल हुआ।
2. समाधान: "क्या होगा अगर?" वाला जासूस (The "What If?" Detective)
CausalFlow रोबोट के असफल प्रयास को डोमिनोज़ की एक श्रृंखला की तरह मानता है। यह रोबोट द्वारा उठाए गए हर एक चरण के लिए एक विशिष्ट प्रश्न पूछता है: "क्या होगा अगर हम केवल इस एक चरण को बदल दें? क्या अंतिम परिणाम सही होगा?"
इसे काउंटरफैक्चुअल इंटरवेंशन (Counterfactual Intervention) कहा जाता है।
- उपमा: कल्पना कीजिए कि एक शेफ ने खराब सूप बनाया। पूरे बर्तन को फेंकने और फिर से शुरू करने के बजाय, CausalFlow जासूस सूप को चखता है, और फिर कहता है, "क्या होगा अगर हमने चरण 3 पर नमक नहीं डाला होता?" वह अपने मन में उस बदलाव का अनुकरण (simulate) करता है। यदि बिना उस नमक के सूप स्वादिष्ट होता, तो उसे पता चल जाता कि गलती ठीक कहाँ हुई थी।
3. "कॉज़ल रिस्पॉन्सिबिलिटी स्कोर" (The "Causal Responsibility Score" - CRS)
यह सिस्टम हर चरण को एक स्कोर देता है।
- यदि किसी चरण को बदलने से अंतिम उत्तर ठीक हो जाता है, तो उसे उच्च स्कोर (high score) मिलता है। वह "दोषी" है।
- यदि चरण को बदलने से उत्तर ठीक नहीं होता, तो सिस्टम जानता है कि वह चरण समस्या नहीं था, भले ही वह संदिग्ध लग रहा हो।
4. "न्यूनतम मरम्मत" (The "Minimal Repair")
एक बार दोषी मिल जाने के बाद, CausalFlow पूरी कहानी को फिर से नहीं लिखता। यह केवल उस एक चरण को ठीक करने के लिए सबसे छोटा संभव संपादन (edit) करता है।
- उपमा: यदि रोबोट ने चरण 4 में गणित की गलती की, तो CausalFlow केवल चरण 4 को ठीक करता है। यह चरणों 1, 2, 3 और 5 को बिल्कुल वैसा ही छोड़ देता है जैसा वे थे। इसे "न्यूनतम मरम्मत" (minimal repair) कहा जाता है।
- यह एक आदर्श सीखने का जोड़ा बनाता है: (गलत चरण) बनाम (सुधारा गया चरण)। यह रोबोट को भविष्य में बेहतर बनने के लिए प्रशिक्षित करने हेतु अत्यंत मूल्यवान है।
5. यह क्यों महत्वपूर्ण है (परिणाम)
शोधकर्ताओं ने चार अलग-अलग प्रकार के कार्यों पर इसका परीक्षण किया:
- गणित की समस्याएं (जैसे प्राथमिक स्कूल की शब्द समस्याएं)।
- कोडिंग (कंप्यूटर प्रोग्राम लिखना)।
- प्रश्न उत्तर (उत्तर खोजने के लिए वेब खोजना)।
- मेडिकल ब्राउजिंग (ऑनलाइन चिकित्सा जानकारी ढूँढना)।
उन्होंने क्या पाया:
- सटीकता (Precision): CausalFlow ने सभी विफल प्रयासों में से लगभग 43% में सटीक गलती ढूँढ ली।
- दक्षता (Efficiency): इसने पूरी कहानी को फिर से लिखने के बजाय छोटे, लक्षित बदलाव करके इन विफलताओं को ठीक किया।
- सफलता दर (Success Rate): मेडिकल ब्राउजिंग और जटिल खोज प्रश्नों जैसे कठिन कार्यों में, अन्य विधियाँ (जो पूरा उत्तर फिर से लिखती हैं) वास्तव में चीजों को खराब कर देती हैं या मदद नहीं करती हैं। CausalFlow, केवल टूटी हुई कड़ी को ठीक करके, सफलता दर में उल्लेखनीय सुधार करता है (उदाहरण के लिए, मेडिकल ब्राउजिंग में 30% से 61% तक उछलना)।
6. "डबल-चेक" टीम
यह सुनिश्चित करने के लिए कि रोबोट केवल अनुमान नहीं लगा रहा है, CausalFlow तीन "AI जजों" की एक टीम का उपयोग करता है।
- एक सुझाव देता है।
- दूसरा सुझाव की आलोचना करता है।
- तीसरा पूरी बहस की समीक्षा करता है।
वे सुधार को तभी स्वीकार करते हैं जब वे सभी सहमत होते हैं कि यह वास्तव में काम करता है।
सारांश
CausalFlow एक ऐसा सिस्टम है जो AI की विफलताओं को कुल आपदा के रूप में देखना बंद कर देता है। "आप विफल हो गए, फिर से शुरू करें" कहने के बजाय, यह एक सर्जन की तरह काम करता है: यह सटीक छोटी गलती को ढूंढता है, उसे हटाता है, और बाकी के काम को पूरी तरह से वापस जोड़ देता है। यह न केवल तत्काल समस्या को ठीक करता है बल्कि AI के सीखने के लिए एक स्पष्ट सबक भी बनाता है, जिससे यह अधिक विश्वसनीय और भविष्य में अधिक भरोसेमंद बनता है।
महत्वपूर्ण नोट: यह पेपर पूरी तरह से AI के तर्क और सोचने के चरणों को ठीक करने पर केंद्रित है। यह दावा नहीं करता है कि यह एक वास्तविक डॉक्टर, वकील या वास्तविक नैदानिक निदान (clinical diagnosis) के लिए उपकरण है। यह केवल इन AI एजेंटों के सोचने और समस्याओं को हल करने के तरीके को डीबग करने और सुधारने की एक विधि है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।