CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery
यह शोधपत्र CauTion को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सर्वसम्मति फ़िल्टरिंग (consensus filtering), विश्वास-अंशांकित मध्यस्थता (trust-calibrated arbitration) और चक्र मरम्मत (cycle repair) के माध्यम से सांख्यिकीय एल्गोरिदम के एक समूह में LLM डोमेन ज्ञान को एकीकृत करके कारण खोज (causal discovery) को बढ़ाता है, जिससे LLM त्रुटियों और टोकन लागतों को कम करते हुए बेहतर सटीकता और सुदृढ़ता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: एक उलझी हुई दुनिया में "क्यों" को खोजना
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि कार क्यों खराब हुई। आपके पास डेटा का एक ढेर है (कार का इतिहास, मौसम, ड्राइवर की आदतें), लेकिन वह डेटा बहुत उलझा हुआ है। कभी डेटा गायब होता है, तो कभी अलग-अलग सुराग अलग-अलग दिशाओं में इशारा करते हैं।
विज्ञान और AI की दुनिया में, इसे Causal Discovery (कारण खोज) कहा जाता है। यह इस बात का पता लगाने की प्रक्रिया है कि क्या चीज़ किस कारण से होती है (जैसे, क्या धूम्रपान से कैंसर होता है, या वे बस एक साथ होते हैं?)।
पारंपरिक रूप से, हम इसे हल करने के लिए Statistical Algorithms (सांख्यिकीय एल्गोरिदम) (गणित-आधारित जासूसों) का उपयोग करते हैं। लेकिन उनमें कुछ कमियां हैं:
- उन्हें निश्चित होने के लिए भारी मात्रा में डेटा की आवश्यकता होती है।
- वे "लोकल ट्रैप्स" (स्थानीय जाल) में फंस सकते हैं और असली जवाब चूक सकते हैं।
- अलग-अलग गणितीय जासूस अक्सर एक-दूसरे से असहमत होते हैं।
हाल ही में, हमने मदद के लिए Large Language Models (LLMs) (जैसे कि वह AI जिससे आप अभी बात कर रहे हैं) का उपयोग करना शुरू किया है। इन AI ने लाखों किताबें पढ़ी हैं और वे जानते हैं कि दुनिया कैसे काम करती है। वे कह सकते हैं, "हे, तर्कसंगत रूप से, धूम्रपान आमतौर पर कैंसर का कारण बनता है।"
दिक्कत: LLMs तर्क करने में माहिर हैं, लेकिन वे "हैलुसिनेट" (मनगढ़ंत बातें बनाना) भी कर सकते हैं या आत्मविश्वास के साथ गलत हो सकते हैं। यदि आप एक LLM पर अंधा विश्वास करते हैं, तो आप वास्तविकता का एक नकली नक्शा बना सकते हैं। यदि आप केवल गणित पर भरोसा करते हैं, तो आप स्पष्ट सत्यों को भी मिस कर सकते हैं।
समाधान: "CauTion" का आगमन
लेखकों ने CauTion नामक एक नया फ्रेमवर्क प्रस्तावित किया है। इसे एक सुपर-पैनल ऑफ एक्सपर्ट्स (विशेषज्ञों के एक सुपर पैनल) के रूप में सोचें जो जानता है कि AI की बात कब सुननी है और उसे कब अनदेखा करना है।
नाम "CauTion" शब्दों का एक खेल है: यह Causal खोज के बारे में है, लेकिन AI का उपयोग करते समय आपको Caution (सावधानी) बरतने की आवश्यकता है।
यहाँ बताया गया है कि CauTion तीन सरल चरणों में कैसे काम करता है:
चरण 1: "ग्रुप हग" (एल्गोरिदम एन्सेम्बल)
कल्पना कीजिए कि आपके पास तीन अलग-अलग गणितीय जासूस हैं (मान लीजिए कि वे PC, GES और CAMML हैं)। केवल एक से पूछने के बजाय, CauTion तीनों से डेटा को देखने और अपने स्वयं के नक्शे बनाने के लिए कहता है।
- जादू: यदि तीनों जासूस एक संबंध (जैसे, "A के कारण B होता है") पर सहमत होते हैं, तो CauTion कहता है, "बहुत बढ़िया! हमें इस बारे में AI से पूछने की ज़रूरत नहीं है। हम गणित के सर्वसम्मति पर भरोसा करते हैं।"
- परिणाम: कई मामलों में, गणितीय जासूस संबंधों के 96% हिस्से पर सहमत होते हैं। इससे बहुत सारा समय और पैसा बचता है क्योंकि आपको उन आसान उत्तरों के लिए महंगे AI से पूछने की आवश्यकता नहीं होती है।
चरण 2: "ट्रस्ट मीटर" (विश्वास-कैलिब्रेटेड मध्यस्थता)
अब, कुछ पेचीदा संबंध होते हैं जहाँ तीनों गणितीय जासूस असहमत होते हैं। यहीं पर AI काम आता है। लेकिन CauTion केवल AI से पूछता है और उसकी बात मान नहीं लेता। यह एक ट्रस्ट चेक (विश्वास जांच) चलाता है।
- कैलिब्रेशन: पेचीदा हिस्सों के बारे में AI से पूछने से पहले, CauTion आसान हिस्सों (जिन पर गणितीय जासूस पहले से ही सहमत हैं) पर AI का परीक्षण करता है।
- प्रश्न: "यदि AI आसान चीजों के बारे में सही है, तो इसकी कितनी संभावना है कि वह कठिन चीजों के बारे में भी सही होगा?"
- फैसला: सिस्टम AI के लिए एक "ट्रस्ट स्कोर" (विश्वास स्कोर) की गणना करता है।
- यदि AI अच्छा काम कर रहा है, तो सिस्टम उसके विचार को भारी वोट (heavy vote) देता है।
- यदि AI खराब प्रदर्शन कर रहा है (या यदि गणितीय जासूस बहुत आश्वस्त हैं), तो सिस्टम AI को हल्का वोट (light vote) देता है या उसे पूरी तरह से अनदेखा कर देता है।
- उपमा: एक जूरी (पंचायत) की कल्पना करें। यदि AI एक ऐसा गवाह है जिसने अतीत में खुद को विश्वसनीय साबित किया है, तो जूरी उसकी बात ध्यान से सुनती है। यदि AI एक ज्ञात झूठा व्यक्ति है, तो जूरी उसकी गवाही पर मुश्किल से नज़र डालती है।
चरण 3: "सेफ्टी नेट" (साइकिल रिपेयर)
कभी-कभी, इतनी सावधानी के बावजूद, AI और गणित अनजाने में एक तार्किक लूप (logical loop) बना सकते हैं (जैसे, A के कारण B होता है, B के कारण C होता है, और C के कारण A होता है)। वास्तविक दुनिया में, समय केवल आगे बढ़ता है, इसलिए लूप असंभव हैं।
- समाधान: CauTion के पास एक अंतिम चरण है जो मानचित्र में ऐसे असंभव लूपों को स्कैन करता है। यदि इसे कोई लूप मिलता है, तो यह लूप को तोड़ने के लिए AI (या गणित) से सबसे कमजोर कड़ी को बदलने या हटाने के लिए कहता है, जिससे यह सुनिश्चित होता है कि अंतिम नक्शा तार्किक रूप से सही हो।
यह मौजूदा तरीकों से बेहतर क्यों है?
पेपर की तुलना छह अलग-अलग डेटासेट्स (छोटे चिकित्सा संबंधी समस्याओं से लेकर बड़े कंप्यूटर नेटवर्क के मुद्दों तक) का उपयोग करके अन्य तरीकों से की गई है।
- यह अधिक स्मार्ट है: अन्य तरीके या तो हर चीज़ के लिए AI से पूछते हैं (पैसा बर्बाद करते हैं और गलतियों का जोखिम उठाते हैं) या AI से कुछ भी नहीं पूछते हैं (मानवीय तर्क को खो देते हैं)। CauTion केवल तभी AI से पूछता है जब वास्तव में इसकी आवश्यकता होती है।
- यह अधिक सटीक है: सबसे बड़े डेटासेट (Win95pts) पर, CauTion ने अगले सबसे अच्छे तरीके की तुलना में बहुत कम गलतियाँ कीं। यह वास्तविकता के "सच्चे" नक्शे को बहुत अधिक सटीकता से पुनर्गठित करने में सक्षम था।
- यह मजबूत (Robust) है: यदि आप AI को किसी दूसरे, थोड़े कमजोर मॉडल से बदल देते हैं, तब भी यह सिस्टम अच्छी तरह से काम करता है। यह तब तक नहीं टूटता जब तक कि AI का बुरा दिन हो, क्योंकि गणितीय जासूस उसका समर्थन करने के लिए वहां मौजूद होते हैं।
निष्कर्ष
CauTion एक ऐसा फ्रेमवर्क है जो Large Language Models को "बॉस" के रूप में नहीं, बल्कि एक विशेषज्ञ सलाहकार (specialized consultant) के रूप में देखता है।
यह आसान समस्याओं को हल करने के लिए गणित विशेषज्ञों की एक टीम का उपयोग करता है। फिर, यह AI सलाहकार का परीक्षण करता है कि वह कितना विश्वसनीय है। अंत में, यह केवल कठिन समस्याओं पर AI की सलाह लेता है जहाँ गणित विशेषज्ञ अटक जाते हैं, और केवल तभी जब AI ने यह साबित कर दिया हो कि उस पर भरोसा किया जा सकता है।
परिणामस्वरूप, एक ऐसा कारणत्मक नक्शा (causal map) मिलता है जो अधिक सटीक है, बनाने में सस्ता है, और भ्रमित AI या पक्षपाती गणितीय एल्गोरिदम के कारण होने वाली त्रुटियों से कम ग्रस्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।