CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification
यह शोध पत्र CRAFT को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो एकल-दिशात्मक अनुमान की सीमाओं को दूर करने और जटिल डेटासेट पर बेहतर प्रदर्शन प्राप्त करने के लिए द्विदिश प्रतितथ्यात्मक तर्क प्रक्रिया (bidirectional counterfactual reasoning process) को नियोजित करके बड़े भाषा मॉडलों में तालिका तर्क (table reasoning) और तथ्य सत्यापन (fact verification) को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो खेल, पैसा या इतिहास के तथ्यों से भरी एक विशाल, अव्यवस्थित स्प्रेडशीट का उपयोग करके एक रहस्य सुलझाने की कोशिश कर रहे हैं। यह वह काम है जिसे करने में कंप्यूटर (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) संघर्ष करते हैं जब उनसे इन तालिकाओं के आधार पर प्रश्न पूछे जाते हैं। आमतौर पर, वे एक ऐसे जासूस की तरह व्यवहार करते हैं जो केवल एक कोण से सबूत देखता है। वे प्रश्न पढ़ते हैं, एक उत्तर का अनुमान लगाते हैं, और वहीं रुक जाते हैं। यदि वे अपने पहले अनुमान में गलती करते हैं, तो वे उसी पर टिके रहते हैं, भले ही सबूत पूरी तरह से मेल न खा रहे हों।
यह शोध पत्र CRAFT (काउंटरफैक्चुअल रीजनिंग फ्रेमवर्क) नामक एक नई प्रणाली पेश करता है। CRAFT को एक अकेले जासूस के रूप में नहीं, बल्कि एक टीम के रूप में सोचें जहाँ जासूस एक-दूसरे के सिद्धांतों को चुनौती देने के लिए मिलकर काम करते हैं।
यहाँ बताया गया है कि CRAFT कैसे काम करता है, जिसे जासूसी उपमा (analogy) का उपयोग करके सरल चरणों में विभाजित किया गया है:
1. सेटअप: एक प्रश्न को दावे में बदलना
समस्या: कंप्यूटर को एक प्रश्न दिया जाता है जैसे, "किस देश ने चीन से अधिक कांस्य पदक जीते?"
CRAFT का कदम (द राइटर - The Rewriter): केवल अनुमान लगाने के बजाय, सिस्टम पहले उस प्रश्न को एक विशिष्ट कथन में बदल देता है, जैसे कि एक परिकल्पना (hypothesis)। यह कहता है, "ठीक है, मान लेते हैं कि उत्तर जापान है।" अब, एक अस्पष्ट प्रश्न के बजाय, हमारे पास परीक्षण करने के लिए एक ठोस दावा है।
2. ट्विस्ट: "क्या होगा अगर?" वाला परिदृश्य
समस्या: यदि कंप्यूटर केवल यह जाँचता है कि क्या जापान सही उत्तर है, तो वह इस तथ्य को मिस कर सकता है कि दक्षिण कोरिया ने भी अधिक पदक जीते थे।
CRAFT का कदम (द रिवर्सर - The Reverser): यही जादुई कदम है। सिस्टम एक "काउंटरफैक्चुअल" (Counterfactual) बनाता है—एक "क्या होगा अगर?" वाला परिदृश्य। यह मूल दावे को लेता है और उसे पलट देता है या बदल देता है ताकि सोचने का एक अलग रास्ता बनाया जा सके।
- मूल पथ: "जापान ने चीन से अधिक पदक जीते।"
- काउंटरफैक्चुअल पथ: "क्या होगा अगर जापान ने अधिक पदक नहीं जीते? या क्या होगा अगर हम इस कथन को देखें: 'जापान और दक्षिण कोरिया दोनों ने अधिक पदक जीते'?"
इसे एक वकील की तरह समझें जो जूरी के सामने दो अलग-अलग सिद्धांत प्रस्तुत कर रहा है:
- सिद्धांत A: संदिग्ध दोषी है।
- सिद्धांत B: क्या होगा अगर संदिग्ध निर्दोष है, या क्या होगा अगर किसी और व्यक्ति ने यह किया हो?
कंप्यूटर को "क्या होगा अगर" वाले पथ की खोज करने के लिए मजबूर करके, इसे उस सबूत को खोजने के लिए मजबूर किया जाता है जिसे यह पहले पथ में अनदेखा कर सकता था।
3. सबूत जुटाना (द एक्सट्रैक्टर - The Extractor)
अब, सिस्टम दोनों सिद्धांतों को वापस तालिका (table) पर भेजता है। यह दोनों पक्षों के लिए प्रमाण खोजने के लिए पंक्तियों और स्तंभों की खुदाई करता है।
- इसे प्रमाण मिलता है कि जापान के पास 77 पदक हैं।
- इसे प्रमाण मिलता है कि दक्षिण कोरिया के पास 65 पदक हैं।
- इसे एहसास होता है कि "केवल जापान" वाला सिद्धांत अधूरा था क्योंकि "क्या होगा अगर" वाले पथ ने खुलासा किया कि दक्षिण कोरिया भी एक वैध उत्तर था।
4. अंतिम निर्णय (द रीथिंकर - The Rethinker)
अंत में, एक "जज" (रीथिंकर मॉड्यूल) दोनों पथों से मिले सबूतों को देखता है।
- यदि दोनों पथ सहमत हैं, तो उत्तर आसान है।
- यदि वे असहमत हैं, तो जज सबूतों को तौलता है। वह पूछता है, "किस पथ के पास अधिक मजबूत प्रमाण था?" या "क्या हम इन निष्कर्षों को मिला सकते हैं?"
हमारे उदाहरण में, जज देखता है कि "क्या होगा अगर" वाले पथ ने दक्षिण कोरिया को उजागर किया, इसलिए अंतिम उत्तर बन जाता है: "जापान और दक्षिण कोरिया।"
यह बेहतर क्यों है?
शोध पत्र का दावा है कि पिछले तरीके एक सीधी रेखा में चलने वाले व्यक्ति की तरह थे; यदि वे दीवार से टकराते हैं, तो वे बस उसमें चलते रहते हैं। CRAFT कंप्यूटर को एक साथ दो दिशाओं में चलने के लिए मजबूर करता है।
- यह अधिक गलतियों को पकड़ता है: विपरीत या वैकल्पिक दृष्टिकोण की जाँच करके, सिस्टम महत्वपूर्ण विवरणों को मिस करने की संभावना कम रखता है।
- यह किसी भी कंप्यूटर मस्तिष्क पर काम करता है: शोधकर्ताओं ने इस परीक्षण को विभिन्न प्रकार के AI मॉडल (कुछ स्मार्ट, कुछ कम स्मार्ट) पर किया और पाया कि CRAFT ने उन सभी को बेहतर बनाने में मदद की, जिससे अक्सर "स्मार्ट" और "कम स्मार्ट" मॉडलों के बीच का अंतर कम हो गया।
- यह केवल अधिक अनुमान लगाना नहीं है: लेखकों ने सिद्ध किया कि केवल कंप्यूटर को 10 बार उत्तर का अनुमान लगाने और सबसे आम उत्तर को चुनने के लिए कहना उतना प्रभावी नहीं है जितना कि CRAFT का दो अलग-अलग, तार्किक कोणों से समस्या को देखने का तरीका।
निचोड़ (The Bottom Line)
CRAFT एक ऐसा ढांचा है जो AI को खुद के साथ ही 'डेविल्स एडवोकेट' (विपरीत तर्क देने वाला) बनने की शिक्षा देता है। अपने पहले विचार को केवल स्वीकार करने के बजाय, यह उस विचार का एक "क्या होगा अगर" संस्करण बनाता है, दोनों के लिए तथ्यों की जाँच करता है, और फिर सबसे अच्छे साक्ष्यों को मिलाकर एक अधिक सटीक, पूर्ण उत्तर देता है। यह AI को जटिल तालिकाओं को पढ़ने और प्रश्नों का सही उत्तर देने में बहुत बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।