A Multi-Agent Approach for Claim Verification from Tabular Data Documents
यह शोध पत्र MACE को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो टेबुलर डेटा से स्टेट-ऑफ-द-आर्ट और व्याख्या योग्य क्लेम वेरिफिकेशन प्राप्त करने के लिए प्लानर (Planner), एक्जीक्यूटर (Executor) और वेरिफायर (Verifier) एजेंटों के माध्यम से ज़ीरो-शॉट चेन-ऑफ-थॉट रीजनिंग का उपयोग करता है, जो मौजूदा दृष्टिकोणों की तुलना में काफी छोटे मॉडल्स का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। वह "रहस्य" किसी कंपनी या वैज्ञानिक द्वारा किया गया एक बड़ा दावा है, जैसे: "हमने पिछले वर्ष उपयोग किए गए कुल पानी का 55.82% पुनर्चक्रित (recycled) किया!"
"साक्ष्य" (evidence) एक विशाल, बिखला हुआ स्प्रेडशीट (एक तालिका) है जो 50 पन्नों की वित्तीय रिपोर्ट के भीतर छिपा हुआ है। आपका काम यह जांचना है कि क्या दावा सत्य (True) है, असत्य (False) है, या पर्याप्त जानकारी नहीं है (Just isn't enough info)।
इसे अकेले करना कठिन है। यदि आप पूरी रिपोर्ट पढ़ने और अपने दिमाग में गणित करने की कोशिश करते हैं, तो आप थक सकते हैं, कोई नंबर मिस कर सकते हैं, या भ्रमित हो सकते हैं।
यह पेपर AI जासूसों की एक नई टीम पेश करता है जिसे MACE (Multi-Agent Claim vErification) कहा जाता है। एक अकेला सुपर-स्मार्ट जासूस सब कुछ करने के बजाय, MACE पहेली को सुलझाने के लिए तीन विशिष्ट विशेषज्ञों की एक टीम का उपयोग करता है जो एक-दूसरे से बात करते हैं।
यह टीम कैसे काम करती है, इसे एक सरल उपमा (analogy) का उपयोग करके यहाँ समझाया गया है:
MACE टीम: तीन विशिष्ट एजेंट
MACE को एक उच्च-स्तरीय रेस्तरां की रसोई के रूप में सोचें। आपके पास केवल एक शेफ नहीं होता जो सब कुछ करता है; आपके पास विशिष्ट भूमिकाओं वाली एक टीम होती है।
1. द प्लानर (मुख्य शेफ / आर्किटेक्ट)
- भूमिका: प्लानर खाना नहीं बनाता और न ही गणित करता है। इसके बजाय, वे ग्राहक के ऑर्डर (दावे/Claim) और फ्रिज में मौजूद सामग्री (तालिका/Table) को देखते हैं।
- वे क्या करते हैं: वे एक रेसिपी लिखते हैं। वे कहते हैं, "ठीक है, इस दावे को साबित करने के लिए, हमें 'पानी का पुन: उपयोग' (Water Reused) वाली पंक्ति और 'कुल पानी' (Total Water) वाली पंक्ति को खोजना होगा। फिर, हमें 2017 से 2023 तक के हर वर्ष के नंबरों को जोड़ना होगा। अंत में, हमें पुन: उपयोग किए गए पानी को कुल पानी से विभाजित करना होगा।"
- यह कैसे मदद करता है: वे एक विशाल, डरावनी समस्या को छोटे, आसान चरणों में तोड़ देते हैं ताकि कोई भी अभिभूत (overwhelmed) न हो जाए।
2. द एक्सेक्यूटर (लाइन कुक / कैलकुलेटर)
- भूमिका: एक्सेक्यूटर वह है जो वास्तव में काम करता है। वे प्लानर की रेसिपी लेते हैं और उसका चरण-दर-चरण पालन करते हैं।
- वे क्या करते हैं: वे तालिका पर जाते हैं, विशिष्ट नंबर ढूंढते हैं, उन्हें जोड़ते हैं, और विभाजन (division) करते हैं। वे ठीक से लिखते हैं कि उन्होंने क्या किया: "मुझे 1,099,107 लीटर पुन: उपयोग किया गया पानी और 1,968,929 लीटर कुल पानी मिला। जब मैं उन्हें विभाजित करता हूँ, तो मुझे 55.82% प्राप्त होता है।"
- यह कैसे मदद करता है: वे पूरी तरह से निष्पादन (execution) पर ध्यान केंद्रित करते हैं। वे बड़ी तस्वीर की चिंता नहीं करते; वे बस यह सुनिश्चित करते हैं कि गणित सही है।
3. द वेरीफायर (फूड इंस्पेक्टर / क्वालिटी कंट्रोल)
- भूमिका: वेरीफायर एक सख्त बॉस है जो ग्राहक तक जाने से पहले काम की जांच करता है।
- वे क्या करते हैं: वे एक्सेक्यूटर के गणित को पढ़ते हैं और पूछते हैं: "क्या आपने वास्तव में सही नंबरों का उपयोग किया? क्या आपने कोई गलती की? क्या आपका उत्तर वास्तव में दावे से मेल खाता है?"
- जादुई लूप (The Magic Loop): यदि वेरीफायर को कोई गलती दिखती है, तो वे केवल "गलत" नहीं कहते। वे काम को वापस प्लानर या एक्सेक्यूटर के पास भेज देते हैं और कहते हैं, "हे, आपने गलत पंक्ति का उपयोग किया! इसे ठीक करें।" यह त्रुटियों को फिसलने से रोकता है।
यह पुराने तरीके से बेहतर क्यों है?
पुराना तरीका ("सोलो डिटेक्टिव"):
पहले, AI मॉडल एक "सुपर डिटेक्टिव" बनने की कोशिश करते थे। उन्हें तालिका को पढ़ना, संदर्भ को समझना, गणित करना और अपने काम की जांच करना, यह सब एक साथ करना पड़ता था।
- समस्या: यदि मॉडल छोटा है, तो वह भ्रमित हो जाता है और गलतियाँ करता है। यदि मॉडल बहुत बड़ा है (जैसे 235 बिलियन "न्यूरॉन्स" वाला एक विशाल मस्तिष्क), तो यह अच्छा काम करता है लेकिन यह अविश्वत रूप से महंगा, धीमा है और इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता होती है।
MACE का तरीका ("टीम"):
MACE छोटे, सस्ते जासूसों की एक टीम का उपयोग करता है।
- परिणाम: एक छोटे, सस्ते AI मस्तिष्क (जैसे 7-बिलियन या 27-बिलियन पैरामीटर मॉडल) के साथ भी, टीम वाला दृष्टिकोण उन्हें बड़े, महंगे सुपर कंप्यूटरों के लगभग बराबर प्रदर्शन करने में सक्षम बनाता है।
- दक्षता (Efficiency): यह ऐसा है जैसे एक थके हुए जीनियस के अकेले सब कुछ करने के बजाय तीन छोटे, स्मार्ट इंटर्न का मिलकर काम करना अधिक प्रभावी है।
"फीडबैक लूप" (सीक्रेट सॉस)
सबसे शानदार बात यह है कि MACE टीम एक-दूसरे से बात करती है।
- यदि एक्सेक्यूटर को रेसिपी समझने में उलझन होती है, तो वे प्लानर से उसे फिर से लिखने के लिए कहते हैं।
- यदि वेरीफायर को गणित में त्रुटि दिखती है, तो वे इसे ठीक करने के लिए एक्सेक्यूटर को वापस भेज देते हैं।
- यह गलतियों को जमा होने से रोकता है। पुराने "वन-वे" सिस्टम में, यदि पहला चरण गलत था, तो पूरा उत्तर गलत होता था। MACE में, वे आपदा बनने से पहले ही त्रुटि को पकड़ लेते हैं।
निष्कर्ष (The Bottom Line)
यह पेपर दिखाता है कि तालिकाओं में तथ्यों की जांच करने के लिए आपको अरबों डॉलर के सुपरकंप्यूटर की आवश्यकता नहीं है। AI को एक स्पष्ट योजना, एक कार्यकर्ता और एक जांचकर्ता वाली टीम के रूप में व्यवस्थित करके, आप बहुत कम मेमोरी और पैसे का उपयोग करते हुए स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम (सर्वश्रेष्ठ संभव प्रदर्शन) प्राप्त कर सकते हैं।
यह "एक विशाल मस्तिष्क" से "एक स्मार्ट टीम" की ओर एक बदलाव है, जो तथ्य-जांच (fact-checking) को सभी के लिए तेज़, सस्ता और अधिक पारदर्शी बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।