Reasoning by Commented Code for Table Question Answering
यह शोध पत्र एक टिप्पणीयुक्त चरण-दर-चरण कोड-जेनरेशन फ्रेमवर्क प्रस्तावित करता है जो प्राकृतिक भाषा तर्क के साथ निष्पादन योग्य प्रोग्रामों में टेबल क्वेश्चन अनswering को विघटित करता है, जो संख्यात्मक सटीकता और व्याख्यात्मकता को बढ़ाकर WikiTableQuestions बेंचमार्क पर 84.3% की अत्याधुनिक सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Reasoning by Commented Code for Table Question Answering" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
समस्या: "लीनियर" (रैखिक) मस्तिष्क बनाम "ग्रिड" की दुनिया
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान पाठक के रूप में करें जो केवल एक समय में एक शब्द पढ़ता है, बाएँ से दाएँ। यह कहानियों या निबंधों के लिए बहुत अच्छा काम करता है।
हालाँकि, टेबल्स (जैसे स्प्रेडशीट या वित्तीय रिपोर्ट) ग्रिड की तरह होते हैं। उनमें पंक्तियाँ (rows) और कॉलम होते हैं, और डेटा पॉइंट्स के बीच का संबंध द्वि-आयामी (two-dimensional) होता है। यदि आप एक 'किताब पढ़ने वाले' को ग्रिड पढ़ने के लिए मजबूर करते हैं, तो वे अक्सर भ्रमित हो जाते हैं। वे ऊपर की पंक्ति के एक नंबर और नीचे के कॉलम की एक श्रेणी के बीच के संबंध को मिस कर सकते हैं।
मौजूदा तरीके इस समस्या को दो तरह से हल करने की कोशिश करते हैं, लेकिन दोनों में कमियाँ हैं:
- "जादुई अंदाज़ा" (End-to-End): मॉडल बस टेबल को देखता है और उत्तर का अंदाज़ा लगा लेता है। यह तेज़ है, लेकिन गणित में खराब है। यह एक इंसान से बिना कैलकुलेटर के जटिल भाग (division) करने के लिए कहने जैसा है; वे सही विचार तो पकड़ सकते हैं लेकिन नंबरों में गलती कर सकते हैं।
- "एक लाइन का कमांड" (पुराने कोड तरीके): मॉडल समस्या को हल करने के लिए कोड की एक सिंगल लाइन लिखता है। हालाँकि यह कैलकुलेटर का उपयोग करता है (जो गणित के लिए अच्छा है), लेकिन यह एक 'ब्लैक बॉक्स' की तरह है। आप इनपुट और आउटपुट देखते हैं, लेकिन आप यह नहीं देख सकते कि मशीन वहाँ तक कैसे पहुँची। यदि वह कोई गलती करता है, तो आपको पता भी नहीं चलेगा कि क्यों हुई।
समाधान: "कुकबुक" (पाक विधि) दृष्टिकोण
इस पेपर के लेखक AI को सिखाने का एक नया तरीका प्रस्तावित करते हैं: नोट्स के साथ एक रेसिपी लिखें।
केवल उत्तर का अंदाज़ा लगाने या एक रहस्यमयी एक-लाइन वाला कमांड लिखने के बजाय, AI से एक स्टेप-बाय-स्टेप पायथन प्रोग्राम (कंप्यूटर के लिए निर्देशों का एक सेट) लिखने के लिए कहा जाता है जहाँ हर एक स्टेप में यह समझाने के लिए एक कमेंट (टिप्पणी) होती है कि वह क्या कर रहा है।
इसे एक कुकिंग रेसिपी की तरह समझें:
- पुराना तरीका: "सूप बनाएँ।" (आपको नहीं पता कि उन्होंने नमक डाला या चीनी)।
- नया तरीका (कॉमेंटेड कोड):
# योजना: हमें लिस्ट में सबसे पुराना वर्ष ढूँढना है।# फ़िल्टर: पहले, आइए उन सभी पंक्तियों को हटा दें जो "USL A-League" के बारे में नहीं हैं।# एग्रीगेट: अब, शेष वर्षों को देखें और सबसे बड़ी संख्या चुनें।# उत्तर: परिणाम 2004 है।
AI को अपने "कमेंट्स" (तर्क) को "कोड" (क्रिया) के ठीक बगल में लिखने के लिए मजबूर करके, मॉडल को कार्य करने से पहले तार्किक रूप से सोचने के लिए मजबूर किया जाता है। यह एक छात्र को गणित के टेस्ट में अपना काम दिखाने (show their work) के लिए मजबूर करने जैसा है। यदि वे तर्क में गलती करते हैं, तो कमेंट उस गलती को उजागर कर देता है, और कोड का निष्पादन (execution) त्रुटि को पकड़ लेता है।
उन्होंने AI को कैसे प्रशिक्षित किया
शोधकर्ताओं ने केवल AI को यह करने के लिए नहीं कहा; उन्होंने एक विशेष प्रशिक्षण प्रणाली बनाई:
- शिक्षक: उन्होंने हज़ारों टेबल प्रश्नों के लिए इन "कॉमेंटेड रेसिपीज़" को उत्पन्न करने के लिए एक बहुत ही स्मार्ट AI का उपयोग किया।
- सुरक्षा जाल (Safety Net): यदि AI ने ऐसी रेसिपी लिखी जो काम नहीं करती थी (कोड क्रैश हो गया या गलत उत्तर मिला), तो सिस्टम ने उसे केवल फेंका नहीं। इसने AI को गलती दिखाई और इसे फिर से प्रयास करने, विफल हुए विशिष्ट स्टेप को ठीक करने के लिए कहा।
- "उत्तर चयनकर्ता" (Answer Selector): उन्होंने महसूस किया कि कभी-कभी "रेसिपी" तरीका गणित में तो बहुत अच्छा है लेकिन कठिन भाषा को समझने में खराब है, जबकि "जादुई अंदाज़ा" लगाने वाला तरीका भाषा में अच्छा है लेकिन गणित में खराब है। इसलिए, उन्होंने एक छोटा "रेफरी" AI बनाया। जब कोई प्रश्न आता है, तो रेफरी "रेसिपी" तरीके से प्राप्त उत्तर और "जादुली अंदाज़ा" पद्धति से प्राप्त उत्तर को देखता है, और उस उत्तर को चुनता है जो उसे सही लगता है।
परिणाम
उन्होंने इसका परीक्षण WikiTableQuestions पर किया, जो एक लोकप्रिय बेंचमार्क है जहाँ AI को वास्तविक दुनिया के टेबल्स (जैसे स्पोर्ट्स स्टैट्स या वित्तीय लॉग) के आधार पर उत्तर देना होता है।
- सोलो प्रदर्शन: उनके "कॉमेंटेड कोड" तरीके ने, एक अपेक्षाकृत छोटे AI मॉडल का उपयोग करते हुए, 70.9% सटीकता हासिल की। इसने पिछले सर्वश्रेष्ठ "कोड-ओनली" तरीके (जिसने 67.6% प्राप्त किया था) को पीछे छोड़ दिया।
- टीम प्रदर्शन: जब उन्होंने अपने "रेफरी" सेलेक्टर का उपयोग करके अपने तरीके को सबसे अच्छे "जादुई अंदाज़ा" मॉडल (Table-R1) के साथ जोड़ा, तो सटीकता बढ़कर 84.3% हो गई।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का दावा है कि यह दृष्टिकोण "सोचने" और "करने" के बीच के अंतर को पाटता है।
- विश्वसनीयता: क्योंकि गणित एक कंप्यूटर इंजन (Pandas) द्वारा किया जाता है न कि AI द्वारा अंदाज़ा लगाने से, इसलिए नंबर सटीक होते हैं।
- पारदर्शिता: कमेंट्स के कारण, इंसान कोड को पढ़ सकते हैं और समझ सकते हैं कि AI ने वह उत्तर क्यों चुना।
- मजबूती (Robustness): यह पिछले तरीकों की तुलना में गंदे डेटा (जैसे "1,234" के रूप में लिखे गए नंबर या अजीब फॉर्मेट में तारीखें) को बहुत बेहतर तरीके से संभालता है क्योंकि कोड स्पष्ट रूप से कंप्यूटर को बताता है कि गणना करने से पहले उस डेटा को कैसे साफ़ करना है।
संक्षेप में, पेपर दिखाता है कि यदि आप AI को टेबल पर गणित की समस्या हल करने से पहले व्याख्या के साथ एक स्टेप-बाय-स्टेप योजना लिखने के लिए मजबूर करते हैं, तो वह बहुत अधिक स्मार्ट, अधिक सटीक और अधिक भरोसेमंद हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।