TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering
यह शोधपत्र TopBench प्रस्तुत करता है, जो सारणीबद्ध डेटा (tabular data) पर निहित भविष्यवाणात्मक तर्क (implicit predictive reasoning) पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल इरादे की पहचान (intent recognition) में संघर्ष करते हैं और अक्सर ऐतिहासिक पैटर्न से अप्रत्यक्ष उत्तरों का अनुमान लगाने के बजाय सरल लुकअप (lookups) पर ही निर्भर रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, पुराना-नया लेजर (बहीखाता) है जो लोगों के स्वास्थ्य बीमा बिलों के रिकॉर्ड से भरा हुआ है। ज्यादातर समय, यदि आप कंप्यूटर से पूछते हैं, "37 वर्षीय पुरुष धूम्रपान करने वाले ने कितना भुगतान किया?" तो वह बस किताब में उस सटीक नाम को ढूँढता है और संख्या पढ़ लेता है। यह काम करने का पुराना तरीका है।
लेकिन क्या होगा अगर आप पूछें, "मेरा बेटा 18 साल का है, दक्षिण-पूर्व में रहता है, धूम्रपान नहीं करता है, और उसका BMI 30.14 है। उसका बिल क्या होगा?" कंप्यूटर उसे ढूँढ नहीं सकता; वह अभी किताब में नहीं है। कंप्यूटर को दूसरों के इतिहास में दिखने वाले पैटर्न के आधार पर उत्तर का अनुमान लगाना होगा। उसे एक लाइब्रेरियन की तरह नहीं, बल्कि एक जासूस की तरह काम करना होगा।
यह पेपर TOPBENCH नामक एक नया परीक्षण पेश करता है यह देखने के लिए कि क्या आधुनिक AI कंप्यूटर अच्छे जासूस बनने में सक्षम हैं या वे केवल दिखावा कर रहे हैं।
समस्या: "लाइब्रेरियन" बनाम "जासूस"
लेखकों ने पाया कि अधिकांश AI मॉडल लाइब्रेरियन की तरह काम करने में फंसे हुए हैं। जब वे किसी ऐसे व्यक्ति के बारे में सवाल देखते हैं जो डेटा में मौजूद नहीं है, तो वे घबरा जाते हैं। एक भविष्यवाणी बनाने के बजाय, वे किताब में सबसे करीबी मिलान खोजने की कोशिश करते हैं और बस उस संख्या को कॉपी कर लेते हैं, या वे एक ऐसी संख्या बना लेते हैं जो सुनने में अच्छी लगती है लेकिन गणित पर आधारित नहीं होती। वे यह समझने में विफल रहते हैं कि प्रश्न एक भविचारित (prediction) करने के लिए कह रहा है, न कि केवल खोजने (lookup) के लिए।
समाधान: TOPBENCH (जासूसी परीक्षा)
इसे ठीक करने के लिए, शोधकर्ताओं ने TOPBENCH नामक एक नई परीक्षा बनाई है। यह AI जासूसों के लिए एक प्रशिक्षण मैदान की तरह है। उन्होंने वास्तविक दुनिया के डेटा (स्वास्थ्य, वित्त और दैनिक जीवन) पर आधारित 779 पेचीदा प्रश्न बनाए हैं जिनमें AI को चार विशिष्ट प्रकार के "जासूसी कार्य" करने की आवश्यकता होती है:
- सिंगल-पॉइंट प्रेडिक्शन (एकल-बिंदु भविष्यवाणी): "यहाँ एक नए व्यक्ति का प्रोफाइल है। उसका बिल क्या होगा?" (जैसे कि पड़ोस के रुझानों के आधार पर उस घर की कीमत का अनुमान लगाना जिसे आपने पहले कभी नहीं देखा है)।
- निर्णय लेना (Decision Making): "इन तीन लोगों में से कौन सबसे अधिक भुगतान करेगा?" (विजेता चुनने के लिए भविष्यों की तुलना करना)।
- उपचार प्रभाव (Treatment Effect): "यदि यह व्यक्ति दूसरे शहर में चला जाता है और वजन कम करता है, तो क्या उसका बिल बढ़ेगा या घटेगा?" (एक बदलाव के परिणाम की भविष्यवाणी करना)।
- रैंकिंग और फ़िल्टरिंग: "उन शीर्ष 10 लोगों को खोजें जो सबसे अधिक भुगतान करेंगे।" (एक बड़ी भीड़ में से सर्वश्रेष्ठ उम्मीदवारों को छाँटना)।
परिणाम: AI अभी भी एक नौसिखिया है
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडलों (जैसे GPT-5, Claude, और Gemini) को इस परीक्षा से गुजारा। यहाँ क्या हुआ:
- वे "सर्च ट्रैप" (खोज के जाल) में फंस जाते हैं: भविष्यवाणी करने के लिए पूछे जाने पर, AI अक्सर डेटाबेस में सटीक मिलान खोजने की कोशिश करता है। यदि उसे कोई मिलान नहीं मिलता, तो वह भ्रमित हो जाता है। यह एक GPS की तरह है जो उस सड़क को खोजने की कोशिश कर रहा है जो अभी तक अस्तित्व में ही नहीं है, बजाय इसके कि वह मानचित्र के आधार पर रास्ता निकाल सके।
- "सोचने वाले" (Thinking) मॉडल ज्यादा मदद नहीं कर पाए: कुछ मॉडलों में एक विशेष "सोचने वाला" मोड होता है जहाँ वे समस्याओं को हल करने के लिए खुद से बात करते हैं। आश्चर्यजनक रूप से, इस विशिष्ट कार्य के लिए इसने उन्हें और भी खराब बना दिया। वे एक लूप में फंस जाते थे, डेटा की पंक्ति दर पंक्ति जाँचते रहते थे, एक आदर्श मिलान खोजने की कोशिश करते थे जो मौजूद ही नहीं था, जब तक कि उनकी मेमोरी खत्म नहीं हो जाती।
- टूल्स (उपकरण) मदद करते हैं, लेकिन केवल सही उपयोग होने पर: जब AI को कोड लिखने और चलाने (जैसे कैलकुलेटर) की अनुमति दी गई, तो इसने बेहतर प्रदर्शन किया। हालाँकि, कई मॉडलों ने एक उचित भविष्यवाणी मॉडल बनाने के बजाय सरल गणित का उपयोग किया। उन्होंने एक जटिल पहेली को पेचकस के बजाय हथौड़े से सुलझाने की कोशिश की।
- विशेषज्ञ बनाम सामान्यज्ञ: तालिकाओं (tables) पर विशेष रूप से प्रशिक्षित मॉडल (जैसे "TableLLM") वास्तव में सामान्य स्मार्ट मॉडलों की तुलना में बदतर प्रदर्शन करते हैं। ऐसा लगता है कि तालिकाओं को पढ़ने में विशेषज्ञ होने से उन्हें भविष्य की भविष्यवाणी करना सीखने में मदद नहीं मिली।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI उन तथ्यों को खोजने में महान है जो पहले से ही लिखे हुए हैं, यह डेटा के आधार पर भविष्य की कल्पना करने में अभी भी बहुत खराब है।
बेहतर होने के लिए, AI को दो चीजों की आवश्यकता है:
- इरादे (Intent) को समझना: इसे यह महसूस करने की आवश्यकता है, "ओह, यह व्यक्ति किताब में नहीं है; मुझे एक उत्तर गणना (calculate) करने की आवश्यकता है, न कि उसे खोजना (find) है।"
- बेहतर गणित कौशल: एक बार जब इसे गणना करने की आवश्यकता का एहसास हो जाता है, तो इसे परिष्कृत उपकरणों (जैसे एक वास्तविक सांख्यिकीय मॉडल बनाना) का उपयोग करने की आवश्यकता होती है, न कि केवल अनुमान लगाने या सरल गणित करने की।
वर्तमान में, AI उस छात्र की तरह है जो पाठ्यपुस्तक को रटने में तो बहुत अच्छा है लेकिन अंतिम परीक्षा में फेल हो जाता है क्योंकि वह नए प्रश्न पर नियमों को लागू नहीं कर पाता। TOPBENCH वह नई परीक्षा है जिसे उन्हें केवल याद रखने के लिए नहीं, बल्कि सोचने के लिए सिखाने के लिए डिज़ाइन किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।