SciTaRC: Benchmarking QA on Scientific Tabular Data that Requires Language Reasoning and Complex Computation
यह शोध पत्र SciTaRC को प्रस्तुत करता है, जो एक विशेषज्ञ-लिखित बेंचमार्क है जो यह प्रदर्शित करता है कि वर्तमान अत्याधुनिक एआई मॉडल उन वैज्ञानिक सारणीबद्ध प्रश्नों के साथ संघर्ष करते हैं जिनमें गहन भाषाई तर्क और जटिल गणना दोनों की आवश्यकता होती है, जिसका कारण एक सार्वभौमिक "एग्जीक्यूशन बॉटलनेक" (निष्पादन बाधा) है जहाँ मॉडल सही रणनीतियों के होने के बावजूद योजनाओं को निष्ठापूर्वक निष्पादित करने में विफल रहते हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आप किसी अपराध स्थल को नहीं, बल्कि एक वैज्ञानिक शोध पत्र (research paper) के विशाल, बिखरे हुए स्प्रेडशीट को देख रहे हैं। वह स्प्रेडशीट नंबरों, अजीब प्रतीकों और छिपे हुए सुरागों से भरी हुई है। आपका काम एक कठिन सवाल का जवाब देना है जैसे, "AI मॉडल किस भाषा के साथ सबसे अधिक संघर्ष कर रहा था, और क्यों?"
यह बिल्कुल वही है जो SciTaRC पेपर के बारे में है। यह विशेषज्ञों द्वारा बनाया गया एक नया "परीक्षा" है जो यह परीक्षण करता है कि वैज्ञानिक स्प्रेडशीट को पढ़ने और उन समस्याओं को हल करने के लिए गणित करने में आर्टिफिशियल इंटेलिजेंस (AI) कितना अच्छा है।
यहाँ उस कहानी का विवरण है जो उन्होंने पाया, जिसे सरल शब्दों में समझाया गया है:
1. "सुपर-ब्रेन" बनाम "बिखरी हुई स्प्रेडशीट"
लंबे समय तक, हमें लगा कि AI स्मार्ट और स्मार्ट होता जा रहा है। हमने कल्पना की कि यह एक सुपर-ब्रेन है जो कुछ भी पढ़ सकता है और किसी भी पहेली को हल कर सकता है। लेकिन इस पेपर के लेखकों ने इन AI "सुपर-ब्रेन" को एक बहुत ही विशिष्ट परीक्षण पर रखने का निर्णय लिया: वैज्ञानिक तालिकाएँ (Scientific Tables)।
एक वैज्ञानिक तालिका को एक व्यवस्थित एक्सेल शीट के रूप में नहीं, बल्कि एक जिग्सॉ पहेली (jigsaw puzzle) के रूप में सोचें जहाँ कुछ टुकड़े गायब हैं, कुछ उल्टे हैं, और डिब्बे पर बनी तस्वीर किसी अलग भाषा में है। इस पहेली को हल करने के लिए, AI को यह करना होगा:
- बिखरे हुए टेक्स्ट को पढ़ना।
- सही नंबरों को ढूँढना।
- जटिल गणित करना (जैसे औसत निकालना या सबसे कम स्कोर ढूँढना)।
- इसे जवाब देने के लिए एक साथ जोड़ना।
2. बड़ा आश्चर्य: द "एग्जीक्यूशन बॉटलनेक" (Execution Bottleneck)
शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडल्स का परीक्षण किया (प्रसिद्ध Llama-3 और GPT-5 सहित)। उन्हें उम्मीद थी कि बड़े, शक्तिशाली मॉडल्स इस टेस्ट में सबको पछाड़ देंगे।
परिणाम क्या रहा? वे असफल रहे।
यहाँ तक कि सबसे स्मार्ट मॉडल्स भी लगभग 23% से 65% सवाल गलत कर गए।
क्यों? पेपर ने एक समस्या खोजी जिसे वे "एग्जीक्यूशन बॉटलनेक" कहते हैं।
उपमा (Analogy):
कल्पना कीजिए कि आपने एक घर बनाने के लिए एक शानदार आर्किटेक्ट (AI) को काम पर रखा है।
- योजना (Planning): आर्किटेक्ट एक आदर्श ब्लूप्रिंट बनाता है। उसे पता है कि कौन सी ईंट कहाँ जाएगी। (AI योजना को समझता है)।
- निर्माण (Building): फिर आर्किटेक्ट ईंटें बिछाने की कोशिश करता है। लेकिन क्योंकि निर्माण स्थल अव्यवस्थित है और निर्देश पेचीदा हैं, वे ईंटें गिरा देते हैं, सीमेंट मिला देते हैं, या खिड़की लगाना भूल जाते हैं। (AI योजना को लागू करने/काम करने में विफल रहता है)।
पेपर ने पाया कि AI की योजनाएँ अक्सर अच्छी होती हैं, लेकिन वास्तव में काम करने की उनकी क्षमता बहुत खराब है। वे चरणों का निष्ठापूर्वक पालन करने की कोशिश में फंस जाते हैं।
3. "कोड" बनाम "अंग्रेजी" की बहस
AI की दुनिया में एक बड़ी बहस थी: "क्या AI को कंप्यूटर कोड (जैसे Python) लिखकर गणित की समस्याओं को हल करना चाहिए या केवल अंग्रेजी में बात करके?"
- सिद्धांत (Theory): कोड लिखना बेहतर होना चाहिए क्योंकि कंप्यूटर गणित में अच्छे होते हैं।
- वास्तविकता (Reality): इस परीक्षण में, कोड लिखने से चीजें और खराब हो गईं।
उपमा (Analogy):
सोचिए कि वैज्ञानिक तालिकाएँ एक विदेशी भाषा की तरह हैं जो स्लैंग और गलतियों से भरी हुई है।
- बात करना (Natural Language): AI समस्या के माध्यम से "चैट" करने की कोशिश करता है। यह लचीला है और अनुमान लगा सकता है कि उस बिखरे हुए टेबल का क्या मतलब है।
- कोडिंग (Program of Thought): AI उस समस्या को हल करने के लिए सख्त, कठोर कंप्यूटर कोड लिखने की कोशिश करता है। लेकिन क्योंकि टेबल इतना बिखरा हुआ है, कोड तुरंत टूट जाता है। यह एक शोर-शराबे वाली पार्टी में बातचीत के लिए एक सख्त कानूनी अनुबंध लिखने जैसा है—अनुबंध विफल हो जाता है क्योंकि वातावरण बहुत अराजक है।
पेपर ने पाया कि इन बिखरी हुई वैज्ञानिक तालिकाओं के लिए, कोड लिखने के बजाय अंग्रेजी में बात करना वास्तव में बेहतर काम करता था।
4. वे कहाँ विफल होते हैं?
शोधकर्ताओं ने गलतियों का विश्लेषण किया और दो मुख्य अपराधी पाए:
- "भ्रमित जासूस" (Comprehension): 73% बार, AI सवाल या टेबल को समझ ही नहीं पाया। उसने गलत रो (row) को देखा या पूरी बात ही मिस कर दी। यह एक ऐसे जासूस की तरह है जो न्यूयॉर्क के नक्शे को देख रहा है जबकि अपराध लंदन में हुआ है।
- "अनाड़ी कैलकुलेटर" (Execution): जब AI ने सवाल को समझ लिया, तब भी वह अक्सर गणित या चरणों में गलती कर देता था। यह एक ऐसे शेफ की तरह है जो रेसिपी तो पूरी तरह जानता है लेकिन केक जला देता है क्योंकि वह ओवन चालू करना भूल गया था।
5. निष्कर्ष: हमें बेहतर "सिर" नहीं, बल्कि बेहतर "हाथों" की आवश्यकता है
इस पेपर का मुख्य सबक यह है कि हम AI को स्मार्टर बनाने (बेहतर योजना और तर्क करने में) पर बहुत अधिक ध्यान केंद्रित कर रहे हैं और इसे अधिक विश्वसनीय (कार्यान्वयन/फॉलो-थ्रू में बेहतर) बनाने पर पर्याप्त ध्यान नहीं दे रहे हैं।
अंतिम रूपक (Final Metaphor):
कल्पना कीजिए कि आपके पास एक जीनियस छात्र है जो अपने दिमाग में तुरंत एक जटिल भौतिकी (physics) की समस्या हल कर सकता है। लेकिन जब आप उसे कागज पर समाधान लिखने के लिए कहते हैं, तो वह टाइपिंग की गलतियाँ करता रहता है, चरण भूल जाता है, या नंबरों को उल्टा लिख देता है।
SciTaRC बेंचमार्क दिखाता है कि हमारा वर्तमान AI वही जीनियस छात्र है जिसके हाथ कांप रहे हैं। हमें उन्हें अपने शानदार विचारों को निष्ठापूर्वक निष्पादित (faithfully execute) करना सिखाने की आवश्यकता है, विशेष रूप से तब जब डेटा बिखरा हुआ हो और नियम सख्त हों। जब तक हम इस "कांपते हाथ" को ठीक नहीं कर लेते, तब तक सबसे स्मार्ट AI भी वास्तविक दुनिया के वैज्ञानिक डेटा के साथ संघर्ष करता रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।