The Mighty ToRR: A Benchmark for Table Reasoning and Robustness
यह शोध पत्र ToRR को प्रस्तुत करता है, जो विविध तालिका प्रारूपों (table formats) और डोमेन में AI मॉडलों की तर्क करने की क्षमताओं और मजबूती का मूल्यांकन करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि शक्तिशाली मॉडल भी भंगुर व्यवहार प्रदर्शित करते हैं और विश्वसनीय प्रदर्शन अनुमान के लिए कई प्रारूपों और प्रॉम्प्ट्स के परीक्षण के महत्वपूर्ण महत्व को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपनी कंपनी के स्प्रेडशीट्स को संभालने के लिए एक नया सहायक (assistant) रख रहे हैं। आपके पास रेज़्यूमे (AI मॉडल्स) का एक ढेर है, और आप जानना चाहते हैं कि कौन सा मॉडल टेबल पढ़ने, गणित करने और तथ्य खोजने में सबसे अच्छा है।
यह शोध पत्र, जिसका शीर्षक "The Mighty ToRR" है, इन AI सहायकों का परीक्षण करने के लिए डिज़ाइन किया गया एक विशाल, कठोर जॉब इंटरव्यू की तरह है। IBM, स्टैनफोर्ड और MIT के शोधकर्ताओं ने महसूस किया कि हालांकि हम जानते हैं कि AI कविता लिखने या चैट करने में अच्छा है, लेकिन हमें वास्तव में यह नहीं पता कि क्या वे वास्तव में उस उबाऊ, अस्त-व्यस्त, वास्तविक दुनिया के डेटा को संभाल सकते हैं जिसका हम रोज़ाना उपयोग करते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाला जाल
कल्पना कीजिए कि आप अपने सहायक से पूछते हैं, "पिछले महीने हमने कॉफी पर कितना खर्च किया?"
- परिदृश्य A: आप उन्हें एक साफ-सुथरी, छपी हुई एक्सेल शीट दिखाते हैं।
- परिदृश्य B: आप उन्हें एक मुड़ा हुआ रसीद थमा देते हैं जहाँ नंबर अलग क्रम में लिखे गए हैं।
- परिदृश्य C: आप डेटा को एक साधारण सूची के रूप में चैट बॉक्स में टाइप करते हैं।
आप उम्मीद करेंगे कि सहायक तीनों मामलों में आपको एक ही उत्तर देगा, है ना? शोध पत्र प्रकट करता है कि वर्तमान AI मॉडल आश्चर्यजनक रूप से नाजुक (fragile) हैं। वे एक ऐसे छात्र की तरह हैं जिसने एक विशिष्ट टेस्ट फॉर्मेट के लिए उत्तर कुंजी (answer key) रट ली है, लेकिन यदि आप फॉन्ट बदल दें या प्रश्नों का क्रम बदल दें, तो वह विफल हो जाता है।
2. समाधान: "ToRR" बेंचमार्क
शोधकर्ताओं ने ToRR (Table Reasoning and Robustness) बनाया है। इसे AI के लिए एक "स्ट्रेस टेस्ट" जिम समझें।
- वर्कआउट: उन्होंने 10 अलग-अलग प्रकार के टेबल कार्यों (जैसे वित्तीय गणित, वैज्ञानिक डेटा और विकिपीडिया तथ्य) को लिया।
- बाधाएं: हर एक प्रश्न के लिए, उन्होंने इसे केवल एक बार नहीं पूछा। उन्होंने इसे 35 अलग-अलग तरीकों से पूछा।
- उन्होंने फॉर्मेट बदला (जैसे एक टेबल को CSV फ़ाइल, HTML कोड, या एक Markdown सूची में बदलना)।
- उन्होंने डेक को फेंटा (पंक्तियों या कॉलमों का क्रम बदल दिया, या यहाँ तक कि टेबल को तिरछा कर दिया)।
यदि AI वास्तव में स्मार्ट है, तो डेटा को किसी भी तरह से प्रस्तुत किया जाए, उसे सही उत्तर देना चाहिए। यदि पंक्तियों के क्रम बदलने मात्र से वह भ्रमित हो जाता है, तो वह "रोबस्ट" (मजबूत) नहीं है।
3. चौंकाने वाले परिणाम: "भुरभुरे" (Brittle) दिमाग
परिणाम AI समुदाय के लिए एक वेक-अप कॉल की तरह थे:
- "भुरभुरापन" (Brittle) प्रभाव: यहाँ तक कि सबसे उन्नत, महंगे AI मॉडल (जैसे GPT-4o या Claude 3.5) भी संघर्ष करते हैं। वे "भुरभुरे" थे, जिसका अर्थ है कि वे छोटे बदलावों के साथ टूट जाते थे। एक पल में वे एक जीनियस अकाउंटेंट थे; अगले ही पल, पंक्तियों के क्रम बदलने पर, वे केवल अनुमान लगाने लगे।
- कोई जादुई फॉर्मेट नहीं: शोधकर्ता इस उम्मीद में थे कि उन्हें "Markdown" या "JSON" मिलेगा जो AI से बात करने का सबसे अच्छा तरीका होगा। वे गलत थे। कोई भी एक फॉर्मेट सभी के लिए सबसे अच्छा काम नहीं करता था। कभी-कभी एक मॉडल को CSV पसंद आता था; अन्य समय में, वे HTML पसंद करते थे। यह एक ऐसे व्यक्ति से बात करने की कोशिश करने जैसा है जो हर 5 मिनट में अपना मन बदल लेता है।
- आकार हमेशा मायने नहीं रखता: बड़े मॉडल (अधिक "दिमागी शक्ति" वाले) आम तौर पर बेहतर थे, लेकिन "सबसे स्मार्ट" और "ठीक-ठाक" मॉडलों के बीच का अंतर बहुत बड़ा नहीं था। उन सभी में एक ही मौलिक कमजोरी थी: वे वास्तविक डेटा की अव्यवस्था को लगातार नहीं संभाल सकते थे।
4. सबसे बड़ा सबक: एक एकल परीक्षण पर भरोसा न करें
AI का उपयोग करने वाले किसी भी व्यक्ति के लिए यह सबसे महत्वपूर्ण बात है।
- "वन-शॉट" (One-Shot) का झूठ: अधिकांश बेंचमार्क एक मॉडल से एक बार सवाल पूछते हैं और विजेता घोषित कर देते हैं। शोध पत्र का तर्क है कि यह एक शेफ को केवल एक बार एक व्यंजन बनाकर आंकने जैसा है। यदि उनका बुरा दिन था या सामग्री थोड़ी अलग थी, तो आपको गलत रेटिंग मिलेगी।
- "मेनी-शॉट" (Many-Shot) की सच्चाई: शोधकर्ताओं ने पाया कि यदि आप एक ही प्रश्न को कई तरीकों से पूछते हैं (अलग-अलग प्रॉम्प्ट, अलग-अलग फॉर्मेट), तो आपको इसकी वास्तविक बुद्धिमत्ता की कहीं अधिक विश्वसनीय तस्वीर मिलती है।
- जादुई ट्रिक: उन्होंने खोजा कि एक ही प्रश्न को 10 अलग-अलग तरीकों से पूछना 10 अलग-अलग प्रश्नों पर परीक्षण करने जितना ही प्रभावी है। यह विश्वसनीयता के लिए एक "चीट कोड" है: परीक्षण के लिए प्रश्नों के विशाल पुस्तकालय की आवश्यकता नहीं है, आपको बस एक ही प्रश्न को अलग-अलग आवाजों में पूछने की आवश्यकता है।
सारांश
यह शोध पत्र बताता है कि हालांकि AI स्मार्ट हो रहा है, लेकिन यह टेबल्स के मामले में अभी भी अविश्वसनीय है। यह एक प्रतिभाशाली छात्र की तरह है जो परीक्षा के पेपर पर फॉन्ट बदलने पर घबरा जाता है।
ToRR एक नया टूल है जो AI को यह साबित करने के लिए मजबूर करता है कि वह डेटा के लुक (दिखावट) को नहीं, बल्कि डेटा के मीनिंग (अर्थ) को समझता है। लेखक सुझाव देते हैं कि वास्तविक दुनिया में AI पर वास्तव में भरोसा करने के लिए, हमें इसे एक सिंगल, परफेक्ट प्रॉम्प्ट के साथ टेस्ट करना बंद करना होगा और इसे विभिन्न फॉर्मेट्स की अराजकता के साथ टेस्ट करना होगा ताकि देखा जा सके कि क्या यह वास्तव में शोर के बीच से तर्क निकाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।