Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
यह शोधपत्र गकुचो (Gakucho) को प्रस्तुत करता है, जो जापान के शैक्षणिक क्षमता के राष्ट्रीय मूल्यांकन से व्युत्पन्न एक बड़े पैमाने का मल्टीमॉडल बेंचमार्क है, जिसमें वास्तविक K-12 शैक्षिक कार्यों पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के प्रत्यक्ष, मानव-आधारित मूल्यांकन को सक्षम करने के लिए 900,000 संचित छात्र प्रतिक्रिया वितरण शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि एक नया रोबोट कितना बुद्धिमान है। आमतौर पर, आप इसे एक बनावटी क्विज़ या कंप्यूटर स्क्रीन पर दिखने वाली एक आदर्श पाठ्यपुस्तक की समस्या दे सकते हैं। लेकिन यह शोध पत्र कहता है, "आइए कुछ अलग आज़माते हैं।" एक नकली परीक्षण के बजाय, आइए रोबोट को जापान की एक वास्तविक, असली मिडिल स्कूल परीक्षा दें, वैसी ही जैसी 900,000 वास्तविक छात्रों ने दी थी।
यहाँ शोधकर्ताओं द्वारा किए गए और पाए गए कार्यों का सरल विवरण दिया गया है:
1. "वास्तविक-दुनिया" का टेस्ट किचन
शोधकर्ताओं ने जापान की 'नेशनल असेसमेंट ऑफ एकेडेमिक एबिलिटी' से आधिकारिक परीक्षाएं लीं। ये साफ-सुथरी, डिजिटल टेक्स्ट फाइलें नहीं हैं। ये वास्तविक दुनिया के दस्तावेज़ हैं जो इन चीजों से भरे हुए हैं:
- आरेख और मानचित्र (Diagrams and Maps): जैसे टेढ़ी-मेढ़ी रेखाओं वाला एक मौसम मानचित्र।
- स्पीच बबल्स (Speech Bubbles): कार्टून शैली के बुलबुलों के अंदर लिखा हुआ टेक्स्ट।
- लंबवत टेक्स्ट (Vertical Text): जापानी अक्सर ऊपर-से-नीचे लिखा जाता है, जो कंप्यूटर के लिए कठिन होता है।
- तालिकाएं और चार्ट (Tables and Charts): ग्रिड में व्यवस्थित संख्याएँ।
इसे इस तरह सोचिए जैसे आप एक ऐसी रेसिपी पढ़ने की कोशिश कर रहे हैं जो एक मुड़े हुए नैपकिन पर लिखी गई है और उसके बगल में बर्तन का एक स्केच बना हुआ है, न कि एक साफ डिजिटल PDF। शोधकर्ताओं को इन बिखरे हुए पन्नों को एक ऐसे प्रारूप में सावधानीपूर्वक "अनुवादित" करना पड़ा जिसे कंप्यूटर समझ सके, बिना उनके मूल स्वरूप और अहसास को खोए।
2. गुप्त सामग्री: "मानव भीड़"
इस परियोजना का सबसे शानदार हिस्सा यह है कि उन्होंने केवल प्रश्न ही नहीं रखे; उन्होंने 900,000 वास्तविक छात्रों के उत्तरों को भी रखा।
कल्पना कीजिए कि आपके पास एक टेस्ट प्रश्न है। आमतौर पर, आप केवल "सही" उत्तर जानते हैं। यहाँ, शोधकर्ता ठीक से जानते हैं कि कितने प्रतिशत छात्रों ने इसे सही किया, कितने प्रतिशत ने इसे गलत किया, और उन्होंने इसे कैसे गलत किया।
- यह क्यों मायने रखता है: यह शोधकर्ताओं को रोबोट के दिमाग की सीधे तौर पर एक विशाल मानव भीड़ के दिमाग के साथ तुलना करने की अनुमति देता है। वे देख सकते हैं: "क्या रोबोट ने वही गलती की जो एक इंसान करता, या उसने कोई अजीब रोबोट वाली गलती की?"
3. रोबोटों का परीक्षण
उन्होंने इन वास्तविक परीक्षाओं को कई प्रसिद्ध AI मॉडल (जैसे GPT-4, Gemini, और Claude) को दिया ताकि देखा जा सके कि वे कैसा प्रदर्शन करते हैं।
परिणाम:
- विज्ञान (Science): रोबोट काफी अच्छे थे, खासकर जब वे आरेखों (diagrams) को "देख" सकते थे। यह ऐसा है जैसे उन्हें अंततः समझ आ गया कि ज्वालामुखी का चित्र महत्वपूर्ण है।
- गणित (Math): वे सरल संख्याओं के लिए बेहतरीन थे लेकिन वहां लड़खड़ा गए जहाँ गणित के लिए किसी ग्राफ या अजीब तरह से बने आकार को पढ़ने की आवश्यकता थी। यदि रोबमाट चित्र को "पढ़" नहीं सका, तो वह गणित हल नहीं कर सका।
- जापानी (भाषा): यह सबसे कठिन था। रोबोट लंबवत लिखे गए टेक्स्ट और छवियों के भीतर विशिष्ट पात्रों (Kanji) को पहचानने में संघर्ष करते रहे। यह एक रोबोट को नैपकिन पर लिखे हाथ से लिखे नोट को पढ़ने के लिए कहने जैसा है; वे सटीक रूप से पढ़ने के बजाय अक्सर अनुमान लगाते थे या शब्द बना लेते थे।
4. "जज" की समस्या
शोधकर्ताओं ने रोबोट को ग्रेड देने के दो तरीके आजमाए:
- मानव शिक्षक: वास्तविक लोगों ने उत्तरों को पढ़ा।
- AI जज: एक अन्य AI (GPT-4o) ने पहले AI के उत्तरों को ग्रेड किया।
ट्विस्ट:
- विज्ञान और गणित के लिए, AI जज एक मानव शिक्षक का एक अच्छा विकल्प था। वे ज्यादातर मामलों में इस बात पर सहमत थे कि कौन पास हुआ और कौन फेल।
- जापानी भाषा के लिए, AI जज भ्रमित था। वे अक्सर मनुष्यों से असहमत रहे। शोध पत्र सुझाव देता है कि जटिल भाषा कार्यों के लिए, आप अभी केवल एक AI को दूसरे AI को ग्रेड देने के लिए भरोसा नहीं कर सकते; आपको अभी भी इसमें मानव की भूमिका की आवश्यकता है।
5. जहाँ रोबोट लड़खड़ाए
शोध पत्र कुछ मजेदार लेकिन खुलासा करने वाली विफलताओं को उजागर करता है:
- "नकली उद्धरण" की समस्या (The "Fake Quote" Problem): जब टेस्ट ने रोबोट से कहा कि "छवि से इस वाक्य को बिल्कुल वैसे ही कॉपी करें," तो रोबोट कभी-कभी एक ऐसा वाक्य बना देता था जो सुनने में सही लगता था लेकिन वास्तव में वहां नहीं था। उसने सटीक रूप से पढ़ने के बजाय कल्पना (hallucination) की।
- "ड्राइंग" की समस्या (The "Drawing" Problem): एक प्रश्न में रोबोट को एक विशिष्ट जापानी अक्षर को देखने और यह समझाने के लिए कहा गया कि उसका दृश्य संतुलन (visual balance) क्यों गलत है। रोबोट उस ड्राइंग के सूक्ष्म विवरणों को समझने के लिए पर्याप्त अच्छी तरह से "देख" नहीं सके।
मुख्य निष्कर्ष (The Bottom Line)
इस शोध पत्र ने AI के परीक्षण के लिए एक नया, वास्तविक खेल का मैदान बनाया। साफ, पूर्ण डेटा पर रोबोटों का परीक्षण करने के बजाय, उन्होंने उन्हें एक वास्तविक स्कूल परीक्षा की अव्यवस्थित, दृश्य और जटिल वास्तविकता पर परखा।
उन्होंने पाया कि हालांकि AI अधिक स्मार्ट हो रहा है, फिर भी उसे वास्तविक दुनिया की परीक्षाओं के "दृश्य तर्क" (visual logic) के साथ संघर्ष करना पड़ता है, विशेष रूपकर जब बात छवियों के भीतर टेक्स्ट को पढ़ने या छात्रों द्वारा की जाने वाली सूक्ष्म गलतियों को समझने की आती है। उन्होंने यह भी साबित किया कि आप हमेशा एक AI को दूसरे AI को ग्रेड देने के लिए भरोसा नहीं कर सकते, खासकर भाषा विषयों में।
कहाँ खोजें: शोधकर्ताओं ने यह सारा डेटा (प्रश्न, चित्र और 900,000 छात्र उत्तर) किसी के भी उपयोग के लिए उपलब्ध कराया है, ताकि अन्य वैज्ञानिक अपने स्वयं के परीक्षण चला सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।