Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems
यह शोध पत्र Sci-Rho को प्रस्तुत करता है, जो पाँच विषयों और सात भाषाओं में 4,242 निष्पादन योग्य (executable) STEM समस्या टेम्पलेट्स वाला एक बहुभाषी, दृश्य-आधारित (visually-grounded) प्रतीकात्मक बेंचमार्क है, जो यह प्रकट करता है कि जब अत्याधुनिक विज़न-लैंग्वेज मॉडल्स का मूल्यांकन स्थिर औसत के बजाय सबसे खराब स्थिति वाले बदलावों (worst-case variations) के विरुद्ध किया जाता है, तो उनमें महत्वपूर्ण मजबूती संबंधी अंतराल (robustness gaps) होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए छात्र की विज्ञान संबंधी समस्याओं को हल करने की क्षमता का परीक्षण कर रहे हैं। अतीत में, शोधकर्ता छात्र को एक एकल, स्थिर वर्कशीट देते थे जिसमें एक चित्र और एक प्रश्न होता था। यदि छात्र ने इसे सही हल किया, तो वह पास हो जाता था। लेकिन यह शोध पत्र तर्क देता है कि यह एक ड्राइवर का परीक्षण केवल एक खाली, सीधी सड़क पर करने जैसा है। यह आपको यह नहीं बताता कि क्या वह अचानक आए गड्ढे, मोड़ या अलग मौसम की स्थिति को संभाल सकता है।
इस शोध पत्र के लेखकों ने, Sci-ρ, AI "छात्रों" (विशेष रूप से, विजन-लैंग्वेज मॉडल्स या VLMs) के लिए एक बहुत अधिक कठिन, अधिक गतिशील ड्राइविंग टेस्ट बनाने का निर्णय लिया।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला:
1. "आकार बदलने वाला" परीक्षण (डेटासेट)
AI को 606 स्थिर विज्ञान प्रश्न देने के बजाय, शोधकर्ताओं ने एक डिजिटल फैक्ट्री बनाई।
- ब्लूप्रिंट: उन्होंने गणित, भौतिकी, रसायन विज्ञान, जीव विज्ञान और कंप्यूटर विज्ञान के लिए समस्याओं के 606 "टेम्प्लेट" बनाए। इन्हें मास्टर ब्लूप्रिंट समझें।
- फैक्ट्री: उन्होंने कंप्यूटर कोड (पायथन) लिखा जो इन ब्लूप्रिंट्स को लेता है और तुरंत प्रत्येक समस्या के 10 थोड़े अलग संस्करण प्रिंट करता है।
- उदाहरण: यदि गणित का एक प्रश्न एक वर्ग के क्षेत्रफल के बारे में पूछता है, तो फैक्ट्री एक संस्करण प्रिंट कर सकती है जिसमें भुजा की लंबाई 5 है, दूसरा जिसमें 7 है, तीसरा जिसमें अलग रंग है, या यहाँ तक कि पूरी तरह से अलग आकार भी है।
- बहुभाषी ट्विस्ट: उन्होंने इसे केवल अंग्रेजी में नहीं किया। उन्होंने निर्देशों को 7 भाषाओं (स्वाहिली, हिंदी और अरबी सहित) में अनुवादित किया, जबकि चित्र वही रखे।
- परिणाम: वे 42,420 अद्वितीय समस्याओं के साथ समाप्त हुए। यह एक AI को एक विशाल पुस्तकालय देने जैसा है जहाँ हर किताब के 10 अलग-अलग संस्करण हैं, जो सभी एक ही मूल तर्क प्रश्न पूछ रहे हैं लेकिन दिखने में थोड़े अलग हैं।
2. "औसत" बनाम "सबसे खराब स्थिति" का जाल
शोधकर्ताओं ने इस विशाल लाइब्रेरी पर 17 अलग-अलग AI मॉडलों का परीक्षण किया। उन्होंने दो स्कोर देखे:
- औसत सटीकता (Average Accuracy): एक समस्या के सभी 10 संस्करणों में AI कितनी बार सही उत्तर देता है।
- सबसे खराब स्थिति की सटीकता (Worst-Case Accuracy): AI कितनी बार समस्या के सभी 10 संस्करणों को सही हल करता है।
बड़ी खोज:
AI मॉडल "औसत" स्कोर पर बहुत अच्छे दिखे। लेकिन जब शोधकर्ताओं ने "सबसे खराब स्थिति" के स्कोर को देखा, तो मॉडल बिखर गए।
- उपमा: कल्पना कीजिए कि एक छात्र 10 में से 9 गणित के प्रश्नों को सही हल करता है। वे बुद्धिमान लगते हैं। लेकिन यदि आप उन्हें फिर से वही 10 प्रश्न थोड़े अलग नंबरों के साथ हल करने के लिए कहें, और वे इस बार 4 गलत करते हैं, तो वे वास्तव में गणित के माध्यम से "तर्क" नहीं कर रहे हैं। वे संभवतः केवल पैटर्न को याद कर रहे हैं या इस आधार पर अनुमान लगा रहे हैं कि नंबर कैसे दिखते हैं।
- निष्कर्ष: यहाँ तक कि सबसे स्मार्ट, महंगे AI मॉडल (जैसे GPT-5.4) भी एक बड़ा अंतर दिखाते हैं। वे एक समस्या को आसानी से हल कर सकते हैं, लेकिन यदि आप ग्राफ का रंग या नंबर थोड़ा बदल दें, तो वे अक्सर विफल हो जाते हैं। छोटे, सस्ते मॉडल और भी बुरी तरह विफल होते हैं।
3. भाषा की बाधा
शोधकर्ताओं ने जांचा कि क्या AI को निर्देश अन्य भाषा में होने पर अधिक संघर्ष करना पड़ता है।
- बड़े मॉडल: विशाल, महंगे मॉडल बहुभाषी (polyglots) की तरह थे; उन्होंने अंग्रेजी, चीनी और स्वाहिली को लगभग समान रूप से अच्छी तरह से संभाला।
- छोटे मॉडल: छोटे, ओपन-सोर्स मॉडल उन पर्यटकों की तरह थे जो केवल अंग्रेजी बोलते हैं। जब निर्देश कम सामान्य भाषा (जैसे स्वाहिली) में बदले गए, तो उनका प्रदर्शन काफी गिर गया। वे भाषा परिवर्तन से ही भ्रमित होते प्रतीत हुए, भले ही विज्ञान का प्रश्न वही था।
4. "आंखें बनाम मस्तिष्क" की समस्या
शोधकर्ताओं ने यह देखने के लिए कि एक AI मॉडल कैसे "सोचता" है, उसके अंदर झाँका। उन्होंने मापा कि मॉडल ने चित्र बनाम टेक्स्ट पर कितना ध्यान दिया।
- निष्कर्ष: मॉडल का ध्यान भाषा के आधार पर बदल गया।
- जब टेक्स्ट चीनी में था, तो मॉडल ने चित्र पर कम और टेक्स्ट पर अधिक भरोसा किया।
- जब टेक्स्ट कजाख या हिंदी में था, तो मॉडल ने चित्र पर भारी निर्भरता दिखाई।
- रूपक: यह ऐसा है जैसे AI सोचता है, "मैं इस भाषा को अच्छी तरह से नहीं समझता, इसलिए मैं चित्र के आधार पर अनुमान लगाऊंगा।" जब वह भाषा को पूरी तरह से समझ लेता है, तो वह शब्दों पर अधिक भरोसा करता है। यह सुझाव देता है कि AI वास्तव में मानव की तरह चित्र को "देख" नहीं रहा है; वह केवल चित्र को एक सहारे (crutch) के रूप में उपयोग कर रहा है जब टेक्स्ट भ्रमित करने वाला होता है।
5. AI कहाँ अटका
जब AI विफल हुआ, तो शोधकर्ताओं ने त्रुटियों को वर्गीकृत किया:
- चित्र को गलत पढ़ना (63%): AI एक आरेख में बिंदुओं को गिनने या ग्राफ पर नंबरों को पढ़ने में असमर्थ रहा।
- खराब तर्क (29%): AI को सही फॉर्मूला पता था लेकिन उसने इसे गलत चीज़ पर लागू किया, या ऐसी बातें बना लीं जो वहां मौजूद नहीं थीं।
- गणित की त्रुटियां (8%): AI ने तर्क सही लगाया लेकिन साधारण अंकगणित में गलती कर दी।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि स्थिर परीक्षण हमें झूठ बोल रहे हैं। सिर्फ इसलिए कि एक AI एक विशिष्ट विज्ञान समस्या को एक बार हल कर सकता है, इसका मतलब यह नहीं है कि वह विज्ञान को समझता है। यह केवल एक पैटर्न को पहचान रहा हो सकता है जिसे उसने प्रशिक्षण के दौरान देखा था।
यह जानने के लिए कि क्या कोई AI वास्तव में स्मार्ट है, हमें मेज को हिलाना होगा, नंबर बदलने होंगे, भाषाएं बदलनी होंगी, और देखना होगा कि क्या वह अभी भी समस्या को हल कर सकता है। यदि वह नहीं कर पाता है, तो वह तर्क नहीं कर रहा है; वह केवल अनुमान लगा रहा है। Sci-ρ उस मेज को हिलाने के लिए बनाया गया उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।