AIMO Interpretability Challenge
AIMO इंटरप्रिटेबिलिटी चैलेंज एक ऐसी प्रतियोगिता है जिसे नए ओलंपियाड-स्तर के प्रश्नों, मॉडल एक्सेस और प्रतिकूल मूल्यांकनों का लाभ उठाकर फ्रंटियर गणितीय भाषा मॉडलों में सुदृढ़ बनाम भ्रामक तर्क के बीच अंतर करने के लिए डिज़ाइन किया गया है, ताकि एआई निर्णय लेने की सामान्यीकरण क्षमता और विश्वसनीयता को सत्यापित करने वाली विधियों को विकसित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्हाइटबोर्ड पर एक जटिल गणितीय समस्या को हल करते हुए एक प्रतिभाशाली छात्र को देख रहे हैं। वह सही उत्तर प्राप्त करता है, लेकिन क्या उसने वास्तव में तर्क (logic) को समझा है, या उसने केवल एक ऐसे पैटर्न को पहचान लिया है जो आमतौर पर सही उत्तर की ओर ले जाता है? यह वह बड़ा सवाल है जो आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में कई वैज्ञानिकों को रात भर जगाए रखता है। हमने ऐसे "फ्रंटियर" AI मॉडल बनाए हैं जो तर्क करने और उन पहेलियों को सुलझाने में अविश्वसनीय रूप से कुशल हैं जो मनुष्यों को उलझा देती हैं। लेकिन एक चुभता हुआ संदेह बना हुआ है: क्या ये मॉडल वास्तव में चरणों के माध्यम से सोच रहे हैं, या वे केवल "पैटर्न मैचर्स" हैं जिन्होंने शॉर्टकट याद कर लिए हैं?
इसे समझने के लिए, हमें दो विचारों को देखने की आवश्यकता है। पहला, तर्क (reasoning) वह प्रक्रिया है जिसमें एक प्रश्न से उत्तर तक चरण-दर-चरण तर्क का उपयोग किया जाता है। दूसरा, मजबूती (robustness) एक ऐसे पेड़ की तरह है जिसकी जड़ें गहरी होती हैं; एक मजबूत प्रणाली तब भी खड़ी रहती है जब हवा तेज चलती है या जमीन खिसकती है। दूसरी ओर, एक "भंगुर" (brittle) प्रणाली ताश के पत्तों के घर की तरह होती है; यह तब तक एकदम सही दिखती है जब तक कि आप इसमें एक छोटी सी चीज़ बदल नहीं देते, और फिर यह ढह जाती है। वह शोध पत्र जिसे आप पढ़ने जा रहे हैं, एक नई प्रतियोगिता के बारे में है जो यह पता लगाने के लिए डिज़ाइन की गई है कि हमारे सबसे स्मार्ट AI मॉडल गहरे जड़ों वाले पेड़ हैं या नाजुक ताश के घर।
द ग्रेट AI मैथ डिटेक्टिव गेम (The Great AI Math Detective Game)
इस शोध पत्र के लेखक एक नई प्रतियोगिता शुरू कर रहे जिसे AIMO इंटरप्रिटेबिलिटी चैलेंज (AIMO Interpretability Challenge) कहा जाता है। इसे कंप्यूटर वैज्ञानिकों के लिए एक उच्च-दांव वाले जासूसी खेल के रूप में समझें। लक्ष्य केवल यह देखना नहीं है कि क्या एक AI गणित की समस्या हल कर सकता है; बल्कि यह पता लगाना है कि उसने इसे कैसे हल किया। आयोजक जानना चाहते हैं: जब एक AI गणित की समस्या को सही हल करता है, तो क्या वह सोचने के एक स्थिर, विश्वसनीय तरीके का उपयोग कर रहा है, या वह एक छोटी सी, आकस्मिक ट्रिक का फायदा उठाकर धोखाधड़ी कर रहा है?
मानक परीक्षण आमतौर पर केवल अंतिम उत्तर देखते हैं। यदि AI सही उत्तर प्राप्त करता है, तो उसे एक स्वर्ण पदक (gold star) मिलता है। लेकिन लेखकों का तर्क है कि यह एक छात्र को उनके काम को देखे बिना केवल उनके अंतिम स्कोर के आधार पर ग्रेड देने जैसा है। एक छात्र उत्तर अनुमान लगाकर, या किसी पाठ्यपुस्तक से मिलती-जुलती समस्या को याद करके सही उत्तर प्राप्त कर सकता है, बिना वास्तव में गणित को समझे। AIMO चुनौती AI के मस्तिष्क के अंदर झांकना चाहती है ताकि यह देखा जा सके कि तर्क ठोस है या यह केवल एक भाग्यशाली अनुमान है जो समस्या के थोड़ा सा बदलने पर विफल हो जाएगा।
"शेप-शिफ्टिंग" समस्याओं का जादू
इन "धोखाधड़ी" करने वाले मॉडलों को पकड़ने के लिए, प्रतियोगिता सिंबोलिक रीजनिंग चेन्स (symbolic reasoning chains) का उपयोग करके एक चतुर ट्रिक का उपयोग करती है। कल्पना कीजिए कि आपके पास एक त्रिभुज (triangle) के बारे में एक गणित की समस्या है। आमतौर पर, संख्याएँ निश्चित होती हैं: "भुजा A 5 है, भुजा B 7 है।" लेकिन आयोजकों ने इन समस्याओं का एक विशेष संस्करण बनाया है जहाँ संख्याएँ एक वीडियो गेम कोड के वेरिएबल्स (variables) की तरह हैं। वे मूल तर्क को बदले बिना संख्याओं को बदल सकते हैं, कोणों को बदल सकते हैं, या नियमों को हजार अलग-अलग तरीकों से मोड़ सकते हैं।
यहीं से "जासूसी" का काम शुरू होता है। प्रतियोगिता प्रतिभागियों को इन "शेप-शिफ्टिंग" समस्याओं की एक सूची देती है। कार्य एक ऐसा सिस्टम बनाना है जो एक AI मॉडल को देखता है और निर्णय लेता है: "यदि मैं इस समस्या में संख्याएँ बदल दूँ, तो क्या यह AI अभी भी सही उत्तर देगा?"
- यदि AI मजबूत (robust) है: तो यह एक मास्टर शेफ की तरह है जो जानता है कि स्टेक कैसे पकाया जाता है। चाहे आप उन्हें रिबआई (ribeye) दें या सरलॉइन (sirloin), या चाहे पैन गर्म हो या मध्यम, वे एक बेहतरीन स्टेक बनाने के चरण जानते हैं। वे खाना पकाने के तंत्र (mechanism) को समझते हैं।
- यदि AI भंगुर (brittle) है: तो यह एक ऐसे रोबोट की तरह है जो केवल तभी स्टेक पका सकता है जब पैन का तापमान ठीक 350 डिग्री हो और मांस ठीक 12 औंस हो। यदि आप कुछ भी बदलते हैं, तो रोबोट घबरा जाता है और खाना जला देता है। उसने खाना बनाना नहीं सीखा; उसने केवल एक विशिष्ट रेसिपी याद कर ली थी।
प्रतियोगिता प्रतिभागियों से AI के "आंतरिक तंत्रों" (internal mechanisms)—इसके मस्तिष्क की तरंगों, यूँ कहें तो—का उपयोग करके यह अनुमान लगाने के लिए कहती है कि कौन से मॉडल मास्टर शेफ हैं और कौन से नाजुक रोबोट हैं।
खेल के नियम
सभी को समान अवसर देने के लिए प्रतियोगिता को दो ट्रैक में विभाजित किया गया है। मेन ट्रैक (Main Track) वर्तमान में उपलब्ध सबसे बड़े, सबसे शक्तिशाली AI मॉडलों पर केंद्रित है। स्मॉल मॉडल्स ट्रैक (Small Models Track) छोटे मॉडलों (10 बिलियन पैरामीटर्स से कम) पर ध्यान केंद्रित करता है, जो उन शोधकर्ताओं के लिए सहायक है जिनके पास विशाल सुपरकंप्यूटर तक पहुंच नहीं हो सकती है।
आयोजक गणित की समस्याओं का एक विशाल पुस्तकालय प्रदान कर रहे हैं, जिसमें कुछ ऐसी समस्याएं भी शामिल हैं जो इंटरनेट पर पहले कभी प्रकाशित नहीं हुई हैं। उन्होंने इन समस्याओं के लिए एक "सिंबोलिक टेम्पलेट" भी बनाया है, जो उन्हें स्वचालित रूप से एक ही समस्या के हजारों नए, थोड़े अलग संस्करण उत्पन्न करने की अनुमति देता है। यह सुनिश्चित करता है कि परीक्षण निष्पक्ष है और AI केवल उत्तरों को याद नहीं कर सकता।
प्रतिभागियों का मूल्यांकन इस आधार पर किया जाएगा कि वे कितनी सटीकता से एक मॉडल को "मजबूत" या "भंगुर" के रूप में लेबल करते हैं। उन्हें शुरुआत करने में मदद करने के लिए, आयोजकों ने पहले से ही तीन "स्टार्टर किट" या बेसलाइन बनाए हैं। इनमें से एक साधारण AI टूल है जो AI के आत्मविश्वास को देखता है, दूसरा देखता है कि यह अपने उत्तर के अंतिम शब्द को कैसे प्रोसेस करता है, और तीसरा यह जाँचता है कि क्या AI केवल डेटा को याद कर रहा है। यहाँ तक कि ये सरल उपकरण भी रैंडम अनुमान लगाने से बेहतर हैं, लेकिन आयोजकों का मानना है कि इसमें सुधार की बहुत गुंजाइश है।
यह क्यों महत्वपूर्ण है
आप सोच सकते हैं, "इससे क्या फर्क पड़ता है कि एक AI भंगुर है?" उत्तर यह है कि इन मॉडलों का उपयोग महत्वपूर्ण चीजों के लिए किया जाने रहा है, जैसे कि वैज्ञानिकों को नई दवाओं की खोज करने में मदद करना, छात्रों को गणित में ट्यूशन देना, या वित्तीय डेटा का विश्लेषण करना। यदि कोई मॉडल मानक परीक्षण पर स्मार्ट दिखता है लेकिन वास्तविक दुनिया में थोड़ा अलग मोड़ आने पर विफल हो जाता है, तो यह खतरनाक या महंगा हो सकता है।
यह प्रतियोगिता केवल पुरस्कार जीतने के बारे में नहीं है; यह AI को टेस्ट करने का एक बेहतर तरीका बनाने के बारे में है। लेखक आशा करते हैं कि इन नए "रोबस्टनेस बेंचमार्क" का उपयोग करके, वे पूरे समुदाय को वास्तव में विश्वसनीय AI सिस्टम बनाने में मदद कर सकते हैं। वे केवल यह पूछने से आगे बढ़ना चाहते हैं कि "क्या इसने सही उत्तर प्राप्त किया?" और यह पूछने की दिशा में बढ़ना चाहते हैं कि "क्या यह वास्तव में समझता है कि यह क्या कर रहा है?"
अब तक का फैसला
यह शोध पत्र स्वयं इस आगामी प्रतियोगिता के लिए एक प्रस्ताव है, जो 2026 के अंत के लिए निर्धारित है। यह अभी तक AI विश्वसनीयता की समस्या को हल करने का दावा नहीं करता है। इसके बजाय, यह सुझाव देता है कि इन नई "शेप-शिफ्टिंग" गणित की समस्याओं का उपयोग करके और AI के मस्तिष्क के भीतर झाँककर, हम अंततः एक जीनियस और एक भाग्यशाली अनुमान लगाने वाले के बीच अंतर करना शुरू कर सकते हैं। आयोजक आश्वस्त हैं कि यह दृष्टिकोण काम करेगा क्योंकि उन्होंने पहले ही कुछ मॉडलों पर इसका परीक्षण किया है और पाया है कि "भंगुर" मॉडल वास्तव में समस्याओं में बदलाव होने पर विफल हो जाते हैं, जबकि "मजबूत" मॉडल अपना काम जारी रखते हैं।
संक्षेप में, यह AI समुदाय के लिए एक आह्वान है कि वे केवल स्कोरबोर्ड देखना बंद करें और खिलाड़ियों की तकनीकों को देखना शुरू करें। यह सुनिश्चित करने की एक खोज है कि हमारे द्वारा बनाए गए सबसे स्मार्ट मशीनें केवल बुद्धिमत्ता की नकल नहीं कर रही हैं, बल्कि वास्तव में बुद्धिमत्ता को धारण कर रही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।