AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research
यह शोध पत्र AblationBench प्रस्तुत करता है, जो अनुभवजन्य एआई अनुसंधान में एब्लेशन प्लानिंग कार्यों पर भाषा मॉडल एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क सुइट है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल मनुष्यों की तुलना में काफी खराब प्रदर्शन करते हैं और एजेंट-आधारित दृष्टिकोणों की तुलना में चेन-ऑफ-थॉट प्रॉम्प्टिंग की बेहतर प्रभावशीलता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक नई, स्वादिष्ट रेसिपी बनाई है। आप दुनिया को बताते हैं, "मेरा केक अद्भुत है क्योंकि मैंने एक विशेष वैनिला एक्सट्रैक्ट, एक विशिष्ट प्रकार का आटा और एक अनूठे बेकिंग तापमान का उपयोग किया है।"
लेकिन आप यह कैसे जानते हैं कि वे विशिष्ट सामग्रियां ही असली राज हैं? क्या होगा अगर केक साधारण वैनिला के साथ भी उतना ही अच्छा होता? या क्या होगा अगर आटे से कोई फर्क नहीं पड़ता?
आर्टिफिशियल इंटेलिजेंस (AI) अनुसंधान की दुनिया में, वैज्ञानिक भी ऐसा ही करते हैं। वे जटिल "रेसिपी" (एल्गोरिदम) बनाते हैं और दावा करते हैं कि उनकी सफलता उनके विशिष्ट हिस्सों के कारण है। इसे साबित करने के लिए, वे एब्लेशन प्रयोग (Ablation Experiments) चलाते हैं। यह केक को फिर से बनाने जैसा है, लेकिन इस बार, वे वैनिला को निकाल देते हैं, या आटे को बदल देते हैं, या तापमान बदल देते हैं, सिर्फ यह देखने के लिए कि स्वाद में कितना बदलाव आता है। यदि वैनिला के बिना केक बिखर जाता है, तो उन्हें पता चल जाता है कि वैनिला महत्वपूर्ण था।
जिस पेपर के बारे में आप बात कर रहे हैं, AblationBench, वह कंप्यूटरों (विशेष रूप से, उन्नत AI भाषा मॉडल) को वे शेफ सिखाने के बारे में है जो इन प्रयोगों की योजना बनाते हैं।
समस्या: क्या AI एक वैज्ञानिक की तरह "सोच" सकता है?
वैज्ञानिक तेजी से शोध पत्र लिखने और प्रयोग चलाने में मदद के लिए AI का उपयोग कर रहे हैं। लेकिन क्या एक AI वास्तव में यह समझ सकता है कि कोई विधि क्यों काम करती है और यह साबित करने के लिए सही प्रयोगों का सुझाव दे सकता है कि वह क्यों काम करती है?
लेखकों ने AI के लिए एक "जिम" बनाया है, जिसे AblationBench कहा जाता है, ताकि इस क्षमता का परीक्षण किया जा सके। उन्होंने AI को दो अलग-अलग काम दिए, जैसे रसोई में दो अलग-अलग भूमिकाएँ:
1. "लेखक" की भूमिका (AuthorAblation)
- परिदृश्य: आप वह शेफ हैं जिसने रेसिपी लिखी है। आपके पास सामग्री की सूची और विधि है, लेकिन आपने अभी तक "क्या-होगा-अगर" (what-if) वाले परीक्षण नहीं लिखे हैं।
- कार्य: AI आपकी विधि को देखता है और कहता है, "हे, यह साबित करने के लिए कि आपका वैनिला हीरो है, आपको इसे बिना वैनिला के बेक करना चाहिए। और यह साबित करने के लिए कि आपका आटा मायने रखता है, बादाम के आटे के साथ इसे बदलने का प्रयास करें।"
- लक्ष्य: क्या AI उन्हीं प्रयोगों के बारे में सोच सकता है जो वास्तविक पेपर में मानव लेखक ने वास्तव में किए थे?
2. "समीक्षक" की भूमिका (ReviewerAblation)
- परिदृश्य: आप एक खाद्य आलोचक (food critic) हैं जो एक प्रतियोगिता के लिए भेजी गई रेसिपी पढ़ रहे हैं। शेफ दावा करता है कि उनका केक उत्तम है, लेकिन आप देखते हैं कि उन्होंने यह परीक्षण नहीं किया कि क्या चीनी वास्तव में आवश्यक थी।
- कार्य: AI पूरा पेपर पढ़ता है और कहता है, "ठहरिए! आपने कभी यह परीक्षण नहीं किया कि आपकी विधि के 3D रेंडरिंग वाले हिस्से को हटाने से क्या होता है। अपनी बात साबित करने के लिए आपको उस प्रयोग को करने की आवश्यकता है।"
- लक्ष्य: क्या AI उन छूटे हुए प्रयोगों को पकड़ सकता है जिन्हें एक मानव आलोचक पकड़ लेगा?
परिणाम: AI अभी भी खाना बनाना सीख रहा है
शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4o और Claude) का इस बेंचमार्क पर परीक्षण किया। यहाँ उन्होंने क्या पाया, सरल हिंदी में:
- AI संघर्ष कर रहा है: सर्वश्रेष्ठ AI मॉडल केवल उन प्रयोगों में से लगभग 38% की पहचान कर पाए जो मनुष्यों ने वास्तव में किए थे। वे आधे से अधिक महत्वपूर्ण परीक्षणों को चूक गए।
- "लेखक" बनाम "समीक्षक" विरोधाभास:
- जब लेखक (विधि के आधार पर प्रयोगों की योजना बनाना) के रूप में कार्य करते समय, AI चीजों को हटाने (जैसे "वैनिला निकाल दें") में ठीक था, लेकिन बदलने (जैसे "वैनिला को बादाम के आटे से बदलें") का सुझाव देने में बहुत खराब था। यह ऐसा है जैसे AI जानता है कि क्या फेंकना है लेकिन उसे यह नहीं पता कि उसके स्थान पर क्या रखना है।
- जब समीक्षक (एक पूर्ण पेपर में छूटे हुए परीक्षणों को खोजना) के रूप में कार्य करते समय, AI वास्तव में अधिक सख्त और सटीक होने में और भी खराब था। यह भ्रमित (hallucinate) होने लगा या ऐसी चीजें सुझाने लगा जो पूरी तरह सही नहीं थीं।
- जटिल से बेहतर सरल है: शोधकर्ताओं ने AI को सोचने के दो तरीके आजमाए:
- "एजेंट" दृष्टिकोण (The "Agent" Approach): AI को एक कंप्यूटर देना, उसे फाइलें खोलने, पढ़ने और कई चरणों को हल करने की अनुमति देना (जैसे एक डेस्क पर काम करने वाला मानव शोधकर्ता)।
- "प्रॉम्प्ट" दृष्टिकोण (The "Prompt" Approach): बस AI से एक बार में समस्या के बारे में सोचने के लिए कहना (जैसे एक इंसान अपने दिमाग में गहराई से सोचता है)।
- आश्चर्य: सरल "प्रॉम्प्ट" दृष्टिकोण बेहतर काम कर गया और बहुत सस्ता भी था। फैंसी "एजेंट" दृष्टिकोण, जिसे अधिक स्मार्ट होना चाहिए था, वास्तव में भ्रमित हो गया और इसने खराब काम किया। ऐसा लगता है कि इस विशिष्ट कार्य के लिए, जटिल मल्टी-स्टेप वर्कफ़्लो के बजाय गहरा, सिंगल-स्टेप सोचना बेहतर है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI कई चीजों में अच्छा हो रहा है, वैज्ञानिक प्रयोगों की योजना बनाना अभी भी उनके लिए बहुत कठिन है।
उन्होंने एक बेंचमार्क (AblationBench) बनाया है ताकि प्रगति को ट्रैक किया जा सके। वर्तमान में, AI एक जूनियर 'सू-शेफ' (sous-chef) की तरह है: यह रेसिपी का पालन कर सकता है, लेकिन यह अभी उन प्रयोगों को डिजाइन करने के लिए तैयार नहीं है जो यह साबित करें कि रेसिपी काम करती है। सर्वश्रेष्ठ मॉडल अभी भी उन "अहा!" (aha!) क्षणों को मिस कर रहे हैं जो मानव वैज्ञानिकों के पास होते हैं, और AI को लैब में वास्तव में एक "सह-वैज्ञानिक" (co-scientist) के रूप में कार्य करने के लिए सुधार की बहुत गुंजाइश है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।