Hard or Just Unreached? Diagnosing the Sampling Blind Spot in Math-Reasoning Difficulty Estimation
यह शोध पत्र यह प्रकट करता है कि गणितीय-तर्क की कठिनाई का अनुमान लगाने के लिए मानक pass@k मीट्रिक में एक महत्वपूर्ण अंधा बिंदु (blind spot) है, क्योंकि कई सैंपलिंग प्रयासों द्वारा अनसुलझाने योग्य माने गए उदाहरणों का एक बड़ा हिस्सा वास्तव में ग्रेडी डिकोडिंग (greedy decoding) को एक्टिवेशन ग्राफ्टिंग व्यवधानों (activation grafting perturbations) के साथ संयोजित करने वाले एक नियतात्मक शासन (deterministic regime) का उपयोग करके हल किया जा सकता है, जो यह संकेत देता है कि ये "कठिन" उदाहरण संरचनात्मक रूप से सुलभ हैं लेकिन वर्तमान में मानक अनुमान विधियों द्वारा अनावरण नहीं किए गए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: क्या समस्या बहुत कठिन है, या हमने बस गलत जगह ढूँढा?
कल्पना कीजिए कि आप एक विशाल, धुंधले जंगल में एक छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं। आपके पास खोजकर्ताओं की एक टीम (AI मॉडल) और एक नक्शा है। यह परीक्षण करने का मानक तरीका कि क्या खजाना "ढूँढना कठिन है", यह है कि खोजकर्ताओं के एक समूह को भेजा जाए, जिनमें से प्रत्येक धुंध के माध्यम से थोड़ा अलग, यादृच्छिक (random) रास्ता अपनाता है। यदि वे कुछ प्रयासों के बाद भी खजाना नहीं खोज पाते हैं, तो हम मान लेते हैं कि खजाना असंभव है।
यह पेपर तर्क देता है कि हम गलत हैं। कभी-कभी खजाना असंभव नहीं होता; बस यह होता है कि खोजकर्ता गलत दिशा में देख रहे थे क्योंकि वे "यादृच्छिक भाग्य" (random luck) पर बहुत अधिक निर्भर थे।
समस्या: "रैंडम वॉक" का अंधा बिंदु (Blind Spot)
AI गणित की समस्याओं की दुनिया में, शोधकर्ता pass@k नामक एक मीट्रिक का उपयोग करते हैं।
- यह कैसे काम करता है: वे AI को एक गणित की समस्या 6 बार हल करने के लिए कहते हैं (6 प्रयास)।
- नियम: यदि AI एक बार भी सही उत्तर दे देता है, तो समस्या "आसान" है। यदि AI सभी 6 बार विफल रहता है, तो समस्या को "कठिन" (या "असमाधान योग्य") लेबल किया जाता है।
- परिणाम: यदि किसी समस्या को "कठिन" लेबल किया जाता है, तो शोधकर्ता अक्सर उसे फेंक देते हैं या इसका उपयोग AI को और अधिक सख्त बनाने के लिए करते हैं। वे मानते हैं कि AI इसे सरल रूप से कर ही नहीं सकता।
लेखक कहते हैं: "ठहरिए। सिर्फ इसलिए कि AI ने 6 यादृच्छिक अनुमान लगाने में विफल रहा, इसका मतलब यह नहीं है कि वह इसे हल नहीं कर सकता। इसका मतलब यह हो सकता है कि AI अपनी ही सोच के किसी 'धुंधले' हिस्से में फंस गया था।"
प्रयोग: "डिटरमिनिस्टिक" जासूस
इसे साबित करने के लिए, शोधकर्ताओं ने केवल AI को फिर से यादृच्छिक रूप से प्रयास करने के लिए नहीं कहा। उन्होंने एक्टिवेशन ग्राफ्टिंग (Activation Grafting) नामक एक विशेष तकनीक का उपयोग किया।
उपमा: GPS की खराबी
कल्प_ना कीजिए कि AI एक शहर में नेविगेट करने वाला ड्राइवर है।
- यादृच्छिक नमूनाकरण (पुराना तरीका): ड्राइवर को बताया जाता है, "गंतव्य तक ड्राइव करें, लेकिन हर चौराहे पर, यह तय करने के लिए कि किस तरफ मुड़ना है, एक सिक्का उछालें।" यदि वे 6 बार सिक्का उछालते हैं और हर बार रास्ता भटक जाते हैं, तो हम कहते हैं, "यह गंतव्य अप्राप्य है।"
- नया तरीका (एक्टिवेशन ग्राफ्टिंग): शोधकर्ताओं ने ड्राइवर का नक्शा या कार नहीं बदली। इसके बजाय, उन्होंने ड्राइविंग शुरू करने से ठीक पहले ड्राइवर के आंतरिक दिशा-सूचक यंत्र (internal compass) को धीरे से थोड़ा सा बदला। उन्होंने गंतव्य नहीं बदला; उन्होंने बस ड्राइवर की दिशा के प्रति आंतरिक "अनुभूति" को थोड़ा ट्यून किया।
उन्होंने इसके साथ 6 अलग-अलग "नज" (जैसे दिशा-सूचक को शून्य पर सेट करना, या इसे एक यादृच्छिक निश्चित दिशा की ओर इंगित करना) का परीक्षण किया और फिर ड्राइवर को सीधे और स्थिर (कोई सिक्का उछालना नहीं, केवल शुद्ध तर्क) चलने दिया।
परिणाम: छिपे हुए खजाने मिले
परिणाम आश्चर्यजनक थे:
- "कठिन" समस्याएँ: जिन समस्याओं में यादृच्छिक खोजकर्ताओं ने लगातार 6 बार विफलता दर्ज की, उन्हें "नज" किए गए सीधे चलने वाले ड्राइवरों ने 10% से 29% तक हल कर लिया।
- अर्थ: ये समस्याएँ वास्तव में "असंभव" नहीं थीं। वे बस यादृच्छिक अनुमान लगाने के तरीके द्वारा "अपहुँच" (unreached) रह गई थीं। AI के पास अपने मस्तिष्क के भीतर उत्तर मौजूद था, लेकिन "अलग-अलग रास्ते आज़माने" की यादृच्छिक धुंध ने उसे सही दरवाजा खोजने से रोक दिया था।
पेपर से एक ठोस उदाहरण:
वहाँ मेज पर रंगीन प्लेटों को व्यवस्थित करने की एक गणितीय समस्या थी।
- यादृच्छिक AI: 6 बार प्रयास किया, रंगों के कारण भ्रमित हुआ, और हर बार गलत उत्तर दिया।
- नज किया गया AI: जब शोधकर्ताओं ने आंतरिक "दिशा-सूचक" को थोड़ा सा बदला, तो AI ने तुरंत पैटर्न को पहचान लिया और इसे सही ढंग से हल कर लिया।
- निष्कर्ष: समस्या AI के लिए बहुत कठिन नहीं थी; बस यादृच्छिक अनुमान लगाने के तरीके ने समाधान को मिस कर दिया था।
यह क्यों मायने रखता है?
यह पेपर चेतावनी देता है कि हम एक "अंधे बिंदु" के कारण मूल्यवान डेटा को फेंक रहे हैं।
- बर्बाद डेटा: हम समस्याओं को "बहुत कठिन" मानकर उन्हें प्रशिक्षण सेटों से हटा रहे हैं, भले ही AI उन्हें हल कर सकता था यदि हम थोड़ा अलग तरीके से देखते।
- खराब प्रशिक्षण: यदि हम केवल उसी चीज़ पर प्रशिक्षण देते हैं जो हमें यादृच्छिक संयोग से प्राप्त होती है, तो हम शायद इसे तर्क के बजाय भाग्य पर निर्भर रहने के लिए सिखा रहे हैं।
- समाधान: हमें एक नया, सुपर-स्मार्ट AI बनाने की आवश्यकता नहीं है। हमें बस यह समझने की आवश्यकता है कि जब कोई AI गणित की समस्या में विफल होता है, तो वह "टूटा हुआ" नहीं हो सकता है। हो सकता है कि यादृच्छिकता (randomness) ही समस्या थी, गणित नहीं।
निचोड़
पेपर यह नहीं कहता कि AI पूर्ण है। यह कहता है कि हमारा कठिनाई का परीक्षण त्रुटिपूर्ण है।
इसे एक छात्र द्वारा बहुविकल्पीय परीक्षा देने जैसा समझें। यदि वह यादृच्छिक रूप से अनुमान लगाता है और सब कुछ गलत करता है, तो एक शिक्षक कह सकता है, "इस छात्र को सामग्री का ज्ञान नहीं है।" लेकिन यदि शिक्षक को एहसास होता है कि छात्र वास्तव में केवल अंदाज़ा लगा रहा था और वास्तव में तर्क के माध्यम से सोचने का प्रयास नहीं कर रहा था, तो शिक्षक को एहसास हो सकता है: "ओह, इस छात्र को वास्तव में उत्तर पता है, उसने बस इसे दिखाया नहीं क्योंकि वह केवल अनुमान लगा रहा था।"
लेखकों ने पाया कि "असंभव" गणित की समस्याओं में से लगभग 5 में से 1 वास्तव में हल करने योग्य है; AI को बस उत्तर खोजने के लिए एक अलग तरह के धक्के (push) की आवश्यकता थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।