Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models
यह शोध पत्र एक लागत-कुशल इन्फरेंस पाइपलाइन पेश करता है जो 'कॉग्निटिव वेल' (Cognitive Well) विफलता मोड को कॉन्टेक्स्ट-डिटैच्ड कंजेक्चर एक्सट्रैक्शन (context-detached conjecture extraction) और स्वतंत्र सत्यापन के माध्यम से दूर करके, उपलब्ध मॉडलों का उपयोग करते हुए IMO-शैली की गणितीय समस्याओं पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अविश्वसनीय रूप से कठिन गणितीय पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि वे पहेलियाँ जो दुनिया के सर्वश्रेष्ठ हाई स्कूल गणित के छात्रों को इंटरनेशनल ओलंपियाड में दी जाती हैं।
लंबे समय से, कंप्यूटर (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या "LLMs") इसमें बहुत खराब रहे हैं। वे आसान पहेलियों को हल कर सकते थे, लेकिन जब चीजें कठिन हो जाती थीं, तो वे अटक जाते थे, गलतियाँ करते थे, और बार-बार एक ही तरह की गलतियाँ दोहराते रहते थे।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक "ब्रूट फोर्स" (brute force) दृष्टिकोण अपनाया: उन्होंने कंप्यूटर को एक समस्या को हजारों बार हल करने के लिए कहा, जिसमें कंप्यूटर का एक हिस्सा "सॉल्वर" (उत्तर लिखने की कोशिश करने वाला) के रूप में कार्य करता था और दूसरा हिस्सा "ग्रेडर" (काम की जाँच करने वाला) के रूप में। यदि ग्रेडर को कोई गलती मिलती, तो सॉल्वर फिर से प्रयास करता।
समस्या: "कॉग्निटिव वेल" (Cognitive Well - संज्ञानात्मक कुआँ)
लेखकों ने इस प्रक्रिया में एक अजीब लेकिन खतरनाक जाल की खोज की। वे इसे "कॉग्निटिव वेल" कहते हैं।
कल्पना कीजिए कि आप एक गहरे, धुंधले घाटी में चल रहे हैं। आपको लगता है कि आप एक पहाड़ी पर चढ़ रहे हैं, लेकिन वास्तव में आप नीचे गोल-गोल घूम रहे हैं।
- सॉल्वर एक ऐसा प्रमाण (proof) लिखता है जो लगभग सही दिखता है।
- ग्रेडर (जो कि वही AI मॉडल है) उसे देखता है। क्योंकि AI उस प्रमाण के संदर्भ (context) से "दूषित" हो जाता है जिसे उसने अभी-अभी पढ़ा है, वह धोखा खा जाता है। वह सोचता है, "ओह, यह काफी हद तक सही लग रहा है! बस यहाँ-वहाँ एक छोटी सी टाइपिंग की गलती है।"
- ग्रेडर उसे उच्च स्कोर देता है।
- सॉल्वर सोचता है, "बहुत बढ़िया! मैं लगभग पूरा होने वाला हूँ!" और वह उसी गलत विचार को सुधारने में लगा रहता है।
- AI अब अपने ही बनाए हुए एक "कुएँ" में फंस गया है, जिसे यकीन है कि वह समस्या को हल कर रहा है जबकि वह पूरी तरह से गलत है।
पिछले तरीकों ने इस कुएँ से बाहर निकलने के लिए इस समस्या पर भारी मात्रा में पैसा खर्च करने की कोशिश की—एक ही समय में हजारों बार समानांतर (parallel) रूप से कंप्यूटर चलाने के माध्यम से। एक विधि में प्रति एकल गणितीय समस्या लगभग $3,000 का खर्च आता था। यह अधिकांश लोगों के लिए उपयोग करना बहुत महंगा है।
समाधान: "डिटेक्टिव" (जासूस) पाइपलाइन
लेखकों ने एक नया, बहुत सस्ता सिस्टम बनाया (जिसकी लागत लगभग $9 प्रति समस्या है) जो तीन चतुर युक्तियों का उपयोग करके "कॉग्निटिव वेल" से बाहर निकलता है:
केवल अनुमान न लगाएं, सुरागों को अलग करें (कन्जेक्चर एक्सट्रैक्शन):
सिर्फ AI से "अधिक मेहनत करने" के लिए कहने के बजाय, सिस्टम रुकता है और पूछता है: "कौन सा विशिष्ट तर्क (logic) गायब है?"
कल्पना कीजिए कि एक जासूस एक टूटे हुए बहाने को देख रहा है। केवल यह कहने के बजाय कि "यह समझ में नहीं आता," जासूस उस विशिष्ट दावे को बाहर निकालता है: "उसने कहा कि वह शाम 5 बजे पार्क में था।" सिस्टम उस एकल दावे को अलग करता है और उसे एक अलग, छोटे गणितीय समस्या के रूप में मानता है।"ताज़ा नज़र" का परीक्षण (कॉन्टेक्स्ट डिटैचमेंट):
यह सबसे महत्वपूर्ण हिस्सा है। सिस्टम उस अलग किए गए दावे (कन्जेक्चर) को लेता है और उसे एक बिल्कुल नए, साफ कमरे में रखता है। वह AI से उस दावे को सिद्ध करने और उस दावे के विपरीत को सिद्ध करने के लिए कहता है, बिना मूल बिखरे हुए प्रमाण को देखे।- यदि AI दावे को सत्य सिद्ध करता है, तो वह इसे तथ्यों के एक "चीट शीट" (cheat sheet) में जोड़ देता है।
- यदि AI दावे को असत्य सिद्ध करता है (विपरीत को सिद्ध करके), तो उसे एहसास होता है कि मूल प्रमाण एक झूठ पर आधारित था।
- यह AI को "कॉग्निटिव वेल" से बाहर निकाल देता है क्योंकि AI अब मूल गलत प्रमाण के भ्रमित करने वाले संदर्भ से धोखा नहीं खा सकता।
"डायलेक्टिक" (द्वंद्वात्मक) टीम:
सिस्टम केवल एक AI को काम करने के लिए नहीं कहता है। यह विभिन्न "व्यक्तित्वों" (personas) के साथ एक वर्चुअल मीटिंग रूम बनाता है।- द आर्किटेक्ट (The Architect): समाधान बनाने की कोशिश करता है।
- द स्केप्टिक (The Skeptic - मोमस): लगातार योजना पर हमला करता है, कमियां ढूंढता है।
- द ग्रेडर (The Grader): तर्क की पंक्ति-दर-पंक्ति जाँच करता है।
इन विभिन्न "व्यक्तित्वों" को एक-दूसरे से बहस करने के लिए मजबूर करके, सिस्टम उस आलसी सोच से बचता है जो कॉग्निटिव वेल की ओर ले जाती है।
परिणाम
लेखकों ने अपने नए पाइपलाइन का परीक्षण सबसे कठिन उपलब्ध गणितीय समस्याओं (IMO-ProofBench) पर किया।
- प्रदर्शन: उनके सिस्टम ने समस्याओं के 87.6% को सही ढंग से हल किया। यह बड़ी तकनीकी कंपनियों (जो गुप्त और अनरिलीज़्ड हैं) के "गोल्ड मेडल" जीतने वाले सिस्टम से बेहतर है और अन्य सार्वजनिक तरीकों से कहीं बेहतर है।
- लागत: जबकि अन्य तरीकों में प्रति समस्या हजारों डॉलर लगते हैं, उनके सिस्टम की लागत लगभग $9 है।
- बहुमुखी प्रतिभा: यह किसी एक विशिष्ट ब्रांड के नहीं, बल्कि कई अलग-अलग प्रकार के AI मॉडल्स पर काम करता है।
सारांश में
यह पेपर दिखाता है कि कठिन गणितीय समस्याओं को हल करने के लिए आपको बहुत सारा पैसा खर्च करने या लाखों सिमुलेशन चलाने की आवश्यकता नहीं है। इसके बजाय, आपको एक स्मार्ट रणनीति की आवश्यकता है: जब AI एक गलत उत्तर के बारे में आत्मविश्वास के लूप में फंस जाता है, तो आपको विशिष्ट "संदिग्ध" (तार्किक अंतराल) को भीड़ से बाहर निकालना होगा, उसे अलगाव में टेस्ट करना होगा, और परिणाम का उपयोग अगले कदम को निर्देशित करने के लिए करना होगा। यह एक भ्रमित, महंगे ब्रूट-फोर्स दृष्टिकोण को एक कुशल, तार्किक जासूसी कहानी में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।