Behavior and Representation in Open-Weight Large Language Models for Combinatorial Optimization: From Feature Extraction to Algorithm Selection
यह शोध पत्र इस बात की जांच करता है कि क्या फ्रोजन ओपन-वेट लार्ज लैंग्वेज मॉडल्स कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए प्रभावी सरोगेट डिस्क्रिप्टर्स के रूप में कार्य कर सकते हैं, यह प्रदर्शित करते हुए कि जबकि उनके हिडन स्टेट्स समस्या की विशेषताओं को अंतर्निहित रूप से एनकोड करते हैं और पारंपरिक विधियों के तुलनीय एल्गोरिदम चयन का समर्थन करते हैं, वे स्पष्ट विशेषता रिकवरी (explicit feature recovery) में संघर्ष करते हैं और अंतर्निहित प्रतिनिधित्व एवं स्पष्ट पुनर्प्राप्ति (explicit retrieval) के बीच एक निरंतर अंतराल प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उलझे हुए पहेली को सुलझाने की कोशिश कर रहे हैं जहाँ पहेली के टुकड़े संख्याएँ, नियम और बाधाएँ हैं। कंप्यूटर विज्ञान की दुनिया में, इसे कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन (Combinatorial Optimization) कहा जाता है। यह उस गणित के पीछे का विज्ञान है जो ट्रक को कुशलतापूर्वक पैक करने से लेकर, आपके स्कूल के दिन का शेड्यूल बनाने या घर जाने का सबसे तेज़ रास्ता खोजने तक सब कुछ संचालित करता है। दशकों से, मनुष्यों ने इन पहेलियों के आकार को मापने के लिए विशेष, कठोर उपकरण बनाए हैं। ये उपकरण एक बढ़ई के टेप माप की तरह हैं: वे सटीक, तेज़ और एक विशिष्ट काम के लिए बने होते हैं।
लेकिन हाल ही में, एक नए प्रकार का "सुपर-ब्रेन" आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। आप इन्हें एआई चैटबॉट्स के रूप में जानते होंगे जो कहानियाँ लिख सकते हैं, कोड कर सकते हैं और सवालों के जवाब दे सकते हैं। वे भाषा को समझने और पैटर्न पहचानने में अद्भुत हैं। लेकिन बड़ा सवाल यह है: क्या ये सुपर-ब्रेन वास्तव में पहेली के पीछे के गणित को समझते हैं, या वे केवल पहेली के दिखने के तरीके के आधार पर अनुमान लगा रहे हैं? यदि कोई एआई पहेली की छिपी हुई संरचना को "देख" सकता है, तो शायद हमें अब उन कठोर टेप मापों की आवश्यकता नहीं होगी। हम बस एआई से पहेली का वर्णन करने के लिए कह सकते हैं, या यहाँ तक कि अपने "दिमाग" का उपयोग करके सबसे अच्छा सॉल्वर (solver) चुन सकते हैं। यह शोध पत्र इसी रहस्य की गहराई में उतरता है, यह परीक्षण करता है कि क्या ये एआई दिमाग वास्तव में गणित के बारे में स्मार्ट हैं या वे केवल स्मार्ट दिखने में बहुत अच्छे हैं।
महान एआई गणित परीक्षण: मन पढ़ना बनाम प्रश्न पूछना
इस अध्ययन के पीछे के शोधकर्ताओं, फ्रांसिस्का दा रोस, लुका डी गैसपेरो और केविन रोइटेरो ने पाँच अलग-अलग ओपन-सोर्स एआई मॉडल्स को एक कठोर गणित परीक्षा से गुजरने का निर्णय लिया। उन्होंने केवल एआई से समस्याएँ हल करने के लिए नहीं कहा; वे यह देखना चाहते थे कि एआई उनके बारे में कैसे सोचता है। उन्होंने एआई के साथ एक छात्र की तरह दो बहुत अलग तरीकों से व्यवहार किया:
- "प्रत्यक्ष प्रश्न" परीक्षण (Direct Querying): उन्होंने एआई से पूछा, "इस पहेली को देखो। इसमें कितने टुकड़े हैं? औसत वजन क्या है?" वे यह देखना चाहते थे कि क्या एआई बिल्कुल सटीक संख्या बता सकता है, ठीक वैसे ही जैसे एक कैलकुलेटर।
- "मन-पढ़ने" का परीक्षण (Probing): उन्होंने एआई को बोलने के लिए नहीं कहा। इसके बजाय, उन्होंने पहेली को देखते समय एआई के "मस्तिष्क" (इसके छिपे हुए स्तरों/hidden layers) के अंदर झाँका। उन्होंने पूछा, "क्या 'कितने टुकड़े हैं' का उत्तर एआई के आंतरिक विद्युत संकेतों में कहीं छिपा है?" उन्होंने उस उत्तर को एआई के मन से बाहर निकालने के लिए एक सरल डिकोडर का उपयोग किया, भले ही एआई ने उसे कहने से इनकार कर दिया हो।
उन्होंने इन मॉडल्स का परीक्षण चार क्लासिक गणितीय पहेलियों पर किया: बक्से पैक करना (Bin Packing), मानचित्रों को रंगना ताकि पड़ोसी आपस में न मिलें (Graph Coloring), मशीनों पर काम का शेड्यूलिंग करना (Jobshop Scheduling), और एक झोले (knapsack) में सबसे मूल्यवान वस्तुओं को भरना (Knapsack)। उन्होंने पाँच अलग-अलग एआई मॉडल्स का उपयोग किया, जो एक छोटे 3-बिलियन-पैरामीटर वाले मस्तिष्क से लेकर एक विशाल 120-बिलियन-पैरामीटर वाले दिग्गज तक फैले हुए थे।
बड़ा आश्चर्य: मस्तिष्क वह जानता है जो वह कहता नहीं है
परिणाम कुछ ऐसे थे जैसे किसी ऐसे छात्र को खोजने जैसा जो मौखिक परीक्षा में फेल हो जाता है लेकिन लिखित परीक्षा में अव्वल आता है।
जब सीधे पूछा गया, तो एआई अक्सर अनाड़ी था।
यदि उत्तर वहीं टेक्स्ट में मौजूद था (जैसे "लाइनों की संख्या गिनें"), तो उसने अधिकांश समय इसे सही बताया। लेकिन जैसे ही उत्तर के लिए थोड़े से गणित की आवश्यकता हुई—जैसे औसत निकालना या अधिकतम मान खोजना—एआई लड़खड़ाने लगा। या तो वह गलत संख्या देता था, या "रीज़निंग" मॉडल्स के मामले में, वह बस कहता था, "मुझे नहीं पता" (एक व्यवहार जिसे अब्स्टेंशन/abstention कहा जाता है)। एआई जितना बड़ा होता, वह गलत अनुमान लगाने के बजाय "मुझे नहीं पता" कहने में उतना ही बेहतर होता, लेकिन फिर भी वह स्वयं विश्वसनीय रूप से गणित करने में सक्षम नहीं था। यहाँ तक कि जब उन्होंने एआई को "ज़ोर से सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए प्रेरित किया, तो इससे केवल बड़े मॉडल्स को मदद मिली, और इसने प्रक्रिया को बहुत धीमा और महंगा बना दिया।
लेकिन जब उन्होंने एआई के मस्तिष्क के अंदर देखा, तो कहानी बदल गई।
यहीं पर जादू हुआ। भले ही एआई संख्या बोल नहीं सका या बोलने से इनकार कर गया, शोधकर्ताओं ने पाया कि वह जानकारी वास्तव में एआई के छिपे हुए स्तरों में मौजूद थी। जब उन्होंने एआई के मस्तिष्क को "प्रोब" करने के लिए एक सरल डिकोडर का उपयोग किया, तो वे एआई के बोलने की तुलना में बहुत अधिक सटीकता के साथ सही संख्याओं को पुनः प्राप्त कर सके।
यह ऐसा है जैसे एआई एक लाइब्रेरियन है जिसने स्पष्ट रूप से बोलना भूल दिया है लेकिन उसके पास अभी भी हर किताब पूरी तरह से व्यवस्थित है। यदि आप लाइब्रेरियन से पूछते हैं, "पेज 50 पर किताब का शीर्षक क्या है?" तो वह हकला सकता है या कह सकता है, "मुझे नहीं पता।" लेकिन यदि आपके पास एक विशेष स्कैनर (प्रोब) है जो सीधे शेल्फ से किताब की रीढ़ (spine) को पढ़ सकता है, तो स्कैनर तुरंत शीर्षक ढूंढ लेता है। ज्ञान वहाँ है; एआई बस बातचीत के माध्यम से उसे हमेशा निकाल नहीं पाता है।
निष्कर्ष: एक नया उपकरण, प्रतिस्थापन नहीं
तो, गणित की पहेलियों को हल करने के भविष्य के लिए इसका क्या अर्थ है?
शोध पत्र निष्कर्ष निकालता है कि LLMs सटीक गणना करने के लिए पुराने, सटीक गणितीय उपकरणों (टेप माप) को बदलने के लिए तैयार नहीं हैं। यदि आपको अभी एक सटीक संख्या चाहिए, तो एक साधारण कंप्यूटर प्रोग्राम एआई से पूछने की तुलना में अधिक तेज़, सस्ता और सटीक है।
हालाँकि, अध्ययन एक बहुत ही रोमांचक बात का सुझाव देता है: एआई के आंतरिक "मस्तिष्क संकेत" एक बेहतरीन शॉर्टकट के रूप में कार्य कर सकते हैं। भले ही एआई गणित को पूरी तरह से नहीं कर सकता, लेकिन पहेली के बारे में उसकी छिपी हुई समझ इतनी अच्छी है कि उसका उपयोग यह अनुमान लगाने के लिए किया जा सकता है कि किसी विशिष्ट समस्या के लिए कौन सा सॉल्वर सबसे अच्छा काम करेगा। वास्तव में, शोधकर्ताओं ने पाया कि सॉल्वर चुनने के लिए एआई के आंतरिक संकेतों का उपयोग करना पुराने, हाथ से बनाए गए गणितीय उपकरणों का उपयोग करने जितना ही प्रभावी था।
मुख्य बात:
इन एआई मॉडल्स को कैलकुलेटर के रूप में नहीं, बल्कि सहज मार्गदर्शक (intuitive guides) के रूप में देखें। वे आपके लिए लंबी विभाजन (long division) नहीं कर सकते, लेकिन उनके पास समस्या के प्रति एक "अनुभूति" है जो आश्चर्यजनक रूप से सटीक है। यदि आप एक बिल्कुल नए प्रकार की पहेली का सामना कर रहे हैं जहाँ अभी तक किसी ने मापने वाला उपकरण नहीं बनाया है, तो आप शुरुआती बढ़त पाने के लिए एआई के आंतरिक मस्तिष्क-स्कैन का उपयोग कर सकते हैं। लेकिन यदि आपको एक सटीक उत्तर चाहिए, तो आपको गणित स्वयं ही करना होगा। एआई एक मददगार साथी है जो परिदृश्य को जानता है, लेकिन वह गाड़ी चलाने वाला नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।