Solver-Hard Is Not Model-Hard: A Hardness-Controlled Diagnostic for LLM Constraint Reasoning
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों का बाधा तर्क (constraint reasoning) कार्यों पर प्रदर्शन समस्या के उदाहरणों की अंतर्निहित सॉल्वर जटिलता (solver hardness) द्वारा निर्धारित नहीं होता है, जैसा कि सावधानीपूर्वक नियंत्रित, घनत्व-मिलान वाले बेंचमार्क में प्रूफ़-कठोरता प्रॉक्सी (proof-hardness proxies) और मॉडल सटीकता या टोकन व्यय के बीच सहसंबंध की कमी से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को तर्क पहेलियाँ (logic puzzles) हल करना सिखाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, "SAT" (सैटिस्फिएबिलिटी) नामक एक प्रसिद्ध प्रकार की पहेली है, जो मूल रूप से यह पूछती है: "क्या मैं इन खाली स्थानों को 'सत्य' (True) या 'असत्य' (False) से भर सकता हूँ ताकि नियमों की इस विशाल सूची का हर एक नियम संतुष्ट हो जाए?" दशकों से, वैज्ञानिकों ने देखा है कि जब ये पहेलियाँ एक खास स्तर तक जटिल हो जाती हैं—न बहुत आसान और न ही असंभव रूप से कठिन—तो इंसान और कंप्यूटर दोनों ही एक दीवार से टकरा जाते हैं। यह मस्तिष्क में लगे किसी ट्रैफिक जाम जैसा है।
इसे समझने के लिए, शोधकर्ता आमतौर पर दो चीजों को देखते हैं। पहला है घनत्व (density), जो बस एक फैंसी शब्द है "नियम कितने भरे हुए या भीड़भाड़ वाले हैं" के लिए। यदि आपके पास कम जगह में बहुत सारे नियम भरे हुए हैं, तो यह कठिन महसूस होता है। दूसरा है संरचनात्मक कठिनाई (structural hardness), जो पहेली के छिपे हुए आकार के बारे में है। कुछ पहेलियाँ सरल दिखती हैं लेकिन उनकी संरचना मुड़ी हुई और उलझी हुई होती है जो उन्हें जल्दी सुलझाना असंभव बना देती है, जबकि अन्य बिखरी हुई दिखने के बावजूद एक सीधा और आसान रास्ता रखती हैं। बड़ा सवाल यह है कि जब AI मॉडल विफल होते हैं, तो क्या यह इसलिए है क्योंकि पहेली बहुत अधिक "भीड़भाड़ वाली" (density) है, या इसलिए क्योंकि पहेली का "छिपा हुआ आकार" (structure) बहुत पेचीदा है?
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक AI को रंगे हाथों पकड़ने के लिए एक बहुत ही विशिष्ट जाल बिछाता है। शोधकर्ता, लकी वर्मा, यह देखना चाहते थे कि क्या AI मॉडल वास्तव में तर्क पहेली के "मुड़े हुए आकार" को समझते हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि नियम कितने "भीड़भाड़ वाले" दिखते हैं। ऐसा करने के लिए, उन्होंने दो प्रकार की पहेलियाँ बनाईं जो सतह पर लगभग एक जैसी दिखती हैं—उनमें नियमों की संख्या और "भीड़भाड़" समान है—लेकिन वे अंदर से गुप्त रूप से बहुत अलग हैं। एक प्रकार है "लैडर" (सीढ़ी) पहेली, जिसे हल करना आसान है क्योंकि इसकी संरचना सरल और सीधी है। दूसरा है "एक्सपैंडर" (विस्तारक) पहेली, जो पारंपरिक कंप्यूटरों के लिए एक दुःस्वप्न है क्योंकि इसकी संरचना इतनी उलझी हुई है कि इसे सुलझाने के लिए घातांकीय प्रयास (exponential effort) की आवश्यकता होती है (इसे एक ऊन के गोले की तरह समझें जो खींचने पर और बड़ा होता जाता है)।
प्रयोग एक क्लासिक कंप्यूटर सॉल्वर (एक टूल जिसे ग्लूकोज कहा जाता है) और कई बड़े AI मॉडलों (जैसे लामा 3.3, लामा 4, और मिस्ट्रल 3) के बीच एक मुकाबला था। सबसे पहले, उन्होंने क्लासिक सॉल्वर का परीक्षण किया। उम्मीद के मुताबिक, सॉल्वर "एक्सपैंडर" पहेलियों के साथ बुरी तरह संघर्ष करता है, जिसे "लैडर" पहेलियों की तुलना में हल करने में 51 गुना अधिक प्रयास (जिसे "संघर्ष" या conflicts के रूप में मापा गया, जहाँ सॉल्वर एक डेड एंड पर पहुँच जाता है) लगता है। सॉल्वर स्पष्ट रूप से आसान आकार और कठिन आकार के बीच के अंतर को जानता था।
फिर AI मॉडल आए। यदि AI वास्तव में एक तर्क विशेषज्ञ की तरह सोच रहा होता, तो उसे "लैडर" पहेलियों को आसान और "एक्सपैंडर" पहेलियों को कठिन पाना चाहिए था, ठीक वैसे ही जैसे क्लासिक सॉल्वर ने किया। लेकिन यहाँ एक मोड़ आया: AI मॉडलों को आकार की कोई परवाह नहीं थी। वास्तव में, उनका प्रदर्शन बहुत ही अनिश्चित था। एक मॉडल के लिए, "लैडर" पहेलियाँ आसान थीं; दूसरे के लिए, "एक्सपैंडर" पहेलियाँ आसान थीं; और जब हमने उन सभी का औसत निकाला, तो अंतर व्यावहारिक रूप से शून्य था (एक छोटा +1.7 पॉइंट का अंतर जो सांख्यिकीय रूप से महत्वपूर्ण नहीं था)। AI मॉडल पूरी तरह से छिपी हुई संरचना को अनदेखा करते हुए प्रतीत हुए।
इससे भी अजीब बात यह है कि शोधकर्ताओं ने यह भी जाँच की कि AI ने कितनी "सोचने की अवधि" (जिसे टोकन या शब्दों के रूप में मापा गया) इन पहेलियों पर खर्च की। आप उम्मीद कर सकते हैं कि AI कठिन "एक्सपैंडर" पहेलियों पर अधिक समय बिताएगा। इसके बजाय, AI अक्सर "लैडर" पहेलियों पर अधिक समय बिताता है या सबसे आसान पहेलियों पर ही फंस जाता है, अपना बजट बर्बाद करता है लेकिन उन्हें हल नहीं कर पाता। शोध पत्र ने यह भी परीक्षण किया कि क्या AI केवल अक्षरों को इधर-उधर बदलकर पहेली के स्वरूप को याद कर रहा है (एक "प्रूफ-प्रिजर्विंग रीलेबलिंग")। एक मॉडल का प्रदर्शन लगभग 93 अंक गिर गया जब पहेली को केवल पुनर्व्यवस्थित किया गया, जिससे यह सिद्ध हुआ कि वह वास्तविक तर्क के बजाय सतही ट्रिक्स पर निर्भर था।
निचोड़ यह है कि इन विशिष्ट पहेलियों के लिए, "सॉल्वर-हार्ड इज नॉट मॉडल-हार्ड" (सॉल्वर के लिए कठिन, मॉडल के लिए कठिन नहीं है)। सिर्फ इसलिए कि कोई पहेली पारंपरिक कंप्यूटर के लिए गणितीय रूप से कठिन है, इसका मतलब यह नहीं है कि वह AI के लिए भी कठिन है, और इसके विपरीत भी। AI इसलिए विफल नहीं हो रहा है क्योंकि पहेली बहुत कठिन है; वह इसलिए विफल हो रहा है क्योंकि वह उस गहरे तर्क को ट्रैक नहीं कर रहा है जिसकी हमें उम्मीद थी। यह ऐसा है जैसे AI पहेली को देख रहा हो और कह रहा हो, "यह भीड़भाड़ वाला दिखता है, इसलिए यह कठिन होगा," या "यह एक पैटर्न है जिसे मैंने पहले देखा है," बिना कभी भी उस गहरे, संरचनात्मक कार्य को किए जो उसे हल करने के लिए आवश्यक है। यह अध्ययन बताता है कि हम यह मानकर नहीं बैठ सकते कि AI मॉडल बेहतर तर्क कर रहे हैं क्योंकि वे बड़े होते जा रहे हैं; कभी-कभी, वे केवल सतही संकेतों के आधार पर अनुमान लगाने में बेहतर होते जा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।