Explaining Puzzle Solutions in Natural Language: An Exploratory Study on 6x6 Sudoku
यह अन्वेषणात्मक अध्ययन 6x6 सुडोकू पहेलियों पर पांच लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है और पाता है कि जबकि एक मॉडल सीमित समाधान क्षमता प्रदर्शित करता है, कोई भी रणनीतिक तर्क या सहज समस्या-समाधान को दर्शाने वाले स्पष्टीकरण प्रदान नहीं कर सकता है, जो प्रभावी मानव-एआई सहयोगात्मक निर्णय लेने में महत्वपूर्ण बाधाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, अच्छी तरह से पढ़े-लिखे रोबोट्स की एक टीम है। आप उनसे सुडोकू (विशेष रूप से एक छोटा 6×6 संस्करण) नामक तर्क पहेली (logic puzzle) को हल करने के लिए कहते हैं और, उससे भी महत्वपूर्ण बात यह है कि वे आपको सिखाएं कि उन्होंने इसे कैसे हल किया।
यह शोध पत्र पाँच इन रोबोट्स के लिए एक रिपोर्ट कार्ड की तरह है, जो दो चीजें जाँचता है:
- क्या उन्हें सही उत्तर मिला?
- क्या वे अपने विचारों को इस तरह समझा सके जो वास्तव में एक इंसान के लिए समझ में आए?
यहाँ बताया गया है कि शोधकर्ताओं को क्या मिला, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है।
सेटअप: द "सुडोकू टेस्ट"
शोधकर्ताओं ने इन 6×6 पहेलियों के लगभग 2,300 संस्करण बनाए। इन पहेलियों को मस्तिष्क के लिए एक जिम की तरह समझें। ये दुनिया की सबसे कठिन पहेलियाँ नहीं हैं (जैसे कि 9×9 संस्करण), लेकिन ये इतनी पेचीदा हैं कि आप केवल अनुमान नहीं लगा सकते; आपको नंबर कहाँ जाने चाहिए, यह जानने के लिए तर्क और नियमों का उपयोग करना होगा।
वे देखना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के AI दिमाग हैं—एक अच्छे ट्यूटर (शिक्षक) की तरह काम कर सकते हैं। एक अच्छा ट्यूटर आपको केवल उत्तर कुंजी नहीं देता; वह आपको चरणों के माध्यम से ले जाता है ताकि आप समझ सकें कि कोई चाल क्यों चली गई।
परिणाम: "सॉल्वर" बनाम "एक्सप्लेनर" (हल करने वाले बनाम समझाने वाले)
1. ओपन-सोर्स रोबोट्स (द "अमेच्योर ऑवर")
शोधकर्ताओं ने चार अलग-अलग ओपन-सोर्स मॉडल्स (जैसे Llama, Gemma, और Mistral) का परीक्षण किया।
- परिणाम: ये रोबोट मूल रूप से इस परीक्षण में विफल रहे। 2,293 पहेलियों में से, उन्होंने पूरी पहेली को 1% से भी कम समय में सही हल किया।
- उदाहरण: कल्पना कीजिए कि आप लोगों के एक समूह से क्रॉसवर्ड पहेली भरने के लिए कहते हैं। ये रोबोट उन लोगों की तरह थे जो रैंडम शब्द गेस कर रहे थे। वे शायद संयोग से कुछ अक्षर सही कर लेते होंगे, लेकिन वे पूरे चित्र को सुसंगत रखने में असमर्थ थे। जैसे ही उन्होंने लिखना शुरू किया, वे नियम भूल गए।
2. स्टार स्टूडेंट: OpenAI का "o1-preview"
फिर OpenAI का एक विशिष्ट मॉडल था जिसे o1-preview कहा जाता है।
- परिणाम: यह मॉडल हल करने (solving) में एक सितारा था। इसने लगभग 65% बार पूरी पहेली को सही हल किया। आसान पहेलियों पर, यह एकदम सटीक (100%) था।
- कैच (कमी): जैसे-जैसे पहेलियाँ कठिन (डियाबोलिकल स्तर) होती गईं, इसका प्रदर्शन गिरता गया। यह गलतियाँ करने लगा, जैसे कि वह छात्र जो गणित के होमवर्क में तो बहुत अच्छा है लेकिन कठिन परीक्षा आने पर उलझ जाता है।
3. असली समस्या: "बैड एक्सप्लेनर" (खराब समझाने वाला)
यहीं पर अध्ययन दिलचस्प हो जाता है। शोधकर्ताओं ने o1-preview द्वारा सही हल की गई 20 पहेलियों को लिया और इसे मानव विशेषज्ञों को अपने चरणों को समझाने के लिए कहा।
परिणाम: स्पष्टीकरण एक आपदा था।
- औचित्य (Justification): केवल 5% बार ही रोबोट ने वास्तव में यह समझाया कि उसने एक नंबर क्यों चुना। अधिकांश समय, इसने केवल इतना कहा, "मैंने यहाँ 5 रखा," बिना यह बताए कि क्यों।
- स्पष्टता: स्पष्टीकरण भ्रमित करने वाले थे, इधर-उधर कूद रहे थे, और शब्दों का गलत उपयोग कर रहे थे।
- शैक्षिक मूल्य: यदि आप इस रोबोट से सुडोकू हल करना सीखने की कोशिश कर रहे होते, तो आप कुछ भी नहीं सीख पाते। इसने कोई रणनीति नहीं सिखाई।
उदाहरण: कल्पना कीजिए कि एक मास्टर शेफ एक बेहतरीन स्टेक (steak) पका सकता है। आप उनसे पूछते हैं, "आपने इसे कैसे बनाया?"
- एक अच्छा स्पष्टीकरण: "मैंने इसे दो मिनट के लिए तेज़ आंच पर सेयर किया, फिर तापमान कम कर दिया..."
- o1-preview ने क्या किया: इसने आपको स्टेक थमाया और कहा, "यह तैयार है। यह अच्छा है। यह रहा स्टेक।" इसने परिणाम तो दे दिया लेकिन रेसिपी साझा करने से इनकार कर दिया (या नहीं कर पाया)। यह एक ऐसे जादूगर की तरह था जो एक ट्रिक को पूरी तरह से करता है लेकिन, जब पूछा जाता है कि कैसे, तो बस कहता है, "मैंने बस इसे कर दिया," और फिर एक नकली कारण बताता है जो वास्तव में जो हुआ उससे मेल नहीं खाता।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI काम करने (पहेली हल करने) में बेहतर हो रहा है, लेकिन यह अभी भी यह बताने में बहुत खराब है कि उसने वह काम कैसे किया।
लेखकों का तर्क है कि यदि AI को मनुष्यों के साथ एक सच्चा भागीदार बनाना है—विशेष रूप से चिकित्सा या कानून जैसे महत्वपूर्ण कार्यों में—तो इसे अपना काम स्पष्ट रूप से दिखाने में सक्षम होना चाहिए। अभी, सबसे स्मार्ट AI भी उस छात्र की तरह है जो टेस्ट में 'A' ग्रेड तो पाता है लेकिन शिक्षक को उत्तर नहीं समझा पाता।
आगे क्या?
पेपर सुझाव देता है कि AI को पूरी तरह से अपने आप इंसान की तरह "सोचने" के लिए बनाने के बजाय, हमें AI को लॉजिक टूल्स (जैसे विशेष गणित सॉफ्टवेयर) के साथ जोड़ना चाहिए।
- विचार: लॉजिक सॉफ्टवेयर को कठिन, सख्त गणित करने दें ताकि यह सुनिश्चित हो सके कि उत्तर 100% सही है। फिर, AI को अनुवादक (translator) के रूप में कार्य करने दें, जो उस सख्त, उबाऊ गणित को एक मैत्रीपूर्ण, आसानी से समझ में आने वाली कहानी में बदल सके।
संक्षेप में: AI पहेली को हल कर सकता है, लेकिन यह अभी तक आपको यह नहीं सिखा सकता कि इसे कैसे हल किया जाए। यह एक बेहतरीन कार्यकर्ता है, लेकिन एक बहुत ही खराब शिक्षक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।