Orthographic Constraint Satisfaction and Human Difficulty Alignment in Large Language Models
यह शोध पत्र तीन बड़े भाषा मॉडल परिवारों के 39 विन्यासों का 58 शब्द पहेलियों पर मूल्यांकन करता है, जो यह प्रकट करता है कि क्रॉस-फैमिली अंतर और मानव-संरेखित कठिनाई पैटर्न, पैरामीटर स्केलिंग से अधिक प्रभावी हैं, जबकि असामान्य वर्तनी वाले सामान्य शब्दों पर व्यवस्थित मॉडल विफलताओं को उजागर करता है जो वितरण संबंधी संभाव्यता (distributional plausibility) पर अत्यधिक निर्भरता के कारण होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शब्द खेल खेल रहे हैं जैसे कि Spelling Bee, जहाँ आपको सात अक्षरों का एक विशिष्ट सेट दिया जाता है और आपको उन अक्षरों का उपयोग करके अधिक से अधिक शब्द बनाने होते हैं, जिसमें एक विशिष्ट अक्षर हर शब्द में होना अनिवार्य है।
यह शोध पत्र उस खेल को आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक 'स्ट्रेस टेस्ट' के रूप में देखता है। शोधकर्ता यह देखना चाहते थे कि विभिन्न AI मॉडल मानव प्रदर्शन की तुलना में इन सख्त "अक्षर नियमों" का पालन करने में कितने बेहतर हैं। उन्होंने केवल AI को कहानी लिखने के लिए नहीं कहा; उन्होंने उससे एक पहेली सुलझाने को कहा जहाँ नियमों को गलत करने का अर्थ है कि उत्तर अमान्य है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "परिवार" बनाम "आकार" का आश्चर्य
आप सोच सकते हैं कि AI को "बड़ा" बनाना (उसे अधिक मस्तिष्क शक्ति या पैरामीटर्स देना) सबसे महत्वपूर्ण चीज़ है। शोधकर्ताओं ने पाया कि यह पूरी तरह सच नहीं है।
- उपमा: कल्पना कीजिए कि आपके पास तीन अलग-अलग ब्रांडों (Qwen, Claude, और GPT) की तीन अलग-अलग कारें हैं। आप ब्रांड A से एक छोटी कार या एक विशाल ट्रक खरीद सकते हैं।
- निष्कर्ष: ब्रांड A की छोटी कार और ब्रांड A के विशाल ट्रक के बीच का अंतर ध्यान देने योग्य था, लेकिन ब्रांड A के विशाल ट्रक और ब्रांड B की छोटी कार के बीच का अंतर बहुत बड़ा था।
- परिणाम: AI किस "परिवार" से संबंधित है, यह उसके आकार से कहीं अधिक मायने रखता है। प्रोप्रायटरी मॉडल (जैसे GPT और Claude) इन पहेलियों को हल करने में सबसे बड़े ओपन-सोर्स मॉडल्स की तुलना में 2 से 2.2 गुना बेहतर थे, भले ही उन ओपन-सोर्स मॉडल्स को काफी बड़े स्तर पर बढ़ाया गया हो।
2. "सोचने के समय" का विरोधाभास
शोधकर्ताओं ने यह परीक्षण किया कि जब वे पहेली को हल करने के लिए AI को अधिक "सोचने का समय" (अधिक कम्प्यूटेशनल बजट) देते हैं तो क्या होता है।
- उपमा: कल्पना कीजिए कि आप एक छात्र को गणित का सवाल हल करने के लिए कह रहे हैं। आप उन्हें 1 मिनट, 5 मिनट, या 1 घंटा दे सकते हैं।
- निष्कर्ष:
- सुपर-स्टूडेंट्स (उच्च-क्षमता वाले मॉडल्स): यदि आप सबसे स्मार्ट मॉडल्स को अधिक समय देते हैं, तो वे काफी बेहतर हो जाते हैं। वे समय का उपयोग अपने काम की दोबारा जाँच करने के लिए करते हैं।
- भ्रमित छात्र (मध्यम-आकार के मॉडल्स): आश्चर्यजनक रूप से, मध्यम आकार के मॉडल्स को अधिक समय देने से वे वास्तव में बदतर हो गए। ऐसा लगता है जैसे वे बहुत अधिक सोचने लगे और खुद को उलझन में डाल लिया, जिससे वे अधिक गलत उत्तर उत्पन्न करने लगे।
- नन्हा बच्चा (छोटे मॉडल्स): सबसे छोटे मॉडल्स को अधिक समय देने से कोई मदद नहीं मिली। वे बस वही गलतियाँ करते रहे क्योंकि बुनियादी तौर पर उनके पास समस्या को हल करने के लिए आवश्यक उपकरण ही नहीं थे।
3. "मानव बनाम रोबोट" कठिनाई का अंतर
शोधकर्ताओं ने AI के प्रदर्शन की तुलना 10,000 वास्तविक मनुष्यों द्वारा खेले गए समान खेल के डेटा से की।
- उपमा: कल्पना कीजिए कि एक मानचित्र है जहाँ कुछ सड़कें आसान हैं और कुछ कठिन। मनुष्य और AI दोनों आसान रास्तों को आसान और कठिन रास्तों को कठिन पाते हैं, लेकिन वे अलग-अलग जगहों पर रास्ता भटक जाते हैं।
- निष्कर्ष: AI मनुष्यों के साथ कुछ हद तक संरेखित (aligned) है (यदि कोई शब्द मनुष्य के लिए कठिन है, तो वह AI के लिए भी कठिन होता है), लेकिन एक बड़ा अंतर है।
- ग्लिच (खराबी): AI लगातार उन बहुत ही सामान्य, आसान शब्दों पर विफल रहा जो मनुष्यों को आसान लगते थे, विशेष रूप से वे शब्द जिनमें दोहराए गए अक्षर या असामान्य पैटर्न होते हैं।
- उदाहरण: "data", "loll", "momma", या "illicit" जैसे शब्द।
- क्यों? मनुष्य इन शब्दों को देखते हैं और जानते हैं कि वे वास्तविक हैं। हालाँकि, AI मुख्य रूप से इस बात पर निर्भर करता है कि उसने अपने प्रशिक्षण डेटा में अक्षरों के संयोजन को कितनी बार देखा है। क्योंकि इसके प्रशिक्षण डेटा में शब्द के बीच में "ll" या "mm" सांख्यिकीय रूप से कम सामान्य है, AI सोचता है, "यह अजीब दिखता है, इसलिए यह शायद एक वैध शब्द नहीं है," भले ही वह एक वैध शब्द हो। यह एक ऐसे शेफ की तरह है जो किसी व्यंजन को बनाने से मना कर देता है क्योंकि सामग्री को ऐसे पैटर्न में व्यवस्थित किया गया है जिसे उसने पहले कभी नहीं देखा, भले ही वह व्यंजन स्वादिष्ट हो।
4. "लंबे शब्द" का पतन
लंबे शब्दों को संभालने के मामले में मनुष्यों और AI के बीच एक बड़ा अंतर है।
- उपमा: कल्पना कीजिए कि एक करतब (juggling) चल रहा है। मनुष्य 4 गेंदें, फिर 5, फिर 6 संभाल सकते हैं, और उनका प्रदर्शन केवल थोड़ा ही गिरता है।
- निष्कर्ष: AI एक ऐसे कलाकार की तरह है जो 4 गेंदों को ठीक से संभाल सकता है, लेकिन जैसे ही आप 5वीं या 6ठी गेंद जोड़ते हैं, वह सब कुछ गिरा देता है।
- परिणाम: जैसे-जैसे शब्द लंबे होते जाते हैं, मनुष्यों की सफलता धीरे-धीरे कम होती है। लेकिन AI के लिए, विशेष रूप से छोटे मॉडल्स के लिए, सफलता दर तेजी से गिर जाती है। एक छोटा मॉडल 4-अक्षरों वाले शब्दों को ठीक से हल कर सकता है, लेकिन 7+ अक्षरों वाले शब्दों को हल करने की उसकी क्षमता 70 के कारक से गिर जाती है। ऐसा लगता है कि जैसे-जैसे शब्द लंबा होता जाता है, AI नियमों को ट्रैक करना खो देता है, और भूल जाता है कि उसे किन अक्षरों का उपयोग करने की अनुमति है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल इस बात के अनुमान लगाने में माहिर हैं कि शब्दों को संभाव्यता (probability) के आधार पर कैसा दिखना चाहिए, लेकिन वे संघर्ष करते हैं जब उन्हें सख्ती से नियमों का पालन करना पड़ता है। वे अक्सर सरल, सामान्य शब्दों को मिस कर देते हैं क्योंकि वे शब्द AI के लिए "सांख्यिकीय रूप से असंभावित" दिखते हैं, और जब पहेली बहुत लंबी या जटिल हो जाती है, तो वे पूरी तरह से बिखर जाते हैं। इसे ठीक करने का सबसे अच्छा तरीका केवल AI को बड़ा बनाना नहीं है, बल्कि यह बदलना है कि वह अपने काम की जाँच कैसे करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।