Semantic Content Determines Algorithmic Performance
यह शोध पत्र "WhatCounts" को प्रस्तुत करता है, जो एक परमाणु बेंचमार्क (atomic benchmark) है जो यह प्रदर्शित करता है कि अत्याधुनिक एलएलएम (LLMs) वास्तव में अपरिवर्तनीय एल्गोरिदम को लागू करने में विफल रहते हैं, क्योंकि सरल गणना कार्यों पर उनका प्रदर्शन केवल गिनी जा रही वस्तुओं की अर्थपूर्ण सामग्री के आधार पर 40% से अधिक अनिश्चित रूप से भिन्न होता है, जो केवल तर्क जटिलता से परे छिपे हुए इनपुट-निर्भर पूर्वाग्रहों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है। आप उससे एक सरल काम करने के लिए कहते हैं: "इस सूची में कितनी वस्तुएं हैं, उन्हें गिनें।"
कंप्यूटर की दुनिया में, एक वास्तविक "एल्गोरिदम" (निर्देशों का एक सेट) एक आदर्श, अंधे रोबोट की तरह होता है। यदि आप उसे 5 सेबों की सूची देते हैं, तो वह 5 गिनता है। यदि आप उसे 5 पत्थरों की सूची देते हैं, तो वह भी 5 ही गिनता है। उसे इस बात से कोई फर्क नहीं पड़ता कि वह क्या गिन रहा है; उसे केवल यह परवाह है कि वहां कितनी चीजें हैं। वस्तुओं का अर्थ परिणाम को नहीं बदलना चाहिए।
यह शोध पत्र, जिसका शीर्षक "सेमेंटिक कंटेंट डिटरमाइन्स एल्गोरिद्मिक परफॉर्मेंस" (अर्थपूर्ण सामग्री एल्गोरिद्मिक प्रदर्शन निर्धारित करती है) है, आज के सबसे उन्नत एआई मॉडलों (लार्ज लैंग्वेज मॉडल्स या LLMs) के बारे में एक आश्चर्यजनक और थोड़ा शर्मनाक सच उजागर करता है: वे पूर्णतः अंधे रोबोट नहीं हैं। वे वास्तव में इस बात के प्रति बहुत संवेदनशील हैं कि वे क्या गिन रहे हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं के माध्यम से विवरण दिया गया है:
1. "व्हाटकाउंट्स" (WhatCounts) टेस्ट
शोधकर्ताओं ने WhatCounts नामक एक अत्यंत सरल परीक्षण बनाया।
- सेटअप: उन्होंने एआई को पाइप (जैसे
|) द्वारा अलग की गई वस्तुओं की एक सूची दी। - नियम: सूची में कोई चालबाजी नहीं थी। कोई डुप्लिकेट नहीं, कोई भ्रमित करने वाले शब्द नहीं, कोई "डिस्ट्रैक्टर" (ध्यान भटकाने वाली चीज़ें) नहीं। बस 10 वस्तुओं की एक साफ सूची।
- परिवर्तनीय (Variable): उन्होंने वस्तु का प्रकार बदल दिया। कभी यह 10 शहर थे, कभी 10 रसायन, कभी 10 नाम, और कभी 10 इमोजी।
परिणाम: एआई की सटीकता वस्तुओं के प्रकार के आधार पर बहुत अधिक बदल गई।
- यदि सूची शहरों की थी, तो एआई शायद 95% बार सही होता।
- यदि सूची रसायनों की थी, तो वही एआई शायद केवल 50% बार ही सही होता।
- अंतर: कुछ मामलों में, सटीकता का अंतर 40% से भी अधिक था।
उपमा: कल्पना कीजिए कि एक कैशियर है जो सेब गिनने में बहुत अच्छा है लेकिन जैसे ही आप उसे संतरे थमाते हैं, वह गिनती भूल जाता है, भले ही कार्य बिल्कुल वही हो। कैशियर गणित में बुरा नहीं है; वह बस फलों के प्रकार से अजीब तरह से पक्षपाती है।
2. यह "गिनने" की समस्या नहीं है
शोधकर्ता जानना चाहते थे कि ऐसा क्यों हुआ। उन्होंने सामान्य बहानों को खारिज करने के लिए कई प्रयोग किए:
- क्या यह इसलिए है क्योंकि कुछ शब्द लंबे हैं? (टोकन काउंट)
- परीक्षण: उन्होंने सुनिश्चित किया कि प्रत्येक सूची में समान संख्या में "टोकन" (कंप्यूटर शब्द) हों, भले ही वस्तुएं अलग-अलग हों।
- परिणाम: पक्षपात बना रहा। यह लंबाई के बारे में नहीं था।
- क्या एआई यह नहीं देख पाता कि एक वस्तु कहाँ समाप्त होती है और अगली कहाँ शुरू होती है? (पहचान)
- परीक्षण: उन्होंने एआई से प्रत्येक वस्तु को XML टैग (जैसे
<item>City</item>) में लपेटने के लिए कहा, न कि गिनने के लिए। - परिणाम: एआई वस्तुओं को पहचानने में उत्कृष्ट था। वह जानता था कि शहर और रसायन कहाँ शुरू होते हैं और कहाँ समाप्त होते हैं। समस्या वस्तुओं को देखने की नहीं थी; समस्या उन्हें गिनने की थी।
- परीक्षण: उन्होंने एआई से प्रत्येक वस्तु को XML टैग (जैसे
- क्या एआई को "अधिक सोचने" की आवश्यकता है? (तर्क/रीजनिंग)
- परीक्षण: उन्होंने एआई को अधिक "तर्क प्रयास" (स्टेप-बाय-स्टेप सोचना) करने के लिए मजबूर किया।
- परिणाम: आश्चर्यजनक रूप से, एआई को अधिक गहराई से सोचने के लिए मजबूर करने से समस्या हल नहीं हुई। वास्तव में, सबसे स्मार्ट मॉडलों के लिए, अधिक सोचने से कभी-कभी "आसान" वस्तुओं और "कठिन" वस्तुओं के बीच का अंतर और भी बढ़ गया।
3. पक्षपात की "अस्थिर" प्रकृति
शोधकर्ताओं ने यह भी देखा कि ये मॉडल कैसे प्रशिक्षित होते हैं। उन्होंने पाया कि यह पक्षपात अप्रत्याशित है।
- यदि आप दो ऐसे मॉडल लेते हैं जो लगभग समान हैं लेकिन थोड़े अलग डेटा पर प्रशिक्षित हैं, तो एक मॉडल रसायनों को गिनने में बहुत अच्छा हो सकता है लेकिन नामों को गिनने में बुरा।
- दूसरा बिल्कुल इसके विपरीत हो सकता है।
- उपमा: यह उन दो छात्रों की तरह है जिन्होंने एक ही पाठ्यपुस्तक पढ़ी है। छात्र A "सेब" से संबंधित गणित के सवालों को हल करने में बहुत अच्छा है लेकिन "संतरे" के मामले में विफल हो जाता है। छात्र B इसके विपरीत है। आप केवल उनके सामान्य ग्रेड को देखकर यह अनुमान नहीं लगा सकते कि कौन सा छात्र असफल होगा; यह पूरी तरह से विशिष्ट विषय पर निर्भर करता है।
4. यह क्यों महत्वपूर्ण है (द "एजेंट" समस्या)
यह शोध पत्र दिखाता है कि यह केवल एक सामान्य ज्ञान का खेल नहीं है। इन मॉडलों का उपयोग तेजी से "एजेंटों" के रूप में किया जा रहा है जो हमारे लिए काम करते हैं, जैसे कोड चलाना या डेटाबेस प्रबंधित करना।
- परिदृश्य: कल्पना कीजिए कि एक एआई एजेंट को पैकेज भेजने के लिए सूची में वस्तुओं को गिनने की आवश्यकता है। वह मदद के लिए एक पायथन टूल (कैलकुलेटर) का उपयोग करता है।
- विफलता: भले ही एआई के पास गिनने में मदद के लिए कैलकुलेटर हो, फिर भी वह भ्रमित हो जाता है यदि वस्तुएं "शहरों" के बजाय "रसायनों" की हैं।
- परिणाम: यदि कोई सिस्टम निर्णय लेने (जैसे "क्या हमारे पास पर्याप्त सामग्री है?") के लिए एआई द्वारा सही ढंग से चीजों को गिनने पर निर्भर करता है, तो वह सिस्टम केवल इसलिए विफल हो सकता है क्योंकि शब्दों का अर्थ बदल गया, न कि इसलिए कि गणित कठिन था।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि LLMs वास्तव में एल्गोरिदम को "लागू" (implement) नहीं करते हैं।
- वास्तविक एल्गोरिदम: एक नियम जो हर उस तरीके से काम करता है चाहे आप उसमें कुछ भी डालें। (जैसे एक वेंडिंग मशीन: एक सिक्का डालें, सोडा प्राप्त करें। इससे कोई फर्क नहीं पड़ता कि सिक्का एक क्वार्टर है या यूरो; मशीन बस उसका मूल्य गिनती है)।
- LLM व्यवहार: वे एल्गोरिदम का अनुकरण (approximating) कर रहे हैं। वे पैटर्न-मैचिंग कर रहे हैं। उन्होंने सीखा है कि उनके प्रशिक्षण डेटा में "शहरों को गिनना" आमतौर पर एक निश्चित तरीके से दिखता है और "रसायनों को गिनना" अलग दिखता है। वे एक कठोर नियम का पालन नहीं कर रहे हैं; वे शब्दों के स्वाद (flavor) के आधार पर अनुमान लगा रहे हैं।
संक्षेप में: यदि आप किसी इंसान को 10 चीजें गिनने के लिए कहते हैं, तो वे 10 ही गिनते हैं। यदि आप एक शीर्ष श्रेणी के एआई को 10 चीजें गिनने के लिए कहते हैं, तो उत्तर इस बात पर निर्भर कर सकता है कि वे चीजें "इमोजी" हैं या "रसायन"। एआई एक कैलकुलेटर नहीं है; यह एक बहुत अच्छा अनुमान लगाने वाला है जो शब्दों के अर्थ से लड़खड़ा जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।