Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses
यह शोध पत्र विभिन्न भाषाई जटिलता के साथ प्रतिक्रियाएं उत्पन्न करने की बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की क्षमता का आकलन करने के लिए एक नए ढांचे का प्रस्ताव करता है और उसका मूल्यांकन करता है, जो यह प्रकट करता है कि वर्तमान मॉडल उपयोगकर्ता की आवश्यकताओं के अनुरूप अपनी आउटपुट शैली को लगातार समायोजित करने में संघर्ष करते हैं, जिसमें सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल भी केवल 46% मामलों में ही सफल हो पाया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रेस्तरां में हैं जहाँ शेफ (AI) को एक ही व्यंजन (एक प्रश्न का उत्तर) बनाना है, लेकिन उसे पाँच अलग-अलग लोगों को परोसना है: एक 5 साल के बच्चे को, एक कॉलेज छात्र को, एक पीएचडी छात्र को, एक पोस्टडॉक्टोरल शोधकर्ता को और एक सीनियर प्रोफेसर को।
यह शोध एक सरल लेकिन पेचीदा सवाल पूछता है: क्या शेफ वास्तव में रेसिपी को इतना बदल सकता है कि हर व्यक्ति को उनके स्वाद के अनुरूप भोजन मिले, या क्या शेफ बस थोड़ा अलग सजावट (garnishes) के साथ वही प्लेट परोस देता है?
यहाँ शोध का सरल विवरण दिया गया है:
1. समस्या: "एक ही आकार सबके लिए" वाला मेनू
अभी, जब हम AI चैटबॉट्स से बात करते हैं, तो हमें आमतौर पर एक ही उत्तर मिलता है। यदि आप सरल उत्तर चाहते हैं, तो आपको एक नया प्रॉम्प्ट टाइप करना पड़ता है जैसे, "इसे ऐसे समझाएं जैसे मैं पाँच साल का हूँ।" यदि आप इसे अधिक जटिल बनाना चाहते हैं, तो आपको फिर से टाइप करना पड़ता है।
शोधकर्ताओं ने यह देखने की कोशिश की कि क्या हम एक बेहतर इंटरफ़ेस बना सकते हैं जहाँ आपके पास एक स्लाइडर (एक वॉल्यूम नॉब की तरह) हो। आप इसे "सरल" से "विशेषज्ञ" की ओर स्लाइड कर सकते हैं, और AI आपके लिए तुरंत उत्तर को फिर से लिख देगा।
लेकिन ये स्लाइडर बनाने से पहले, हमें यह जानना होगा: क्या AI वास्तव में उस नॉब को घुमाने में सक्षम है? क्या वह जानता है कि टेक्स्ट को वास्तव में अलग कैसे बनाया जाए, या वह बस शब्दों को इधर-उधर कर देता है?
2. परीक्षण: "स्वाद परीक्षण" (The Taste Test)
शोधकर्ताओं ने यह पता लगाने के लिए दो चीजें कीं:
चरण A: मानव स्वाद परीक्षण (फॉर्मेटिव स्टडी)
उन्होंने 16 लोगों (मुख्य रूप से वैज्ञानिकों और छात्रों) को एक प्रोटोटाइप स्लाइडर आज़माने के लिए कहा। उन्होंने पाया कि लोगों को नियंत्रण मिलना बहुत पसंद आया। वे "जार्गन" (भारी शब्द) या जानकारी की मात्रा को कम करने के लिए डायल करना चाहते थे।- पेंच (The Catch): प्रतिभागियों ने गौर किया कि कभी-कभी "सरल" संस्करण और "मध्यम" संस्करण लगभग एक जैसे ही महसूस होते थे। स्लाइडर पर्याप्त बदलाव नहीं ला पा रहा था।
चरण B: रोबोट स्वाद परीक्षण (मॉडल मूल्यांकन)
उन्होंने 98 कठिन विज्ञान संबंधी प्रश्न लिए और 5 अलग-अलग AI मॉडलों (जैसे GPT-5, Claude और DeepSeek) से प्रत्येक प्रश्न के लिए 5 संस्करण बनाने को कहा, जो "कॉलेज छात्र" से लेकर "सीनियर रिसर्चर" तक के स्तर के थे।
3. जटिलता के घटक
यह मापने के लिए कि क्या AI ने वास्तव में "स्वाद" बदला है, उन्होंने तीन विशिष्ट घटकों को देखा:
- जार्गन (Jargon): क्या भारी, तकनीकी शब्द कम हुए हैं?
- सूचना (Information): क्या तकनीकी विवरण का घनत्व कम हुआ है?
- लंबाई (Length): क्या टेक्स्ट छोटा है? (आमतौर पर, सरल उत्तर छोटे होते हैं, लेकिन हमेशा नहीं)।
4. परिणाम: शेफ भ्रमित है
यहाँ उन्होंने क्या पाया, एक सरल उदाहरण के साथ:
लंबाई का नॉब काम करता है: यदि आपने AI से टेक्स्ट को "सरल" बनाने के लिए कहा, तो उसने लगभग हमेशा टेक्स्ट को छोटा कर दिया। यह ऐसा है जैसे शेफ हमेशा पूछे जाने पर छोटा हिस्सा (portion) ही परोसता है।
जार्गन और सूचना के नॉब खराब हैं: यह एक बड़ी समस्या है। जब शोधकर्ताओं ने AI से टेक्स्ट को अधिक जटिल (विशेषज्ञों के लिए) बनाने के लिए कहा, तो AI अक्सर गलती से इसे सरल बना देता था या इसे वैसा ही रखता था।
- आंकड़ा (The Stat): यहाँ तक कि सबसे अच्छे AI मॉडल (Claude Sonnet 4.5) ने भी केवल 46% बार सही "दिशा" पकड़ी। यह सिक्का उछालने जैसा ही है!
- "एलबोरेटिव सिम्प्लीफिकेशन" (विस्तृत सरलीकरण) का जाल: कभी-कभी, जब AI ने एक जटिल उत्तर को "सरल" बनाने की कोशिश की, तो उसने कठिन शब्दों को हटाया नहीं। इसके बजाय, उसने कठिन शब्दों को समझाने के लिए और अधिक शब्द जोड़ दिए, जिससे वह एक लंबा और भ्रामक टेक्स्ट बन गया। इसने टेक्स्ट को लंबा तो बनाया, लेकिन वास्तव में समझने में आसान नहीं बनाया।
"पहला कदम" वाली समस्या: AI "लेवल 1" (कॉलेज छात्र) से "लेवल 2" (जूनियर पीएचडी) में जाने के लिए उत्तर बदलने में काफी अच्छा था। लेकिन जैसे ही उन्होंने "लेवल 3" से "लेवल 4" और "लेवल 5" की ओर जाने की कोशिश की, AI भ्रमित हो गया और उत्तरों के बीच का अंतर रैंडम (यादृच्छिक) हो गया।
5. निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि AI टेक्स्ट लिखने में बहुत अच्छा होता जा रहा है, लेकिन वर्तमान में यह "रूप बदलने" (shape-shifter) में बुरा है।
यदि आप आज एक स्लाइडर इंटरफ़ेस बनाते हैं, तो उपयोगकर्ता इसे "सरल" से "जटिल" की ओर स्लाइड कर सकता है, और AI शायद आपको बिल्कुल वही उत्तर दे देगा, या एक ऐसा उत्तर देगा जो पहले की तुलना में वास्तव में कम जटिल है।
मुख्य बात: हम यह मानकर नहीं चल सकते कि AI अभी इंटरैक्टिव कंट्रोल्स (जैसे स्लाइडर) को संभाल सकता है। हमें इन मॉडल्स को यह सिखाने की आवश्यकता है कि वे अपनी "आवाज़" और "गहराई" को विश्वसनीय रूप से कैसे बदलें, इससे पहले कि हम उपयोगकर्ताओं को इसे खुद करने के लिए नियंत्रण दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।