Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models
यह अध्ययन पाँच फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) को 'कार्ड्स अगेंस्ट ह्यूमरिटी' खिलाकर उनके हास्य संरेखण (humor alignment) का बेंचमार्किंग करता है, जिससे यह पता चलता है कि यद्यपि वे यादृच्छिक संभावना (random chance) से बेहतर प्रदर्शन करते हैं, लेकिन मानवीय प्राथमिकताओं के साथ उनकी मामूली सहमति और मॉडल्स के बीच उच्च अंतर-सहमति यह संकेत देती है कि उनके हास्य निर्णय वास्तविक मानव-समान समझ के बजाय संरचनात्मक आर्टिफैक्ट्स (structural artifacts) से महत्वपूर्ण रूप से प्रभावित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने गेम नाइट के लिए अपने घर पर पाँच सुपर-स्मार्ट रोबोट्स को आमंत्रित किया है। खेल कार्ड्स अगेंस्ट ह्यूमैनिटी (Cards Against Humanity) है, जो एक लोकप्रिय पार्टी गेम है, जहाँ खिलाड़ी मज़ेदार उत्तरों (व्हाइट कार्ड) के साथ एक मज़ेदार सवाल (ब्लैक कार्ड) को मिलाकर दूसरों को हँसाने की कोशिश करते हैं।
आमतौर पर, इसे इंसान खेलते हैं। लेकिन इस अध्ययन में, शोधकर्ताओं ने दुनिया के पाँच सबसे उन्नत AI मॉडल्स (जैसे GPT, Claude और Gemini) से वास्तविक इंसानों के साथ मिलकर खेलने के लिए कहा। वे यह देखना चाहते थे: क्या इन रोबोट्स में हमारे जैसा हास्य बोध (sense of humor) है? या वे बस यह सोचते हैं कि वे मज़ेदार हैं?
यहाँ जो हुआ, उसका सरल विवरण दिया गया है:
1. सेटअप: एक डिजिटल गेम नाइट
शोधकर्ताओं ने लगभग 10,000 राउंड के उन खेलों को लिया जो असली इंसानों ने ऑनलाइन खेले थे। हर एक राउंड के लिए, उन्होंने वही सवाल और वही 10 उत्तर विकल्प पाँच AI मॉडल्स को दिखाए।
- मानव खिलाड़ी: उस कार्ड को चुनता जिसे वह सबसे मज़ेदार समझता था।
- AI खिलाड़ी: प्रत्येक ने उस कार्ड को चुना जिसे वे सबसे मज़ेदार समझते थे।
लक्ष्य यह देखना था कि क्या AI उसी कार्ड को चुनेगा जिसे इंसान ने चुना था।
2. बड़ा आश्चर्य: रोबोट आपस में इंसानों की तुलना में अधिक सहमत होते हैं
आप उम्मीद कर सकते हैं कि रोबोट इंसानी हँसी की नकल करने की कोशिश करेंगे। लेकिन परिणाम अजीब थे:
- रोबोट बनाम इंसान: AI मॉडल केवल 13% से 18% बार "सही" थे। यदि वे केवल अंदाज़ा लगा रहे होते, तो वे 10% बार सही होते। इसलिए, वे रैंडम अंदाज़े से थोड़े बेहतर तो हैं, लेकिन वे अभी भी इंसानी मज़ाक को समझने में चूक जाते हैं।
- रोबोट बनाम रोबोट: यहाँ मुख्य बात है। AI मॉडल एक-दूसरे के साथ इंसानों की तुलना में बहुत अधिक बार सहमत हुए। कभी-कभी वे एक-दूसरे के साथ लगभग 60% बार सहमत थे!
उपमा: कल्पना कीजिए कि आप और आपके चार दोस्त एक पार्टी में हैं। आप सभी एक सूची में से सबसे मज़ेदार चुटकुला चुनने की कोशिश करते हैं।
- आप (इंसान) चुटकुला A चुनते हैं।
- आपके चार रोबोट दोस्त सभी चुटकुला B चुनते हैं।
- भले ही आप "विशेषज्ञ" हों कि क्या मज़ेदार है, रोबोट एक-दूसरे की ओर देखते हुए कह रहे हैं, "हाँ, चुटकुला B बहुत मज़ेदार है!" जबकि आप हैरान रह जाते हैं।
3. वे ऐसा क्यों कर रहे हैं? ("रोबोट ग्लिच")
शोधकर्ताओं ने इस बात की गहराई से जाँच की कि रोबोट इन विशिष्ट चुटकुलों को क्यों चुन रहे थे। उन्होंने पाया कि दो मुख्य कारण थे जिनसे रोबोट इंसानों की तरह व्यवहार नहीं कर रहे थे:
A. "पोजीशन" बायस (टेबल पर बैठने की जगह)
इंसान चुटकुले के अर्थ को देखते हैं। हालाँकि, रोबोट्स का एक पसंदीदा स्थान (सीट) लग रहा था।
- एक रोबोट हमेशा पोजीशन 3 वाले कार्ड को पसंद करता था।
- दूसरा हमेशा पोजीशन 10 (सबसे आखिरी वाला) को पसंद करता था।
- यह वैसा ही है जैसे कोई छात्र बहुविकल्पीय परीक्षा में हमेशा तीसरे उत्तर को चुनता है, इसलिए नहीं कि वह सही है, बल्कि इसलिए क्योंकि उसे नंबर तीन पसंद है।
B. "टॉपिक" बायस (चुटकुले का स्वाद)
रोबोटों का भी एक विशिष्ट प्रकार का हास्य था जो इंसानों से मेल नहीं खाता था:
- इंसान: राजनीति, पहचान और सामाजिक मुद्दों के बारे में चुटकुलों को पसंद करते थे।
- रोबोट: उन्हें शरीर, शारीरिक तरल पदार्थ और सेक्स से जुड़े चुटकुलों के बारे में चुटकुले पसंद थे। उन्होंने इन प्रकार के चुटकुलों को बहुत अधिक बार चुना जो इंसान वास्तव में पसंद करते हैं।
- क्यों? शोधकर्ताओं का मानना है कि रोबोट्स को "विनम्र और सुरक्षित" होने के लिए प्रशिक्षित किया गया है। इसलिए, जब वे मज़ेदार होने की कोशिश करते हैं, तो वे जोखिम भरे, तीखे राजनीतिक चुटकुलों से बचते हैं जो इंसानों को वास्तव में मज़ेदार लगते हैं। इसके बजाय, वे "घिनौने" (gross-out) हास्य की ओर झुकते हैं क्योंकि यह AI की प्रोग्रामिंग के लिए "सुरक्षित" लगता है, भले ही यह वह नहीं है जो इंसान वास्तव में पसंद करते हैं।
4. निष्कर्ष: हास्य की "अनकैनी वैली" (Uncanny Valley)
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये AI मॉडल कोड लिखने या टेक्स्ट का सारांश बनाने में अद्भुत हैं, लेकिन हास्य अभी भी उनके लिए एक रहस्य है।
उन्होंने चुटकुलों को उस तरह से नहीं सीखा है जैसे हम समझते हैं। इसके बजाय, उन्होंने अपना खुद का "रोबोट सेंस ऑफ ह्यूमर" विकसित किया है जो है:
- सुसंगत (Consistent): वे सभी एक-दूसरे से सहमत होते हैं।
- दोषपूर्ण (Flawed): वे सरल ट्रिक्स (जैसे तीसरा कार्ड चुनना) और विशिष्ट विषयों (घिनौने हास्य) पर निर्भर रहते हैं, न कि चुटकुले के जटिल सामाजिक संदर्भ को समझने पर।
मुख्य बात:
यदि आप जानना चाहते हैं कि एक इंसान को क्या मज़ेदार लगता है, तो AI से न पूछें। AI वर्तमान में एक बहुत ही बुद्धिमान एलियन की तरह है जो एक मानवीय पार्टी में फिट होने की कोशिश कर रहा है, लेकिन वह बार-बार एक ही प्रकार के चुटकुले सुनाता है और एक ही कुर्सी पर बैठ जाता है, जिससे हर कोई भ्रमित हो जाता है। वे करीब तो आ रहे हैं, लेकिन वास्तव में चुटकुले को "समझने" के लिए उन्हें अभी लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।