Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) लगातार एक आलोचनात्मक प्रशंसा की ओर झुकाव प्रदर्शित करते हैं, जो व्यवस्थित रूप से व्यावसायिक रूप से सफल लेकिन आलोचनात्मक रूप से अनभिज्ञ फिल्मों के बजाय आलोचनात्मक रूप से प्रशंसित लेकिन व्यावसायिक रूप से अल्पज्ञात फिल्मों को प्राथमिकता देते हैं, एक ऐसा पूर्वाग्रह जो मॉडल के पैमाने के साथ तीव्र होता है और सार्वजनिक दृश्यता एवं लोकप्रिय प्रतिक्रिया से महत्वपूर्ण रूप से प्रभावित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ लिया है। वह कविताएँ लिखना, गणित की समस्याएँ हल करना और आपके दिन के बारे में बातें करना जानता है। लेकिन यहाँ बड़ा सवाल यह है: क्या यह रोबोट बस वही दोहराता है जो ज़्यादातर लोग कहते हैं, या इसके पास अपना एक गुप्त "स्वाद" है जो विशेषज्ञों की बातों की ओर झुकता है? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है—कंप्यूटर प्रोग्राम जिन्हें भारी मात्रा में मानवीय टेक्स्ट पर प्रशिक्षित किया गया है। वैज्ञानिक लंबे समय से इस बात को लेकर चिंतित रहे हैं कि ये रोबोट लोगों के कुछ समूहों के प्रति पक्षपाती हो सकते हैं, लेकिन यह अध्ययन एक अलग तरह का सवाल पूछता है: क्या उनके भीतर "उच्च संस्कृति" (जैसे आर्ट-हाउस फिल्में) के प्रति एक झुकाव है या "पॉप कल्चर" (जैसे समर ब्लॉकबस्टर) के प्रति? यह पूछने जैसा है कि क्या एक रोबोट, जिसने इतिहास के हर मूवी रिव्यू को पढ़ा है, एक शांत, कठिन फिल्म देखना पसंद करेगा जिसे आलोचकों ने सराहा है, या एक शोर-शराबे वाली, एक्शन से भरपूर फिल्म जिसे थिएटर में मौजूद हर कोई देख रहा है। इसे समझना इसलिए महत्वपूर्ण है क्योंकि ये रोबोट हमारे मार्गदर्शक के रूप में काम कर रहे हैं, हमें बता रहे हैं कि कौन सी फिल्में देखनी चाहिए, कौन सी किताबें पढ़नी चाहिए और कौन सा संगीत सुनना चाहिए। यदि उनकी कोई छिपी हुई प्राथमिकता है, तो वे हमें बिना बताए एक विशिष्ट प्रकार की संस्कृति की ओर मोड़ सकते हैं।
तो, शोधकर्ताओं ने वास्तव में क्या किया? उन्होंने आठ अलग-अलग AI मॉडल्स के साथ ऐसे व्यवहार किया जैसे वे फिल्म आलोचक हों और उन्हें "यह या वह" (This or That) का खेल खेलने के लिए कहा। उन्होंने 200 फिल्में चुनीं और उन्हें तीन समूहों में विभाजित किया:
- डबल विनर्स: ऐसी फिल्में जो आलोचकों की हिट भी थीं और बॉक्स-ऑफिस पर भी सुपरहिट थीं (जैसे द गॉडफादर)।
- क्रिटिक्स डार्लिंग्स: ऐसी फिल्में जिन्हें आलोचकों ने बहुत पसंद किया लेकिन आम दर्शकों ने उन्हें ज़्यादा तवज्जो नहीं दी (अक्सर पुरानी, विदेशी, या "आर्ट-हाउस" फिल्में)।
- क्राउड प्लीजर्स: ऐसी फिल्में जिन्होंने बॉक्स-ऑफिस पर बहुत पैसा कमाया लेकिन आलोचकों से बहुत खराब समीक्षाएं प्राप्त कीं (जैसे कई बड़े बजट की सुपरहीरो या एनिमेटेड सीक्वल)।
शोधकर्ताओं ने AI को एक बार में दो फिल्मों के बीच चुनने के लिए कहा, हजारों बार, यह देखने के लिए कि वह किन फिल्मों को प्राथमिकता देता है। उन्होंने यह प्रयोग चार अलग-अलग बड़ी टेक कंपनियों (Anthos, OpenAI, Alibaba, और Mistral) के मॉडल्स पर चलाया, जिसमें प्रत्येक के "छोटे" और "बड़े" संस्करण भी शामिल थे।
यहाँ एक चौंकाने वाला मोड़ है: रोबोटों ने लगातार 'क्राउड प्लीजर्स' के बजाय 'क्रिटिक्स डार्लिंग्स' को चुना। भले ही "क्राउड प्लीजर्स" के बारे में ऑनलाइन लाखों बार चर्चा की गई थी, फिर भी AI मॉडल्स ने उन दुर्लभ, समीक्षकों द्वारा प्रशंसित फिल्मों को चुनना जारी रखा। शोधकर्ता इसे "क्रिटिकल एक्लेम ओरिएंटेशन" (आलोचनात्मक प्रशंसा का झुकाव) कहते हैं। यह ऐसा है जैसे रोबोट के पास एक गुप्त क्लब मेंबरशिप कार्ड हो जिस पर लिखा हो, "मुझे केवल वही चीज़ पसंद है जिसे कला आलोचक मंज़ूरी देते हैं।"
अध्ययन में यह भी पाया गया कि बड़े, अधिक स्मार्ट रोबोटों में इन आलोचक-पसंदीदा फिल्मों के प्रति और भी मजबूत झुकाव था। जैसे-जैसे मॉडल बड़े होते गए, उनके द्वारा लोकप्रिय ब्लॉकबस्टर के बजाय दुर्लभ कला फिल्मों को चुनने की संभावना बढ़ती गई।
लेकिन क्यों? शोधकर्ताओं ने गहराई से जांच की कि क्या रोबोट केवल उन फिल्मों को चुन रहे थे जिनका उल्लेख सबसे अधिक बार किया गया था (सार्वजनिक दृश्यता) या उन्हें जिन्हें आम लोगों ने उच्च रेटिंग दी थी (लोकप्रिय स्वागत)। उन्होंने इन कारकों को अलग करने के लिए एक चतुर सांख्यिकीय तकनीक का उपयोग किया। उन्होंने पाया कि भले ही आप किसी फिल्म की प्रसिद्धि या आम लोगों के पसंद के स्तर को भी ध्यान में रखें, AI अभी भी उन फिल्मों को पसंद करता है जिन्हें आलोचकों ने सराहा था। वास्तव में, जब उन्होंने फिल्म की प्रसिद्धि के आधार पर समायोजन किया, तो AI ने शुद्ध रूप से व्यावसायिक फिल्मों को पहले की तुलना में और भी अधिक नापसंद करना शुरू कर दिया। यह सुझाव देता है कि AI केवल लोकप्रियता की नकल नहीं कर रहा है; उसने प्रशिक्षण डेटा से एक विशिष्ट "प्रतिष्ठा" (prestige) संकेत को आत्मसात कर लिया है जो जन-आकर्षण के बजाय आलोचनात्मक प्रशंसा को महत्व देता है।
दिलचस्प बात यह है कि रोबोट का व्यवहार इस बात पर निर्भर करता था कि आपसे सवाल कैसे पूछा गया। जब शोधकर्ताओं ने पूछा, "आप सामान्य दर्शकों को कौन सी फिल्म सुझाएंगे?" तो रोबोट की प्राथमिकताएं बदल गईं और वे 'क्रिटिक्स डार्लिंग्स' के प्रति कम जुनूनी हो गए। यह सुझाव देता है कि AI मोड बदल सकता है: उसके पास एक "क्रिटिक मोड" है जो उच्च-स्तरीय कला को पसंद करता है, लेकिन यदि आप उसे अधिक व्यावहारिक होने के लिए कहें, तो वह "रिकमेंडर मोड" भी चालू कर सकता है।
संक्षेप में, यह अध्ययन बताता है कि इन AI मॉडल्स ने स्वाद का एक छिपा हुआ पदानुक्रम सीख लिया है। वे जनसमूह की स्वीकृति के बजाय सांस्कृतिक अभिजात वर्ग (आलोचकों) की स्वीकृति को अधिक महत्व देते हैं, भले ही आम जनता किसी फिल्म के बारे में आलोचकों की तुलना में दस लाख गुना अधिक बात कर रही हो। हालांकि इसका मतलब यह नहीं है कि रोबोट "चेतन" हैं या उनमें भावनाएं हैं, लेकिन इसका मतलब यह है कि यदि आप उनसे उनकी राय मांगते हैं, तो वे संभवतः आपको "गंभीर" चीजों की ओर मोड़ देंगे, जिससे वे उन मज़ेदार, लोकप्रिय फिल्मों को अनदेखा कर सकते हैं जिन्हें आम लोग पसंद करते हैं। शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह एक पैटर्न है जिसे उन्होंने देखा और मापा है, न कि यह कि रोबोट के "मस्तिष्क" कैसे काम करते हैं इसके बारे में एक प्रमाणित तथ्य है, लेकिन उनके द्वारा परीक्षण किए गए सभी मॉडल्स में साक्ष्य मजबूत और सुसंगत हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।