Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

कल्पना कीजिए कि आप एक कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन केवल एक दोस्त से पूछने के बजाय, आप दोस्तों से भरे एक पूरे कमरे में जाते हैं। आप यह उम्मीद करते हैं कि क्योंकि वे सभी अलग-अलग लोग हैं, वे आपको विविध रचनात्मक समाधान देंगे। यह "एन्सेम्बल्स" (ensembles) के रूप में एआई (AI) मॉडलों का उपयोग करने के पीछे का मूल विचार है। कंप्यूटर विज्ञान की दुनिया में, एक एन्सेम्बल केवल एक समस्या को हल करने के लिए मिलकर काम करने वाले विभिन्न एआई प्रोग्रामों का एक समूह है। बड़ी उम्मीद यह है कि कई अलग-अलग "आवाजों" को इकट्ठा करके, आप केवल एक से कहीं अधिक समृद्ध और विविध उत्तर प्राप्त करेंगे।

लेकिन यहाँ एक पेच है: सिर्फ इसलिए कि आपके पास लोगों का एक कमरा है, इसका मतलब यह नहीं है कि वे सभी अलग-अलग बातें कह रहे हैं। यदि वे सभी एक ही स्कूल में गए, एक ही किताबें पढ़ीं, और एक ही नियमों के तहत सिखाए गए, तो वे सभी अंततः लगभग एक ही उत्तर देंगे, बस थोड़े अलग शब्दों के साथ। यह शोध पत्र एआई अनुसंधान के एक विशिष्ट क्षेत्र "डाइवर्सिटी मेजरमेंट" (विविधता मापन) में गहराई से उतरता है। यह एक सरल लेकिन गहन प्रश्न पूछता है: जब हम एआई से ऐसी समस्या को हल करने के लिए कहते हैं जिसका कोई एक सही उत्तर नहीं है (जैसे कि एक जटिल मानवीय भावना की व्याख्या करना), तो क्या वे वास्तव में अलग तरह से सोचते हैं? या क्या वे सभी एक-दूसरे की प्रतिध्वनि मात्र हैं? शोधकर्ता इस बात पर ध्यान देते हैं क्योंकि यदि हमें लगता है कि हमें दृष्टिकोणों की एक विस्तृत श्रृंखला मिल रही है, लेकिन वास्तव में हमें केवल क्लोनों (clones) की भीड़ मिल रही है, तो हम सुरक्षा की एक झूठी भावना के आधार पर गलत निर्णय ले सकते हैं।

द ग्रेट एआई इको चैंबर (The Great AI Echo Chamber)

इस अध्ययन में, शोधकर्ताओं ने एक विशाल प्रयोग किया यह देखने के लिए कि एआई मॉडलों का एक समूह वास्तव में कितना "शोर" (noise) पैदा करता है। उन्होंने 10 अलग-अलग परिवारों (इन्हें आप एआई के विभिन्न ब्रांड या वंश मान सकते हैं) से 16 अलग-अलग एआई मॉडलों का एक पैनल तैयार किया। उन्होंने इन मॉडलों से एक काल्पनिक रोगी के लिए एक केस स्टडी लिखने के लिए एक अनुभवी थेरेपिस्ट की तरह कार्य करने को कहा। रोगी की कहानी इतनी अस्पष्ट थी कि उसका केवल एक "सही" अर्थ नहीं निकाला जा सकता था; एक अच्छा थेरेपिस्ट उसी कहानी को देखकर कई अलग-अलग कोण देख सकता था।

टीम यह मापने के लिए उत्सुक थी कि मॉडलों के बीच "असहमति" (dissent) कितनी है। उन्होंने वेंडी स्कोर (Vendi Score) नामक एक विशेष गणितीय उपकरण का उपयोग किया। कल्पना कीजिए कि आपके पास उत्तर चिल्लाने वाले लोगों का एक समूह है। यदि हर कोई बिल्कुल एक ही शब्द चिल्लाता है, तो वेंडी स्कोर कम होता है (जैसे कि 1)। यदि हर कोई पूरी तरह से अलग शब्द चिल्लाता है, तो स्कोर उच्च होता है (जैसे कि 16)। शोधकर्ता देखना चाहते थे कि क्या उनके 16 मॉडल 16 अद्वितीय व्यक्तियों की तरह व्यवहार करेंगे या वे एक एकल, उबाऊ आवाज में सिमट जाएंगे।

बड़ी हैरानी: दो से भी कम आवाजें

परिणाम चौंकाने वाले थे। भले ही उनके पास 10 अलग-अलग परिवारों के 16 अलग-अलग मॉडल थे, लेकिन समूह औसतन इस तरह व्यवहार कर रहा था जैसे कि इसमें केवल 1.69 विशिष्ट आवाजें हों।

इसे समझने के लिए, शोधकर्ताओं ने एक एकल एआई मॉडल का परीक्षण किया, जिसमें एक ही प्रश्न को अपने आप से 16 बार पूछा गया। केवल एक मॉडल ने, अपने मूड में थोड़ा बदलाव करके (जिसे वैज्ञानिक "स्टोकेस्टिक वेरिएशन" कहते हैं), खुद से ही उत्तर के 1.43 अलग संस्करण बनाने में सफलता प्राप्त की।

तो, 16 मॉडलों की पूरी टीम ने केवल एक मॉडल द्वारा स्वयं उत्पन्न की जा सकने वाली विविधता से लगभग एक चौथाई "आवाज" अधिक विविधता जोड़ी।

यह 16 गायकों के एक समूह को नियुक्त करने जैसा है जो 10 अलग-अलग संगीत स्कूलों से आए हैं, इस उम्मीद में कि वे अद्वितीय शैलियों का एक सिम्फनी पेश करेंगे, लेकिन केवल यह पता लगाने के लिए कि वे सभी एक ही धुन को थोड़ा बेसुरा गाते हुए एक ही व्यक्ति की तरह गुनगुना रहे हैं। यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि समूह में अधिक मॉडल जोड़ना स्वतः ही अधिक विविधता पैदा नहीं करता है। वास्तव में, अध्ययन दिखाता है कि समूह में अधिक मॉडल जोड़ना अधिक दृष्टिकोण प्राप्त करने का एक खराब तरीका है।

विद्रोही कौन है? (और यह भीड़ पर निर्भर करता है)

शोधकर्ता यह भी जानना चाहते थे कि: "क्या कोई विशिष्ट मॉडल हमेशा विद्रोही होता है, वह जो बाकी सभी से असहमत रहता है?" उन्होंने ट्रैक किया कि प्रत्येक दौर में कौन सा मॉडल "सबसे अधिक भिन्न" (most divergent) था।

यहाँ मोड़ यह है: विद्रोही की पहचान इस बात पर बदल जाती थी कि कमरे में और कौन मौजूद था।

केवल तीन मॉडलों के एक छोटे प्रयोग में, एक विशिष्ट मॉडल (GPT-4o) अधिकांश समय विद्रोही था। लेकिन जब टीम ने समूह को 16 मॉडलों तक बढ़ाया, तो वही मॉडल तीसरे स्थान पर आ गया। नए "विद्रोही" उभरे, जैसे कि मिनीस्ट्रल 14B (Ministral 14B) और लामा 3.3 70B (Llama 3.3 70B), जिन्होंने समूह से असहमत होने में बढ़त बना ली।

यह साबित करता है कि विद्रोही होना किसी विशिष्ट एआई का स्थायी व्यक्तित्व गुण नहीं है। यह एक संबंध है। एक मॉडल बहुत अलग लग सकता है क्योंकि अन्य मॉडल समूह में बहुत समान हैं। यदि आप समूह को बदलते हैं, तो "विद्रोही" अचानक "अनुगामी" (conformist) बन सकता है। इसका मतलब है कि यदि कोई सिस्टम आपको निर्णय लेने में मदद करने के लिए एक "विभिन्न आवाज" दिखाता है, तो वह आवाज आपको उस विशिष्ट एआई मॉडल के बारे में नहीं, बल्कि वर्तमान में मौजूद एआई मॉडलों के विशिष्ट समूह के बारे में अधिक बता रही है।

क्या आकार या ब्रांड मायने रखता है?

टीम ने एआई के बारे में लोगों के दो सामान्य धारणाओं का भी परीक्षण किया:

1. क्या बड़ा मतलब अलग होना है? उन्होंने एक ही परिवार के भीतर "छोटे" मॉडलों की तुलना "बड़े" मॉडलों से की। परिणाम बहुत उलझे हुए थे। कभी छोटा मॉडल विद्रोही होता था; कभी बड़ा वाला। कोई निरंतर नियम नहीं था।
2. क्या परिवार का नाम मायने रखता है? उन्होंने एक ही "परिवार" (जैसे एक ही ब्रांड के विभिन्न संस्करण) के मॉडलों को देखा। हालांकि एक ही परिवार के मॉडल अजनबियों की तुलना में आपस में थोड़े अधिक समान होते हैं, लेकिन सबूत कमजोर थे क्योंकि उनके पास तुलना करने के लिए केवल कुछ ही जोड़े थे।

शोध पत्र निष्कर्ष निकालता है कि आप केवल इसके आकार या ब्रांड नाम को देखकर यह अनुमान नहीं लगा सकते कि एक एआई कितना "विभिन्न" (divergent) होगा। आपको वास्तव में उस विशिष्ट संदर्भ में इसका मापन करना होगा जिसमें आप इसका उपयोग कर रहे हैं।

एआई वास्तव में किस बात पर असहमत होता है?

अंत में, शोधकर्ताओं ने जांचा कि क्या मॉडल उन मामलों पर अधिक असहमत होते हैं जिन्हें कई व्याख्याओं के लिए डिज़ाइन किया गया था। उन्होंने रोगी की कहानियों को तीन प्रकारों में वर्गीकृत किया था: जिनमें एक स्पष्ट व्याख्या थी, जिनमें एक साझा लेकिन अप्रभावी व्याख्या थी, और जिनमें वास्तव में विशिष्ट व्याख्याएँ थीं।

उन्हें उम्मीद थी कि मॉडल "खुली" (open) कहानियों पर सबसे अधिक असहमत होंगे। वे ऐसा नहीं हुआ। मॉडल "खुली" कहानियों पर भी उतना ही असहमत थे (या शायद थोड़ा कम) जितना कि अन्य कहानियों पर। इसके बजाय, असहमति की मात्रा कहानी की नैदानिक सामग्री (clinical content) द्वारा संचालित थी। उदाहरण के लिए, "डिप्रेशन" (अवसाद) की कहानियों ने "ट्रॉमा" (आघात) की तुलना में अधिक असहमति पैदा की।

इससे पता चलता है कि एआई मॉडल मानवीय तरीके से "खुलेपन" के प्रति संवेदनशील नहीं हैं। वे स्थिति की दार्शनिक जटिलता के बजाय कहानी के विशिष्ट विवरणों (जैसे बीमारी के प्रकार) पर प्रतिक्रिया दे रहे हैं।

मुख्य निष्कर्ष

यह अध्ययन यह नहीं कहता कि एआई बेकार है; यह केवल यह कहता है कि हमें यह मानना बंद कर देना चाहिए कि एआई का एक बड़ा समूह स्वतः ही एक बुद्धिमान, विविध समूह है। यदि आप 16 मॉडलों को एक कमरे में रखते हैं, तो आपको केवल दो की बुद्धिमत्ता मिल सकती है। जो "विविधता" आपको मिलती है वह कोई निश्चित संख्या नहीं है जिसे आप अधिक मॉडल जोड़कर खरीद सकते हैं; यह एक नाजुक चीज़ है जो मॉडलों के विशिष्ट मिश्रण और उस विशिष्ट समस्या पर निर्भर करती है जिसे वे हल कर रहे हैं।

सबसे महत्वपूर्ण सबक यह है कि यदि आप किसी कठिन निर्णय लेने में मदद के लिए एआई के समूह का उपयोग कर रहे हैं, तो केवल मॉडलों की संख्या न गिनें। आपको यह मापना होगा कि वे वास्तव में कितने अलग हैं, क्योंकि जो "विद्रोही" आवाज आप देखते हैं, वह केवल मेज पर बैठे लोगों का एक अस्थायी प्रभाव हो सकता है, न कि किसी अद्वितीय मशीन से प्राप्त गहरी अंतर्दृष्टि।