Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
यह शोध पत्र प्रदर्शित करता है कि सीखे गए तरीकों के माध्यम से विविध बड़े भाषा मॉडलों (large language models) से भविष्यवाणियों को एकत्रित करना व्यक्तिगत मॉडल के प्रदर्शन से बेहतर हो सकता है, जबकि यह इस बात पर प्रकाश डालता है कि प्रशिक्षण कटऑफ संदूषण (training cutoff contamination) क्षमता मूल्यांकन को महत्वपूर्ण रूप से विकृत करता है और ऐसे एन्सेम्बल्स (ensembles) का प्राथमिक लाभ जटिल गैर-रेखीय अंतःक्रियाओं के बजाय विविध मॉडल आउटपुट को रैखिक रूप से संयोजित करने से प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कमरे में सबसे बुद्धिमान व्यक्ति वास्तव में सबसे बुद्धिमान नहीं होता है। इसके बजाय, असली जीनियस मेज के चारों ओर बैठी पूरी मंडली होती है। यह विचार, जिसे "भीड़ का ज्ञान" (wisdom of crowds) कहा जाता है, यह सुझाव देता है कि यदि आप कई अलग-अलग लोगों के अनुमानों को लें और उनका औसत निकालें, तो परिणाम अक्सर एक अकेले सर्वश्रेष्ठ विशेषज्ञ के अनुमान से अधिक सटीक होता है। इसे पक्षियों के झुंड की तरह समझें: कोई भी अकेला पक्षी पूरी तस्वीर नहीं देख पाता, लेकिन साथ मिलकर वे पूरी तरह से रास्ता तय कर लेते हैं। वैज्ञानिक लंबे समय से जानते हैं कि यह मनुष्यों के लिए काम करता है। लेकिन अब, आर्टिफिशियल इंटेलिजेंस (AI) हर जगह होने के साथ, एक बड़ा सवाल खड़ा हो गया है: क्या यह जादू का खेल रोबोटों के लिए भी काम करता है? यदि आप कई अलग-अलग AI मॉडलों से भविष्य की किसी घटना के परिणाम का अनुमान लगाने को कहें, तो क्या उनका संयुक्त उत्तर किसी एकल AI से अधिक स्मार्ट होगा? यह केवल एक मजेदार खेल नहीं है; यह महत्वपूर्ण है क्योंकि यदि AI क्राउड (भीड़) काम करती है, तो हम मानव विशेषज्ञों की टीम के बिना मौसम से लेकर शेयर बाजार तक सब कुछ भविष्यवाणी करने के लिए उनका उपयोग कर सकते हैं। लेकिन इसमें एक पेंच है: AI मॉडल अतीत के डेटा पर प्रशिक्षित होते हैं, और यदि उन्होंने अपने प्रशिक्षण डेटा में उत्तर को पहले ही "देख" लिया है, तो वे वास्तव में अनुमान नहीं लगा रहे हैं—वे केवल याद करके नकल कर रहे हैं।
यह शोध पत्र ठीक इसी प्रश्न की जांच करता है, जिसमें 15 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को एक भविष्यवाणी खेल के प्रतिभागियों की टीम की तरह माना गया है। शोधकर्ताओं ने इन एआई से 254 वास्तविक दुनिया के सवालों के परिणामों का अनुमान लगाने को कहा, जो कि इस बात पर दांव लगाने जैसा है कि क्या कोई स्पोर्ट्स टीम जीतेगी या कोई राजनेता चुनाव जीतेगा। इसके बाद उन्होंने एआई के उत्तरों को विभिन्न तरीकों से मिलाने की कोशिश की ताकि यह देखा जा सके कि क्या समूह व्यक्तिगत मॉडलों को मात दे सकता है। परिणाम उत्साहजनक समाचारों और एक बड़ी चेतावनी का मिश्रण थे।
सबसे पहले, अच्छी खबर: "भीड़ का ज्ञान" AI के लिए भी काम करता है, लेकिन केवल तभी जब आप उन्हें सही ढंग से मिलाते हैं। शोधकर्ताओं ने पाया कि सभी AI अनुमानों का औसत लेना सबसे अच्छी रणनीति नहीं थी। इसके बजाय, उन्होंने एक चतुर कंप्यूटर प्रोग्राम (एक "लर्नड एग्रीगेटर") का उपयोग किया ताकि यह पता लगाया जा सके कि उत्तरों को कैसे मिलाया जाए। इस स्मार्ट मिक्सर ने किसी भी एकल AI मॉडल की तुलना में बेहतर प्रदर्शन किया, और साधारण औसत से भी बेहतर काम किया। दिलचस्प बात यह है कि अध्ययन बताता है कि यह सुधार किसी जटिल, जादुई गणित से नहीं आया। बल्कि, यह इसलिए काम कर गया क्योंकि इसने उन मॉडलों को अधिक महत्व देना सीख लिया जिन्होंने अलग-अलग प्रकार की गलतियाँ की थीं। यह एक स्पोर्ट्स कोच की तरह है जो यह समझ जाता है कि यदि एक खिलाड़ी रक्षा करने में महान है लेकिन आक्रमण में खराब है, और दूसरा इसके विपरीत है, तो उन्हें एक साथ रखने से सभी आधार कवर हो जाते हैं। अध्ययन ने पाया कि एक सरल लीनियर कॉम्बिनेशन (linear combination)—जो मूल रूप से एक भारित औसत (weighted average) है—बेहतरीन परिणाम प्राप्त करने के लिए पर्याप्त था, जिससे पता चलता है कि AI भीड़ के ज्ञान की कुंजी त्रुटियों में विविधता है, न कि जटिल अंतःक्रियाओं में।
हालाँकि, एक बहुत बड़ा "लेकिन" है जो सब कुछ बदल देता है। शोधकर्ताओं ने पाया कि कई AI मॉडल गुप्त रूप से नकल कर रहे थे। क्योंकि ये मॉडल इंटरनेट के विशाल हिस्सों पर प्रशिक्षित होते हैं जो एक निश्चित तिथि तक के होते हैं, वे अक्सर उन सवालों के जवाबों को "याद" रखते हैं जो उनके प्रशिक्षण रुकने से पहले हल हो चुके थे। इसे "संदूषण" (contamination) कहा जाता है। जब शोधकर्ताओं ने उन सभी सवालों को हटा दिया जिनके उत्तर AI पहले से ही जान सकते थे, तो परिणाम नाटकीय रूप से बदल गए। महंगे और बड़े "क्लाउड" मॉडलों और छोटे, स्थानीय मॉडलों के बीच का बड़ा अंतर लगभग समाप्त हो गया। जब बड़े मॉडल अपनी याददाश्त पर निर्भर नहीं रह सके, तो वे बहुत कम प्रभावशाली लगे। वास्तव में, सबसे अच्छा AI क्राउड भी एक वास्तविक मानव भविष्यवाणी बाजार (human prediction market) से काफी पीछे था, जहाँ लोग परिणामों पर वास्तविक समय में पैसा लगाते हैं। मानव बाजार AI भीड़ की तुलना में लगभग दोगुना सटीक था, भले ही मनुष्य उसी जानकारी को देख रहे थे जिसे AI देख रहा था।
तो, निष्कर्ष क्या है? AI क्राउड बुद्धिमान हो सकते हैं, लेकिन वे अपनी यादों से आसानी से धोखा खा जाते हैं। यदि आप जानना चाहते हैं कि क्या कोई AI वास्तव में भविष्य की भविष्यवाणी करने में अच्छा है, तो आपको उसका परीक्षण उन चीजों पर करना होगा जो उसके सीखने के बाद हुई हैं। जब तक ऐसा नहीं होता, तब तक AI भीड़ का "ज्ञान" केवल इस बात का प्रतिबिंब हो सकता है कि वह पहले से क्या जानता है, न कि वह क्या समझने में सक्षम है। अध्ययन सुझाव देता है कि हालांकि हम विभिन्न मॉडलों को मिलाकर बेहतर AI टीमें बना सकते हैं, लेकिन हमें मानव भीड़ की गतिशील, वास्तविक समय की बुद्धिमत्ता के बराबर पहुँचने के लिए अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।