Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs
यह शोध पत्र पहचानता है कि लार्ज लैंग्वेज मॉडल्स में डाइवर्सिटी कोलैप्स (विविधता का पतन) मुख्य रूप से डिकोडिंग के दौरान उनकी प्रायिकता वितरणों (प्रोबेबिलिटी डिस्ट्रीब्यूशन्स) में ऑर्डर और शेप मिसकैलिब्रेशन के कारण होता है, न कि सैंपलिंग ह्यूरिस्टिक्स की सीमाओं के कारण, जिससे आउटपुट वैधता और विविधता के बीच एक ट्रेड-ऑफ उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लार्ज लैंग्वेज मॉडल (LLM) से कोई कहानी सुनाने, कविता लिखने या किसी यादृच्छिक (random) शहर का सुझाव देने के लिए कहते हैं। आप विविध और रचनात्मक उत्तरों की अपेक्षा करते हैं। इसके बजाय, मॉडल अक्सर एक ही ढर्रे में फंस जाता है, और आपको बार-बार वही कुछ घिसे-पिटे उत्तर देता है (जैसे "एक समय की बात है..." या "वलपेराइसो, चिली")।
यह शोध पत्र जांच करता है कि ऐसा क्यों होता है। लेखक तर्क देते हैं कि समस्या केवल यह नहीं है कि मॉडल "बोरिंग" है या हमारे पास शब्दों को चुनने के वर्तमान उपकरण (सैंपलिंग मेथड्स) खराब हैं। इसके बजाय, समस्या इस बात में निहित है कि मॉडल अपने स्वयं के आंतरिक संभाव्यता मानचित्र (probability map) को कैसे व्यवस्थित करता है। वे इसे एक "कैलिब्रेशन बॉटलनेक" (Calibration Bottleneck) कहते हैं।
इसे समझाने के लिए, कल्पना करें कि मॉडल एक लाइब्रेरियन (Librarian) है जो किताबों की एक विशाल दीवार (सभी संभावित अगले शब्द) के सामने खड़ा है। लाइब्रेरियन को कहानी को आगे बढ़ाने के लिए अगला शब्द चुनना है।
दो मुख्य समस्याएँ
शोध पत्र पहचानता है कि यह लाइब्रेरियन किन दो तरीकों से "मिसकैलिब्रेटेड" (वास्तविकता से विमुख) है, जिसके कारण विविधता समाप्त हो जाती है।
1. ऑर्डर कैलिब्रेशन (Order Calibration): लाइब्रेरियन किताबों को छाँट नहीं सकता
उपमा:
कल्पना कीजिए कि आप लाइब्रेरियन से एक "अच्छी" किताब चुनने के लिए कहते हैं। आप उम्मीद करते हैं कि लाइब्रेरियन सभी "अच्छी" किताबों को शेल्फ के सबसे ऊपर रखेगा और सभी "बुरी" किताबों को सबसे नीचे।
- मॉडल क्या करता है: लाइब्रेरियन कुछ अच्छी किताबें तो ऊपर रखता है, लेकिन फिर बीच में बहुत सारी बुरी किताबें भी मिला देता है। इसके बाद, शेल्फ में और नीचे, बुरी किताबों के बीच छिपी हुई और भी अच्छी किताबें होती हैं।
- परिणाम: यदि आप लाइब्रेरियन से कहते हैं, "बस मुझे ऊपर की 10 किताबें दे दो," तो आपको 5 अच्छी और 5 बुरी किताबें मिल सकती हैं। यदि आप कहते हैं, "सुरक्षित रहने के लिए मुझे ऊपर की 100 किताबें दे दो," तो आपको 90 बुरी किताबें मिलेंगी।
- शोध पत्र का दावा: मॉडल ऑर्डर कैलिब्रेशन में विफल रहता है। यह "वैध" (सही/सार्थक) शब्दों को "अवैध" (निरर्थक) शब्दों से अधिक विश्वसनीय रूप से रैंक करने में सक्षम नहीं है। क्योंकि वैध और अवैध शब्द रैंकिंग में आपस में मिले हुए हैं, इसलिए कोई भी उपकरण जो सूची को फ़िल्टर करने की कोशिश करता है (जैसे "Top-K" या "Top-P"), उसे एक कठिन चुनाव करना पड़ता है: या तो बुरी चीजों से बचने के लिए अच्छे विचारों को छोड़ देना, या अच्छे विचारों को बचाने के लिए बहुत सारी बुरी चीजों को शामिल कर लेना।
2. शेप कैलिब्रेशन (Shape Calibration): लाइब्रेरियन एक ही किताब के प्रति जुनूनी है
उपमा:
अब कल्पना करें कि लाइब्रेरियन ने अच्छी किताबों को बुरी किताबों से सफलतापूर्वक अलग कर लिया है। लेकिन "अच्छी" किताबों के ढेर को देखते समय, लाइब्रेरियन केवल एक विशिष्ट किताब के प्रति जुनूनी हो जाता है।
- मॉडल क्या करता है: लाइब्रेरियन अपना 90% ध्यान एक विशिष्ट "अच्छी" किताब पर लगाता है (जैसे "एक समय की बात है")। अन्य 99 "अच्छी" किताबों को केवल एक बहुत ही छोटा सा हिस्सा मिलता है। इस बीच, "बुरी" किताबें नीचे एक लंबी, पतली पूंछ के रूप में बिखरी हुई हैं।
- परिणाम: भले ही आप चीजों को बदलने की कोशिश करें (जैसे "टेम्परेचर" का उपयोग करके, जो लाइब्रेरियन को अधिक यादृच्छिक बनाने जैसा है), लाइब्रेरियन बस अपने जुनून को थोड़ा बदल देता है। वह शायद "एक समय की बात है" के प्रति जुनूनी होना छोड़ देगा और "एक ऐसी दुनिया में जहाँ..." के प्रति जुनूनी हो जाएगा, लेकिन वह अन्य 98 अच्छे विकल्पों को फिर भी अनदेखा कर देगा। इससे भी बुरा यह है कि लाइब्रेरियन को अधिक यादृच्छिक बनाने से वह अक्सर एक दुर्लभ "अच्छे" शब्द के बजाय लंबी पूंछ वाले एक "बुरे" शब्द को चुन लेता है।
- शोध पत्र का दावा: मॉडल शेप कैलिब्रेशन में विफल रहता है। संभाव्यता कुछ विशिष्ट वैध विकल्पों पर बहुत अधिक केंद्रित है, जिससे बाकी वैध विकल्प ध्यान की कमी से जूझ रहे हैं।
डोमिनो इफेक्ट: क्यों एक गलती आपदा बन जाती है
शोध पत्र बताता है कि ये समस्याएँ कहानी जितनी लंबी होती जाती हैं, उतनी ही बदतर होती जाती हैं।
उपमा:
कल्पना कीजिए कि आप एक भूलभुलैया (maze) में चल रहे हैं।
- चरण 1: पहले मोड़ पर, आपके पास सही रास्ता चुनने की 90% संभावना है और डेड एंड (बंद रास्ता) चुनने की 10% संभावना है। यह ठीक लगता है।
- चरण 2: अगले मोड़ पर, आपके पास फिर से 90% संभावना है कि आप सही होंगे।
- परिणाम: यदि आपको 20 मोड़ लेने हैं, तो बिना एक भी गलत रास्ता लिए पूरा रास्ता सही ढंग से तय करने की संभावना लगभग शून्य हो जाती है।
शोध पत्र गणितीय रूप से सिद्ध करता है कि क्योंकि मॉडल हर एक कदम पर छोटी गलतियाँ करता है (गलत शब्दों का मिश्रण चुनना या एक शब्द पर बहुत अधिक ध्यान केंद्रित करना), ये त्रुटियाँ जमा (compound) होती जाती हैं। जब तक मॉडल एक वाक्य या पैराग्राफ पूरा करता है, तब तक एक वास्तव में विविध और वैध पथ तलाशने की संभावना तेजी से घटकर नगण्य हो जाती है।
उन्होंने क्या किया?
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक "डायग्नोस्टिक टूलकिट" बनाया:
- नियंत्रित परीक्षण: उन्होंने मॉडलों को सरल कार्य दिए जहाँ वे सटीक सही उत्तरों की सूची जानते थे (जैसे यादृच्छिक संख्या उत्पन्न करना या अमेरिकी राज्यों के नाम बताना)।
- "ओरेकल" टेस्ट: उन्होंने एक आदर्श फ़िल्टर बनाया जो बिल्कुल जानता था कि कौन से शब्द वैध हैं। इस आदर्श फ़िल्टर के साथ भी, मॉडल विविधता दिखाने में संघर्ष करते रहे क्योंकि "शेप" की समस्या मौजूद थी (एक शब्द के प्रति जुनून)।
- निर्णय: उन्होंने 14 अलग-अलग मॉडलों का परीक्षण किया (छोटे से लेकर विशाल तक)। उन्होंने पाया कि बड़े मॉडलों ने भी इस समस्या को ठीक नहीं किया। यहाँ तक कि सबसे स्मार्ट मॉडल भी अभी भी इन सॉर्टिंग और एकाग्रता संबंधी समस्याओं से जूझ रहे थे।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि एआई (AI) में विविधता की कमी केवल "चुनने" वाले उपकरणों (जैसे टेम्परेचर या टॉप-के सैंपलिंग) में एक बग नहीं है। यह इस बात में एक मौलिक दोष है कि मॉडल अपने आत्मविश्वास को कैसे वितरित करता है।
- यह वैध शब्दों को अवैध शब्दों से विश्वसनीय रूप से ऊपर नहीं छाँट सकता।
- यह सभी वैध शब्दों पर अपना ध्यान समान रूप से नहीं फैला सकता।
जब तक मॉडल अपनी आंतरिक लाइब्रेरी को अलग तरह से व्यवस्थित करना नहीं सीख जाता, तब तक केवल सेटिंग्स को बदलने से वास्तविक रचनात्मकता या विविधता नहीं खुलेगी। "बॉटलनेक" मॉडल का अपना वितरण (distribution) है, न कि वे उपकरण जिनका उपयोग हम इसे पढ़ने के लिए करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।