Large Language Model Selection with Limited Annotations

तकनीकी सारांश: SELECT-LLM

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के तीव्र प्रसार ने एक महत्वपूर्ण मॉडल चयन चुनौती पैदा कर दी है। जबकि आधुनिक LLMs में मजबूत ज़ीरो-शॉट क्षमताएं हैं, उनका सापेक्ष प्रदर्शन अत्यधिक संदर्भ-निर्भर होता है, जो विभिन्न डोमेन, कार्यों और भाषाओं में काफी भिन्न होता है। किसी विशिष्ट अनुप्रयोग के लिए इष्टतम LLM की पहचान करने के लिए आमतौर पर उम्मीदवारों को निश्चित बेंचमार्क सेटों के विरुद्ध मूल्यांकन करने की आवश्यकता होती है। हालांकि, मानक बेंचमार्किंग का उपयोग चयन के लिए करना कठिन होता जा रहा है क्योंकि बेंचमार्क अक्सर नए मॉडल रिलीज़ के पीछे रह जाते हैं और डोमेन-विशिष्ट आवश्यकताओं को प्रतिबिंबित नहीं कर पाते हैं।

एक अधिक व्यावहारिक विकल्प क्वेरीज़ के छोटे, एनोटेटेड उपसमुच्चयों (subsets) का उपयोग करके सर्वश्रेष्ठ मॉडल का चयन करना है। हालांकि, इन उपसमुच्च्यों का यादृच्छिक (random) या ह्यूरिस्टिक-आधारित चयन अक्सर एनोटेशन बजट का अक्षम उपयोग करता है और उम्मीदवारों के बीच सार्थक प्रदर्शन अंतर प्रकट करने में विफल रहता है। जबकि एक्टिव लर्निंग का वर्गीकरण (classification) कार्यों के लिए व्यापक रूप से अध्ययन किया गया है, जेनरेटिव सेटिंग्स के लिए मौजूदा विधियां सीमित हैं, जो अक्सर दो मॉडलों के बीच तुलना तक ही सीमित रहती हैं या केवल एकल-मॉडल परीक्षण पर ध्यान केंद्रित करती हैं, न कि उम्मीदवारों के मनमाने पूल से चयन करने पर। संबोधित मुख्य समस्या यह है कि सीमित एनोटेशन संसाधनों के तहत एक लक्षित कार्य और डेटा वितरण के लिए सर्वश्रेष्ठ LLM को विश्वसनीय रूप से कैसे पहचाना जाए।

कार्यप्रणाली: SELECT-LLM

लेखक LLMs के सक्रिय मॉडल चयन के लिए SELECT-LLM का प्रस्ताव करते हैं। इसका लक्ष्य $n$ अन-एनोटेटेड क्वेरीज़ के पूल में से $b$ क्वेरीज़ का एक छोटा सेट (जहाँ $b \ll n$) चुनना है ताकि उनके एनोटेशन सर्वश्रेष्ठ मॉडल की पहचान के बारे में अनिश्चितता को अधिकतम रूप से कम कर सकें।

सूत्रीकरण (Formulation)

समस्या को अज्ञात सर्वश्रेष्ठ मॉडल ($F$) और प्राप्त एनोटेशन ($A$) के बीच म्यूचुअल इंफॉर्मेशन (mutual information) को अधिकतम करने के रूप में प्रस्तुत किया गया है। लेखक सर्वश्रेष्ठ मॉडल को उस मॉडल के रूप में परिभाषित करते हैं जो संदर्भ उत्तरों (ground-truth references) के विरुद्ध मूल्यांकन किए जाने पर क्वेरी सेट पर उच्चतम औसत प्रदर्शन स्कोर प्राप्त करता है।

इसे सुलभ बनाने के लिए, वे एक संभावabilistic सूत्रीकरण अपनाते हैं जहाँ एक मॉडल आउटपुट की संभावना उसके संदर्भ उत्तर के साथ समानता के समानुपाती होती है, जो एक तापमान पैरामीटर $\tau$ द्वारा नियंत्रित होती है। उद्देश्य अपेक्षित सूचना लाभ (expected information gain) को अधिकतम करने वाली क्वेरीज़ का चयन करना है:
$$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i), |A| \le b} I(F; A)$$

एल्गोरिदम और सन्निकटन (Approximation)

ओपन-एंडेड जनरेशन के लिए डायरेक्ट इंफॉर्मेशन गेन की गणना करना, अनबाउंडेड रेफरेंस स्पेस के कारण, कठिन है। SELECT-LLM तीन प्रमुख सन्निकटन के माध्यम से एक सुलभ चयन नियम व्युत्पन्न करता है:

1. टेलर एप्रोक्सिमेशन (Taylor Approximation): म्यूचुअल इंफॉर्मेशन ऑब्जेक्टिव में लॉगरिदमिक टर्म को सेकंड-ऑर्डर टेलर एक्सपेंशन का उपयोग करके अनुमानित किया जाता है, जिससे ऑब्जेक्टिव को पेयरवाइज तुलनाओं वाले क्वाड्रेटिक फॉर्म में बदल दिया जाता है।
2. लीनियराइजेशन (Linearization): संभावना मॉडल को स्थानीय रूप से लीनियर किया जाता है, जो संभाव्यता के अंतर को मॉडल आउटपुट और संभावित संदर्भों के बीच समानता स्कोर के अंतर से बदल देता है।
3. समानता प्रतिस्थापन (Similarity Substitution): संभावित संदर्भ प्रतिक्रियाओं पर औसत को उम्मीदवार मॉडल आउटपुट्स के बीच असामान्यता (dissimilarity) द्वारा अनुमानित किया जाता है।

इसके परिणामस्वरूप एक ग्रीडी (greedy) चयन नियम (इक्वेशन 5) प्राप्त होता है जो अगले क्वेरी $q_t$ को उम्मीदवार मॉडल आउटपुट्स के बीच पोस्टीरियर-वेटेड पेयरवाइज समानता को कम करके चुनता है:
$$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$$
सहज रूप से, एल्गोरिदम उन क्वेरीज़ को प्राथमिकता देता है जहाँ सबसे संभावित उम्मीदवार मॉडल सबसे असमान प्रतिक्रियाएं उत्पन्न करते हैं, जिससे एक एकल एनोटेशन से प्राप्त सूचना को अधिकतम किया जा सके।

मॉडल-एग्नोस्टिक प्रकृति

SELECT-LLM की एक महत्वपूर्ण विशेषता यह है कि यह केवल उत्पन्न मॉडल प्रतिक्रियाओं पर निर्भर करता है। इसके लिए मॉडल वेट्स, लॉजिट्स या आंतरिक अवस्थाओं (internal states) तक पहुंच की आवश्यकता नहीं है। यह इस ढांचे को ओपन-वेट और ब्लैक-बॉक्स (केवल API-आधारित) LLMs दोनों के लिए लागू करने योग्य बनाता है।

पैरामीटर चयन

तापमान पैरामीटर $\tau$, जो पोस्टीरियर वितरण की तीव्रता को नियंत्रित करता है, को बिना किसी ओरकल एनोटेशन की आवश्यकता के सक्रिय चयन प्रक्रिया से पहले चुना जाता है। लेखक मॉडल प्रतिक्रियाओं के बीच पेयरवाइज समानता से प्राप्त एक नॉइजी प्रॉक्सी सिग्नल का उपयोग ग्रिड सर्च करने और उस $\tau$ की पहचान करने के लिए करते हैं जो सर्वोत्तम पहचान प्रदर्शन प्रदान करता है।

मुख्य योगदान

1. प्रथम सूत्रीकरण: लेखकों के ज्ञान के अनुसार, यह सीमित एनोटेशन बजट के तहत LLMs के लिए सक्रिय मॉडल चयन का पहला सूत्रीकरण और अध्ययन है।
2. SELECT-LLM फ्रेमवर्क: एक सिद्धांत आधारित, मॉडल-एग्नोस्टिक फ्रेमवर्क जो सूचना लाभ को अधिकतम करने के लिए क्वेरीज़ को ग्रीडी तरीके से चुनता है। यह उम्मीदवार मॉडल आउटपुट्स के बीच पेयरवाइज समानता पर आधारित एक सुलभ सन्निकटन व्युत्पन्न करता है, जो आंतरिक मॉडल एक्सेस की आवश्यकता को समाप्त करता है।
3. व्यापक मूल्यांकन: इस ढांचे को 23 विविध डेटासेट्स (रीजनिंग, QA, समराइजेशन, ट्रांसलेशन आदि को कवर करते हुए) और 156 मूल्यांकित मॉडल्स (ओपन-सोर्स और API-ओनली मॉडल्स सहित) पर कई रेफरेंस-बेस्ड मेट्रिक्स (BERTScore, ROUGE, BLEU, F1, Exact Match, आदि) का उपयोग करके मान्य किया गया है।

परिणाम

मूल्यांकन से पता चलता है कि SELECT-LLM सभी सेटिंग्स में अनुकूलित बेसलाइन रणनीतियों (Random, Margin, Min Agreement, VMA, और AMC सहित) से लगातार बेहतर प्रदर्शन करता है:

• सर्वश्रेष्ठ मॉडल की पहचान: SELECT-LLM सबसे मजबूत बेसलाइन की तुलना में काफी कम एनोटेशन का उपयोग करके वास्तविक सर्वश्रेष्ठ मॉडल की पहचान करता है। एनोटेशन लागत में कमी 81.8% तक पहुँच गई (उदाहरण के लिए, XSum डेटासेट पर ROUGE-L के साथ)।
• निकट-सर्वश्रेष्ठ मॉडल चयन: जब लक्ष्य सर्वश्रेष्ठ के एक छोटे प्रदर्शन अंतराल ($\delta$) के भीतर एक मॉडल की पहचान करना हो, तो SELECT-LLM और भी अधिक दक्षता प्राप्त करता है, जिसमें एनोटेशन में कमी 84.78% तक पहुँच जाती है।
• मजबूती (Robustness): 95वें पर्सेंटाइल प्रदर्शन अंतराल (चुने गए मॉडल और वास्तविक सर्वश्रेष्ठ के बीच सबसे खराब स्थिति का अंतर) के मामले में, SELECT-LL_M लगातार विभिन्न डेटासेट्स और पहचान संभावना स्तरों (70%, 80%, 90%, 100%) में सबसे कम अंतराल बनाए रखता है, जो कठिन वास्तविकताओं में भी मजबूती का संकेत देता है।
• सामान्यीकरण (Generalization): यह विधि विविध कार्य परिवारों और मूल्यांकन मेट्रिक्स में अच्छा प्रदर्शन करती है, जो दर्शाता है कि यह किसी विशिष्ट स्कोरिंग नियम या डोमेन से बंधी नहीं है।

महत्व और दावे

पेपर का दावा है कि SELECT-LLM वास्तविक ब्लैक-बॉक्स सेटिंग्स में सक्रिय मॉडल चयन के लिए एक व्यावहारिक दृष्टिकोण प्रदान करता है। केवल मॉडल आउटपुट और एक बाहरी ओरकल पर निर्भर रहकर, यह सैद्धांतिक एक्टिव लर्निंग और आधुनिक LLM डिप्लॉयमेंट की व्यावहारिक बाधाओं के बीच के अंतर को पाटता है।

लेखक ध्यान देते हैं कि हालांकि विधि मॉडल चयन के लिए एनोटेशन लागत को काफी कम कर देती है, लेकिन यह विशिष्ट धारणाओं के तहत काम करती है:

• यह मानती है कि एक विश्वसनीय ओरकल सिग्नल (रेफरेंस-बेस्ड इवैल्यूएशन) उपलब्ध है, न कि नॉइजी ह्यूमन प्रेफरेंस या LLM-as-a-Judge सिस्टम।
• यह मानती है कि चयन शुरू होने से पहले कैंडिडेट पूल और क्वेरी पूल फिक्स्ड (fixed) हैं।

यह कार्य इस बात पर प्रकाश डालता है कि कुशल चयन LLM के कठोर तुलना को अधिक सुलभ बना सकता है, लेकिन यह भी चेतावनी देता है कि पक्षपाती एनोटेशन या मूल्यांकन मानदंड, विशेष रूप से सुरक्षा-महत्वपूर्ण डोमेन में, पक्षपाती मॉडल चयन की ओर ले जा सकते हैं। लेखक इसे अधिक कुशल और विश्वसनीय LLM मूल्यांकन प्रोटोकॉल की ओर एक मौलिक कदम के रूप में देखते हैं।