Evaluating the Diversity and Quality of LLM Generated Content

यहाँ शोध पत्र "Evaluating the Diversity and Quality of LLM Generated Content" (COLM 2025) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति काफी हद तक प्रेफरेंस-ट्यूनिंग तकनीकों (जैसे RLHF, PPO, GRPO, DPO) पर निर्भर करती है ताकि मॉडल्स को मानवीय प्राथमिकताओं के अनुरूप बनाया जा सके। एक प्रचलित धारणा यह है कि ये तकनीकें आउटपुट की विविधता (diversity) को कम कर देती हैं, जिससे उन अनुप्रयोगों के लिए एक दुविधा उत्पन्न होती है जिन्हें विविध आउटपुट्स की आवश्यकता होती है (जैसे रचनात्मक लेखन, सिंथेटिक डेटा जनरेशन)।

हालाँकि, लेखक तर्क देते हैं कि गुणवत्ता के बिना विविधता व्यावहारिक रूप रूप से निरर्थक है। यादृच्छिक टोकन (random tokens) अधिकतम विविध हो सकते हैं लेकिन वे अर्थहीन होते हैं। मौजूदा मूल्यांकन मेट्रिक्स अक्सर गुणवत्ता और विविधता के बीच के संतुलन (trade-off) को समझने में विफल रहते हैं, जिससे भ्रामक निष्कर्ष निकलते हैं जहाँ बेस मॉडल्स अधिक विविध दिखाई देते हैं क्योंकि वे अधिक अमान्य या निम्न-गुणवत्ता वाले आउटपुट्स उत्पन्न करते हैं। मुख्य समस्या प्रभावी सिमेंटिक विविधता (Effective Semantic Diversity) को मापने के लिए एक फ्रेमवर्क की कमी है: वह विविधता जो गुणवत्ता के एक विशिष्ट स्तर को पूरा करती है।

2. कार्यप्रणाली (Methodology)

A. फ्रेमवर्क: प्रभावी सिमेंटिक विविधता (Effective Semantic Diversity)

लेखक एक सिद्धांतपूर्ण फ्रेमवर्क प्रस्तावित करते हैं जो इन्फरेंस के समय मानवीय हस्तक्षेप के बिना गुणवत्ता और विविधता को संयुक्त रूप से मापता है।

• वैधता फलन (Validity Function - $V$): यह निर्धारित करता है कि क्या कोई जनरेशन उच्च-गुणवत्ता वाला/वैध है।
  • कोड के लिए: एक प्रोग्राम वैध है यदि वह टेस्ट केसेस के एक सेट पर बिना किसी त्रुटि के निष्पादित होता है और नॉन-नल (non-null) आउटपुट देता है।
  • प्राकृतिक भाषा के लिए: एक LLM जज मानदंडों (जैसे सामंजस्य, प्रासंगिकता) के आधार पर गुणवत्ता का मूल्यांकन करता है और स्कोर को नॉर्मलाइज़ करता है।
• सिमेंटिक फलन (Semantic Function - $S$): यह एक जनरेशन को उसके सिमेंटिक अर्थ में मैप करता है, सतही शाब्दिक अंतरों को अनदेखा करते हुए।
  • कोड के लिए: दो प्रोग्राम सिमेंटिक रूप से समान हैं यदि वे सभी टेस्ट केसेस में समान आउटपुट देते हैं।
  • प्राकृतिक भाषा के लिए: एक LLM जज वैचारिक/विषयगत ओवरलैप का मूल्यांकन करता है।
• मेट्रिक्स:
  1. फिक्स्ड सिमेंटिक डाइवर्सिटी ($Div_{fixed}$): उन जनरेशन का अनुपात जो वैध और सिमेंटिक रूप से अद्वितीय दोनों हैं।
  2. पेयरवाइज सिमेंटिक डाइवर्सिटी ($Div_{pair}$): कुल पेयर्स द्वारा नॉर्मलाइज़ किया गया एक पेयरवाइज डिस्टेंस मेट्रिक। यह प्रॉम्प्ट्स केAcross वैध सैंपल्स की संख्या में भिन्नता के प्रति सुदृढ़ (robust) है।
     $$d_{sem}(g_j, g_k) = \begin{cases} 0 & \text{if } V(g_j)=0 \text{ or } V(g_k)=0 \\ 0 & \text{if } V=1 \text{ and } S(g_j)=S(g_k) \\ 1 & \text{otherwise} \end{cases}$$

B. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट्स:
  • कोड: CodeNet/AlphaCode से अनुकूलित 108 ओपन-एंडेड प्रोग्रामिंग टास्क। इनके लिए ऐसे फंक्शन जेनरेट करने की आवश्यकता होती है जो एब्स्ट्रैक्ट समस्याओं को हल कर सकें।
  • प्राकृतिक भाषा: WritingPrompts से 100 क्रिएटिव राइटिंग प्रॉम्प्ट्स।
• मॉडेल्स: LLaMA 2/3.1 (7B, 70B) और Tulu वेरिएंट्स (Base, SFT, DPO, PPO, GRPO) सहित कई प्रकार के LLMs।
• तुलना: अध्ययन निम्नलिखित प्रभावों को अलग करता है:
  • पोस्ट-ट्रेनिंग विधियाँ (Base vs. SFT vs. DPO vs. RL/PPO/GRPO)।
  • मॉडल का आकार (Small vs. Large)।
  • पैरामीटर दक्षता (विविधता प्रति पैरामीटर)।
• बेसलाइन्स: लेखक अपने मेट्रिक की तुलना मानक लेक्सिकल (Distinct-N), सिंटैक्टिक (AST-आधारित), और न्यूरल (CodeBERTScore के माध्यम से कोसाइन सिमिलरिटी) डाइवर्सिटी मेट्रिक्स से करते हैं।

3. मुख्य योगदान (Key Contributions)

1. प्रभावी सिमेंटिक विविधता का परिचय: एक नवीन मेट्रिक जो निम्न-गुणवत्ता वाले आउटपुट्स को दंडित (penalize) करता है, यह तर्क देते हुए कि विविधता तभी मूल्यवान है जब सामग्री उपयोगी हो।
2. स्वचालित मूल्यांकन पाइपलाइन: एक फ्रेमवर्क जो कोड निष्पादन और LLM जजों का उपयोग करके बिना मानव एनोटेटर्स के विविधता और गुणवत्ता का मूल्यांकन करता है, जो कोड के लिए निष्पादन ट्रेसेस (execution traces) का उपयोग करके "LLM judging LLM" के पूर्वाग्रह से बचता है।
3. प्रेफरेंस ट्यूनिंग पर प्रति-सहज निष्कर्ष (Counterintuitive Findings): इस आम सहमति को चुनौती देना कि प्रेफरेंस ट्यूनिंग विविधता को कम करती है।
4. पैरामीटर दक्षता विश्लेषण: यह जांचना कि कौन से मॉडल आकार एक निश्चित सैंपलिंग बजट के भीतर अद्वितीय सामग्री उत्पन्न करने के लिए सबसे कुशल हैं।

4. मुख्य परिणाम (Key Results)

A. प्रेफरेंस ट्यूनिंग प्रभावी विविधता को बढ़ाती है

• मुख्य निष्कर्ष: जबकि प्रेफरेंस-ट्यून्ड मॉडल्स (RL/DPO) अक्सर बेस मॉडल्स की तुलना में कम रॉ लेक्सिकल या न्यूरल विविधता दिखाते हैं, वे उच्च प्रभावी सिमेंटिक विविधता प्रदर्शित करते हैं।
• तंत्र (Mechanism): प्रेफरेंस ट्यूनिंग वैध/उच्च-गुणवत्ता वाले आउटपुट्स के अनुपात को नाटकीय रूप से बढ़ा देती है। भले ही प्रति वैध सैंपल अद्वितीय विचारों की दर थोड़ी कम हो जाए, लेकिन ट्यून्ड मॉडल्स द्वारा जेनरेट किए गए वैध सैंपल्स की विशाल मात्रा अद्वितीय, उच्च-गुणवत्ता वाले विचारों की कुल संख्या को बढ़ा देती है।
• कोड बनाम टेक्स्ट:
  • कोड: RL-ट्यून्ड मॉडल्स लेक्सिकल और सिंटैक्टिक विविधता को कम करते हैं (अधिक मानक समाधान) लेकिन उच्च वैधता के कारण सिमेंटिक विविधता को बनाए रखते हैं या सुधारते हैं।
  • क्रिएटिव राइटिंग: प्रेफरेंस ट्यूनिंग गुणवत्ता के साथ लेक्सिकल विविधता को भी बढ़ाती है (अधिक विविध शब्द चयन)।

B. "डाइवर्सिटी कोलैप्स" की गलत धारणा

• जब गुणवत्ता को अनदेखा करने वाले मेट्रिक्स (जैसे रॉ कोसाइन डिस्टेंस) का उपयोग किया जाता है, तो बेस मॉडल्स अक्सर सबसे अधिक विविध दिखाई देते हैं क्योंकि वे बड़ी मात्रा में असंगत, अमान्य आउटपुट्स जेनरेट करते हैं।
• एक बार गुणवत्ता को शामिल करने के बाद, "डाइवर्सिटी कोलैप्स" का नैरेटिव उलट जाता है: RL-ट्यून्ड मॉडल्स उपयोगी, अद्वितीय आउटपुट्स के मामले में सबसे अधिक विविध हैं।

C. मॉडल का आकार और दक्षता

• बड़े मॉडल्स: छोटे मॉडल्स की तुलना में उच्च पूर्ण प्रभावी सिमेंटिक विविधता प्रदर्शित करते हैं।
• पैरामीटर दक्षता: एक निश्चित सैंपलिंग बजट (जैसे 32 जनरेशन) के भीतर विविधता प्रति पैरामीटर (दक्षता) को मापने पर, छोटे मॉडल्स (~500M पैरामीटर्स तक) अक्सर विशाल 70B मॉडल्स की तुलना में अद्वितीय, वैध सामग्री जेनरेट करने में अधिक कुशल होते हैं। यह सुझाव देता है कि सिंथेटिक डेटा जनरेशन जैसे कार्यों के लिए जहाँ लागत एक बाधा है, छोटे मॉडल्स इष्टतम हैं।

D. सैंपलिंग टेम्परेचर का प्रभाव

• यह फ्रेमवर्क प्रकट करता है कि अत्यधिक कम और अत्यधिक उच्च तापमान दोनों ही प्रभावी विविधता को कम करते हैं।
• कम तापमान दोहराव (निम्न विविधता) की ओर ले जाता है।
• उच्च तापमान असंगति (निम्न वैधता) की ओर ले जाता है, जिसे यह मेट्रिक दंडित करता है।
• प्रेफरेंस-ट्यून्ड मॉडल्स अक्सर मध्यम तापमान पर एक "स्वीट स्पॉट" पाते हैं जो प्रभावी विविधता को अधिकतम करता है।

5. महत्व और निहितार्थ (Significance and Implications)

• मूल्यांकन को फिर से परिभाषित करना: शोध पत्र का तर्क है कि समुदाय को ओपन-एंडेड कार्यों में LLM उपयोगिता का सटीक आकलन करने के लिए "रॉ डाइवर्सिटी" के बजाय "प्रभावी सिमेंटिक डिवर्सिटी" को मापने की ओर बढ़ना चाहिए।
• सिंथेटिक डेटा जनरेशन: डेटा जनरेशन जैसे कार्यों के लिए, ये निष्कर्ष सुझाव देते हैं कि विशाल बेस मॉडल्स के बजाय छोटे, प्रेफरेंस-ट्यून्ड मॉडल्स का उपयोग करना अधिक लागत प्रभावी हो सकता है, क्योंकि वे प्रति कंप्यूट यूनिट अद्वितीय, वैध सैंपल्स का उच्च घनत्व (density) प्रदान करते हैं।
• क्रिएटिव असिस्टेंस: प्रेफरेंस ट्यूनिंग (RLHF) रचनात्मकता को दबाती नहीं है; बल्कि, यह विविध विचारों को बनाए रखते हुए उन्हें सुसंगत और प्रासंगिक बनाकर रचनात्मक आउटपुट की उपयोगिता को बढ़ाती है।
• मेथोडोलॉजिकल शिफ्ट: प्रोग्राम निष्पादन (program execution) का उपयोग एक ग्राउंड-ट्रुथ वैलिडिटी चेक के रूप में करना विविधता अध्ययनों के लिए एक मजबूत, कम लागत वाला विकल्प प्रदान करता है, जो भविष्य के स्वचालित मूल्यांकन बेंचमार्क के लिए एक मिसाल कायम करता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि गुणवत्ता और विविधता एक-दूसरे के विपरीत (zero-sum) नहीं हैं। प्रेफरेंस ट्यूनिंग तकनीकें, जिनकी अक्सर विविधता को कम करने के लिए आलोचना की जाती है, वास्तव में शोर (noise) को फ़िल्टर करके और यह सुनिश्चित करके कि उत्पन्न विविधता सार्थक और उपयोगी है, LLMs की व्यावहारिक विविधता को बढ़ाती हैं।