💬 NLP

Overton Pluralistic Reinforcement Learning for Large Language Models

यह शोध पत्र OP-GRPO को प्रस्तुत करता है, जो एक सुदृढीकरण अधिगम (रीइन्फोर्समेंट लर्निंग) ढांचा है जो एक समानता अनुमानक (सिमिलैरिटी एस्टिमेटर) को प्रशिक्षित करके और एक दोहरी-पुरस्कार प्रणाली का उपयोग करके एक एकल बड़े भाषा मॉडल को विविध, बहुलवादी प्रतिक्रियाएं उत्पन्न करने में सक्षम बनाता है, जो बड़े बेसलाइन और मॉड्यूलर आर्किटेक्चर की तुलना में बेहतर परिप्रेक्ष्य कवरेज और सटीकता प्राप्त करता है।

मूल लेखक: Yu Fu, Seongho Son, Ilija Bogunovic

प्रकाशित 2026-02-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Fu, Seongho Son, Ilija Bogunovic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक स्मार्ट AI सहायक से पूछते हैं, "हमें रिमोट वर्क (घर से काम करने) के बारे में क्या करना चाहिए?"

अतीत में, AI संभवतः आपको एक उत्तर देता। यह कह सकता था, "रिमोट वर्क लचीलेपन के लिए बेहतरीन है," या "रिमोट वर्क टीम कल्चर को नुकसान पहुँचाता है।" यह सबसे "सुरक्षित" या सबसे लोकप्रिय राय चुनता और उसी पर टिका रहता। यह एक ऐसे रेस्टोरेंट की तरह है जो केवल एक ही व्यंजन परोसता है क्योंकि शेफ को लगता है कि वही "सबसे अच्छा" है। लेकिन क्या होगा अगर आधे ग्राहक पिज्जा चाहते हों और बाकी आधे सुशी? केवल पिज्जा परोसने से आधा ग्राहक नाखुश रह जाता है और स्थिति की बारीकियों को समझने में चूक हो जाती है।

यह पेपर AI को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे OP-GRPO (Overton Pluralistic Group Relative Policy Optimization) कहा जाता है। इसका लक्ष्य AI को एक एकल विचारशील वक्ता के बजाय एक बुद्धिमान टाउन हॉल मॉडरेटर (नगर सभा संचालक) की तरह कार्य करने के योग्य बनाना है।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "इको चैंबर" (गूँज कक्ष) वाला AI

वर्तमान AI मॉडल एक "आम सहमति" (consensus) के साथ सहमत होने के लिए प्रशिक्षित किए जाते हैं। वे एक ही "सही" उत्तर खोजने की कोशिश करते हैं।

दोष: मानवीय मूल्य जटिल होते हैं। कुछ लोग स्वतंत्रता को सर्वोतम महत्व देते हैं; अन्य सुरक्षा को। कुछ परंपरा को महत्व देते; तो अन्य नवाचार को।
परिणाम: जब AI सबको खुश करने के लिए एक उत्तर देने की कोशिश करता है, तो अक्सर यह उबाऊ, पक्षपाती, या यहाँ तक कि गलत भी हो जाता है क्योंकि यह अल्पसंख्यक लेकिन वैध दृष्टिकोणों की अनदेखी करता है। यह एक ऐसे समाचार एंकर की तरह है जो केवल एक ही अखबार की सुर्खियाँ पढ़ता है।

2. समाधान: "टाउन स्क्वायर" (शहर का चौक) दृष्टिकोण

लेखक चाहते हैं कि AI एक ओवरटन प्लुरलिस्टिक विंडो (Overton Pluralistic Window) तैयार करे। इसे एक टाउन स्क्वायर के रूप में सोचें जहाँ कई वैध दृष्टिकोणों को अगल-बगल प्रदर्शित किया जाता है।

"रिमोट वर्क X है" कहने के बजाय, AI कहता है:
- "कुछ लोग सोचते हैं कि रिमोट वर्क फोकस के लिए बेहतरीन है..."
- "दूसरे महसूस करते हैं कि यह टीम बॉन्डिंग को नुकसान पहुँचाता है..."
- "एक तीसरा समूह मानता है कि हाइब्रिड मॉडल ही एकमात्र निष्पक्ष समाधान है..."
AI किसी विजेता का चयन नहीं करता; यह तर्कसंगत मानवीय बहस के पूरे स्पेक्ट्रम को प्रस्तुत करता है।

3. उन्होंने AI को कैसे सिखाया (सीक्रेट सॉस)

AI को ऐसा करने के लिए प्रशिक्षित करना कठिन है। आप इसे केवल यह नहीं कह सकते कि, "विविध बनो," क्योंकि यह केवल बेतुकी बातें बनाना शुरू कर सकता है। लेखकों ने एक चतुर दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:

चरण A: "टेस्ट टेस्टर" (समानता अनुमानक)

कल्पना कीजिए कि आप एक शेफ हैं जो 5 अलग-अलग स्वादों वाला सूप बनाने की कोशिश कर रहे हैं। आपको एक टेस्ट टेस्टर की आवश्यकता है जो आपको बता सके कि आपने वास्तव में 5 अलग-अलग स्वाद डाले हैं या आपने गलती से एक ही मसाला दो बार डाल दिया है।

लेखकों ने एक विशेष "टेस्ट टेस्टर" (एक छोटा AI मॉडल जिसे Sentence Transformer कहा जाता है) को प्रशिक्षित किया जो AI के उत्तरों को पढ़ सके।
इसका काम यह जांचना था: "क्या AI ने वास्तव में उन सभी अलग-अलग मानवीय दृष्टिकोणों को कवर किया है जिनके लिए हमने पूछा था? या क्या इसने केवल एक ही विचार को तीन अलग तरीकों से दोहरा दिया है?"
उन्होंने इस टेस्टर को डुप्लिकेट्स को पकड़ने में बहुत सख्त बनाया, ताकि यह सुनिश्चित हो सके कि AI अलग-अलग शब्दों में एक ही बात कहकर धोखाधड़ी न करे।

चरण B: "कोच" (रिवॉर्ड सिस्टम)

अब, वे मुख्य AI (शेफ) को एक कोच (रिवॉर्ड सिस्टम) के साथ जिम में रखते हैं।

लक्ष्य: AI को दो चीजों के लिए अंक (रिवॉर्ड्स) मिलते हैं:
1. कवरेज (व्याप्ति): क्या आपने सभी अलग-अलग दृष्टिकोणों का उल्लेख किया? (क्या आपने पूरा मेनू कवर किया?)
2. विशिष्टता (Uniqueness): क्या आपके बिंदु वास्तव में एक-दूसरे से भिन्न हैं? (केवल तीन बार "पिज्जा" न कहें; "पिज्जा," "सुशी," और "सलाद" कहें।)
दंड (Penalty): यदि AI केवल सभी कीवर्ड्स को हिट करने के लिए बहुत लंबा, बड़बड़ाता हुआ उत्तर लिखकर "सिस्टम को गेम" करने की कोशिश करता है, तो कोच उसे दंडित करता है। AI सीखता है कि गुणवत्ता और विविधता लंबाई से अधिक महत्वपूर्ण है।

4. अद्भुत परिणाम: छोटे मॉडल, बड़े दिमाग

आमतौर पर, वास्तव में स्मार्ट AI प्राप्त करने के लिए, आपको एक विशाल, महंगे सुपर-कंप्यूटर मॉडल (जैसे 20-बिलियन पैरामीटर वाला दिग्गज) की आवश्यकता होती है।

आश्चर्य: लेखकों ने एक छोटा AI मॉडल (केवल 3 बिलियन पैरामीटर वाला, जो छोटा और सस्ता है) लिया और उसे इस नए तरीके से प्रशिक्षित किया।
परिणाम: यह छोटा मॉडल विविध मानवीय दृष्टिकोणों को संभालने में बेहतर साबित हुआ, उन विशाल 20-बिलियन पैरामीटर वाले मॉडलों से भी बेहतर, और यहाँ तक कि उन जटिल प्रणालियों से भी बेहतर जो कई अलग-अलग AI के मिलकर काम करने का उपयोग करती हैं।
उपमा: यह एक स्थानीय सामुदायिक आयोजक को एक आदर्श प्लेबुक के साथ प्रशिक्षित करने जैसा है। अचानक, वे एक बड़े, महंगे कॉर्पोरेट बोर्डरूम की तुलना में एक टाउन मीटिंग को बेहतर ढंग से प्रबंधित कर सकते हैं।

यह क्यों मायने रखता है

यह पेपर AI सुरक्षा और निष्पक्षता की एक बड़ी समस्या को हल करता है। AI को एक साथ कई, परस्पर विरोधी, फिर भी वैध दृष्टिकोण रखने के लिए शिक्षित करके, हमें मिलता है:

कम पूर्वाग्रह: यह AI को हर किसी पर एक सांस्कृतिक या राजनीतिक दृष्टिकोण थोपने से रोकता है।
बेहतर निर्णय: यह मनुष्यों को यह देखने में मदद करता है कि क्या सही है, ताकि वे खुद निर्णय ले सकें, बजाय इसके कि उन्हें बताया जाए कि क्या सोचना है।
दक्षता: हमें यह करने के लिए विशाल, ऊर्जा-खपत करने वाले कंप्यूटरों की आवश्यकता नहीं है; एक छोटा, कुशल मॉडल यह काम उतनी ही अच्छी तरह कर सकता है।

संक्षेप में: लेखकों ने एक छोटे AI को एक एकल विचारशील व्यक्ति के रूप में कार्य करने के बजाय एक विविध, विचारशील समुदाय के रूप में कार्य करना सिखाया, जिससे यह सुनिश्चित होता है कि जब आप कोई प्रश्न पूछते हैं, तो आपको मानव विचार का एक समृद्ध ताना-बाना मिलता है, न कि केवल एक अकेला धागा।

यहाँ शोध पत्र "Overton Pluralistic Reinforcement Learning for Large Language Models" (OP-GRPO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान AI संरेखण (alignment) प्रतिमान (जैसे, RLHF, SFT) आमतौर पर लार्ज लैंग्वेज मॉडल्स (LLMs) को एक एकल सर्वसम्मत उद्देश्य (singular consensus objective) की ओर अनुकूलित करते हैं। यह दृष्टिकोण अनजाने में अल्पसंख्यक दृष्टिकोणों को हाशिए पर डाल देता है, प्रमुख विचारों को बढ़ा देता है, और ऐसे आउटपुट उत्पन्न करता है जो पक्षपाती, भंगुर या विवादास्पद होते हैं। यह मानवीय मूल्यों की बहुलवादी प्रकृति (pluralistic nature of human values) को पकड़ने में विफल रहता है, जो संस्कृतियों, जनसांख्यिकी और व्यक्तियों के बीच काफी भिन्न होती है।

जबकि इस समस्या को हल करने के लिए ओवर्टन प्लुरलिज्म (Overton Pluralism - OP) की अवधारणा प्रस्तावित की गई है—जो "ओवर्टन विंडो" (सामाजिक रूप से स्वीकार्य दृष्टिकोणों) के भीतर कई तर्कसंगत दृष्टिकोणों को सामने लाने की वकालत करती है—मौजूदा समाधानों की कुछ सीमाएँ हैं:

स्पष्ट प्रॉम्प्टिंग (Explicit Prompting): विविध दृष्टिकोण उत्पन्न करने के लिए निर्देशों पर निर्भर रहने से अक्सर सीमित विविधता और निम्न-गुणवत्ता वाले आउटपुट मिलते हैं।
मॉड्यूलर प्लुरलिज्म (Modular Pluralism): ऐसे दृष्टिकोण जो कई समुदाय-विशिष्ट मॉडलों और एक सारांशकर्ता (summarizer) को संचालित करते हैं, प्रभावी तो हैं लेकिन वे उच्च इन्फरेंस लेटेंसी (inference latency), जटिलता और मल्टी-मॉडल सहयोग की आवश्यकता पैदा करते हैं।

मुख्य चुनौती: एक एकल, संक्षिप्त LLM को बिना किसी स्पष्ट प्रॉम्प्टिंग या मॉड्यूलर ऑर्केस्ट्रेशन के, अंतर्निहित रूप से विविध, उच्च-गुणवत्ता वाले बहुलवादी उत्तर उत्पन्न करने के लिए कैसे सक्षम बनाया जाए, जबकि यह सुनिश्चित किया जाए कि उत्पन्न दृष्टिकोण मानवीय मूल्यों के स्पेक्ट्रम को सटीक रूप से कवर करते हैं।

2. कार्यप्रणाली: OP-GRPO

लेखक OP-GRPO (Overton Pluralistic Group Relative Policy Optimization) का प्रस्ताव करते हैं, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जिसे एक एकल LLM को ओवर्टन प्लुरलिस्टिक विंडोज़ उत्पन्न करने के लिए प्रशिक्षित करने हेतु डिज़ाइन किया गया है। यह कार्यप्रणाली दो प्राथमिक चरणों से बनी है:

A. डेटासेट परिशोधन (Dataset Refinement - OP-V2)

स्रोत: ValuePrism डेटासेट (218k सामाजिक स्थितियाँ) पर आधारित।
परिशोधन पाइपलाइन: उच्च-गुणवत्ता वाले प्रशिक्षण डेटा सुनिश्चित करने के लिए, लेखकों ने तीन-चरणीय पाइपलाइन लागू की:
1. सिमेंटिक फ़िल्टरिंग (Semantic Filtering): रेडंडेंट (अनावश्यक) दृष्टिकोणों को फ़िल्टर करने के लिए SBERT का उपयोग किया गया।
2. LLM निर्णय (LLM Judgment): डुप्लिकेट की पुष्टि करने के लिए बहुमत मतदान (majority voting) के साथ एक LLM (Qwen3-14B) का उपयोग किया गया।
3. संवर्धन (Augmentation): यह सुनिश्चित किया गया कि प्रत्येक स्थिति में कम से कम पाँच अद्वितीय, अर्थपूर्ण रूप से भिन्न दृष्टिकोण हों।
परिणाम: अंतिम OP-V2 डेटासेट में ~30k पंक्तियाँ हैं, जिसमें नॉन-रिडंडेंसी दर 48% से बढ़कर 90.8% हो गई।

B. समानता अनुमानक प्रशिक्षण (Similarity Estimator Training - OP-SBERT)

RL प्रशिक्षण के दौरान महंगे LLM जजों पर निर्भर रहे बिना कवरेज का मूल्यांकन करने के लिए, लेखकों ने एक सेंटेंस ट्रांसफॉर्मर (SBERT) को फाइन-ट्यून किया।

ट्रिपलेट निर्माण (Triplet Construction): एक OP-Triplet डेटासेट (एंकर, पॉजिटिव/रिडंडेंट, नेगेटिव/डिस्टिंक्ट) बनाया गया ताकि मॉडल को कार्य-विशिष्ट समानता सिखाने के लिए प्रशिक्षित किया जा सके।
प्रशिक्षण उद्देश्य (Training Objective): इसे मल्टीपल-नेगेटिव रैंकिंग लॉस (MNRL) का उपयोग करके फाइन-ट्यून किया गया।
मैचिंग रणनीति (MBGM): "मेनी-टू-वन" मैचिंग समस्या को हल करने के लिए (जहाँ सतही कीवर्ड ओवरलैप के कारण कई उम्मीदवार एक ही संदर्भ से जुड़ जाते हैं), उन्होंने म्यूचुअल-बेस्ट ग्रीडी मैचिंग (MBGM) पेश किया:
- कीवर्ड मास्किंग (Keyword Masking): अर्थपूर्ण अंतरों पर ध्यान केंद्रित करने के लिए उच्च-आवृत्ति वाले प्रॉम्प्ट टोकन को मास्क किया गया।
- म्यूचुअल बेस्ट (Mutual Best): एक जोड़ी $(c_i, r_j)$ तभी वैध है जब $c_i$ , $r_j$ के लिए सबसे अच्छा मिलान हो और $r_j$ भी $c_i$ के लिए सबसे अच्छा मिलान हो।
- ग्रीडी रिमूवल (Greedy Removal): एक बार जोड़ी चुने जाने के बाद, सख्त एक-से-एक संरेखण सुनिश्चित करने के लिए दोनों को आगे के विचार से हटा दिया जाता है।

C. रिवॉर्ड सिस्टम और GRPO प्रशिक्षण

यह ढांचा पॉलिसी को अनुकूलित करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमिज़ेशन (GRPO) का उपयोग करता है। उत्पन्न प्रतिक्रिया के लिए रिवॉर्ड फंक्शन $R(a)$ तीन घटकों का भारित योग (weighted sum) है:

रेफरेंस कवरेज ( $r_{cov}$ ): MBGM एल्गोरिदम का उपयोग करके मानव संदर्भ दृष्टिकोणों का वह अंश जो उत्पन्न उम्मीदवारों द्वारा मैच किया गया है।
ग्रुप यूनिकनेस ( $r_{uniq}$ ): उत्पन्न उम्मीदवारों के बीच रेडंडेंसी (अनावश्यकता) के लिए एक दंड, जिसे समान दृष्टिकोणों को क्लस्टर करके निकाला जाता है।
फॉर्मेट क्वालिटी ( $R_{fmt}$ ): एक विशिष्ट आउटपुट संरचना (<core perspectives> और <summary>) के पालन के लिए पुरस्कार और दोहराव के लिए दंड।

अंतिम रिवॉर्ड: $R(a) = \alpha_{cov} r_{cov} + \alpha_{uniq} r_{uniq} + R_{fmt}$ । लेखकों ने पाया कि मानवीय मूल्यों को कवर करने की आवश्यकता और रेडंडेंसी को रोकने के बीच संतुलन बनाने के लिए 5:1 (कवरेज:यूनिकनेस) का अनुपात इष्टतम है।

3. मुख्य योगदान (Key Contributions)

अंतर्निहित ओवर्टन प्लुरलिज्म (Implicit Overton Pluralism): पहला ढांचा जिसने RLHF का उपयोग करके एक एकल छोटे मॉडल को अंतर्निहित रूप से बहुलवादी प्रतिक्रियाएं उत्पन्न करने में सक्षम बनाया, जिससे स्पष्ट प्रॉम्प्टिंग या मल्टी-मॉडल ऑर्केस्ट्रेशन की आवश्यकता समाप्त हो गई।
MBGM एल्गोरिदम: एक नवीन मैचिंग रणनीति जो रिवॉर्ड गणना में सिमेंटिक अस्पष्टता और रेडंडेंसी को हल करती है, जिससे उत्पन्न और संदर्भ दृष्टिकोणों के बीच सटीक एक-से-एक संरेखण सुनिश्चित होता है।
दोहरा रिवॉर्ड सिस्टम (Dual-Reward System): एक सावधानीपूर्वक डिज़ाइन किया गया रिवॉर्ड फंक्शन जो एक साथ कवरेज (मानवीय मूल्यों के साथ संरेखण) और यूनिकनेस (जनित विचारों की विविधता) के लिए अनुकूलित करता है, जिससे लंबे, दोहराव वाले आउटपुट के माध्यम से होने वाली "रिवॉर्ड हैकिंग" को रोका जा जाता है।
स्केलेबिलिटी (Scalability): यह प्रदर्शित करता है कि OP-GRPO के साथ प्रशिक्षित छोटे मॉडल (1.5B–3B पैरामीटर्स) बहुत बड़े मॉडलों (20B+) और जटिल मॉड्यूलर सिस्टम को भी पीछे छोड़ सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने नेचुरल लैंग्वेज इन्फरेंस (NLI) और LLM-एज़-जज मेट्रिक्स का उपयोग करके OP-V2 बेंचमार्क पर OP-GRPO का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन:
- Qwen2.5-3B-Instruct (OP-GRPO) ने NLI बेंचमार्क पर GPT-OSS (20B) बेसलाइन की तुलना में 37.4% सापेक्ष सटीकता लाभ प्राप्त किया।
- इसने Modular Pluralism बेसलाइन (Qwen3-14B) को 19.1% से पछाड़ दिया।
- इसने अपने स्वयं के स्पष्ट रूप से प्रॉम्प्ट किए गए समकक्षों को 100% से अधिक की सापेक्ष सटीकता से पीछे छोड़ दिया।
दक्षता (Efficiency): प्रशिक्षित मॉडलों ने बेसलाइन्स की तुलना में काफी छोटे, अधिक केंद्रित उत्तर उत्पन्न किए, जो कवरेज बढ़ाने के लिए लंबाई बढ़ाने की प्रवृत्ति रखते थे।
मजबूती (Robustness):
- एब्लेशन स्टडीज (Ablation Studies): यूनिकनेस रिवॉर्ड को हटाने से "रिवॉर्ड हैकिंग" (लंबे, रेडंडेंट आउटपुट) और वास्तविक कवरेज में गिरावट आई। MBGM को हटाने से प्रदर्शन में भारी गिरावट आई।
- सामान्यीकरण (Generalization): मॉडल ने विभिन्न प्रॉम्प्ट शैलियों, भाषाओं (चीनी), और आवश्यक दृष्टिकोणों की संख्या (5 से >10) में उच्च प्रदर्शन बनाए रखा।
गुणात्मक मूल्यांकन (Qualitative Assessment): LLM-एज़-जज (GPT-4.1) मूल्यांकन ने पुष्टि की कि OP-GRPO मॉडल बेसलाइन्स की तुलना में हेल्पफुलनेस (Helpfulness), क्लैरिटी (Clarity), फैक्टुअलिटी (Factuality), डेप्थ (Depth) और एंगेजमेंट (Engagement) पर उच्च स्कोर करते हैं।

5. महत्व (Significance)

यह शोध पत्र AI में ओवर्टन प्लुरलिज्म की ओर एक स्केलेबल, कुशल और सिद्धांतपूर्ण मार्ग स्थापित करता है।

प्रतिमान परिवर्तन (Paradigm Shift): यह संरेखण को "वितरणात्मक" (मूल्यों का औसत निकालना) से बदलकर "बहुलवादी" (विशिष्ट, तर्कसंगत दृष्टिकोणों को सामने लाना) बनाता है।
व्यावहारिक परिनियोजन (Practical Deployment): यह सिद्ध करके कि एक एकल कॉम्पैक्ट मॉडल बहुलवादी व्यवहार सीख सकता है, यह मॉड्यूलर सिस्टम के कम्प्यूटेशनल और आर्किटेक्चरल ओवरहेड को हटा देता है, जिससे विविध AI संरेखण वास्तविक दुनिया के परिनियोजन के लिए संभव हो जाता है।
नैतिक प्रभाव (Ethical Impact): यह दृष्टिकोण AI पूर्वाग्रह के जोखिम को कम करता है क्योंकि यह सुनिश्चित करता है कि अल्पसंख्यक और विविध दृष्टिकोणों को हाशिए पर न डाला जाए, बल्कि उन्हें मॉडल के आउटपुट में स्पष्ट रूप से प्रस्तुत किया जाए, जिससे उपयोगकर्ताओं को उनके विशिष्ट मूल्यों के अनुरूप निर्णय लेने में सशक्त बनाया जा सके।

निष्कर्षतः, OP-GRPO LLMs को न केवल "सुरक्षित" या "उपयोगी" बनाने के बजाय, उन्हें बहुलवादी रूप से जागरूक (pluralistically aware) बनाने की दिशा में एक बड़ी उपलब्धि है, जो मानवीय असहमति के जटिल स्पेक्ट्रम को सूक्ष्मता और निष्ठा के साथ नेविगेट करने में सक्षम है।