💻 computer science

SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

यह शोध पत्र SHALA-LLM को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एंनोटेटर लेबल अस्पष्टता को शोर के बजाय मूल्यवान जानकारी मानकर LLM संरेखण (alignment) में सुधार करता है, जिससे मानव निर्णय वितरण को बेहतर ढंग से मॉडल करने के लिए अस्पष्ट नमूनों को गतिशील रूप से प्राथमिकता दी जाती है और साथ ही वर्गीकरण प्रदर्शन को भी बढ़ाया जाता है।

मूल लेखक: Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके SHALA-LLM पेपर की व्याख्या दी गई है।

समस्या: जब हर कोई असहमत हो

कल्प Imagine कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। आप पाँच अलग-अलग विशेषज्ञों से एक ही पैराग्राफ को पढ़ने और यह तय करने के लिए कहते हैं कि क्या वह "सत्य" (True), "असत्य" (False), या "शायद" (Maybe) है।

विशेषज्ञ A कहता है: "निश्चित रूप से सत्य।"
विशेषज्ञ B कहता है: "निश्चित रूप से असत्य।"
विशेषज्ञ C, D, और E कहते हैं: "यह दोनों का मिश्रण है; यह अस्पष्ट है।"

अतीत में, जब AI (लार्ज लैंग्वेज मॉडल्स या LLMs) को प्रशिक्षित किया जाता था, तो शोधकर्ता इन पाँचों मतों को देखते थे और कहते थे, "ठीक है, तीन लोगों ने 'शायद' कहा, इसलिए उत्तर शायद है।" वे इस तथ्य को फेंक देते थे कि दो विशेषज्ञ दृढ़ता से असहमत थे। उन्होंने इस असहमति को "शोर" (noise) या सुधारने योग्य गलती माना।

इस पेपर के लेखक तर्क देते हैं कि यह एक गलती है। वे कहते हैं कि असहमति शोर नहीं है; यह जानकारी है। तथ्य यह है कि बुद्धिमान लोग सहमत नहीं हो पा रहे हैं, यह AI को बताता है कि स्थिति जटिल, पेचीदा और व्याख्या के योग्य है।

समाधान: SHALA-LLM

टीम ने एक नई विधि बनाई जिसे SHALA-LLM (Aligning LLMs में अस्पष्ट लेबल को समझदारी से संभालना) कहा जाता है। इसे एक नए तरीके के रूप में सोचें जिससे AI विशेषज्ञों की पूरी बातचीत को सुनने के लिए प्रशिक्षित होता है, न कि केवल सबसे तेज़ आवाज़ को।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. एकल उत्तर के बजाय "वोटिंग बूथ"

AI को केवल एक लेबल (जैसे "सत्य") चुनने के लिए मजबूर करने के बजाय, SHALA-LLM AI से एक संभाव्यता वितरण (probability distribution) देने के लिए कहता है।

पुराना तरीका: AI कहता है, "मुझे 100% यकीन है कि यह 'सत्य' है।"
SHALA-LLM का तरीका: AI कहता है, "मुझे लगता है कि इसके 'सत्य' होने की 40% संभावना है, 'असत्य' होने की 40% संभावना है, और 'शायद' होने की 20% संभावना है।"

यह मानव विशेषज्ञों की वास्तविकता से मेल खाता है, जो बीच में बँटे हुए थे।

2. "कन्फ्यूजन बोनस" (गुप्त मंत्र)

यह इस पेपर का सबसे रचनात्मक हिस्सा है। शोधकर्ताओं ने महसूस किया कि कुछ प्रश्न आसान होते हैं (सब सहमत होते हैं), और कुछ कठिन होते हैं (सब लड़ते हैं)।

आसान प्रश्न: सभी सहमत हैं। AI को सही होने के लिए एक मानक इनाम मिलता है।
कठिन प्रश्न: इंसान भ्रमित हैं और असहमत हैं।

SHALA-LLM में, AI को एक विशेष "कन्फ्यूजन बोनस" (Confusion Bonus) मिलता है। यदि मानव विशेषज्ञ किसी विशिष्ट उदाहरण के बारे में अत्यधिक भ्रमित हैं, तो AI को उस विशिष्ट उदाहरण को सीखने के लिए अधिक पुरस्कृत किया जाता है।

उपमा: कल्पना कीजिए कि एक कोच एक सॉकर खिलाड़ी को प्रशिक्षित कर रहा है। यदि खिलाड़ी एक आसान गोल करता है, तो उसे शाबाशी (high-five) मिलती है। लेकिन यदि वह एक फिसलन भरे, कीचड़ भरे मैदान पर अभ्यास करता है जहाँ गेंद अप्रत्याशित रूप से उछलती है (उच्च अस्पष्टता), और फिर भी वह गोल करने में सफल रहता है, तो कोच उसे एक बहुत बड़ा ट्रॉफी देता है।
AI यह सीखता है कि "कीचड़ भरे, भ्रमित करने वाले" उदाहरण अधिक मूल्यवान होते हैं ताकि वह अधिक बुद्धिमान बन सके।

3. परिणाम: एक अधिक मानव-समान AI

टीम ने NLI (Natural Language Inference) और ER (Emotion Recognition) जैसे कार्यों पर इसका परीक्षण किया:

NLI (प्राकृतिक भाषा निष्कर्ष): यह तय करना कि क्या एक वाक्य तार्किक रूप से दूसरे का अनुसरण करता है।
ER (भावना पहचान): यह अनुमान लगाना कि क्या कोई आवाज़ खुश, दुखी या क्रोधित है।

क्या हुआ?

बेहतर सहमति: AI के "अनुमान" (वितरण) मानव विचारों के प्रसार से पहले की तुलना में बहुत बेहतर तरीके से मेल खाते थे। इसने AI के विचार और मनुष्यों के विचार के बीच के अंतर को 62% तक कम कर दिया।
बेहतर सटीकता: आश्चर्यजनक रूप से, भ्रम को संभालने के तरीके से, AI एकल "सर्वश्रेष्ठ" उत्तर चुनने में भी बेहतर हो गया। इसने अपने सटीकता स्कोर में 16% तक सुधार किया।
मजबूती (Robustness): जब कार्य अत्यंत कठिन और भ्रमित करने वाले हो गए, तो पुराने AI मॉडल विफल हो गए। SHALA-LLM मॉडल स्थिर रहा। जब इंसान असहमत हुए, तो वह घबराया नहीं; उसने उस असहमति का उपयोग गहरे पैटर्न सीखने के लिए किया।

निचोड़ (The Bottom Line)

पेपर का दावा है कि मानव असहमति को एक बग (गलती) के बजाय एक फीचर (एक सहायक संकेत) के रूप में मानकर, हम ऐसा AI बना सकते हैं जो अनिश्चितता के बारे में अधिक ईमानदार है और वास्तविक दुनिया की स्थितियों में अधिक सटीक है जहाँ चीजें केवल 'काला या सफेद' नहीं होती हैं।

AI केवल यह नहीं सीखता कि क्या कहना है; यह भी सीखता है कि उसे कितना अनिश्चित होना चाहिए, जो इसे मानव निर्णय का एक बहुत बेहतर अनुकरण बनाता है।

तकनीकी सारांश: SHALA-LLM

समस्या विवरण

कई मानव-केंद्रित प्राकृतिक भाषा कार्यों, जैसे कि नेचुरल लैंग्वेज इंफरेंस (NLI) और इमोशन रिकग्निशन (ER), में स्वाभाविक रूप से कई संभावित व्याख्याएँ होती हैं। यह लेबल अस्पष्टता (label ambiguity) और मानव एनोटेटरों के बीच महत्वपूर्ण असहमति की ओर ले जाता है, जो संदर्भ संबंधी समझ, सांस्कृतिक पृष्ठभूमि और व्यक्तिगत अनुभव जैसे कारकों से प्रेरित होता है।

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) अलाइनमेंट प्रतिमान (paradigms) मुख्य रूप से इस एनोटेटर असहमति को 'शोर' (noise) के रूप में देखते हैं। वे आमतौर पर बहुमत मतदान (majority voting) या औसत (averaging) का उपयोग करके अस्पष्ट एनोटेशन को एक एकल "गोल्ड स्टैंडर्ड" लेबल में समाहित कर देते हैं। यह दृष्टिकोण मानव असहमति के भीतर निहित समृद्ध जानकारी को त्याग देता है, विशेष रूप से अत्यधिक अस्पष्ट सेटिंग्स में। जबकि हाल के अध्ययनों ने वितरण संबंधी अलाइनमेंट (distributional alignment) का पता लगाया है, वे अक्सर प्रशिक्षण के दौरान सीधे LLM को अस्पष्टता को ध्यान में रखते हुए अनुकूलित करने के बजाय, अनुमान के समय (प्रॉम्प्टिंग के माध्यम से) कार्य करते हैं। फलस्वरूप, मौजूदा विधियाँ मानव निर्णयों के पूर्ण वितरण को संरक्षित करने या उन नमूनों को गतिशील रूप से प्राथमिकता देने में विफल रहती हैं जहाँ अस्पष्टता सबसे अधिक सूचनात्मक होती है।

कार्यप्रणाली: SHALA-LLM

लेखक SHALA-LLM (स्मार्टली हैंडलिंग एम्बिगअस लेबल्स इन अलाइनिंग LLMs) का प्रस्ताव करते हैं, जो एक सुदृढीकरण शिक्षण (reinforcement learning - RL) ढांचा है जिसे LLMs को एकल संकुचित लेबल के बजाय सीधे अनुभवजन्य एनोटेटर वितरणों के साथ अलाइन करने के लिए डिज़ाइन किया गया है। यह ढांचा निम्नलिखित प्रमुख घटकों के माध्यम से कार्य करता है:

1. समस्या का निरूपण (Problem Formulation)

एनोटेशन को एक एकल लेबल में समाहित करने के बजाय, SHALA-LLM किसी दिए गए नमूने $q$ के लिए $N$ मानव एनोटेटरों से एक अनुभवजन्य लेबल वितरण (Empirical Label Distribution) ( $p_q$ ) प्राप्त करता है। यह वितरण प्रत्येक उम्मीदवार वर्ग की संभावना को एनोटेटर के वोटों की आवृत्ति के आधार पर दर्शाता है। लक्ष्य LLM को ऐसे भविष्यवाणियां ( $\hat{p}$ ) उत्पन्न करने के लिए प्रशिक्षित करना है जो इस अंतर्निहित मानव निर्णय वितरण के साथ संरेखित हों।

2. मौखिक वितरण भविष्यवाणी (Verbalized Distribution Prediction)

वितसन संबंधी शिक्षण की सुविधा के लिए, LLM को मौखिक वितरण (verbalized distributions) उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है। एक एकल वर्ग आउटपुट करने के बजाय, मॉडल एक टेक्स्टुअल रिस्पॉन्स उत्पन्न करता है जिसमें सभी उम्मीदवार वर्गों के लिए संभाव्यता अनुमान (probability estimates) होते हैं (जैसे, JSON फॉर्मेट में)। इन टेक्स्टुअल आउटपुट्स को एक अनुमानित संभाव्यता वितरण $\hat{p}^{(q,i)}$ में पार्स किया जाता है।

3. रिवॉर्ड डिज़ाइन: अस्पष्टता-वर्धित अनुकूलन (Ambiguity-Enhanced Optimization)

मुख्य नवाचार ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) ढांचे के भीतर उपयोग किए जाने वाले रिवॉर्ड फंक्शन में निहित है। एक सैंपल रॉलआउट के लिए रिवॉर्ड $r^{SHALA}_{(q,i)}$ को इस प्रकार परिभाषित किया गया है:

$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$

जहाँ:

वितरणात्मक अलाइनमेंट टर्म: $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ जेन्सन-शैनन (JS) डिस्टेंस का उपयोग करके मॉडल के अनुमानित वितरण और एनोटेटर वितरण के बीच सहमति को मापता है। यह बहुमत-लेबल पर्यवेक्षण के स्पार्स, बाइनरी रिवार्ड्स को निरंतर रिवार्ड्स से बदल देता है जो वितरणात्मक सहमति के अनुपात में होते हैं।
अस्पष्टता वर्धन टर्म (Ambiguity Enhancement Term): $\tilde{H}(p_q)$ $\tilde{H} (p_{q})$ एनोटेटर वितरण का सामान्यीकृत एंट्रॉपी (normalized entropy) है। यह एनोटेटरों के बीच असहमति (अस्पष्टता) की डिग्री को मापता है।
- डायनेमिक रीवेटिंग: उच्च एनोटेटर असहमति (उच्च एंट्रॉपी) वाले नमूनों को आनुपातिक रूप से प्रवर्धित रिवार्ड्स मिलते हैं। यह अत्यधिक अस्पष्ट नमूनों को अनुकूलन के दौरान गतिशील रूप से प्राथमिकता देता है, जिससे मॉडल को केवल प्रभावी लेबल के बजाय समृद्ध असहमति संरचनाओं से सीखने के लिए मजबूर किया जाता है।

4. अनुकूलन (Optimization)

ढांचा पॉलिसी को अनुकूलित करने के लिए GRPO का उपयोग करता है। अस्पष्टता-वर्धित रिवार्ड्स के आधार पर ग्रुप-नॉर्मलाइज्ड एडवांटेज की गणना करके, SHALA-LLM मॉडल को अनिश्चितता और विविध मानव व्याख्याओं को कैप्चर करने के लिए प्रोत्साहित करता है। यह रिवॉर्ड ज्योमेट्री को पुनर्गठित करता है, जिससे अस्पष्ट पर्यवेक्षण के तहत अधिक सहज एडवांटेज डिस्ट्रीब्यूशन और अधिक सूचनात्मक पॉलिसी अपडेट प्राप्त होते हैं।

प्रमुख योगदान

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि एनोटेटर असहमति 'शोर' है, और इसे एक सूचनात्मक पर्यवेक्षण के रूप में पुनर्परिभाषित करता है जो मॉडल के व्यवहार में सुधार करता है।
एल्गोरिदमिक नवाचार: यह एक नया RL-आधारित एल्गोरिदम (SHALA-LLM) पेश करता है जो विशेष रूप से GRPO का उपयोग करते हुए, अस्पष्टता-जागरूक रिवॉर्ड मॉड्यूलेशन को सीधे ट्रेनिंग लूप में एकीकृत करता है।
दोहरा सुधार: यह विधि प्रदर्शित करती है कि एनोटेटर असहमति को मॉडल करना न केवल वितरणात्मक अलाइनमेंट (मानव अनिश्चितता को कैप्चर करना) में सुधार करता है, बल्कि मानक वर्गीकरण प्रदर्शन (F1 स्कोर) को भी बढ़ाता है, जो इस विश्वास के विपरीत है कि अस्पष्टता को संभालने से सटीकता कम हो जाती है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन अस्पष्टता-संवेदनशील NLI और ER बेंचमार्क पर किया गया: ChaosNLI, GoEmotions, और MSP-Podcast।

वितरणात्मक अलाइनमेंट: SHALA-LLM ने मॉडल भविष्यवाणियों और मानव वितरणों के बीच जेन्सन-शैनन डिस्टेंस (JSD) को काफी कम कर दिया। ChaosNLI पर, JSD में मेजॉरिटी-लेबल सुपरविजन (MLS) की तुलना में 62.1% की कमी आई। MSP-Podcast पर, JSD में 6.2% की कमी आई।
वर्गीकरण प्रदर्शन: इस अपेक्षा के विपरीत कि वितरणात्मक पर्यवेक्षण से पॉइंट-एस्टीमेट सटीकता कम हो सकती है, SHALA-LLM ने F1 स्कोर में सुधार किया। ChaosNLI पर, F1 में MLS की तुलना में 16.6% की वृद्धि हुई; MSP-Podcast पर, इसमें 29.2% की वृद्धि हुई।
अस्पष्टता के प्रति मजबूती: विभिन्न अस्पष्टता स्तरों (कम, मध्यम, उच्च) के बीच विश्लेषण से पता चला कि SHALA-LLM बढ़ती अस्पष्टता के साथ स्थिर प्रदर्शन बनाए रखता है, जबकि बेसलाइन विधियाँ (जैसे MLS) उच्च-अस्पष्टता सेटिंग्स में महत्वपूर्ण गिरावट का सामना करती हैं।
श्रेणी-विशिष्ट लाभ: मॉडल ने स्वाभाविक रूप से अस्पष्ट सिमेंटिक श्रेणियों (जैसे NLI में "Contradiction" और ER में "Surprise") पर विशेष रूप से मजबूत सुधार दिखाया, जहाँ बेसलाइन मॉडल अक्सर संघर्ष करते हैं।
तर्क व्यवहार (Reasoning Behavior): गुणात्मक विश्लेषण ने दिखाया कि SHALA-LLM ऐसे तर्क पैटर्न उत्पन्न करता है जो कई वैध व्याख्याओं और अनिश्चितता को दर्शाते हैं, न कि ओवरकॉन्फिडेंट, एकल-व्याख्या वाले आउटपुट्स को, जो ज़ीरो-शॉट या मेजॉरिटी-लेबल बेसलाइन्स की विशेषता है।

महत्व और दावे

लेखक दावा करते हैं कि SHALA-LLM मानव असहमति को शोर के बजाय एक सिग्नल के रूप में मानने के मूल्य को प्रदर्शित करता है। असहमति संरचनाओं को संरक्षित करके और अस्पष्ट नमूनों को गतिशील रूप से प्राथमिकता देकर, यह ढांचा व्यक्तिपरक, वास्तविक दुनिया की सेटिंग्स में अधिक मजबूत, मानव-संरेखित LLM व्यवहार की ओर ले जाता है।

यह निष्कर्ष निकलता है कि:

असहमति को संरक्षित करना: मानव निर्णयों की पूर्ण संरचना को बनाए रखने से मॉडल विविध और संभावित रूप से परस्पर विरोधी लेबल से सीख सकते हैं, जिससे मानव वितरण के साथ बेहतर अलाइनमेंट मिलता है।
प्रदर्शन तालमेल (Performance Synergy): अस्पष्टता-जागरूक अनुकूलन वर्गीकरण सटीकता के लिए अलाइनमेंट का त्याग नहीं करता है; बल्कि, यह दोनों को मजबूत करता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण विभिन्न मोडैलिटीज (टेक्स्ट और स्पीच) और कार्य प्रकारों (इन्फरेंस और इमोशन रिकग्निशन) में प्रभावी है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि वर्तमान मूल्यांकन संरचित लेबल वितरणों पर केंद्रित है और अभी तक ओपन-एंडेड जेनेरेटिव कार्यों या जटिल मल्टी-टर्न इंटरैक्शन को संबोधित नहीं करता है। वे यह भी नोट करते हैं कि ढांचा यह मान लेता है कि अनुभवजन्य वितरण अंतर्निहित कारकों जैसे एनोटेटर विशेषज्ञता का पर्याप्त प्रतिनिधित्व करते हैं, जो अस्पष्टता के सभी स्रोतों को पूरी तरह से कैप्चर नहीं कर सकते हैं। फिर भी, यह कार्य मानव-केंद्रित लार्ज लैंग्वेज मॉडल्स विकसित करने के लिए एक आशाजनक दिशा का सुझाव देता है।