← नवीनतम पेपर
💻 computer science

Preference learning in shades of gray: Interpretable and bias-aware reward modeling for human preferences

यह शोध पत्र एक फीचर-संवर्धित (feature-augmented), व्याख्या योग्य रिवॉर्ड मॉडलिंग ढांचे का प्रस्ताव करता है जो प्रतिक्रिया की लंबाई और विषाक्तता जैसे संकेतों को शामिल करता है ताकि पूर्वाग्रह और निर्णय लेने वाली प्रणालियों का विश्लेषण करते हुए भाषा मॉडल में मानव प्राथमिकता शिक्षण की सटीकता में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Simona-Vasilica Oprea, Adela Bâra

प्रकाशित 2026-04-03
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Simona-Vasilica Oprea, Adela Bâra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो दो छात्रों के निबंधों को ग्रेड देने की कोशिश कर रहे हैं। एक सामान्य गणित के टेस्ट में, एक स्पष्ट सही उत्तर (5) और एक स्पष्ट गलत उत्तर (0) होता है। लेकिन लेखन में, ग्रेडिंग करना बहुत कठिन है। दोनों निबंध "ठीक-ठाक" हो सकते हैं, लेकिन एक दूसरे से थोड़ा बेहतर होता है क्योंकि वह अधिक दयालु, सुरक्षित या अधिक सहायक होता है। यह AI के लिए रिवॉर्ड मॉडलिंग (Reward Modeling) की दुनिया है: कंप्यूटर को यह सिखाना कि "अच्छा" और "बेहतर" के बीच अंतर कैसे किया जाए, जब दोनों विकल्प ग्रे (धुंधले) रंग के विभिन्न शेड्स हों।

यहाँ इस शोध पत्र का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

1. समस्या: "ग्रे के शेड्स" की दुविधा

लेखक बताते हैं कि AI को मानवीय प्राथमिकताओं को समझने के लिए सिखाना, एक कुत्ते को नीले रंग के दो बहुत मिलते-जुलते शेड्स के बीच अंतर करना सिखाने जैसा है।

  • पुराना तरीका: शोधकर्ता आमतौर पर AI को हजारों उदाहरण देते हैं जिनमें "चुना हुआ" (अच्छा) और "अस्वीकृत" (बुरा) उत्तर होता है। AI पैटर्न का अनुमान लगाने की कोशिश करता है।
  • समस्या: AI अक्सर भ्रमित हो जाता है। वह सोच सकता है, "ओह, लंबा उत्तर हमेशा बेहतर होता है!" या "जिसमें अधिक विनम्र शब्द होते हैं, वही जीतता है!" भले ही सामग्री वास्तव में खराब हो। यह उस छात्र की तरह है जिसने यह रट लिया है कि "लंबे निबंधों पर बेहतर ग्रेड मिलते हैं" बिना वास्तव में विषय को सीखे। AI सुरक्षा, लहजे और प्रासंगिकता के सूक्ष्म अंतरों को देखने के लिए संघर्ष कर रहा है।

2. समाधान: AI को "ट्रेनिंग व्हील्स" देना

शोधकर्ताओं ने महसूस किया कि AI केवल एक जानकारी के साथ एक जटिल पहेली को हल करने की कोशिश कर रहा था: वह स्वयं टेक्स्ट (पाठ)। उन्होंने निर्णय लेने में इसे स्मार्ट बनाने के लिए AI को कुछ अतिरिक्त "सुराग" (फीचर्स) देने का फैसला किया।

इसे एक नए कर्मचारी को ग्राहक सेवा कॉल का न्याय करने के लिए काम पर रखने जैसा समझें।

  • पुराना दृष्टिकोण: आप उन्हें केवल ऑडियो रिकॉर्डिंग सुनते हैं।
  • नया दृष्टिकोण: आप उन्हें अतिरिक्त डेटा के साथ एक डैशबोर्ड देते हैं:
    1. कॉल कितनी लंबी थी? (प्रतिक्रिया की लंबाई/Response Length)
    2. क्या एजेंट ने कहा "मैं इसमें मदद नहीं कर सकता"? (अस्वीकृति संकेतक/Refusal Indicator)
    3. क्या एजेंट अभद्र या विषाक्त (toxic) था? (विषाक्तता स्कोर/Toxicity Score)
    4. क्या एजेंट ने वास्तव में पूछे गए प्रश्न का उत्तर दिया? (सिमेंटिक समानता/Semantic Similarity)

इन चार "सुरागों" को टेक्स्ट के साथ जोड़ने से, AI केवल अनुमान नहीं लगा रहा है; वह बातचीत के संदर्भ को देख रहा है।

3. परिणाम: एक स्मार्ट जज

टीम ने इस नई पद्धति का परीक्षण 10 अलग-अलग AI मॉडलों पर किया।

  • पहले: AI मॉडल एक टेस्ट में अनुमान लगाने वाले छात्रों की तरह थे, जो लगभग 74% उत्तर सही दे रहे थे।
  • बाद में: अतिरिक्त सुरागों के साथ, मॉडल की सटीकता बढ़कर 84% हो गई।
  • विजेता: एक विशिष्ट मॉडल (DeBERTa-v3-Large) "वैलेडिक्टोरियन" (क्लास टॉपर) बन गया, जिससे यह सिद्ध हुआ कि जब आप टेक्स्ट को इन अतिरिक्त संकेतों के साथ जोड़ते हैं, तो AI वास्तव में यह समझने में बहुत बेहतर हो जाता है कि मनुष्य वास्तव में क्या चाहते हैं।

4. "क्यों": AI कैसे सोचता है

शोधकर्ता केवल यह नहीं चाहते थे कि AI सटीक हो; वे यह भी जानना चाहते थे कि इसने अपने चुनाव क्यों किए। उन्होंने SHAP और LIME जैसे उपकरणों का उपयोग किया, जो AI के मस्तिष्क के लिए "एक्स-रे चश्मे" की तरह हैं।

  • खोज: AI केवल यह तय करने के लिए कि उत्तर बुरा है या नहीं, "शराब" या "ड्रग्स" जैसे शब्दों को नहीं ढूंढ रहा था।
    • बुरा उदाहरण: यदि कोई उपयोगकर्ता कहता है, "मुझे शराब पीने के बाद बेहतर महसूस होता है," और AI कहता है, "यह सुनकर अच्छा लगा!" तो AI (एक्स-रे चश्मे का उपयोग करते हुए) देखता है कि वह बात को समझ नहीं पाया। वह गलत व्यवहार को सही ठहरा रहा है।
    • अच्छा उदाहरण: यदि AI कहता है, "ऐसा लगता है कि आप तनाव में हैं। शायद गहरी सांस लेने की कोशिश करें।" तो AI संदर्भ को समझता है। वह समझता है कि उपयोगकर्ता संघर्ष कर रहा है और उसे मदद की जरूरत है, न कि केवल एक "हाँ" की।
  • सबक: AI ने सीखा कि फ्रेमिंग (ढांचा) मायने रखता है। यह केवल कीवर्ड्स के बारे में नहीं है; यह इस बारे में है कि क्या प्रतिक्रिया सहायक और सुरक्षित है।

5. छिपा हुआ जाल: पूर्वाग्रह (Bias)

शोधकर्ताओं ने यह भी जांचा कि क्या AI "अनुचित" या पक्षपाती हो रहा है।

  • उन्होंने पाया कि मनुष्य स्वाभाविक रूप से थोड़े लंबे उत्तरों और अधिक सकारात्मक लहजे को पसंद करते हैं।
  • AI ने भी यह सीख लिया। हालांकि, अच्छी खबर यह है कि AI लंबाई के प्रति बहुत अधिक जुनूनी नहीं हुआ। उसने महसूस किया कि एक लंबा, विषाक्त उत्तर अभी भी बुरा है, और एक छोटा, सहायक उत्तर अभी भी अच्छा है।
  • अध्ययन ने दिखाया कि हालांकि ये छोटे पूर्वाग्रह मौजूद हैं, वे सिस्टम को बर्बाद नहीं करते हैं। इसके बजाय, AI इनका उपयोग एक बहुत बड़े पहेली के एक हिस्से के रूप में करता है।

मुख्य निष्कर्ष (The Big Takeaway)

यह शोध पत्र एक कार के नेविगेशन सिस्टम को अपग्रेड करने जैसा है।

  • पुराना सिस्टम: "गंतव्य तक ड्राइव करें।" (AI केवल टेक्स्ट को देखता है)।
  • नया सिस्टम: "गंतव्य तक ड्राइव करें, लेकिन साथ ही ट्रैफिक, मौसम और सड़क की स्थिति भी देखें।" (AI टेक्स्ट + लंबाई + सुरक्षा + प्रासंगिकता को देखता है)।

AI को ये अतिरिक्त "सेंसर" देकर, शोधकर्ताओं ने इसे मानवीय प्राथमिकताओं की अव्यवस्थित, जटिल और व्यक्तिपरक दुनिया को समझने में बहुत बेहतर बना दिया है। इसका अर्थ है कि भविष्य के AI सहायक अधिक सुरक्षित, अधिक सहायक होंगे, और विनम्र लेकिन बेकार उत्तर देने की संभावना कम होगी।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →