🤖 AI

A Descriptive and Normative Theory of Human Beliefs in RLHF

यह शोध पत्र एक नए सैद्धांतिक ढांचे का प्रस्ताव और सत्यापन करता है जो यह प्रदर्शित करता है कि एक AI एजेंट की क्षमताओं के बारे में मानवीय विश्वास RLHF में प्राथमिकता जनरेशन (preference generation) को महत्वपूर्ण रूप से प्रभावित करते हैं, और यह दर्शाता है कि इन विश्वासों को वास्तविक एजेंट क्षमताओं के साथ संरेखित करना—इष्टतमता (optimality) मान लेने के बजाय—अधिक प्रदर्शन करने वाली सीखी गई नीतियों की ओर ले जाता है।

मूल लेखक: Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप उसे दो रास्ते दिखाते हैं: एक चट्टान के किनारे वाला बेहद तेज़ शॉर्टकट, और एक धीमा, सुरक्षित रास्ता जो किनारे से दूर है। मानक AI प्रशिक्षण की दुनिया में, मानव शिक्षक से यह उम्मीद की जाती है कि वह उस रास्ते को चुनेगा जो तब सबसे अच्छा होता यदि रोबोट एक आदर्श, सुपर-जीनियस ड्राइवर होता जो कभी गलती नहीं करता।

लेकिन यहाँ एक मोड़ है: असली रोबोट परफेक्ट नहीं होते। वे डगमगा सकते हैं, वे गलत समझ सकते हैं, और वे उस ट्रिकी चट्टान के किनारे को संभालने में सक्षम नहीं हो सकते हैं।

यह शोध पत्र तर्क देता है कि जब इंसान इन रोबोट्स को सिखाते हैं, तो वे केवल मानचित्र (मैप) को नहीं देखते; वे इस पर भी नज़र रखते हैं कि वे क्या सोचते हैं कि रोबोट क्या करने में सक्षम है। यदि कोई इंसान सोचता है, "यह रोबोट एक जीनियस है," तो वह खतरनाक चट्टान वाला शॉर्टकट चुन सकता है। लेकिन यदि रोबोट थोड़ा अनाड़ी है, तो वह शॉर्टकट दुर्घटना का कारण बन सकता है। यदि इंसान सोचता है, "यह रोबोट थोड़ा डगमगा रहा है," तो वह सुरक्षित, धीमा रास्ता चुनेगा, जो ठीक वही है जिसकी रोबोट को सफल होने के लिए आवश्यकता है।

मुख्य विचार: विश्वास (Beliefs) उम्मीद से कहीं अधिक महत्वपूर्ण हैं

लेखकों का एक टीम (UMass Amherst और UT Austin के शोधकर्ता) एक नया तरीका प्रस्तावित करती है कि कैसे मनुष्य AI को फीडबैक देते हैं। वे इसे "विश्वास-आधारित प्राथमिकता मॉडल" (belief-based preference model) कहते हैं।

इसे एक कोच द्वारा एक नौसिखिया एथलीट को सिखाने जैसा समझें।

पुराना तरीका (एक "आशावादी" कोच): कोच मान लेता है कि नौसिखिया पहले से ही एक ओलंपिक चैंपियन है। वे कहते हैं, "स्वर्ण पदक के लिए जाओ! सबसे तेज़, जोखिम भरा खेल खेलो!" यदि नौसिखिया वास्तव में इसे आज़माता है, तो वह लड़खड़ा कर गिर जाता है क्योंकि वह इसके लिए तैयार नहीं है।
नया तरीका (एक "यथार्थवादी" कोच): कोच नौसिखिया के वास्तविक कौशल को देखता है। वे कहते हैं, "ठीक है, तुम अच्छे हो, लेकिन तुम अभी सीख रहे हो। चलो उस खेल पर टिके रहते हैं जो तुम्हें सुरक्षित रखता है और अंक दिलाता है।"

शोध पत्र सुझाव देता है कि AI के अच्छी तरह सीखने के लिए, मानव लेबलर (कोच) के पास AI के कौशल के बारे में ऐसे विश्वास होने चाहिए जो वास्तविकता से मेल खाते हों। यदि इंसान को लगता है कि AI उसके वास्तविक कौशल से बेहतर है, तो AI गलत सबक सीखता है और बाद में बुरी तरह विफल हो सकता है।

उन्होंने क्या पाया (प्रमाण)

टीम ने केवल अनुमान नहीं लगाया; उन्होंने इसे तीन अलग-अलग तरीकों से परखा:

गणित (सिद्धांत): उन्होंने यह सिद्ध करने के लिए कुछ भारी गणितीय गणनाएँ कीं कि यदि मानव का रोबोट के कौशल के बारे में विश्वास, रोबोट के वास्तविक कौशल से मेल नहीं खाता है, तो रोबोट एक "उप-इष्टतम" (suboptimal) नीति सीखता है। सरल शब्दों में: यदि कोच खिलाड़ी से उसके कौशल के बारे में झूठ बोलता है, तो खिलाड़ी एक बुरा खेल खेलेगा। उन्होंने दिखाया कि मानव का विश्वास वास्तविकता से जितना अधिक भिन्न होगा, रोबोट का प्रदर्शन उतना ही खराब होता जाएगा।
सिमुलेशन (वीडियो गेम टेस्ट): उन्होंने एक डिजिटल दुनिया (ग्रिड) बनाई जहाँ एक रोबोट को एक स्टार्ट पॉइंट से गोल तक पहुँचना था, और उन "चट्टानों" से बचना था जिनका अर्थ विफलता था। उन्होंने रोबोट को थोड़ा "नॉइज़ी" (अपूर्ण/अस्थिर) प्रोग्राम किया।
- जब सिमुलेशन में मानव "लेबलर" ने विश्वास किया कि रोबोट परफेक्ट है (शून्य नॉइज़), तो रोबोट चट्टान के बिल्कुल बगल में गाड़ी चलाने लगा और अक्सर नीचे गिर गया।
- जब मानव ने विश्वास किया कि रोबोट अपूर्ण है (रोबोट के वास्तविक नॉइज़ के अनुरूप), तो रोबोट ने सुरक्षित, चौड़े रास्ते पर चलना सीखा और सफल हुआ।
- परिणाम: सबसे अच्छे परिणाम तब मिले जब मानव का विश्वास रोबोट की वास्तविक क्षमता से मेल खाया। यदि इंसान ने सोचा कि रोबोट परफेक्ट है जबकि वह नहीं था, तो रोबोट दुर्घटनाग्रस्त हो गया।
मानव अध्ययन (असली लोगों का परीक्षण): यह सबसे दिलचस्प हिस्सा है। उन्होंने वास्तव में 146 असली लोगों को एक सेल्फ-ड्राइविंग कार के वीडियो दिखाए और उनसे बेहतर रास्ता चुनने को कहा।
- सेटअप: वीडियो देखने से पहले, उन्होंने लोगों को "प्राइम" (तैयार) किया।
  - ग्रुप A (सुरक्षित प्राइमिंग): एक वीडियो देखा जिसमें एक कार पूरी तरह से चल रही थी, सभी कानूनों का पालन कर रही थी, और बहुत सुरक्षित थी।
  - ग्रुप B (असुरक्षित प्राइमिंग): एक वीडियो देखा जिसमें एक कार ड्रिफ्ट कर रही थी, टकरा रही थी और लापरवाही से गाड़ी चला रही थी।
  - ग्रुप C (कंट्रोल): उन्होंने कुछ विशेष नहीं देखा।
- परिणाम: जिन लोगों ने "असुरक्षित" वीडियो देखा (ग्रुप B), उनमें यह विश्वास पैदा हुआ कि कार कम सक्षम है। इस कारण से, उन्होंने अपने विकल्पों में सुरक्षित, धीमे रास्तों को प्राथमिकता दी। जिन लोगों ने "सुरक्षित" वीडियो देखा (ग्रुप A), उन्होंने माना कि कार एक जीनियस है और उन्होंने जोखिम भरे, तेज़ रास्तों को प्राथमिकता दी।
- सांख्यिकी: "सुरक्षित" और "असुरक्षित" समूहों के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण था (p-value 0.015)। यह साबित करता है कि इंसान क्या सोचते हैं कि AI क्या कर सकता है, यह सीधे तौर पर बदल देता है कि वे AI को क्या करने के लिए कहते हैं।

वे क्या कहते हैं कि यह उत्तर नहीं है

शोध पत्र स्पष्ट रूप से बताता है कि क्या काम नहीं करता है।

केवल यह मान लेना पर्याप्त नहीं है कि AI परफेक्ट है। प्रशिक्षण का मानक तरीका यह मानता है कि मनुष्य "सर्वश्रेष्ठ संभावित" पथ चुनते हैं जैसे कि AI एक भगवान जैसा ऑप्टिमाइज़र हो। लेखक दिखाते हैं कि यदि AI अपूर्ण है, तो यह वास्तव में एक बुरा विचार है।
यह केवल इसलिए नहीं है कि इंसान "तर्कहीन" या "पक्षपाती" है। जबकि अन्य अध्ययन "एंकरिंग" या "ग्रुपथिंक" जैसे मानवीय पूर्वाग्रहों के बारे में बात करते हैं, यह पेपर विशेष रूप से एजेंट की क्षमताओं के बारे में विश्वासों पर केंद्रित है। पेपर तर्क देता है कि मनुष्य कार्यों का निर्णय लेते समय इष्टतमता (optimality) का अनुमान नहीं लगाते; इसके बजाय, वे एजेंट की विशिष्ट क्षमताओं के बारे में अपने विश्वासों पर भरोसा करते हैं। यदि ये विश्वास गलत हैं (जैसे, यह सोचना कि एजेंट परफेक्ट है जब वह नहीं है), तो परिणाम गलत होते हैं, जिससे खराब परिणाम मिलते हैं।

भविष्य के लिए सीख

लेखक सुझाव देते हैं कि यदि हम बेहतर AI चाहते हैं, तो हमें "मिसमैच" (मेल न खाना) को ठीक करना होगा—जो इंसान सोचते हैं कि रोबोट क्या कर सकता है और जो रोबोट वास्तव में कर सकता है।

वे इन सिस्टम बनाने वाले लोगों के लिए दो सरल विचार प्रस्तावित करते हैं:

सच बोलें: लेबलर्स को काम शुरू करने से पहले रोबोट की वास्तविक सीमाओं के बारे में बताएं। यदि रोबोट तेजी से मुड़ नहीं सकता, तो उन्हें बताएं कि!
बताएं नहीं, दिखाएं: फीडबैक मांगने से पहले, लेबलर्स को रोबोट के चलते हुए एक वीडियो दिखाएं। यदि रोबोट अनाड़ी है, तो अनाड़ी ड्राइविंग दिखाएं। यदि वह अच्छा है, तो अच्छी ड्राइविंग दिखाएं। यह इंसान को सही विश्वास बनाने के लिए "प्राइम" करता है।

शोध पत्र निष्कर्ष निकालता है कि यह अभी तक हल की गई समस्या नहीं है। उन्होंने साबित किया कि यह सिमुलेशन और लोगों के एक छोटे समूह के साथ काम करता है, लेकिन वे स्वीकार करते हैं कि एक पूर्ण, वास्तविक दुनिया के AI ट्रेनिंग लूप में ऐसा करना एक बड़ा अगला कदम है। हालाँकि, संदेश स्पष्ट है: रोबोट को अच्छी तरह सिखाने के लिए, आपको जानना होगा कि रोबोट क्या सोचता है कि वह क्या कर सकता है, और यह सुनिश्चित करना होगा कि शिक्षक भी वही जानता हो।

तकनीकी सारांश: मानव विश्वासों का एक वर्णनात्मक और मानदण्डिक सिद्धांत (A Descriptive and Normative Theory of Human Beliefs in RLHF)

समस्या विवरण (Problem Statement)
रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) पारंपरिक रूप से मानव प्राथमिकताओं को मानव के रिवॉर्ड फंक्शन या एजेंट के इष्टतम स्टेट-एक्शन वैल्यूज़ ( $A^*$ ) के फलन (function) के रूप में मॉडल करता है। रिटर्न-आधारित और रिग्रेट-आधारित मॉडल सहित मानक दृष्टिकोण यह मानते हैं कि लेबलर उन ट्राजेक्टरीज का मूल्यांकन करते हैं जो वास्तव में घटित हुईं या जो एक इष्टतम एजेंट प्राप्त कर सकता था। हालाँकि, यह कार्य यह प्रतिपादित करता है कि मानव लेबलर प्रशिक्षित किए जा रहे एजेंट की वास्तविक क्षमताओं के बारे में भी विश्वास रखते हैं। यदि एक लेबलर यह मान लेता है कि एक एजेंट इष्टतम है जबकि वह नहीं है (या इसके विपरीत), तो उनकी प्राथमिकताएं पोस्ट-RLHF नीतियों के लिए विनाशकारी या उप-इष्टतम (suboptimal) हो सकती हैं। यह शोध दो मुख्य प्रश्नों की जांच करता है: (1) क्या मानव लेबलर्स के विश्वास एजेंट की क्षमताओं के बारे में वर्णनात्मक रूप से उनके द्वारा प्रदान की जाने वाली प्राथमिकताओं को प्रभावित करते हैं? और (2) मानदण्डिक रूप से (Normatively), लेबलर्स के पास आदर्श रूप से किन विश्वासों का होना चाहिए ताकि परिणामी नीति के प्रदर्शन को अधिकतम किया जा सके?

कार्यप्रणाली (Methodology)
लेखक एक विश्वास-आधारित प्राथमिकता मॉडल (belief-based preference model) प्रस्तावित करते हैं और सैद्धांतिक विश्लेषण, सिंथेटिक प्रयोगों और एक मानव विषय अध्ययन के माध्यम से इसका सत्यापन करते हैं।

सैद्धांतिक ढांचा (Theoretical Framework):
- लेखक एजेंट क्षमता विश्वास (Agent Capability Belief) को एक $Q$ -फंक्शन ( $Q^{\pi_{belief}}$ ) के रूप में परिभाषित करते हैं, जो लेबलर द्वारा एजेंट की पोस्ट-RLHF नीति के अनुमान का प्रतिनिधित्व करता है।
- वे एक नया प्राथमिकता मॉडल (समीकरण 3) पेश करते हैं जहाँ $\sigma^+$ बनाम $\sigma^-$ ट्राजेक्टरी को प्राथमिकता देने की संभावना इष्टतम एडवांटेज $A^*$ के बजाय एडवांटेज फंक्शन $A^{\pi_{belief}}$ द्वारा निर्धारित होती है।
- मानदण्डिक आदर्श (Normative Ideal): यह शोध एक 'मानदण्डिक आदर्श विश्वास' ( $Q^{\pi^*_{belief}}$ ) को पूर्ण इष्टतमता के रूप में नहीं, बल्कि उस विश्वास के रूप में परिभाषित करता है जो एजेंट की बाधाओं (जैसे, फंक्शन एप्रोक्सीमेशन सीमाएं, शोर वाले एक्ट्यूएटर्स) को देखते हुए सर्वश्रेष्ठ प्राप्त करने योग्य पोस्ट-RLHF नीति के लिए उच्चतम अपेक्षित रिटर्न देता है।
- सैद्धांतिक सीमाएँ (Theoretical Bounds): लेखक "एजेंट-लेबलर असहमति" ( $\delta$ ) के आधार पर पोस्ट-RLHF नीति के प्रदर्शन नुकसान पर एक औपचारिक सीमा (थ्योरम 4.3) व्युत्पन्न करते हैं, जिसे इष्टतम विश्वास और लेबलर के वास्तविक विश्वास के बीच अंतर के परिमाण के रूप में परिभाषित किया गया है। यह सीमा दर्शाती है कि अपेक्षित रिटर्न इस असहमति के परिमाण के साथ रैखिक रूप से घटता है।
सिंथेटिक प्रयोग (Synthetic Experiments):
- लेखकों ने ग्रिडवर्ल्ड (GridWorld) डोमेन में प्रयोग किए जहाँ एजेंट की क्षमताएं एक $\epsilon$ -greedy शोर पैरामीटर ( $\epsilon$ ) द्वारा सीमित थीं।
- सिंथेटिक प्राथमिकताओं को उत्पन्न करने के लिए उपयोग किए गए अनुमानित शोर स्तर ( $\epsilon'$ ) को बदलकर लेबलर के विश्वासों में हेरफेर किया गया।
- अध्ययन ने वास्तविक एजेंट शोर ( $\epsilon$ ) और अनुमानित लेबलर शोर ( $\epsilon'$ ) के मैट्रिक्स के विरुद्ध प्रशिक्षित नीति के अपेक्षित रिटर्न को मापा।
मानव विषय अध्ययन (Human Subject Study):
- डोमेन: एक सेल्फ-ड्राइविंग कार सिमुलेशन (CARLA)।
- हस्तक्षेप (Intervention): प्रतिभागियों को तीन स्थितियों में विभाजित किया गया: (1) नियंत्रण (कोई प्राइमिंग नहीं), (2) सुरक्षित प्राइमिंग (एक कार को सुरक्षित और सक्षम रूप से चलते हुए देखने वाला वीडियो), और (3) असुरक्षित प्राइमिंग (एक कार को ड्रिफ्ट करते और दुर्घटनाग्रस्त होते देखने वाला वीडियो)।
- कार्य: प्रतिभागियों ने ड्राइविंग ट्राजेक्टरीज के जोड़ों पर प्राथमिकताएं प्रदान कीं, जिसमें तेज़/जोखिम भरे पथ और धीमे/सुरक्षित पथों के बीच चयन करना था।
- विश्लेषण: प्रतिभागियों के मुक्त-पाठ फीडबैक पर सेंटीमेंट एनालिसिस (GPT-4 के माध्यम से) और प्राथमिकता डेटा पर क्रुस्कल-वालिस (Kruskal-Wallis) और डन (Dunn) परीक्षण के सांख्यिकीय परीक्षण का उपयोग किया गया ताकि यह निर्धारित किया जा सके कि क्या प्राइमिंग ने विश्वासों और बाद की प्राथमिकताओं को बदला।

प्रमुख योगदान (Key Contributions)

असहमति का चित्रण: यह शोध दर्शाता है कि एजेंट की वास्तविक क्षमताओं और लेबलर के विश्वासों के बीच खराब सहमति, भले ही लेबलर अपने (गलत) विश्वासों के आधार पर "तर्कसंगत" कार्य कर रहा हो, उप-इष्टतम नीतियों की ओर ले जा सकती है।
मानदण्डिक सिद्धांत: यह लेबलर के विश्वासों के लिए एक मानदण्डिक आदर्श को परिभाषित करता है जो एजेंट की पूर्ण इष्टतमता के बजाय, एजेंट के प्राप्त करने योग्य प्रदर्शन शिखर (performance ceiling) के सापेक्ष है, और इस आदर्श से विचलन के कारण होने वाले रिग्रेट पर एक सैद्धांतिक सीमा प्रदान करता है।
विश्वास के प्रभाव का अनुभवजन्य सत्यापन: मानव अध्ययन पुष्टि करता है कि एजेंट की क्षमताओं के बारे में मानव विश्वास प्राथमिकता निर्माण को महत्वपूर्ण रूप से प्रभावित करते हैं। विशेष रूप से, प्रतिभागियों को एजेंट की क्षमताओं (सुरक्षित बनाम असुरक्षित) के बारे में जानकारी देकर प्राइम करने से उनकी प्राथमिकताओं में सांख्यिकीय रूप से महत्वपूर्ण बदलाव आया।
इष्टतमता का अनुमान लगाने की उप-इष्टतमता: सिंथेटिक प्रयोग दिखाते हैं कि जब एजेंट में अंतर्निहित प्रदर्शन सीमाएं (जैसे, उच्च शोर) होती हैं, तो एजेंट की इष्टतमता को मानना (मानक रिग्रेट-आधारित दृष्टिकोण) अक्सर उप-इष्टतम होता है।

परिणाम (Results)

सैद्धांतिक: व्युत्पन्न सीमा (समीकरण 4) स्थापित करती है कि पोस्ट-RLHF नीति का अपेक्षित रिटर्न, इष्टतम रिटर्न और एजेंट-लेबलर असहमति ( $\delta / (1-\gamma)$ ) के अनुपात वाले पद के अंतर द्वारा निम्न-बद्ध (lower-bounded) है।
सिंथेटिक: ग्रिडवर्ल्ड प्रयोगों में, उच्चतम नीति रिटर्न तब प्राप्त हुआ जब लेबलर का अनुमानित शोर ( $\epsilon'$ ) एजेंट के वास्तविक शोर ( $\epsilon$ ) के करीब था। एक इष्टतम एजेंट ( $\epsilon'=0$ ) को तब मानना जब एजेंट शोर वाला ( $\epsilon=0.3$ या $0.5$) था, काफी कम रिटर्न में परिणाम दे रहा था, क्योंकि एजेंट ऐसे जोखिम भरे व्यवहार सीख रहा था जिन्हें वह सुरक्षित रूप से निष्पादित नहीं कर सकता था।
मानव अध्ययन:
- विश्वास: मुक्त-पाठ प्रतिक्रियाओं के सेंटीमेंट एनालिसिस ने दिखाया कि "असुरक्षित प्राइमिंग" समूह के प्रतिभागियों ने "सुरक्षित प्राइमिंग" समूह की तुलना में कार की क्षमताओं में काफी कम विश्वास व्यक्त किया।
- प्राथमिकताएं: सांख्यिकीय विश्लेषण ने सुरक्षित और असुरक्षित प्राइमिंग समूहों के बीच प्राथमिकताओं में महत्वपूर्ण अंतर ( $p=0.015$ ) प्रकट किया। असुरक्षित व्यवहार के साथ प्राइम किए गए प्रतिभागी सुरक्षित, धीमे पथों को चुनने के प्रति अधिक इच्छुक थे, जबकि सुरक्षित व्यवहार के साथ प्राइम किए गए लोग जोखिम भरे, तेज़ पथों को स्वीकार करने के लिए अधिक तैयार थे।
- निष्कर्ष: मानव प्राथमिकताएं स्थिर नहीं हैं; वे एजेंट की वर्तमान क्षमताओं के बारे में लेबलर के विश्वासों से प्रभावित होती हैं।

महत्व और दावे (Significance and Claims)
यह शोध दावा करता है कि मानव विश्वासों और एजेंट की क्षमताओं के बीच बेमेल (mismatch) को कम करना RLHF प्रदर्शन को बेहतर बनाने के लिए महत्वपूर्ण है। यह तर्क देता है कि लेबलर की तर्कसंगतता का मानक अनुमान—जो पूर्ण इष्टतमता पर आधारित है—तब अपर्याप्त है जब एजेंट अपूर्ण होते हैं। लेखक सुझाव देते हैं कि चिकित्सकों को डेटा संग्रह के दौरान लेबलर के विश्वासों को एजेंट की वास्तविक क्षमताओं के साथ संरेखित करने के लिए सक्रिय रूप से प्रबंधित करना चाहिए।

शोध दो विशिष्ट सर्वोत्तम प्रथाओं का प्रस्ताव करता है:

लेबलर्स को सूचित करना: लेबलर्स को डेटा संग्रह से पहले ज्ञात एजेंट सीमाओं (जैसे, डेटा बाधाएं, भौतिक सीमाएं) के बारे में सीधे सूचित करना।
अंतरालकालिक प्राइमिंग (Intermittent Priming): ऑनलाइन प्राथमिकता संग्रह लूप का उपयोग करना जहाँ लेबलर्स को उनके विश्वासों को निरंतर अपडेट करने के लिए एजेंट की वर्तमान नीति (प्रदर्शनों के माध्यम से) के संपर्क में लाया जाता है।

लेखक इस बात पर जोर देते हैं कि यह अंशांकन (calibration) "सत्यनिष्ठ" (वास्तविक ऑन-पॉलिसी व्यवहार का प्रतिनिधि) होना चाहिए ताकि हेरफेर से बचा जा सके। वे निष्कर्ष निकालते हैं कि हालांकि उनके सैद्धांतिक सीमाएं टेबुलर सेटिंग्स में व्युत्पन्न हैं और उनका मानव अध्ययन एक प्रूफ-ऑफ-कॉन्सेप्ट है, फिर भी परिणाम RLHF की सर्वोत्तम प्रथाओं में एक आवश्यक बदलाव की ओर संकेत करते हैं: मानव विश्वासों को एक चर (variable) के रूप में मानना जिसे सुरक्षित और प्रभावी संरेखण सुनिश्चित करने के लिए एजेंट की वास्तविकता के साथ संरेखित किया जाना चाहिए।

मुख्य विचार: विश्वास (Beliefs) उम्मीद से कहीं अधिक महत्वपूर्ण हैं

उन्होंने क्या पाया (प्रमाण)

वे क्या कहते हैं कि यह उत्तर नहीं है

भविष्य के लिए सीख

इसी तरह के और पेपर