Debiasing Reward Models via Causally Motivated Inference-Time Intervention
यह शोध पत्र एक कारण-प्रेरित (causally motivated) इन्फरेंस-टाइम हस्तक्षेप का प्रस्ताव करता है जो रिवॉर्ड मॉडल्स में पूर्वाध-सहसंबंधित न्यूरॉन सक्रियणों को दबाकर प्रतिक्रिया की लंबाई जैसे अप्रासंगिक लक्षणों के प्रति संवेदनशीलता को कम करता है, जिससे छोटे मॉडल्स बिना किसी समझौते के अत्याधुनिक 70B मॉडल्स के तुलनीय अलाइनमेंट प्रदर्शन प्राप्त करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो कहानियों में से कौन सी बेहतर है, यह तय करने के लिए एक जज (न्यायाधीश) को काम पर रख रहे हैं। आप चाहते हैं कि यह जज निष्पक्ष हो, और कहानी की सच्चाई और उपयोगिता पर ध्यान केंद्रित करे। लेकिन, दुर्भाग्य से, इस जज की एक बुरी आदत है: वे चमकदार फॉर्मेटिंग (formatting) से आसानी से विचलित हो जाते हैं। यदि कोई कहानी लंबी है, उसमें अधिक विस्मयादिबोधक चिह्न (!) का उपयोग किया गया है, टेक्स्ट बोल्ड है, या कई पैराग्राफों में विभाजित है, तो जज उसे उच्च स्कोर देता है, भले ही वह कहानी वास्तव में झूठ या बकवास से भरी हो।
AI की दुनिया में, इस "जज" को रिवॉर्ड मॉडल (Reward Model - RM) कहा जाता है। यह AI सहायकों को मददगार बनाने में मदद करता है। हालाँकि, ये जज अक्सर "विषय-वस्तु से अधिक शैली" (style over substance) के झांसे में आ जाते हैं।
यह पेपर एक चतुर, गैर-विनाशकारी समाधान पेश करता है जिसे CIRM (Ceward Models के लिए Causal Intervention) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "चमकदार" जज
कल्पना कीजिए कि जज दो सूपों का स्वाद चख रहा है।
- सूप A स्वादिष्ट है लेकिन एक छोटे कप में परोसा गया है।
- सूप B पानी जैसा स्वाद देता है लेकिन एक बड़े, भाप वाले कटोरे में शानदार सजावट के साथ परोसा गया है।
एक पक्षपाती जज कह सकता है, "वाह, सूप B बेहतर है क्योंकि यह बहुत बड़ा और शानदार दिखता है!" भले ही सूप A का स्वाद बेहतर हो।
AI के संदर्भ में, रिवॉर्ड मॉडल एक लंबे, बोल्ड, और कई पैराग्राफ वाले जवाब (सूप B) को देखता है और उसे उच्च स्कोर देता है, भले ही तथ्य गलत हों। इससे AI यह सीख जाता है कि लक्ष्य "सटीक होना" नहीं, बल्कि "लंबा और चमकदार दिखना" है।
2. पुराना समाधान: "कुंद चाकू" (The Blunt Knife)
इसे ठीक करने के पिछले प्रयास एक कुंद चाकू के उपयोग की तरह थे। वे बस कहते थे, "ठीक है, यदि सूप बहुत बड़ा है, तो हम अंक काट देंगे।"
- समस्या: यह बहुत ही मोटा और अनगढ़ तरीका है। कभी-कभी एक लंबा सूप वास्तव में स्वादिष्ट होता है। केवल लंबाई के आधार पर अंक काटने से, आप अनजाने में अच्छे, लंबे उत्तरों को दंडित कर सकते हैं। यह एक समझौता है: आप पूर्वाग्रह को ठीक करते हैं, लेकिन गुणवत्ता को नुकसान पहुँचाते हैं।
3. नया समाधान: "न्यूरॉन सर्जरी" (CIRM)
इस पेपर के लेखक एक बहुत अधिक सटीक दृष्टिकोण प्रस्तावित करते हैं। अंतिम स्कोर से अंक काटने के बजाय, वे जज के मस्तिष्क (कंप्यूटर मॉडल) के अंदर जाते हैं और उन विशिष्ट "विचारों" (न्यूरॉन्स) को ढूंढते हैं जो पूर्वाग्रह के लिए जिम्मेदार हैं।
- चरण 1: जासूसी का काम। वे जज के मस्तिष्क को स्कैन करते हैं ताकि उन विशिष्ट न्यूरॉन्स को खोज सकें जो तब चमकते हैं जब वे एक लंबी वाक्य, एक बोल्ड शब्द, या एक विस्मयादिबोधक चिह्न देखते हैं। वे इन्हें "बायस-विशिष्ट न्यूरॉन्स" (Bias-Specific Neurons) कहते हैं।
- उपमा: यह उस विशिष्ट हिस्से को खोजने जैसा है जो केवल एक बड़े कटोरे को देखकर उत्साहित होता है, स्वाद को अनदेखा कर देता है।
- चरण 2: "रीसेट बटन"। एक बार जब वे इन विशिष्ट न्यूरॉन्स को खोज लेते हैं (जो कुल मस्तिष्क के 2% से भी कम हैं), तो वे उन्हें हटाते नहीं हैं। इसके बजाय, जिस क्षण जज निर्णय ले रहा होता है, वे उन विशिष्ट न्यूरॉन्स को एक "तटस्थ" अवस्था (उनके औसत मान) पर धीरे से रीसेट कर देते हैं।
- उपमा: यह शेफ को यह बताने जैसा है, "एक सेकंड के लिए कटोरे के आकार को भूल जाइए; बस स्वाद पर ध्यान दें।"
4. परिणाम: बिना किसी त्याग के निष्पक्षता
पेपर ने इस पद्धति का परीक्षण किया और कुछ बेहतरीन बातें पाईं:
- कोई समझौता नहीं: "कुंद चाकू" वाले तरीकों के विपरीत, इस सर्जरी ने अच्छे उत्तरों को पहचानने की जज की क्षमता को नुकसान नहीं पहुँचाया। जज निष्पक्ष बन गया बिना अपने काम में खराब हुए।
- छोटे जज, बड़े परिणाम: उन्होंने इस पद्धति का उपयोग छोटे, सस्ते AI जजों (2 बिलियन और 7 बिलियन पैरामीटर्स) पर किया। जब इन छोटे जजों को "सर्जिकल रूप से सुधारा" गया, तो उन्होंने एक विशाल, महंगे 70-बिलियन पैरामीटर वाले जज के समान प्रदर्शन किया।
- बेहतर AI सहायक: जब उन्होंने इन सुधारे गए जजों का उपयोग AI सहायकों को प्रशिक्षित करने के लिए किया, तो सहायक अधिक सत्यवादी बन गए और लंबे, भ्रामक, या अत्यधिक फॉर्मेटिंग वाले बकवास उत्पन्न करने की संभावना कम हो गई।
5. पूर्वाग्रह कहाँ छिपा है?
शोधकर्ताओं ने यह भी देखा कि जज के मस्तिष्क में ये पूर्वाग्रह न्यूरॉन्स कहाँ रहते हैं। उन्होंने पाया कि "बायस डिटेक्टर" मुख्य रूप से मस्तिष्क की शुरुआती परतों (early layers) में स्थित होते हैं।
- उपमा: यह ऐसा है जैसे पूर्वाग्रह मुख्य दरवाजे पर ही पकड़ा जाता है। जज कहानी के गहरे अर्थ को समझने वाले मस्तिष्क के हिस्से तक पहुँचने से पहले ही "बड़े कटोरे" या "बोल्ड टेक्स्ट" को नोटिस कर लेता है। दरवाजे को ठीक करके, वे पूर्वाग्रह को आगे फैलने से रोक देते हैं।
सारांश
यह पेपर AI जजों को "डी-बायस" (पूर्वाग्रह मुक्त) करने का एक तरीका प्रस्तावित करता है, जिसमें उनके मस्तिष्क के उन छोटे, विशिष्ट हिस्सों को खोजा जाता है जो शैली (जैसे लंबाई या बोल्ड टेक्स्ट) पर बहुत अधिक ध्यान देते हैं और उन्हें धीरे से तटस्थ किया जाता है। यह AI जजों को निष्पक्ष और अधिक सत्यवादी बनाता है, बिना उन्हें शुरू से फिर से प्रशिक्षित किए या उनकी समग्र बुद्धिमत्ता का त्याग किए। यह एक सटीक, "सर्जिकल" सुधार है न कि एक कुंद हथौड़े जैसा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।