When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models
यह शोध पत्र पहचानता है कि रिवॉर्ड मॉडल्स के लिए मानक ब्रैडली-टेरी लॉस (Bradley-Terry loss) एक रिप्रेजेंटेशन डिस्टेंस बायस (representation distance bias) से ग्रस्त है जो प्रेडिक्शन एरर के बजाय फीचर डिस्टेंस के आधार पर असंगत ग्रेडिएंट अपडेट का कारण बनता है, और यह नॉर्मबीटी (NormBT) प्रस्तावित करता है, जो एक हल्का नॉर्मलाइजेशन स्कीम है जो इस समस्या को कम करता है और विशेष रूप से सूक्ष्म-स्तरीय रीजनिंग कार्यों पर प्रदर्शन में उल्लेखनीय सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जज को प्रशिक्षित कर रहे हैं जो दो एआई (AI) उत्तरों में से बेहतर को चुनने का निर्णय लेगा। यह एक रिवॉर्ड मॉडल (Reward Model) के काम का मूल हिस्सा है। इस जज को प्रशिक्षित करने का मानक तरीका ब्रैडली-टेरी (Bradley-Terry - BT) लॉस कहलाता है।
BT लॉस को एक शिक्षक के रूप में सोचें जो छात्र को ग्रेड दे रहा है। शिक्षक दो उत्तर देखता है: एक जो "चुना गया" (अच्छा) है और एक जिसे "अस्वीकार" (खराब) किया गया है। यदि छात्र गलत होता है, तो शिक्षक उसे सुधारने के लिए एक "धक्का" (ग्रेडिएंट अपडेट) देता है।
समस्या: "दूरी" का भटकाव (The "Distance" Distraction)
पेपर का तर्क है कि वर्तमान "शिक्षक" (BT लॉस) में एक अजीब सा पूर्वाग्रह (bias) है। यह केवल इस आधार पर छात्र को धक्का नहीं देता कि वह कितना गलत था; बल्कि यह इस आधार पर भी धक्का देता है कि दोनों उत्तर कंप्यूटर को दिखने में कितने अलग हैं।
यहाँ एक सरल उपमा (analogy) दी गई है:
कल्पना कीजिए कि आप किसी को दो पेंटिंग के बीच अंतर पहचानना सिखा रहे हैं।
- केस A (स्पष्ट गलती): आप उन्हें एक बिल्ली की पेंटिंग और एक टोस्टर की पेंटिंग दिखाते हैं। छात्र कहता है, "टोस्टर बेहतर है।" यह एक बड़ी, स्पष्ट गलती है। छात्र के मन में ये दोनों चित्र एक-दूसरे से बहुत दूर (far apart) हैं। शिक्षक एक बड़ा, ज़ोरदार धक्का देता है: "नहीं! वह एक टोस्टर है! इसे सीखो!"
- केस B (सूक्ष्म गलती): आप उन्हें बिल्लियों की दो बहुत मिलती-जुलती पेंटिंग दिखाते हैं। एक के कान पर एक छोटा सा खरोंच है; दूसरी एकदम सही है। छात्र कहता है, "खरोंच वाली पेंटिंग बेहतर है।" यह एक छोटी, सूक्ष्म गलती है, लेकिन यही एकमात्र अंतर है। छात्र के मन में ये दोनों चित्र एक-दूसरे के बहुत करीब (very close) हैं।
दोष: मानक BT पद्धति के तहत, शिक्षक केस B के लिए एक छोटा, लगभग अदृश्य धक्का देता है। क्यों? क्योंकि कंप्यूटर सोचता है, "ये दोनों तस्वीरें इतनी समान दिखती हैं, मेरे 'एहसास' में अंतर बहुत कम है, इसलिए मैं छात्र को ज़ोर से नहीं धकेलूँगा।"
वहीं, केस A के लिए, शिक्षक केवल इसलिए एक विशाल धक्का देता है क्योंकि चित्र बहुत अलग दिख रहे थे, भले ही छात्र पहले से ही काफी हद तक आश्वस्त था कि टोस्टर गलत है।
परिणाम: छात्र अपना सारा समय बिल्ली और टोस्टर के बीच अंतर समझने में बिता देता है (आसान, स्पष्ट चीज़ें) लेकिन वह यह सीखने में विफल रहता है कि बिल्ली के कान पर उस छोटे से खरोंच को कैसे पहचाना जाए (कठिन, महत्वपूर्ण चीज़)। एआई की दुनिया में, इसका अर्थ है कि मॉडल सुरक्षा (खराब अनुरोधों को अस्वीकार करने) में तो अच्छा हो जाता है, लेकिन तर्क (reasoning) कार्यों में विफल हो जाता है जहाँ सही और गलत उत्तर के बीच का अंतर केवल एक छोटा सा तार्किक कदम होता है।
समाधान: NormBT (एक निष्पक्ष शिक्षक)
लेखक NormBT नामक एक नया तरीका प्रस्तावित करते हैं।
NormBT को एक ऐसे शिक्षक के रूप में सोचें जो इस बात को नज़रअंदाज़ करता है कि पेंटिंग कितनी अलग दिखती हैं और पूरी तरह से इस पर ध्यान केंद्रित करता है कि छात्र कितना गलत था।
- सुधार: NormBT शिक्षक के धक्के में एक विशेष "वॉल्यूम नॉब" (volume knob) जोड़ता है।
- यदि दोनों उत्तर बहुत समान दिखते हैं (छोटा अंतर/distance) लेकिन छात्र गलत था, तो शिक्षक वॉल्यूम को ऊपर (UP) कर देता है। "हे, भले ही वे एक जैसे दिखते हों, लेकिन तुम गलत थे! ध्यान दो!"
- यदि दोनों उत्तर बहुत अलग दिखते हैं (बड़ा अंतर/distance), तो शिक्षक वॉल्यूम को थोड़ा नीचे (DOWN) कर देता है। "ठीक है, तुम सही थे, लेकिन बहुत उत्साहित भी मत हो; अंतर तो स्पष्ट ही था।"
यह क्यों महत्वपूर्ण है
पेपर ने विभिन्न एआई मॉडलों पर इसका परीक्षण किया और पाया कि:
- यह एक "ड्रॉप-इन" फिक्स है: आपको एआई को फिर से बनाने या उसके दिमाग को बदलने की आवश्यकता नहीं है। आपको बस शिक्षक के धक्के के गणितीय सूत्र (formula) को बदलना है। यह सस्ता और तेज़ है।
- यह कठिन कार्यों में मदद करता है: सबसे बड़े सुधार तर्क (Reasoning) कार्यों (जैसे कोडिंग या गणितीय तर्क) में देखे गए। ये वे कार्य हैं जहाँ "अच्छे" और "बुरे" उत्तर लगभग एक जैसे दिखते हैं, और पुराना तरीका यहाँ विफल हो रहा था।
- यह पैमाने को संतुलित करता है: इसके बजाय कि एआई केवल आसान अंतरों से सीखे, अब यह सूक्ष्म अंतरों से भी समान रूप से सीखता है।
सारांश
पेपर कहता है कि एआई जजों को प्रशिक्षित करने का मानक तरीका स्पष्ट अंतरों की ओर झुका हुआ है और सूक्ष्म अंतरों को नज़रअंदाज़ करता है। एक सरल गणितीय "नॉर्मलाइज़र" (normalizer) जोड़कर, NormBT एआई को यह देखने के लिए मजबूर करता है कि वह कितना गलत है, न कि विकल्प एक-दूसरे से कितने अलग दिखते हैं। यह एआई को बारीक गलतियों को पहचानने में बहुत बेहतर बनाता है, विशेष रूप से जटिल तर्क कार्यों में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।