A Regret Minimization Framework on Preference Learning in Large Language Models
यह शोध पत्र रिग्रेट-आधारित प्रेफरेंस ऑप्टिमाइज़ेशन (RePO) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो मानव फीडबैक से सुदृढीकरण लर्निंग (reinforcement learning) को रिग्रेट मिनिमाइजेशन के माध्यम से पुनर्गठित करता है ताकि मानव प्राथमिकताओं की संभावित और प्रतितथ्यात्मक प्रकृति को बेहतर ढंग से समझा जा सके, जिसके परिणामस्वरूप रीजनिंग और प्रेफरेंस बेंचमार्क पर निरंतर प्रदर्शन लाभ प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित की समस्या हल करना या एक उपयोगी ईमेल लिखना सिखा रहे हैं। आप चाहते हैं कि रोबोट मानवीय फीडबैक से सीखे, लेकिन इंसान आमतौर पर यह नहीं कहते, "यह वाक्य ठीक 7.5 अंक का है।" इसके बजाय, हम कहते हैं, "मुझे यह उत्तर उस दूसरे वाले से बेहतर लगा।"
लंबे समय तक, कंप्यूटर वैज्ञानिक रोबलों को स्कोर को अधिकतम (maximize) करने के लिए सिखाते रहे। उन्होंने रोबोट द्वारा उठाए गए हर कदम को इस तरह से देखा जैसे वह तुरंत अंक कमा रहा हो, जैसे वीडियो गेम में सिक्के इकट्ठा करना। यदि रोबोट का एक कदम "सही" था, तो उसे एक सिक्का मिलता था। यदि वह "गलत" था, तो वह एक सिक्का खो देता था। रोबोट का लक्ष्य बस अधिक से अधिक सिक्के बटोरना था।
"कॉइन कलेक्टर" दृष्टिकोण की समस्या
लेख का तर्क है कि यह "सिक्के इकट्ठा करने वाला" (coin collector) माइंडसेट वास्तव में यह समझने का एक बुरा तरीका है कि इंसान कैसे सोचते हैं। इंसान केवल तात्कालिक कदम को नहीं देखते; हम आगे देखते हैं और पीछे मुड़कर देखते हैं कि क्या हो सकता था।
लेखक एक बेहतरीन उपमा का उपयोग करते हैं: "क्या होता अगर" (The "What If" Game) खेल।
कल्पना कीजिए कि आप एक शतरंज खिलाड़ी की चाल देख रहे हैं।
- पुराना तरीका (रिवॉर्ड मैक्सिमाइजेशन): आप उस एक चाल को देखते हैं। क्या उसने एक मोहरा जीता? यदि हाँ, तो अच्छा! यदि नहीं, तो बुरा। आप उस चाल को अलग-थતાં परखते हैं।
- नया तरीका (रिग्रेट मिनिमाइजेशन): आप चाल को देखते हैं और पूछते हैं, "यदि उन्होंने यहाँ एक अलग चाल चली होती, तो क्या खेल बेहतर होता?" या, "यदि वे इसी तरह खेलते रहे, तो क्या वे 10 चालों में जीतेंगे?"
इंसान किसी कदम को अकेले (isolation में) परखने में बहुत खराब होते हैं। हम इसे भावी प्रत्याशा (prospective anticipation) (हम क्या होने वाला है, इसके बारे में क्या सोचते हैं) और प्रतितथ्यात्मक तुलना (counterfactual comparison) (उन्होंने और क्या किया होता) के आधार पर परखते हैं।
पेपर का समाधान: "रिग्रेट-बेस्ड प्रेफरेंस ऑप्टिमाइजेशन" (RePO)
लेखक एक नया तरीका पेश करते हैं जिसे RePO कहा जाता है। अंक बढ़ाने की कोशिश करने के बजाय, RePO रोबोट को पछतावा (regret) कम करना सिखाता है।
"पछतावे" को उस भावना की तरह समझें जो आपको तब होती है जब आप कहते हैं, "मुझे दूसरा रास्ता लेना चाहिए था; मैं ट्रैफिक से बच जाता।"
- पुराने तरीके में, रोबोट केवल इस बात की परवाह करता है कि जो रास्ता उसने लिया वह अभी कितना सुगम है।
- नए तरीके में (RePO), रोबोट पूछता है: "उस सबसे अच्छे रास्ते की तुलना में जो मैं ले सकता था, मैंने कितनी बड़ी गलती की?"
सरल भाषा में यह कैसे काम करता है
- आगे देखना: जब कोई इंसान एक आंशिक उत्तर (जैसे गणित के समाधान का पहला आधा हिस्सा) देखता है, तो वह मानसिक रूप से समस्या को पूरा कर लेता है। यदि उन्हें लगता है, "ओह, यह रास्ता अंततः गलत उत्तर की ओर ले जाएगा," तो वे पहले आधे हिस्से को नापसंद करते हैं, भले ही पहला आधा हिस्सा ठीक लग रहा हो। RePO इस प्रक्रिया की नकल करता है, यह देखने के लिए कि क्या वर्तमान कदम किसी डेड एंड (बंद गली) की ओर ले जाता है।
- विकल्पों की तुलना करना: इंसान अक्सर किसी कार्य को उसके एक "बेहतर" संस्करण से तुलना करके परखते हैं जो हुआ नहीं। RePO उस चीज़ और "परफेक्ट" रोबोट के बीच की "दूरी" की गणना करता है जिसने वह किया और जो एक आदर्श रोबोट ने किया होता। यह उस अंतर को कम करने की कोशिश करता है।
- "रिग्रेट" स्कोर: एक सकारात्मक स्कोर देने के बजाय, RePO एक "रिग्रेट" स्कोर की गणना करता है। लक्ष्य इस पछतावे को शून्य के जितना संभव हो सके करीब लाना है। यदि पछतावा अधिक है, तो इसका मतलब है कि रोबोट ने ऐसा चुनाव किया जिससे परिणाम उम्मीद से बदतर हो गया।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
शोधकर्ताओं ने गणित की समस्याओं और सामान्य बातचीत के कार्यों पर RePO का परीक्षण किया। उन्होंने पाया कि RePO से प्रशिक्षित रोबोट इनमें बेहतर थे:
- गणित हल करना: वे समझते हैं कि एक कदम तभी "अच्छा" है जब वह सही अंतिम उत्तर की ओर ले जाए, न कि केवल इसलिए कि वह कदम स्वयं तार्किक दिखता है।
- मानवीय पसंद का पालन करना: वे मानवीय प्राथमिकताओं के साथ बेहतर तालमेल बिठा पाए क्योंकि उन्होंने तत्काल अंकों के लिए सिस्टम को "गेम" करना बंद कर दिया और पूरे सफर के बारे में सोचना शुरू कर दिया, ठीक वैसे ही जैसे इंसान करते हैं।
"जादुई ट्रिक" (सैंपल एफिशिएंसी)
सबसे दिलचस्प खोजों में से एक यह है कि RePO सीखने के मामले में "स्मार्टर" है।
- पुराना तरीका (DPO): यदि आप रोबोट को एक गणित की समस्या दिखाते हैं जहाँ उत्तर छिपा हुआ (masked) है, तो रोबोट भ्रमित हो जाता है और खराब प्रदर्शन करता है। पैटर्न सीखने के लिए उसे कई बार पूरा सही उत्तर दिखाया जाना आवश्यक है।
- नया तरीका (RePO): क्योंकि RePO "पछतावे" (कि क्या हो सकता था) के विचार पर बना है, यह स्वाभाविक रूप से समझ जाता है कि छिपा हुआ उत्तर संदिग्ध है। इसे यह समझने के लिए बहुत अधिक अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है कि अधूरे रास्ते बुरे होते हैं। इसने इस सबक को आत्मसात कर लिया कि "यदि आप फिनिश लाइन नहीं देख सकते, तो शायद आपने गलत मोड़ ले लिया है।"
सारांश में
पेपर कहता है: रोबोट को लालची सिक्के इकट्ठा करने वाले बनाना बंद करें जिन्हें केवल अगले कदम की परवाह होती है। इसके बजाय, उन्हें विचारशील यात्री बनाना सिखाएं जो पूछते हैं, "क्या मैंने सबसे अच्छा रास्ता चुना, और जो रास्ता मैंने नहीं लिया उसके मुकाबले मुझे अपने विकल्पों पर कितना पछतावा है?" ऐसा करके, रोबोट बेहतर तर्क करने में सक्षम होते हैं और मानवीय सोच के साथ बेहतर तालमेल बिठा पाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।