WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
यह शोध पत्र WildFeedback को पेश करता है, जो एक नवीन फ्रेमवर्क है जो मल्टी-टर्न बातचीत से इन-सिटू (in-situ) उपयोगकर्ता फीडबैक को निकालकर और वर्गीकृत करके प्राथमिकता डेटासेट को स्वचालित रूप से निर्मित करता है, जिससे बड़े भाषा मॉडल (LLMs) को पारंपरिक एनोटेशन विधियों की स्केलेबिलिटी और पूर्वाग्रह संबंधी सीमाओं को पार करते हुए वास्तविक दुनिया की उपयोगकर्ता प्राथमिकताओं के साथ महत्वपूर्ण रूप से बेहतर संरेखण प्राप्त करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े जिद्दी रोबोटिक सहायक को लोगों से बात करना सिखा रहे हैं।
पुराना तरीका: "सख्त शिक्षक" पद्धति (The "Strict Teacher" Method)
पारंपरिक रूप से, इन रोबोटों (लार्ज लैंग्वेज मॉडल्स या LLMs) को सिखाने के लिए, इंसान एक सख्त शिक्षक की तरह काम करते थे। वे बैठ जाते थे, "अच्छे" और "बुरे" जवाबों के हजारों उदाहरण लिखते थे, और रोबोट का होमवर्क चेक करते थे।
- समस्या: यह महंगा है, धीमा है, और शिक्षक शायद सबका प्रतिनिधित्व न कर पाएं। यह ऐसा है जैसे पूरी दुनिया क्या खाना चाहती है, यह तय करने के लिए खाद्य आलोचकों (food critics) के एक पैनल को काम पर रखना। हो सकता है उन्हें तीखा खाना पसंद हो, लेकिन बाकी दुनिया शायद हल्का खाना पसंद करती हो। साथ भी, यदि आप रोबोट को अपना होमवर्क खुद ग्रेड करने के लिए कहते हैं (AI का उपयोग करके डेटा बनाना), तो वह बस अपने ही पूर्वाग्रहों (biases) को दोहराने लगता है, जैसे कोई छात्र जो केवल उन्हीं उत्तरों का अध्ययन करता है जिन्हें वह पहले से जानता है।
नया तरीका: "वाइल्डफीडबैक" (WildFeedback) - ("लाइव ऑडियंस" पद्धति)
यह पेपर WildFeedback नामक एक नया ढांचा पेश करता है। एक क्लासरूम में शिक्षक के बजाय, कल्पना कीजिए कि रोबोट एक भीड़ भरे क्लब में लाइव परफॉर्म कर रहा एक स्टैंड-अप कॉमेडियन है।
- भीड़ को सुनना (In-Situ Feedback):
शिक्षक द्वारा बाद में ग्रेड देने का इंतज़ार करने के बजाय, WildFeedback शो के दौरान ही दर्शकों को सुनता है।
- यदि दर्शक हंसते हैं, तालियाँ बजाते हैं, या कहते हैं, "यह बहुत बढ़िया था!" (संतुष्टि/Satisfaction), तो रोबोट को पता चल जाता है कि वह सही रास्ते पर है।
- यदि दर्शक कराहते हैं, अपनी घड़ियाँ देखते हैं, या कहते हैं, "क्या आप इसे फिर से कर सकते हैं? यह भ्रमित करने वाला था" (असंतुष्टि/Dissatisfaction), तो रोबोट को पता चल जाता है कि उसने गलती की है।
- जादू: सिस्टम लाखों वास्तविक बातचीत को स्वचालित रूप से स्कैन करता है ताकि इन पलों को खोजा जा सके। इसे यह लिखने की आवश्यकता नहीं है कि "यह बुरा था"; यह बस उपयोगकर्ता द्वारा कहे गए शब्दों को देखता है जैसे, "नहीं, मेरा मतलब यह नहीं था।"
- पाठ योजना बनाना (Preference Data):
एक बार जब सिस्टम देख लेता है कि उपयोगकर्ता असंतुष्ट था (एक "DSAT" सिग्नल), तो वह सीखने का एक उदाहरण बनाता है।
- प्रॉम्प्ट (Prompt): "यहाँ वह है जो उपयोगकर्ता ने पूछा था।"
- गलती: "यहाँ वह उत्तर है जो रोबोट ने दिया जिससे उपयोगकर्ता नाखुश हुआ।"
- सुधार: "यहाँ वह है जो उपयोगकर्ता वास्तव में चाहता था (फीडबैक से सारांशित), और यहाँ एक बेहतर उत्तर है।"
- यह एक कॉमेडियन के उस रिकॉर्डिंग को देखने जैसा है जहाँ उसका चुटकुला फ्लॉप हो गया, और उसे एहसास हुआ कि दर्शक एक छोटा पंचलाइन चाहते थे, और फिर अगली बार के लिए सही संस्करण का अभ्यास करना।
- "चेकलिस्ट" जज (Evaluation):
आमतौर पर, हम रोबोटों का परीक्षण करने के लिए एक-दूसरे को ग्रेड करने के लिए कहते हैं, जो पक्षपाती होता है (वे लंबे, फैंसी जवाबों को पसंद करते हैं)। WildFeedback एक चेकलिस्ट पेश करता है।
- कल्पना कीजिए कि एक जज रोबोट का मूल्यांकन केवल इस आधार पर नहीं कर रहा है कि "क्या यह स्मार्ट है?", बल्कि इस आधार पर कर रहा है कि "क्या इसने इस विशिष्ट उपयोगकर्ता की बात सुनी?"
- सिस्टम उपयोगकर्ता के वास्तविक फीडबैक (जैसे, "मुझे एक समुद्री डाकू की आवाज़ चाहिए थी, न कि एक ऐसी आवाज़ जो रोबोट जैसी लगे") को एक चेकलिस्ट में बदल देता है। जज फिर उस चेकलिस्ट का उपयोग यह देखने के लिए करता है कि क्या रोबोट वास्तव में सुधरा है। यह सुनिश्चित करता है कि रोबोट वही सीख रहा है जो वास्तविक लोग चाहते हैं, न कि वह जो कंप्यूटर के लिए अच्छा सुनाई देता है।
परिणाम
शोधकर्ताओं ने वास्तविक बातचीत (WildChat) के एक विशाल डेटासेट पर इसका परीक्षण किया। उन्होंने पाया कि "लाइव ऑडियंस" पद्धति के साथ प्रशिक्षित रोबोट वास्तविक मनुष्यों की जरूरतों को समझने में बहुत बेहतर हो गए। वे कम जेनेरिक, रोबोटिक जवाब देने वाले थे और उस व्यक्ति की विशिष्ट, कभी-कभी अजीब जरूरतों के अनुकूल होने की अधिक संभावना रखते थे जिससे वे बात कर रहे थे।
संक्षेप में:
- पुराना तरीका: कुछ विशेषज्ञों को लोगों से बात करने का तरीका बताने के लिए एक पाठ्यपुस्तक लिखने के लिए कहना।
- WildFeedback: लाखों वास्तविक बातचीत को देखना, यह देखना कि लोग कहाँ परेशान या खुश होते हैं, और रोबोट को यह दिखाकर सिखाना कि उन लोगों को वास्तव में क्या चाहिए था। यह डांस मैनुअल पढ़ने के बजाय, भीड़ की प्रतिक्रिया देखकर डांस सीखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।