Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users
यह शोध पत्र IFLLM डेटासेट प्रस्तुत करता है, जो माउस ट्रैजेक्टरी और आई गेज़ (eye gaze) से प्राप्त अप्रत्यक्ष उपयोगकर्ता फीडबैक का लाभ उठाकर ऐसे रिवॉर्ड मॉडल को प्रशिक्षित करता है जो पारंपरिक टेक्स्ट-आधारित विधियों की तुलना में LLM अलाइनमेंट सटीकता और रिस्पॉन्स गुणवत्ता में महत्वपूर्ण सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अच्छी कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आपको रोबोट को रोकना पड़ता है, यह पढ़ना पड़ता है कि उसने क्या लिखा है, और उसे स्पष्ट रूप से बताना पड़ता है, "यह अच्छा है," या "यह बुरा है।" यह एक छात्र से हर वाक्य के बाद हाथ उठाकर यह कहने जैसा है, "मैं समझ गया!" यह धीमा है, महंगा है, और ज्यादातर लोग इसे करते-करते थक जाते हैं।
यह शोध एक अलग, अधिक चालाकी भरे तरीके का प्रस्ताव करता है जिससे रोबोट को सिखाया जा सके: छात्र जो कहता है उसे नहीं, बल्कि वह जो करता है उसे देखें।
यहाँ सरल उपमाओं का उपयोग करके शोध का विवरण दिया गया है:
1. समस्या: "मौन बहुमत" (The Silent Majority)
ज्यादातर लोग AI के जवाबों पर "थम्स अप" या "थम्स डाउन" क्लिक करने की जहमत नहीं उठाते। वे बस पढ़ते हैं और आगे बढ़ जाते हैं। शोधकर्ताओं ने महसूस किया कि जबकि लोग अपने शब्दों के साथ शांत रहते हैं, वे अपने कार्यों के साथ बहुत मुखर होते हैं। वे लगातार अपने माउस को हिला रहे होते हैं और स्क्रीन को देख रहे होते हैं। ये क्रियाएं "निहित फीडबैक" (implicit feedback) हैं—ऐसे सुराग जो यह प्रकट करते हैं कि उपयोगकर्ता वास्तव में क्या पसंद करता है, बिना उन्हें समीक्षा लिखने के लिए रुकने की आवश्यकता के।
2. प्रयोग: "आँख-और-माउस" लैब (The "Eye-and-Mouse" Lab)
यह सिद्ध करने के लिए कि यह काम करता है, टीम ने एक विशेष वेबसाइट (एक डिजिटल खेल के मैदान की तरह) बनाई जहाँ Amazon Mechanical Turk के 59 श्रमिकों ने AI मॉडल्स के साथ चैट की।
- सेटअप: जैसे ही श्रमिकों ने सवाल पूछे और जवाब पढ़े, वेबसाइट ने गुप्त रूप से दो चीजें रिकॉर्ड कीं:
- उनकी आँखें कहाँ देखीं (एक मानक वेबकैम का उपयोग करके, न कि महंगे लैब उपकरणों का)।
- उनका माउस कहाँ चला।
- डेटासेट (IFLLM): उन्होंने 1,300 से अधिक बातचीत एकत्र की। यह पहली बार है जब किसी ने वास्तविक बातचीत में AI जवाबों को परखने के लिए आँख की गतिविधियों और माउस के निशानों दोनों को एक साथ एकत्र किया है।
3. खोज: माउस एक "स्क्रॉलिंग सिग्नल" है (The Mouse is the "Scrolling Signal")
शोधकर्ताओं ने डेटा का विश्लेषण किया और कुछ दिलचस्प पैटर्न पाए:
- "स्किम" (Skim) बनाम "डीप डाइव" (Deep Dive): जब जवाब छोटा था, तो लोगों की आँखें और माउस ज्यादा एक साथ नहीं हिले। लेकिन जब जवाब लंबा था, तो माउस आँखों का एक सटीक दर्पण बन गया। क्यों? क्योंकि लंबे टेक्स्ट को पढ़ने के लिए, आपको स्क्रॉल करना ही पड़ता है। यदि कोई उपयोगकर्ता अंत तक स्क्रॉल करता है, तो इसका मतलब है कि वह इसमें रुचि ले रहा है। यदि वे आधे रास्ते में रुक जाते हैं, तो शायद वे ऊब चुके हैं।
- "माउस" एक MVP है: आश्चर्यजनक रूप से, लंबे जवाबों के लिए माउस मूवमेंट अक्सर आँख की गति से बेहतर सुराग था। माउस एक "प्रतिबद्धता मीटर" (commitment meter) के रूप में कार्य करता है। यदि आप एक लंबी कहानी को स्क्रॉल करने के लिए अपने माउस को खींचने के लिए तैयार हैं, तो आप शायद उसे पसंद करते हैं।
4. समाधान: "स्मार्ट टीचर" (The "Smart-Teacher" - Reward Model)
टीम ने AI के लिए एक नया "शिक्षक" (रिवॉर्ड मॉडल) बनाया।
- पुराना शिक्षक: केवल जवाब के टेक्स्ट को पढ़ता था और अनुमान लगाता था कि वह अच्छा है या नहीं। इसने लगभग 55% बार सही अनुमान लगाया (जो मूलतः एक सिक्के के उछाल जैसा है)।
- नया शिक्षक: टेक्स्ट के साथ-साथ माउस और आँख के डेटा को भी देखता था। इसने लगभग 64% बार सही अनुमान लगाया।
- परिणाम: जब उन्होंने इस "नए शिक्षक" का उपयोग करके AI को प्रशिक्षित किया (एक प्रक्रिया जिसे DPO कहा जाता है), तो AI के जवाबों में पुराने शिक्षक की तुलना में काफी अधिक सुधार हुआ। वास्तव में, सुधार पहले की तुलना में लगभग तीन गुना बेहतर था।
5. बड़ा चित्र: एक आत्म-सुधार लूप (A Self-Improving Loop)
यह शोध पत्र तर्क देता है कि हमें उपयोगकर्ताओं से हर जवाब को रेट करने के लिए रुकने के लिए कहने की आवश्यकता नहीं है। हम बस देख सकते हैं कि वे कैसे इंटरैक्ट करते हैं।
- उपमा: कल्पना कीजिए कि एक लाइब्रेरियन आपसे यह नहीं पूछती कि आपको किताब पसंद आई या नहीं। इसके बजाय, वह यह देखने के लिए देखती है कि क्या आप किताब के अंत तक चलते हैं, या क्या आप एक पन्ने के बाद उसे वापस शेल्फ पर रख देते हैं। वह अपने व्यवहार का उपयोग अगली बार बेहतर किताबें सुझाने के लिए करती है।
- परिणाम: इन "मौन संकेतों" (माउस और आँखों) का उपयोग करके, हम AI को अधिक सहायक, सटीक और मानवीय इच्छाओं के अनुरूप बनाने के लिए प्रशिक्षित कर सकते हैं, बिना उन्हें निरंतर सर्वेक्षणों से परेशान किए।
यह शोध पत्र क्या दावा नहीं करता है
- यह दावा नहीं करता है कि यह चिकित्सा निदान या क्लिनिकल थेरेपी के लिए काम करता है।
- यह दावा नहीं करता कि AI जल्द ही आपके मन या भावनाओं को सीधे पढ़ लेगा।
- यह यह भी नहीं कहता कि यह सभी के लिए एकदम सही है; यह नोट करता है कि व्यक्तिगत पढ़ने की आदतें बहुत भिन्न होती हैं (कुछ लोग तेजी से पढ़ते हैं, कुछ धीरे, कुछ इधर-उधर से पढ़ते हैं)।
संक्षेप में: यह शोध पत्र दिखाता है कि आपका माउस और आपकी आँखें गुप्त रूप से आपके द्वारा पसंद की जाने वाली चीजों के लिए वोट दे रहे हैं। उन मौन वोटों को सुनकर, हम AI को हमसे बेहतर तरीके से बात करने के लिए सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।