Aligning Large Language Model Behavior with Human Citation Preferences
यह अध्ययन एक सूक्ष्म-स्तरीय डेटासेट का निर्माण करके बड़े भाषा मॉडलों के उद्धरण व्यवहार और मानवीय प्राथमिकताओं के बीच के बेमेल होने की जांच करता है जो यह प्रकट करता है कि मॉडल स्पष्ट स्रोत संकेतकों का अत्यधिक उद्धरण करते हैं जबकि संख्यात्मक और नामित संस्थाओं का कम उद्धरण करते हैं, और यह प्रदर्शित करता है कि डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन इस व्यवहार को मानवीय अपेक्षाओं के साथ बेहतर ढंग से मिलाने के लिए प्रभावी रूप से कैलिब्रेट कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टूर गाइड (AI) हैं जो पर्यटकों (उपयोगकर्ताओं) का एक विशाल ज्ञान पुस्तकालय के माध्यम से नेतृत्व कर रहे हैं। आपका काम उन्हें दिलचस्प तथ्य बताना है। लेकिन इसमें एक पेच है: यदि आप कोई दावा करते हैं, तो आपको यह साबित करने के लिए अपने "रसीद" (उद्धरण/citations) दिखाने होंगे कि आप मनगढ़ंत बातें नहीं कर रहे हैं।
मुख्य प्रश्न जो यह शोध पत्र पूछता है: एक टूर गाइड यह कैसे तय करता है कि किन तथ्यों के लिए रसीद की आवश्यकता है?
वर्तमान में, AI मॉडल ऐसे टूर गाइड की तरह हैं जिन्होंने पुस्तकालय की सूची को लाखों बार पढ़ा है लेकिन उन्हें स्पष्ट रूप से यह नहीं सिखाया गया है कि कब रसीद दिखानी है। वे अक्सर गलत कारणों से रसीद दिखाते हैं और उन रसीदों को छोड़ देते हैं जो वास्तव में महत्वपूर्ण होती हैं।
यहाँ शोधकर्ताओं ने क्या पाया है, इसका सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "रसीद" की समस्या
वास्तविक दुनिया में, यदि एक टूर गाइड कहता है, "यह दवा फ्लू को ठीक करती है," तो आप तुरंत डॉक्टर के नोट को देखना चाहेंगे। लेकिन यदि वे कहते हैं, "आसमान नीला है," तो आपको शायद प्रमाण की आवश्यकता नहीं होगी।
शोधकर्ता यह देखना चाहते थे कि क्या AI मॉडल यह अंतर जानते हैं कि "मुझे इस चीज़ के लिए रसीद चाहिए" और "मुझे इसकी आवश्यकता नहीं है।" उन्होंने विकिपीडिया (एक विशाल ऑनलाइन विश्वकोश) के 6,000 वाक्यों का उपयोग करके एक विशेष परीक्षण बनाया। उन्होंने मानव संपादकों से पूछा: "यदि आप टूर गाइड होते, तो क्या आप इस वाक्य के लिए रसीद दिखाते?"
उन्होंने AI मॉडलों से भी वही प्रश्न पूछा और उत्तरों की तुलना की।
2. AI ने क्या सही किया (चिकित्सा संबंधी "सहज ज्ञान")
अच्छी खबर: AI मॉडल एक विशिष्ट चीज़ में आश्चर्यजनक रूप से अच्छे हैं। जब वाक्य दवा या स्वास्थ्य के बारे में होता है, तो AI लगभग हमेशा मनुष्यों के साथ सहमत होता है कि रसीद की आवश्यकता है।
- उपमा: यह एक ऐसे टूर गाइड की तरह है जो जानता है कि यदि वह किसी खतरनाक चट्टान का उल्लेख करता है, तो उसे सुरक्षा चेतावनी अवश्य दिखानी चाहिए। वे इस हिस्से को सही समझते हैं।
3. AI ने क्या गलत किया ("प्रशिक्षण डेटा" का जाल)
बुरी खबर यह है कि AI की कुछ बुरी आदतें हैं जो उसके प्रशिक्षण डेटा (उन लाखों किताबों से जो उसने पढ़ी हैं) से सीखी गई हैं।
"रेड फ्लैग" अतिरंजना (Overreaction): विकिपीडिया पर, संपादक कभी-कभी किसी वाक्य पर "Citation Needed" (उद्धरण आवश्यक) का स्टिकर लगा देते हैं। AI इस स्टिकर को देखता है और सोचता है, "ओह, मुझे रसीद दिखानी चाहिए!" भले ही वह वाक्य वास्तव में काफी सरल हो।
- परिणाम: AI केवल इसलिए रसीद दिखाने के लिए मनुष्यों की तुलना में 27% अधिक संभावित है क्योंकि उसने वह स्टिकर देखा था। यह एक ऐसे टूर गाइड की तरह है जो हर चीज़ के लिए रसीद दिखाता है क्योंकि किसी ने एक बार उसे अपने नोट्स चेक करने के लिए कहा था। यह अव्यवस्था पैदा करता है और पर्यटकों को परेशान करता है।
"संख्याओं" की अनदेखी: मनुष्य जानते हैं कि यदि किसी वाक्य में एक विशिष्ट संख्या (जैसे "50% लोग" या "1999 में") है, तो उसे एक रसीद की आवश्यकता होती है क्योंकि संख्याएँ गलत होने की संभावना अधिक होती है।
- परिणाम: AI संख्याओं वाले वाक्यों के लिए रसीद दिखाने में मनुष्यों की तुलना में 22% कम संभावित है। यह एक ऐसे टूर गाइड की तरह है जो कहता है, "हम निकास से 5 मील दूर हैं," और यह भूल जाता है कि नक्शा दिखाना है, भले ही वह संख्या महत्वपूर्ण हो।
"नाम" की अनदेखी: इसी तरह, यदि कोई वाक्य किसी विशिष्ट व्यक्ति के नाम का उल्लेख करता है, तो मनुष्य प्रमाण चाहते हैं।
- परिणाम: AI नामों वाले वाक्यों के लिए रसीद दिखाने में मनुष्यों की तुलना में 20% कम संभावित है। यह एक ऐसे गाइड की तरह है जो किसी प्रसिद्ध ऐतिहासिक व्यक्ति का उल्लेख करता है लेकिन उनका जन्म प्रमाण पत्र दिखाने में भूल जाता है।
4. समाधान: "पुनः प्रशिक्षित" करना टूर गाइड को
शोधकर्ताओं ने महसूस किया कि AI जन्म से इन नियमों को नहीं जानता था; इसने इसे अपने अस्त-व्यस्त प्रशिक्षण डेटा से सीखा है। इसलिए, उन्होंने Direct Preference Optimization (DPO) नामक एक विधि का उपयोग करके AI को "पुनः प्रशिक्षित" करने का प्रयास किया।
इसे एक कोच के रूप में सोचें जो टूर गाइड के साथ बैठता है और कहता है: "इन 'Citation Needed' स्टिकर के लिए रसीद दिखाना बंद करें। संख्याओं और नामों के लिए रसीद दिखाना शुरू करें। यहाँ वे उदाहरण दिए गए हैं जो मनुष्य वास्तव में चाहते हैं।"
परिणाम:
- पुनः प्रशिक्षित AI मानवीय प्राथमिकताओं के साथ मेल खाने में बहुत बेहतर हो गया।
- छोटे AI मॉडलों के लिए, इस "कोचिंग" ने उनकी सटीकता में लगभग 12% का सुधार किया।
- इसने साबित किया कि हम AI को एक बेहतर टूर गाइड बनाने के लिए सिखा सकते हैं, लेकिन हमें उन्हें इसके लिए विशेष रूप से प्रशिक्षित करना होगा; वे इसे खुद से नहीं समझ पाएंगे।
निचोड़ (The Bottom Line)
AI मॉडल स्मार्ट हो रहे हैं, लेकिन वे वर्तमान में यह जानने में खराब हैं कि कब अपने तथ्यों को सिद्ध करना है। वे उन चीजों के लिए रसीद दिखाने के लिए बहुत उत्सुक हैं जिनकी आवश्यकता नहीं है (विकिपीडिया स्टिकर के कारण) और उन चीजों के लिए रसीद दिखाने में बहुत आलसी हैं जिनके लिए इसकी आवश्यकता होती है (जैसे संख्याएं और नाम)।
हालाँकि, यह शोध पत्र दिखाता है कि हम इसे ठीक कर सकते हैं। AI को विशेष रूप से यह सिखाकर कि मनुष्य क्या पसंद करते हैं, हम उन्हें अधिक विश्वसनीय और कम अव्यवस्थित बना सकते हैं, जिससे यह सुनिश्चित हो सके कि जब वे रसीद दिखाते हैं, तो वह वास्तव में मायने रखती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।