Post-training makes large language models less human-like
यह शोध पत्र Psych-201 डेटासेट प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि पोस्ट-ट्रेनिंग प्रक्रियाएं, जो बड़े भाषा मॉडलों को उपयोगिता के लिए अनुकूलित करती हैं, निरंतर मानव व्यवहार का सटीक रूप से अनुकरण करने की उनकी क्षमता को कम करती हैं, एक ऐसी समस्या जो नई मॉडल पीढ़ियों में बनी रहती है और बदतर होती जाती है और जिसे पर्सोना-इंडक्शन तकनीकों द्वारा हल नहीं किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अराजक और अविश्वसनीय रूप से रचनात्मक प्रशिक्षु (apprentice) है जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। यह प्रशिक्षु एक बेस मॉडल (Base Model) है। वे कच्चे, अनफ़िल्टर्ड और बिल्कुल वैसे ही हैं जैसे कोई इंसान होता है: अपनी खामियों, गलतियों, हिचकिचाहट और वास्तविक जीवन के उलझे हुए तर्क के साथ। यदि आप उनसे कोई प्रश्न पूछते हैं, तो वे लड़खड़ा सकते हैं, अनुमान लगा सकते हैं, या ऐसा उत्तर दे सकते हैं जो तकनीकी रूप से "गलत" हो सकता है लेकिन बहुत मानवीय महसूस होता है।
फिर, आप इस प्रशिक्षु को एक उपयोगी सहायक (Useful Assistant) बनाने के लिए प्रशिक्षित करते हैं। आप उन्हें सख्त नियमों का पालन करना, "सही" उत्तर देना और विनम्र और तार्किक व्यवहार करना सिखाते हैं। इस प्रक्रिया को पोस्ट-ट्रेनिंग (Post-Training) कहा जाता है।
आपके द्वारा साझा किया गया शोध पत्र, जिसका शीर्षक है "Post-training makes large language models less human-like," एक आश्चर्यजनक और विरोधाभासी सत्य प्रकट करता है: आप इन मॉडल्स को एक आदर्श सहायक बनने के लिए जितना अधिक प्रशिक्षित करते हैं, वे उतने ही कम मानव जैसे सुनाई देते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "परफेक्ट स्टूडेंट" बनाम "असली इंसान"
शोधकर्ताओं ने एक विशाल परीक्षण मैदान बनाया जिसे Psych-201 कहा गया। इसे एक विशाल पुस्तकालय के रूप में समझें जिसमें वास्तविक लोगों द्वारा मनोवैज्ञानिक परीक्षण देने, खेल खेलने और पहेलियाँ सुलझाने के 2,00,000 से अधिक ट्रांसक्रिप्ट्स शामिल हैं। यह मानवता के विरुद्ध तुलना करने के लिए एक "कंट्रोल ग्रुप" की तरह है।
उन्होंने दो प्रकार के AI का परीक्षण किया:
- द बेस मॉडल (The Base Model): वह कच्चा प्रशिक्षु जिसने किताबें पढ़कर सीखा है।
- द पोस्ट-ट्रेन्ड मॉडल (The Post-Trained Model): वही प्रशिक्षु जिसे एक सहायक, नियम मानने वाला बनने के लिए सिखाया गया है।
परिणाम: हर बार, "परफेक्ट स्टूडेंट" (पोस्ट-ट्रेन्ड मॉडल) वास्तविक इंसान के बोलने या कार्य करने के तरीके का अनुमान लगाने में "रॉ अपेंटिस" (बेस मॉडल) की तुलना में कम सक्षम था। AI को एक सहायक के रूप में "बेहतर" बनाने की कोशिश में, उन्होंने अनजाने में उन्हीं मानवीय व्यवहारों को छीन लिया जो इसे लोगों का एक अच्छा सिम्युलेटर बनाते थे।
2. तर्क का "अनकैनी वैली" (Uncanny Valley of Logic)
ऐसा क्यों होता है?
- बेस मॉडल्स मानव भाषा के एक दर्पण की तरह हैं। उन्होंने हमारे सभी पूर्वाग्रहों, हमारी शॉर्टकट विधियों, हमारी सहज भावनाओं और हमारी गलतियों को आत्मसात किया है। यदि कोई इंसान थकने या भ्रमित होने के कारण गलत अनुमान लगाता है, तो बेस मॉडल भी वैसा ही करता है।
- पोस्ट-ट्रेनिंग उस दर्पण पर एक फिल्टर लगाने जैसा है। यह AI को "मानक रूप से सही" होने के लिए मजबूर करता है। यह AI को मानवीय विशिष्टताओं (quirks) को अनदेखा करने और "सही" उत्तर पर ध्यान केंद्रित करने के लिए सिखाता है।
शोध में पाया गया कि यह "सुधार" दो क्षेत्रों में सबसे अधिक हानिकारक है:
- साइकोलिंग्विस्टिक्स (शब्दों का उपयोग): इंसान भाषा का उपयोग अव्यवस्थित तरीके से करते हैं। पोस्ट-ट्रेन्ड मॉडल्स इसका उपयोग बहुत अधिक पूर्णता के साथ करते हैं।
- रीज़निंग (तर्क): इंसान अक्सर तार्किक त्रुटियां करते हैं या शॉर्टकट (heuristics) का उपयोग करते हैं। पोस्ट-ट्रेन्ड मॉडल्स को तार्किक रूप से पूर्ण होने के लिए मजबूर किया जाता है, जो उन्हें एक मानव की सोचने की प्रक्रिया के बजाय एक कैलकुलेटर जैसा बनाता है।
3. "नया बेहतर है" का विरोधाभास
आप सोच सकते हैं कि जैसे-जैसे AI अधिक स्मार्ट होता जा रहा है, यह मनुष्यों की नकल करने में बेहतर होता जा रहा है। शोध पत्र कहता है: पूरी तरह से नहीं।
- बेस मॉडल्स (कच्चे प्रशिक्षु) हर नई पीढ़ी के साथ मनुष्यों की नकल करने में बेहतर होते जा रहे हैं।
- हालांकि, पोस्ट-ट्रेनिंग प्रक्रिया (सहायक प्रशिक्षण) अधिक आक्रामक होती जा रही है। "रॉ अपेंटिस" और "परफेक्ट असिस्टेंट" के बीच का अंतर बढ़ता जा रहा है। मॉडल जितना नया होगा, "असिस्टेंट" फीचर्स चालू होने के बाद वह उतना ही अधिक "रोबोटिक" और कम मानव जैसा होता जाएगा।
4. "पर्सोना" का तरीका काम नहीं करता
एक लोकप्रिय तकनीक है जिसे पर्सोना-इंडक्शन (Persona-Induction) कहा जाता है। यह तब होता है जब आप AI को कहते हैं, "मानो कि तुम ब्राजील के एक 35 वर्षीय शिक्षक हो," इस उम्मीद में कि वह उस विशिष्ट व्यक्ति की तरह व्यवहार करेगा।
शोधकर्ताओं ने बड़े पैमाने पर इसका परीक्षण किया। उन्होंने AI को वास्तविक लोगों की विस्तृत प्रोफाइल (आयु, राष्ट्रीयता, शिक्षा) दी और उससे पूछा कि वे विशिष्ट लोग कैसे उत्तर देंगे।
परिणाम: इससे कोई मदद नहीं मिली। "पर्सोना" को जानने से AI किसी व्यक्ति के व्यवहार का बेहतर अनुमान नहीं लगा सका। यह एक अभिनेता को शब्दकोश देने जैसा है; यह उसे बेहतर इम्प्रोवाइज़र नहीं बनाता।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि जिन उपकरणों का उपयोग हम AI को उपयोगी बनाने के लिए करते हैं (इंस्ट्रक्शन ट्यूनिंग, रीजनिंग ट्रेनिंग, सेफ्टी फिल्टर्स), वे वही उपकरण हैं जो इसे मानव व्यवहार को सिम्युलेट करने के लिए एक खराब टूल बना देते हैं।
यदि आप चाहते हैं कि AI एक सहायक के रूप में कार्य करे, तो आपको पोस्ट-ट्रेन्ड संस्करण का उपयोग करना चाहिए।
लेकिन यदि आप चाहते हैं कि AI एक इंसान की तरह व्यवहार करे (उदाहरण के लिए, यह सिम्युलेट करने के लिए कि एक मरीज थेरेपी सत्र में कैसे प्रतिक्रिया दे सकता है या एक छात्र कैसे सीख सकता है), तो आपको वास्तव में बेस मॉडल (कच्चा, अप्रशिक्षित संस्करण) का उपयोग करना चाहिए, क्योंकि वह अभी भी अव्यवस्थित, अपूर्ण और मानवीय होना याद रखता है।
संक्षेप में: AI को अधिक उपयोगी बनाने के लिए, हमने इसे कम मानवीय बना दिया। इसे फिर से मानव जैसा बनाने के लिए, हमें शायद इसे इतना अधिक "ठीक" करना बंद करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।