Enhancing Human-Like Responses in Large Language Models

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, विश्वकोश जैसा सहायक है। यह सहायक दुनिया के लगभग हर सवाल का जवाब जानता है, फ्रांस की राजधानी से लेकर किसी तारे की रासायनिक संरचना तक। हालांकि, इसमें एक पेंच है: यह सहायक एक टेक्स्टबुक पढ़ते हुए रोबोट की तरह बोलता है। यह कुछ इस तरह कहता है: "एक कृत्रिम बुद्धिमत्ता (AI) के रूप में, मेरे पास व्यक्तिगत अनुभव नहीं हैं," या "मैं वह जानकारी प्रदान करने में असमर्थ हूँ।" यह सटीक तो है, लेकिन यह ठंडा, सख्त और थोड़ा उबाऊ लगता है।

यह शोध पत्र उस सख्त पुस्तकालय सहायक को यह सिखाने के बारे में है कि वह अपनी मौजूदा जानकारी खोए बिना, एक गर्मजोशी भरे, मिलनसार इंसान की तरह कैसे चैट कर सकता है।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल चरणों में विभाजित किया गया है:

1. समस्या: "रोबोट" वाली आवाज़

शोधकर्ताओं ने शक्तिशाली AI मॉडलों (जैसे Llama, Qwen, और Mistral) से शुरुआत की। ये मॉडल बुद्धिमान हैं, लेकिन इन्हें औपचारिक और सटीक होने के लिए प्रशिक्षित किया गया है। जब आप उनसे पूछते हैं, "आपने अब तक की सबसे अच्छी सलाह क्या प्राप्त की है?" तो वे उत्तर दे सकते हैं, "मैं एक AI हूँ और मुझे सलाह प्राप्त नहीं होती।" यह बातचीत के प्रवाह को तोड़ देता है। लक्ष्य उन्हें एक वास्तविक व्यक्ति की तरह बनाना था जो कॉफी पर गपशप कर रहा हो, जबकि साथ ही कठिन गणितीय समस्याओं को हल करने या जटिल प्रश्नों के उत्तर देने की उनकी क्षमता को बरकरार रखा जा सके।

2. समाधान: एक "मानवीय" पाठ्यपुस्तक बनाना

AI को मानवीय बनाने के लिए, शोधकर्ताओं को एक विशेष पाठ्यपुस्तक की आवश्यकता थी। लेकिन चूंकि उनके पास उपयोग करने के लिए लाखों वास्तविक मानवीय चैट नहीं थे, इसलिए उन्होंने एक और भी अधिक स्मार्ट AI (Llama 3 405B) को शिक्षक के रूप में उपयोग करके एक सिंथेटिक डेटासेट (एक नकली लेकिन यथार्थवादी डेटा संग्रह) बनाया।

• शिक्षक का काम: बड़े AI को प्रश्न उत्पन्न करने (जैसे "आपका पसंदीदा शौक क्या है?") के लिए कहा गया और फिर प्रत्येक प्रश्न के लिए दो अलग-अलग उत्तर लिखने को कहा गया।
  • उत्तर A (चुना हुआ "मानव"): यह उत्तर स्वाभाविक, गर्मजोशी भरा और संवादात्मक था। यह कह सकता है, "ओह, मुझे हाइकिंग बहुत पसंद है! मेरी दादी ने मुझे प्रकृति से प्रेम करना सिखाया..."
  • उत्तर B (अस्वीकृत "रोबोट"): यह उत्तर सख्त और औपचारिक था। यह कहेगा, "मैं एक AI भाषा मॉडल हूँ। मेरा कोई शौक नहीं है, लेकिन मैं हाइकिंग के लाभों पर चर्चा कर सकता हूँ..."
• परिणाम: उन्होंने 10,884 उदाहरणों का एक विशाल पुस्तकालय बनाया जहाँ AI ने यह पहचानना सीखा कि एक "उबाऊ रोबोट" वाले उत्तर और एक "मिलनसार मानव" वाले उत्तर के बीच क्या अंतर है।

3. प्रशिक्षण: AI को चुनना सिखाना

एक बार जब उनके पास यह विशेष पाठ्यपुस्तक आ गई, तो उन्होंने डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) नामक तकनीक का उपयोग किया। इसे एक कुत्ते को प्रशिक्षित करने की तरह समझें।

• आप कुत्ते को एक ट्रीट (इनाम) दिखाते हैं ( "मानव" उत्तर) और एक पत्थर ("रोबोट" उत्तर)।
• आप कहते हैं, "ट्रीट चुनने के लिए गुड बॉय!"
• समय के साथ, कुत्ता सीख जाता है कि ट्रीट वही है जिसे वह चाहता है।

इस मामले में, AI ने सीखा कि "मानव" उत्तर वे "ट्रीट्स" हैं जिन्हें उसे लक्षित करना चाहिए। उन्होंने LoRA (लो-रैंक अडैप्टेशन) का उपयोग किया, जो AI के मस्तिष्क में 'स्टिकी नोट्स' जोड़ने जैसा है। उसके पूरे मस्तिष्क को फिर से लिखने (जो धीमा और जोखिम भरा होता) के बजाय, उन्होंने बस उसकी पर्सनैलिटी को ट्यून करने के लिए ये नोट्स जोड़े। इससे यह सुनिश्चित हुआ कि अधिक मिलनसार बनने के दौरान AI अपने गणित कौशल या सामान्य ज्ञान को न भूल जाए।

4. परिणाम: क्या यह काम आया?

शोधकर्ताओं ने अपने नए "मानव-समान" मॉडलों का परीक्षण मूल "रोबोट" मॉडलों के विरुद्ध किया।

• मानवीय वोट: उन्होंने वास्तविक लोगों (मुख्य रूप से हाई स्कूल के छात्रों और वयस्कों) को एक खेल खेलने के लिए कहा। उन्होंने उन्हें दो उत्तर अगल-बगल दिखाए बिना यह बताए कि कौन सा AI लिख रहा है। प्रतिभागियों को उस उत्तर को चुनना था जो अधिक मानवीय लग रहा था।
• स्कोर: नए मॉडल 89% से 90% बार जीते! लोगों ने मिलनसार, संवादात्मक उत्तरों को पसंद किया और उन उत्तरों को नापसंद किया जो "जैसा कि एक AI के रूप में..." से शुरू होते थे।
• मस्तिष्क परीक्षण: उन्होंने यह भी परीक्षण किया कि क्या AI कठिन तर्क और गणित परीक्षणों के माध्यम से "मूर्ख" हो गया है। परिणामों ने दिखाया कि AI पहले जितना ही स्मार्ट बना रहा। वह बस बेहतर तरीके से बात करना सीख गया। एकमात्र मामूली गिरावट एक परीक्षण में आई जो विशेष रूप से यह जांचने के लिए बनाया गया था कि क्या AI सख्त फॉर्मेटिंग नियमों का पालन करता है (जो कि अधिक स्वाभाविक होने की एक छोटी सी कीमत है)।

5. कमी (सीमाएँ)

लेखक अपने प्रयोग की कमियों के बारे में ईमानदार हैं:

• "नकली" डेटा: चूंकि उन्होंने प्रशिक्षण डेटा बनाने के लिए AI का उपयोग किया, इसलिए यह पूरी तरह से वास्तविक नहीं है। यह एक भाषा सीखने जैसा है जैसे किसी दूसरे रोबोट द्वारा लिखी गई किताब पढ़कर; आप वास्तविक मानव जीवन की कुछ अव्यवस्थित और जटिल बारीकियों को मिस कर सकते हैं।
• मतदाता: वोट देने वाले लोग ज्यादातर युवा छात्र थे जो शायद अंग्रेजी को अपनी पहली भाषा के रूप में नहीं बोलते। इसने इस बात को प्रभावित किया होगा कि वे "मानवीय" किसे मानते हैं।

6. चेतावनी (नैतिकता)

पेपर एक गंभीर चेतावनी के साथ समाप्त होता है। यदि AI बहुत अधिक मानवीय लगता है, तो लोग भूल सकते हैं कि यह एक मशीन है।

• पारदर्शिता: लेखक तर्क देते हैं कि AI को हमेशा स्पष्ट रूप से कहना चाहिए, "मैं एक रोबोट हूँ," ताकि लोग धोखा न खाएं या अस्वास्थ्यकर भावनात्मक लगाव न बना लें।
• पूर्वाग्रह (Bias): यदि AI मनुष्यों की नकल बहुत अच्छी तरह से करता है, तो वह अनजाने में डेटा में मौजूद मानवीय पूर्वाग्रहों या पक्षपातों की नकल कर सकता है।

सारांश

संक्षेप में, यह शोध पत्र दिखाता है कि आप एक बहुत ही बुद्धिमान लेकिन सख्त AI को ले सकते हैं, उसे एक विशेष "टेस्ट-टेस्ट" प्रशिक्षण पद्धति का उपयोग करके एक मिलनसार इंसान की तरह चैट करना सिखा सकते हैं, और उसे समस्याओं को हल करने में कम बुद्धिमान बनाए बिना बातचीत के लिए बहुत अधिक आनंददायक बना सकते हैं। उन्होंने अपने नए "मिलनसार" मॉडल और प्रशिक्षण डेटा को दूसरों के उपयोग के लिए ऑनलाइन साझा किया है।