← नवीनतम पेपर
💬 NLP

HAL: Inducing Human-likeness in LLMs with Alignment

यह शोध पत्र HAL को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो कंट्रास्टिव डायलॉग डेटा से एक व्याख्यात्मक, डेटा-संचालित रिवॉर्ड (पुरस्कार) प्राप्त करके भाषा मॉडलों को मानवीय संवादात्मक गुणों के साथ संरेखित करता है, जिससे लक्षित अनुकूलन सक्षम होता है जो समग्र प्रदर्शन से समझौता किए बिना कथित मानव-समानता में सुधार करता है।

मूल लेखक: Masum Hasan, Junjie Zhao, Ehsan Hoque

प्रकाशित 2026-07-03
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Masum Hasan, Junjie Zhao, Ehsan Hoque

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक असली इंसान की तरह चैट करना सिखाने की कोशिश कर रहे हैं। समस्या यह है कि "इंसान होना" एक धुंधली अवधारणा है। यह कोई गणितीय समीकरण नहीं है जिसे आप हल कर सकें; यह एक अहसास है। जब आप इसे सुनते हैं तो आप इसे पहचान जाते हैं, लेकिन आप इसके लिए आसानी से कोई नियम नहीं लिख सकते। आमतौर पर, AI को अधिक मानवीय बनाने के लिए, डेवलपर्स बस इस समस्या में और अधिक पैसा और कंप्यूटिंग पावर झोंक देते हैं, इस उम्मीद में कि मॉडल किस्मत वाला होगा।

यह शोध पत्र HAL (ह्यूमन अलाइनिंग एलएलएम - Human Aligning LLMs) नामक एक नया ढांचा पेश करता है जो "इंसान जैसा महसूस करने" को एक मापने योग्य स्कोर में बदलकर इस समस्या को हल करने की कोशिश करता है, जैसे रिपोर्ट कार्ड पर मिला एक ग्रेड।

इसे उन्होंने कैसे किया, इसका सरल चरणों में विवरण यहाँ दिया गया है:

1. जासूसी कार्य: "संकेत" की खोज करना

सबसे पहले, शोधकर्ताओं को यह पता लगाने की आवश्यकता थी कि वास्तव में एक बातचीत को मानवीय क्या बनाता है। उन्होंने हजारों "ट्यूरिंग टेस्ट" (ऐसे खेल जहाँ एक मानव निर्णायक यह अनुमान लगाने की कोशिश करता है कि कौन व्यक्ति है और कौन रोबोट) का अध्ययन किया।

केवल यह पूछने के बजाय कि, "कौन इंसान है?", उन्होंने एक सुपर-स्मार्ट AI जासूस से यह समझाने के लिए कहा कि उसने अपना चुनाव क्यों किया। जासूस ने पैटर्न खोजे। उदाहरण के लिए:

  • इंसान अक्सर छोटी गलतियाँ (typos) करते हैं या लोअरकेस अक्षरों का उपयोग करते हैं।
  • इंसान थोड़े अधीर हो सकते हैं या चैट जल्दी समाप्त कर सकते हैं।
  • इंसान अनौपचारिक बोलचाल (slang) का उपयोग करते हैं और सब कुछ बहुत अधिक विस्तार से नहीं समझाते हैं।
  • इंसान कभी-कभी चीजें बनाने के बजाय यह स्वीकार करते हैं कि उन्हें कुछ नहीं पता।

शोधकर्ताओं ने इन सैकड़ों सुरागों को लिया और उन्हें 16 विशिष्ट गुणों (जिसे HL16Q कहा जाता है) की एक चेकलिस्ट में बदल दिया। इसे एक "मानवीयता चेकलिस्ट" (Humanness Checklist) के रूप में सोचें।

2. स्कोरकार्ड: बातचीत को ग्रेड देना

एक बार जब उनके पास चेकलिस्ट आ गई, तो उन्हें एक बातचीत को ग्रेड देने के लिए एक तरीका चाहिए था। उन्होंने एक साधारण गणितीय मॉडल (जैसे एक भारित पैमाना/weighted scale) को प्रशिक्षित किया जो एक चैट को देखता है और उसे एक एकल संख्या प्रदान करता है।

  • यदि चैट में अनौपचारिक भाषा का उपयोग किया गया है और इसमें कुछ गलतियाँ हैं, तो स्कोर बढ़ जाता है।
  • यदि चैट अत्यधिक विनम्र, सटीक और रोबोटिक है, तो स्कोर कम हो जाता है।

यह संख्या HAL स्कोर है। यह एक एकल संख्या है जो कहती है, "यह बातचीत कितनी मानवीय लगती है?"

3. प्रशिक्षण: रोबोट को स्कोर के लिए लक्ष्य बनाना सिखाना

अब, उन्होंने इस स्कोर का उपयोग विभिन्न AI मॉडलों (छोटे से लेकर बहुत बड़े तक) को प्रशिक्षित करने के लिए किया।

  • उन्होंने AI को बातचीत करने के लिए कहा।
  • यदि बातचीत को उच्च HAL स्कोर मिलता है, तो उन्होंने उसे एक "इनाम" (reward) दिया।
  • यदि स्कोर कम होता है, तो उन्होंने उसे "दंड" (penalty) दिया।

समय के साथ, AI ने उच्च स्कोर प्राप्त करने के लिए अपने व्यवहार को बदलने की कला सीखी। इसने एक आदर्श विश्वकोश की तरह व्यवहार करने के बजाय, कॉफी पीते हुए वास्तविक व्यक्ति की तरह चैट करना शुरू कर दिया।

4. प्रमाण: क्या यह काम कर गया?

यह देखने के लिए कि क्या वास्तव में यह काम कर गया, उन्होंने एक "ब्लाइंड टेस्ट" (Chatbot Arena के समान) आयोजित किया। वास्तविक मानव स्वयंसेवकों ने दो अलग-अलग एआई के साथ आमने-सामने चैट की और उन्हें यह अनुमान लगाना था कि कौन सा इंसान है।

  • परिणाम: HAL द्वारा प्रशिक्षित AI को 61.78% बार "मानव" के रूप में चुना गया।
  • तुलना: इसने अपने बिना प्रशिक्षित संस्करण को भी मात दी और एक बहुत ही लोकप्रिय, उच्च-स्तरीय व्यावसायिक AI (GPT-4o-mini) को भी हरा दिया, जिसे केवल 34% बार ही मानव के रूप में चुना गया था।

यह क्यों महत्वपूर्ण है

सबसे बड़ी जीत यह नहीं है कि AI बेहतर सुनाई देता है; बल्कि यह है कि यह प्रक्रिया पारदर्शी है।

  • पुराना तरीका: "हमने AI को बड़ा बनाया, और अब यह अधिक मानवीय लगता है।" (मिस्ट्री बॉक्स/रहस्यमयी डिब्बा)।
  • HAL तरीका: "हमने AI को संक्षिप्त होना, बोलचाल की भाषा का उपयोग करना और यह स्वीकार करना सिखाया कि वह गलत है, और इसीलिए यह मानवीय लगता है।" (स्पष्ट रेसिपी)।

चूंकि वे जानते हैं कि वे किन गुणों को पुरस्कृत कर रहे हैं, वे यह सुनिश्चित करने के लिए जांच कर सकते हैं कि AI स्कोर पाने के लिए कुछ अजीब या हानिकारक तो नहीं कर रहा है। उन्होंने यह भी जांचा कि क्या AI ने मानवीय दिखने के लिए सीखते समय भावनाओं को समझने की अपनी क्षमता खो दी है, और ऐसा नहीं हुआ।

संक्षेप में: HAL एक ऐसा उपकरण है जो "इंसान होने" के अस्पष्ट विचार को एक ठोस चेकलिस्ट में बदल देता है, और उस चेकलिस्ट का उपयोग AI को अधिक स्वाभाविक रूप से चैट करने के लिए प्रशिक्षित करने के लिए करता है, बिना उसकी बुद्धिमत्ता को खोए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →