🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

यह शोध पत्र DITTO प्रस्तुत करता है, जो मानव व्यवहार को बेहतर ढंग से सिम्युलेट करने के लिए मौखिक फीडबैक के साथ सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से प्रशिक्षित एक मॉडल है, साथ ही SOUL बेंचमार्क सुइट भी प्रस्तुत करता है, जो बेस मॉडलों की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है और कई मानव-समान सिमुलेशन कार्यों पर GPT-5.4 से आगे निकल जाता है।

मूल लेखक: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को "इंसानों की तरह व्यवहार करना" सिखाने के लिए उससे बात करना

कल्पना कीजिए कि आप एक बच्चे को दावत (डिनर पार्टी) में व्यवहार करने का तरीका सिखा रहे हैं।

पुराना तरीका (स्केलर रिवॉर्ड्स/अंक): आप खाना खत्म करने के बाद बच्चे को "10 में से 6" का स्कोर देते हैं। आप उसे यह नहीं बताते कि उसे 6 क्यों मिले। क्या उसने बहुत ज़्यादा बातें कीं? क्या उसने गलत चम्मच का इस्तेमाल किया? क्या उसने सूप गिरा दिया? उसे समझ ही नहीं आता कि अगली बार कैसे सुधार करना है, इसलिए वह बस अंदाज़ा लगाता रहता है।
नया तरीका (मौखिक फीडबैक): आप उसे पास बिठाते हैं और कहते हैं, "तुमने नैपकिन का इस्तेमाल बहुत अच्छे से किया, लेकिन तुमने अपनी दादी की बात काट दी, जो कि बदतमीजी थी। अगली बार, उनके बोलने के खत्म होने का इंतज़ार करना।"

यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल (LLMs) को उसी बच्चे की तरह प्रशिक्षित किया जा रहा है जिसे केवल "6" का स्कोर मिलता है। वे गणित और कोडिंग में अच्छे हैं क्योंकि उन चीज़ों के स्पष्ट सही/गलत उत्तर होते हैं (जैसे एक टेस्ट स्कोर)। लेकिन जब हम AI को मानवीय व्यवहार का अनुकरण (सिमुलेट) करने के लिए कहते हैं—जैसे कि एक मरीज़, एक छात्र, या एक दोस्त की तरह व्यवहार करना—तो साधारण स्कोर काम नहीं आते। इंसान सामाजिक मानदंडों को शब्दों, स्पष्टीकरणों और सुधारों के माध्यम से सीखते हैं, न कि नंबरों के माध्यम से।

लेखकों ने DITTO नामक एक नया सिस्टम बनाया है जो इस "मौखिक फीडबैक" पद्धति का उपयोग करके AI को इंसान की तरह व्यवहार करना सिखाता है।

DITTO कैसे काम करता है: "ड्राफ्ट और पॉलिश" का खेल

DITTO को एक क्रिएटिव राइटिंग वर्कशॉप की तरह समझें जहाँ AI छात्र भी है और संपादक भी। यह प्रक्रिया है:

पहला ड्राफ्ट (छात्र): AI एक प्रॉम्प्ट का उत्तर देने की कोशिश करता है (जैसे, "एक गुस्सैल शिक्षक की तरह व्यवहार करो")। यह एक प्रतिक्रिया लिखता है।
आलोचना (जज): एक शक्तिशाली AI "जज" उस ड्राफ्ट को पढ़ता है और मौखिक फीडबैक देता है। वह केवल "अच्छा काम किया" नहीं कहता। वह कहता है, "तुम बहुत विनम्र थे। एक गुस्सैल शिक्षक अधिक अधीर होता। साथ ही, तुम होमवर्क का ज़िक्र करना भूल गए।"
दूसरा ड्राफ्ट (शिक्षक): AI उस विशिष्ट फीडबैक को लेता है और प्रतिक्रिया का एक नया, बेहतर संस्करण लिखता है।
सबक (जादू): यह सिस्टम AI को प्रशिक्षित करता है कि वह मूल प्रॉम्प्ट को देखे और बिना फीडबैक टेक्स्ट की आवश्यकता के तुरंत सुधरा हुआ संस्करण तैयार करे। यह ऐसा है जैसे छात्र ने शिक्षक के नोट्स पढ़े, निबंध को सुधारा, और फिर इस एहसास को याद कर लिया कि एक अच्छा निबंध कैसे लिखा जाता है ताकि अगली बार उसे नोट्स की ज़रूरत न पड़े।

परिणाम: AI सलाह को "आंतरिक रूप (internalize)" करना सीख जाता है। जब आप बाद में इससे बात करते हैं, तो यह अधिक मानवीय व्यवहार करता है क्योंकि इसने सीखा है कि कुछ व्यवहार क्यों बेहतर हैं, न कि केवल यह कि वे बेहतर हैं।

खेल का मैदान: SOUL (सिमुलेशन जिम)

यह जांचने के लिए कि क्या यह वास्तव में काम करता है, शोधकर्ताओं ने SOUL (सिमुलेशन जिम ऑफ ह्यूमन-लाइक बिहेवियर) नामक एक विशाल जिम बनाया।

कल्पना कीजिए कि एक जिम है जिसमें 10 अलग-अलग स्टेशन हैं, जिनमें से प्रत्येक एक अलग प्रकार के "मानवीय" कौशल का परीक्षण करता है:

थ्योरी ऑफ माइंड (Theory of Mind): क्या AI यह समझ सकता है कि कोई दूसरा व्यक्ति कुछ ऐसा जानता है जो वह नहीं जानता? (जैसे लुका-छिपी का खेल)।
रोल प्ले (Role Play): क्या यह किसी किताब के विशिष्ट पात्र की तरह बिना चरित्र से भटके अभिनय कर सकता है?
सामाजिक कौशल (Social Skills): क्या यह बिना बदतमीजी किए किसी लक्ष्य (जैसे वेतन बढ़ाने के लिए पूछना) तक पहुँचने के लिए बातचीत को संभाल सकता है?
यूज़र सिमुलेशन (User Simulation): क्या यह मदद डेस्क से बात करने वाले एक भ्रमित ग्राहक होने का नाटक कर सकता है?

उन्होंने पाया कि मौजूदा AI मॉडल अक्सर इन परीक्षणों में विफल रहे। वे बहुत रोबोटिक, बहुत परफेक्ट, या एक-दूसरे के बहुत समान लगते थे।

परिणाम: DITTO जिम जीतता है

शोधकर्ताओं ने अपने नए मॉडल (DITTO) का परीक्षण बेहतरीन मौजूदा मॉडलों (बड़ी टेक कंपनियों के विशाल मॉडल्स सहित) के खिलाफ किया।

स्कोर: DITTO ने बुनियादी मॉडल की तुलना में 36% का सुधार किया।
मुकाबला: DITTO ने 10 में से 6 चुनौतियों में शीर्ष-स्तरीय "GPT-5.4" मॉडल को भी पीछे छोड़ दिया।
जहाँ यह चमका: यह उन कार्यों में विशेष रूप से अच्छा था जिनमें सूक्ष्मता (nuance) की आवश्यकता होती है, जैसे सामाजिक कौशल और रोल-प्लेइंग। इसने रहस्य रखने में बेहतर प्रदर्शन किया और जटिल बातचीत को बिना "अटकने" या नकली लगे संभालने में महारत हासिल की।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

पेपर का दावा है कि AI को इंसानों का अनुकरण करने (जैसे थेरेपी बॉट्स, शैक्षिक ट्यूटर, या कस्टमर सर्विस ट्रेनिंग के लिए) वास्तव में उपयोगी बनाने के लिए, हमें उन्हें केवल उन गणित के छात्रों की तरह मानना बंद करना होगा जिन्हें केवल एक स्कोर की आवश्यकता होती है। हमें उन्हें सामाजिक प्राणियों की तरह मानना होगा जिन्हें स्पष्टीकरणों की आवश्यकता होती है।

मौखिक फीडबैक (शब्दों) का उपयोग करके (बजाय केवल स्केलर रिवॉर्ड्स (नंबरों) के), AI मानवीय व्यवहार की बनावट (texture) को सीखता है। वह सीखता है कि "बदतमीजी" करना केवल एक कम स्कोर नहीं है; यह बोलने का एक विशिष्ट तरीका है जो भावनाओं को ठेस पहुँचाता है।

संक्षेप में: DITTO एक ऐसा AI है जिसने शिक्षक की विस्तृत आलोचनाओं को सुनकर, सुधारों का अभ्यास करके, और फिर शिक्षक के नोट्स को इसलिए भूलकर कि उसने अंततः इसे "समझ" लिया था, इंसान की तरह व्यवहार करना सीखा।

तकनीकी सारांश: मौखिक फीडबैक के माध्यम से मानव व्यवहार सिमुलेशन को सुदृढ़ करना

समस्या विवरण
मानव व्यवहार के लिए वर्तमान लार्ज लैंग्वेज मॉडल (LLM) सिम्युलेटर में व्यवस्थित "Sim2Real" अंतराल (gaps) होते हैं, जो सजातीय आउटपुट, गलत संज्ञानात्मक पूर्वाग्रह (cognitive biases), और सुपरह्यूमन व्यवहार प्रदर्शित करते हैं जो वास्तविक उपयोगकर्ताओं से भिन्न होते हैं। एक प्राथमिक सीमा प्रशिक्षण प्रतिमान (training paradigm) में निहित है: मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियाँ (जैसे RLHF, DPO, GRPO) सभी फीडबैक को स्केलर रिवॉर्ड्स या बाइनरी प्रेफरेंस में संकुचित कर देती हैं। हालांकि ये सत्यापन योग्य शुद्धता (जैसे कोड, गणित) वाले डोमेन के लिए प्रभावी हैं, लेकिन स्केलर रिवॉर्ड्स उस सूक्ष्मता को पकड़ने में विफल रहते हैं जो मानव व्यवहार सिमुलेशन के लिए आवश्यक है, जो कि व्यक्तिपरक, बहुआयामी और संदर्भ-निर्भर होता है। मनुष्य सामाजिक मानदंडों को स्कोर से नहीं, बल्कि मौखिक फीडबैक—व्याख्याओं, सुधारों और संवाद—से सीखते हैं। मौजूदा दृष्टिकोण जो मौखिक फीडबैक को शामिल करने का प्रयास करते हैं, वे अक्सर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या इन्फरेंस-टाइम रिफ्लेक्शन पर निर्भर करते हैं, जिनमें RL की अन्वेषण क्षमता (exploration capacity) का अभाव होता है या अनुभव से मॉडल वेट्स को प्रभावी ढंग से अपडेट करने में विफलता होती है।

कार्यप्रणाली: DITTO
लेखक DITTO का प्रस्ताव करते हैं, जिसे एक सुदृढीकरण शिक्षण ढांचे के भीतर मौखिक फीडबैक को एक प्रथम-श्रेणी के सिग्नल (first-class signal) के रूप में मानकर प्रशिक्षित किया गया है। मुख्य नवाचार एक प्रशिक्षण लूप है जो फीडबैक-कंडीशन्ड सुधार उत्पन्न करता है और उन्हें बेस पॉलिसी के साथ संयुक्त रूप से अनुकूलित (optimize) करता है, जिससे मॉडल परीक्षण के समय फीडबैक की आवश्यकता के बिना मार्गदर्शन को आत्मसात कर लेता है।

एक दिए गए प्रॉम्प्ट $x$ के लिए प्रशिक्षण प्रक्रिया इस प्रकार चलती है:

ड्राफ्ट रोलआउट (Draft Rollout): पॉलिसी $\pi_\theta$ एक प्रारंभिक प्रतिक्रिया $y_0$ उत्पन्न करती है।
फीडबैक जनरेशन: एक LLM जज $y_0$ का मूल्यांकन करता है, एक स्केलर रिवॉर्ड $r_0$ और एक संरचित मौखिक फीडबैक $h$ (जिसमें विश्वसनीयता, संबंध रखरखाव और लक्ष्य प्राप्ति जैसे आयामों पर आलोचना और प्रतिबिंब शामिल हैं) उत्पन्न करता है।
परिष्कृत रोलआउट (Refined Rollot): पॉलिसी प्रॉम्प्ट और फीडबैक ( $x, h$ ) पर आधारित एक दूसरी प्रतिक्रिया $y_1$ उत्पन्न करती है।
संयुक्त अनुकूलन (Joint Optimization): $y_0$ $y_{0}$ और $y_1$ $y_{1}$ दोनों को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है।
- मूल और परिष्कृत रोलआउट के सेट पर एक ग्रुप-रिलेटिव एडवांटेज की गणना की जाती है।
- बेस पॉलिसी को सुधारों से सीखने के लिए प्रोत्साहित करने हेतु एक मानक क्लिप्ड GRPO ऑब्जेक्टिव ( $L_{group}$ ) को संयुक्त समूह पर लागू किया जाता है।
- एक अतिरिक्त ऑब्जेक्टिव ( $L_{fb}$ ) विशेष रूप से फीडबैक-कंडीशन्ड रोलआउट्स पर लागू किया जाता है ताकि फीडबैक पर सीधे प्रतिक्रिया देने की मॉडल की क्षमता में सुधार हो सके।
- अंतिम लॉस $L = L_{group} + L_{fb}$ है।

महत्वपूर्ण रूप से, मौखिक फीडबैक $h$ को विशेषाधिकार प्राप्त जानकारी (privileged information) माना जाता है: यह $y_1$ को निर्देशित करने और पॉलिसी को अनुकूलित करने के लिए प्रशिक्षण के दौरान उपलब्ध है, लेकिन इन्फरेंस के दौरान इसकी आवश्यकता नहीं है। लक्ष्य यह है कि बेस पॉलिसी "शिक्षक" व्यवहार (सुधरा हुआ $y_1$ ) को अपनी मानक जनरेशन प्रक्रिया में आत्मसात कर ले।

SOUL बेंचमार्क
प्रशिक्षण और मूल्यांकन को सुगम बनाने के लिए, लेखक SOUL (Simulation gym Of hUman-Like behavior) पेश करते हैं, जो एक एकीकृत बेंचमार्क और ट्रेनिंग डेटा सूट है। SOUL छह श्रेणियों में 10 कार्यों के लिए क्यूरेटेड RL ट्रेनिंग स्प्लिट्स प्रदान करके मानव सिमुलेशन के लिए डेटा की कमी की बाधा को दूर करता है:

थ्योरी ऑफ माइंड (Theory of Mind): FanToM, HiToM, ToMi।
कैरेक्टर रोल प्ले (Character Role Play): CoSER, LifeChoices।
सोशल स्किल (Social Skill): Sotopia।
लर्नर सिमुलेशन (Learner Simulation): Mistakes।
यूजर सिमुलेशन (User Simulation): MirrorBench, UserLLM।
पर्सोना सिमुलेशन (Persona Simulation): TwinVoice।

यह सूट डिस्क्रिमिनेटिव (बहुविकल्पीय), जेनेरेटिव (ओपन-एंडेड संवाद), और मल्टी-टर्न/मल्टी-एजेंट इंटरेक्शन फॉर्मेट को कवर करता है।

प्रमुख परिणाम
प्रयोग Qwen3-8B बेस मॉडल का उपयोग करके किए गए।

प्रदर्शन: DITTO ने SOUL कार्यों में औसतन 0.726 का नॉर्मलाइज्ड स्कोर प्राप्त किया, जो बेस मॉडल की तुलना में 36% सुधार दर्शाता है।
स्टेट-ऑफ-द-आर्ट से तुलना: DITTO ने 10 में से 6 बेंचमार्क पर फ्रंटियर क्लोज्ड-सोर्स मॉडल GPT-5.4 को पछाड़ दिया, जिसमें तीनों थ्योरी ऑफ माइंड कार्य और दोनों यूजर सिमुलेशन कार्य शामिल हैं। इसने विशेष मानव-सिमुलेशन बेसलाइन्स (जैसे Sotopia-RL, HER) को भी लगातार पीछे छोड़ा।
एब्लेशन (Ablation): मौखिक फीडबैक तंत्र ने मानक GRPO की तुलना में निरंतर लाभ प्रदान किया, जिसमें सबसे बड़े सुधार जेनेरेटिव और मल्टी-टर्न कार्यों (जैसे TwinVoice पर +14 अंक, ToMi पर +11) पर देखे गए।
सुरक्षा: विश्लेषण ने दिखाया कि मौखिक फीडबैक ने सुरक्षा जोखिमों को कम करने में मदद की। जबकि मानक GRPO ने अनुकूलन के दौरान "सीक्रेट-कीपिंग" (रहस्य रखने) के आयामों पर गिरावट दर्ज की, DITTO ने रहस्य रखने की क्षमता को बेहतर ढंग से संरक्षित किया, जो संभवतः मौखिक फीडबैक द्वारा प्रदान किए गए स्पष्ट मार्गदर्शन के कारण है।

महत्व और दावे
पेपर का दावा है कि स्केलर रिवॉर्ड्स से आगे बढ़कर समृद्ध, मौखिक फीडबैक की ओर बढ़ना अधिक मानव-समान सिम्युलेटर्स को प्रशिक्षित करने के लिए एक आशाजनक दिशा है। इस कार्य का महत्व तीन मुख्य योगदानों में निहित है:

सिग्नल के रूप में मौखिक फीडबैक: यह प्रदर्शित करना कि मौखिक फीडबैक क्रियाशील, आयाम-विशिष्ट मार्गदर्शन प्रदान करता है जो सीखने की गति में सुधार करता है और स्केलर रिवॉर्ड्स की तुलना में सुरक्षा जोखिमों (जैसे रहस्य लीक होना) को कम करता है।
DITTO आर्किटेक्चर: फीडबैक-कंडीशन्ड रोलआउट्स के माध्यम से बेस पॉलिसी में मौखिक फीडबैक को डिस्टिल करने की एक विधि पेश करना, जो महत्वपूर्ण प्रदर्शन लाभ प्राप्त करती है और एक 8B मॉडल के साथ बड़े, क्लोज्ड-सोर्स मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करती है।
SOUL बेंचमार्क: विविध कार्य प्रारूपों में मानव जैसे व्यवहार के लिए पहला एकीकृत प्रशिक्षण और मूल्यांकन वातावरण प्रदान करना, जो इस डोमेन में प्रशिक्षण डेटा की गंभीर कमी को संबोधित करता है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण बेस पॉलिसी को समृद्ध, क्रियाशील मार्गदर्शन को आत्मसात करने में सक्षम बनाता है, जो यह सुझाव देता है कि मौखिक फीडबैक के साथ RL मानव व्यवहार सिमुलेशन में Sim2Real गैप को पाटने का एक व्यवहार्य मार्ग है।