💬 NLP

Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

यह शोध पत्र बड़े भाषा मॉडलों को मानव-समान, स्व-निहित और अर्थ-संरक्षण वाले संपादन उत्पन्न करने के लिए प्रशिक्षित करने हेतु ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन का उपयोग करते हुए एक सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) दृष्टिकोण प्रस्तुत करता है, जो तर्क की उपयुक्तता में सुधार करता है और स्वचालित एवं मानवीय दोनों मूल्यांकनों में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Timon Ziegenbein, Maja Stahl, Henning Wachsmuth

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Timon Ziegenbein, Maja Stahl, Henning Wachsmuth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक मित्र को एक भावुक पत्र लिख रहे हैं, लेकिन गुस्से में, आप अनजाने में कुछ कठोर शब्दों का प्रयोग कर देते हैं, कोई टाइपिंग की गलती कर देते हैं, या थोड़ा आक्रामक हो जाते हैं। आप इसे ठीक करना चाहते हैं ताकि आपका मित्र आपकी बात सुन सके बिना बुरा माने, लेकिन आप वह नहीं बदलना चाहते जो वास्तव में आपका अर्थ था।

यह शोधपत्र इस बारे में है कि आर्टिफिशियल इंटेलिजेंस (AI) को इन स्थितियों के लिए एक आदर्श संपादक (editor) कैसे बनाया जाए। हालाँकि, शोधकर्ताओं ने एक समस्या देखी: वर्तमान AI संपादक बहुत अधिक आक्रामक हैं।

समस्या: "अत्यधिक उत्साही नवीनीकरण दल" (The Over-zealous Renovation Crew)

वर्तमान AI संपादकों को एक बिखरे हुए कमरे को ठीक करने के लिए काम पर रखे गए विध्वंस दल (demolition crew) की तरह समझें। यदि आप उनसे कहें कि "इस कमरे को उपयुक्त बनाओ," तो वे पूरी दीवार गिरा सकते हैं, सब कुछ फिर से पेंट कर सकते हैं, और फर्नीचर को इधर-उधर कर सकते हैं। कमरा अब साफ है, लेकिन यह अब आपका कमरा नहीं दिखता। यह एक पूर्ण पुनर्लेखन (full rewrite) है।

शोधकर्ताओं ने पाया कि जब AI "अनुपयुक्त" तर्कों (जैसे अपमानजनक भाषा या भावनात्मक विस्फोट) को ठीक करने की कोशिश करता है, तो वह अक्सर:

अर्थ बदल देता है: यह पूरे वाक्य को फिर से लिख देता है, जिससे मूल आवाज़ खो जाती है।
बदलावों को बिखेर देता है: यह यहाँ एक शब्द और वहाँ एक वाक्यांश ठीक करता है, जिससे टेक्स्ट असंबद्ध महसूस होता है।

दूसरी ओर, मनुष्य "सर्जिकल सर्जन" की तरह होते हैं। यदि कोई वाक्य अभद्र है, तो एक मानव संपादक केवल अभद्र शब्द को एक विनम्र शब्द से बदल सकता है, या विराम चिह्न ठीक कर सकता है, जिससे बाकी वाक्य बिल्कुल वैसा ही रहता है जैसा वह था। वे "स्व-निहित" (self-contained) सुधार करते हैं जो मूल अर्थ को सुरक्षित रखते हैं।

समाधान: AI को "सर्जिकल संपादक" बनाना सिखाना

लेखकों, टिमोन ज़िगेंबाइन, माजा स्टाल और हेनिंग वाक्समुथ ने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक पद्धति का उपयोग करके AI को प्रशिक्षित करने का एक नया तरीका बनाया है।

रीइन्फोर्समेंट लर्निंग को एक कुत्ते को प्रशिक्षित करने की तरह समझें। आप केवल कुत्ते को यह नहीं बताते कि उसे क्या करना है; आप उसे सही काम करने पर इनाम (treat) देते हैं और गलत करने पर प्यार से "ना" कहते हैं।

इस अध्ययन में, "कुत्ता" AI है, और "इनाम" एक विशेष रिवॉर्ड सिस्टम (Reward System) है जो पॉइंट देने से पहले तीन चीजों की जाँच करता है:

क्या आपने अर्थ बनाए रखा? (सिमेंटिक सिमिलैरिटी - Semantic Similarity) उपमा: क्या आपने लाल शर्ट को नीली शर्ट से बदला, या आपने शर्ट को टोपी में बदल दिया?
क्या यह स्वाभाविक लगता है? (फ्लुएंसी - Fluency) उपमा: क्या वाक्य ऐसा लगता है जैसे कोई इंसान बोलेगा, या यह एक रोबोट की हकलाहट जैसा लगता है?
क्या आपने एक इंसान की तरह संपादन किया? (पैटर्न कन्फॉर्मिटी - Pattern Conformity) उपमा: क्या आपने एक छोटा, सटीक कट लगाया, या आप पूरे पैराग्राफ को फिर से लिखने में पागल हो गए?

व्यावहारिक रूप में यह कैसे काम करता है

AI को एक बिखरा हुआ, अनुपयुक्त तर्क दिया जाता है। यह उसे ठीक करने की कोशिश करता है।

यदि यह पूरे हिस्से को फिर से लिख देता है, तो "रिवॉर्ड सिस्टम" कहता है, "नहीं, यह मानव-समान संपादन नहीं है। कोई इनाम नहीं।"
यदि यह एक छोटा, सटीक बदलाव करता है जो अभद्रता को ठीक करता है लेकिन मूल आवाज़ को बनाए रखता है, तो सिस्टम कहता है, "बहुत बढ़िया! यह रहा इनाम।"

समय के साथ, AI सीख जाता है कि इनाम पाने का सबसे अच्छा तरीका एक सावधानीपूर्वक मानव संपादक की तरह कार्य करना है, न कि एक बुलडोजर की तरह।

परिणाम: "गोल्डिलॉक्स" ज़ोन (The "Goldilocks" Zone)

शोधकर्ताओं ने इस नए AI का पुराने मॉडलों के मुकाबले परीक्षण किया।

पुराना AI: बड़े बदलाव करता था। तर्क विनम्र तो हो जाते थे, लेकिन वे अपना मूल स्वरूप खो देते थे।
नया AI (द "सर्जिकल" वाला): छोटे, सटीक बदलाव करता है। इसने अभद्रता को ठीक किया, अर्थ बनाए रखा, और यह स्वाभाविक लगा।

इससे भी बेहतर, उन्होंने पाया कि यदि आप AI को टेक्स्ट को कई बार संपादित करने देते हैं (जैसे कि एक मानव संपादक द्वारा ड्राफ्ट की समीक्षा करना, फिर दोबारा समीक्षा करना), तो टेक्स्ट अंततः उतना ही उपयुक्त हो जाता है जितना कि "बुलडोजर" शैली के पुनर्लेखन, लेकिन फिर भी यह मूल लेखक जैसा ही लगता है।

यह क्यों महत्वपूर्ण है

यह केवल टाइपो (typos) ठीक करने के बारे में नहीं है। यह मानवीय आवाज़ को संरक्षित करने के बारे में है।
ऑनलाइन बहसों, शिक्षा और सार्वजनिक विमर्श में, हमें अक्सर आक्रामकता को कम करने की आवश्यकता होती है बिना बोलने वाले को चुप किए। यदि AI सब कुछ फिर से लिख देता है, तो यह सेंसरशिप जैसा लगता है। यदि AI एक सहायक मानव संपादक की तरह कार्य करता है, तो यह लोगों को उनकी अनूठी दृष्टि को बरकरार रखते हुए बेहतर संवाद करने में मदद करता है।

संक्षेप में: यह शोधपत्र AI को यह सिखाता है कि वह "पुनर्लेखन मशीन" बनना बंद करे और एक "सहायक संपादक" बने, जो छोटी, स्मार्ट टवीक (tweaks) करता है जो शब्दों के पीछे के व्यक्ति को मिटाए बिना समस्याओं को ठीक करती है।

यहाँ शोध पत्र "Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग टेक्स्ट को संपादित करने के लिए तेजी से किया जा रहा है, विशेष रूप से तर्कों की उपयुक्तता (appropriateness) में सुधार करने के लिए (जैसे, विषाक्त भाषा, भावनात्मक अपील, या अस्पष्ट तर्क को हटाना)। हालाँकि, मानव और LLM संपादन रणनीतियों के बीच एक महत्वपूर्ण अंतर मौजूद है:

LLM व्यवहार: अक्सर "बिखरे हुए" (scattered) संपादन उत्पन्न करता है जो मूल पाठ के अर्थ को महत्वपूर्ण रूप से बदल देते हैं या ऐसे परस्पर निर्भर परिवर्तन उत्पन्न करते हैं जिन्हें चुनिकी रूप से लागू नहीं किया जा सकता।
मानव व्यवहार: स्व-निहित, अर्थ-संरक्षण वाले संपादन (self-contained, meaning-preserving edits) उत्पन्न करता है। मनुष्य आश्रित परिवर्तनों को एकल, निरंतर ऑपरेशनों में समाहित करते हैं जो अर्थ संबंधी समानता, प्रवाह बनाए रखते हैं और विशिष्ट संपादन पैटर्न (रखना/हटाना/जोड़ना/प्रतिस्थापित करना) का पालन करते हैं।

यह शोध पत्र LLM को अनुचित तर्कों के लिए इस प्रकार के मानव-समान संपादन सुझाव उत्पन्न करने के लिए प्रशिक्षित करने की चुनौती का समाधान करता है जो:

अर्थ संबंधी समानता (Semantically Similar): मूल अर्थ को बनाए रखते हैं।
प्रवाहपूर्ण (Fluent): व्याकरण संबंधी त्रुटियों को पेश नहीं करते हैं।
अनुपालन (Conformant): विशिष्ट मानव संपादन पैटर्न का पालन करते हैं (जैसे, मामूली सुधारों के लिए बड़े पुनर्लेखन से बचना)।
उपयुक्त (Appropriate): पहचाने गए अनुचितपन को सफलतापूर्वक कम करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक इन विशिष्ट प्रकार के संपादन उत्पन्न करने के लिए एक LLM पॉलिसी को प्रशिक्षित करने हेतु ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करते हुए एक रीइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क प्रस्तावित करते हैं।

A. पॉलिसी और उद्देश्य

पॉलिसी ( $\pi$ ): एक LLM (विशेष रूपकर Llama-3.1-8B-Instruct) जो एक तर्क $a$ लेता है और संपादन सुझावों का एक सेट $E = \{e_1, ..., e_k\}$ आउटपुट करता है। प्रत्येक संपादन $e_i$ में एक टेक्स्ट स्पैन $s_i$ और उसका प्रतिस्थापन $t_i$ होता है।
प्रशिक्षण एल्गोरिदम: मानक PPO की तुलना में इसकी मेमोरी दक्षता के कारण GRPO का उपयोग किया जाता है। यह अपेक्षित रिवॉर्ड $R(a, E)$ को अधिकतम करने के लिए पॉलिसी पैरामीटर्स $\theta$ को अनुकूलित करता है।

B. रिवॉर्ड फंक्शन डिज़ाइन

मुख्य नवाचार एक बहु-घटक रिवॉर्ड फंक्शन (multi-component reward function) है जो तर्क-स्तरीय उपयुक्तता के साथ संपादन-स्तरीय गुणवत्ता को संतुलित करता है:
$R(a, E) = \alpha \cdot r_{arg}(a, E) + (1 - \alpha) \cdot r_{edit}(E, a)$

संपादन-स्तरीय रिवॉर्ड ( $r_{edit}$ ): "मानव-समानता" को मापता है। एक संपादन तभी मानव-समान माना जाता है जब वह तीन बाइनरी क्लासिफायर पास करता है:
- अर्थ संबंधी समानता ( $c_{sim}$ ): यह सुनिश्चित करने के लिए EmbeddingGemma-300M का उपयोग करता है कि संपादित वाक्य मूल के अर्थ के करीब है (थ्रेशोल्ड मानव संपादन के 99वें पर्सेंटाइल पर सेट है)।
- प्रवाह ( $c_{flu}$ ): एक ModernBERT क्लासिफायर जो यह पता लगाने के लिए प्रशिक्षित है कि क्या संपादन व्याकरणिक शुद्धता को कम करता है। इसे उच्च परिशुद्धता (precision) के लिए अनुकूलित किया गया है ताकि उन संडों को खारिज किया जा सके जो सामंजस्य बिगाड़ते हैं।
- पैटर्न अनुपालन ( $c_{con}$ ): IteraTeR डेटासेट से संपादन ऑपरेशन अनुक्रमों (Keep, Delete, Add, Substitute) पर प्रशिक्षित एक लैंग्वेज मॉडल। यह संपादन अनुक्रम की परप्लेक्सिटी (perplexity) का मूल्यांकन करता है; कम परप्लेक्सिटी इंगित करती है कि संपादन विशिष्ट मानव पैटर्न का पालन करता है।
- गणना: $r_{edit}$ सेट में उन संडों का अनुपात है जो तीनों मानदंडों को पास करते हैं।
तर्क-स्तरीय रिवॉर्ड ( $r_{arg}$ ): उपयुक्तता में सुधार को मापता है।
- एक उपयुक्तता क्लासिफायर (14 आयामों पर प्रशिक्षित) केवल मानव-समान सं 편집ों को लागू करने के बाद तर्क का मूल्यांकन करता है।
- यह सुनिश्चित करता है कि मॉडल वास्तव में तर्क को ठीक करने के लिए प्रेरित है, न कि केवल "सुरक्षित" संपादन करने के लिए।

C. डेटा

मानव संशोधन: IteraTeR डेटासेट (Wikipedia, ArXiv, Wikinews) का उपयोग समानता, प्रवाह और अनुपालन क्लासिफायर को प्रशिक्षित करने के लिए किया जाता है।
उपयुक्तता डेटा: Ziegenbein et al. (2023) कॉर्पस, जिसे Internet Argument Corpus और GAQCorus से सॉफ्ट-लेबल वाले तर्कों के साथ विस्तारित किया गया है, GRPO पॉलिसी के लिए प्रशिक्षण डेटा प्रदान करता है।

3. मुख्य योगदान

मानव-समान संपादन के लिए प्रथम RL दृष्टिकोण: पूर्ण पुनर्लेखन (full rewrites) उत्पन्न करने या समानांतर डेटा के साथ सुपरवाइज्ड फाइन-ट्यूनिंग पर निर्भर रहने वाले पिछले तरीकों के विपरीत, यह मानव-समान संपादन के लिए स्पष्ट रूप से अनुकूलित करने वाला पहला RL दृष्टिकोण है, जिसमें समानांतर मानव-LLM संपादन जोड़े की आवश्यकता नहीं होती है।
नया रिवॉर्ड मॉडलिंग: एक पैटर्न अनुपालन (Pattern Conformity) मीट्रिक पेश करता है जो मानक अर्थ संबंधी और प्रवाह मेट्रिक्स के साथ-साथ संपादन ऑपरेशनों (diffs) के अनुक्रम का मूल्यांकन करता है।
स्व-निहित संपादन पीढ़ी: सिस्टम ग्रैनुलर, स्वतंत्र संपादन सुझाव उत्पन्न करता है जिन्हें उपयोगकर्ता व्यक्तिगत रूप से स्वीकार या अस्वीकार कर सकते हैं, जो "ब्लैक बॉक्स" पूर्ण पुनर्लेखन के विपरीत है।

4. परिणाम

इस दृष्टिकोण का मूल्यांकन 225 अनुचित तर्कों के टेस्ट सेट पर बेसलाइन्स (PPO-आधारित पुनर्लेखन विधियों और प्रत्यक्ष LLM प्रॉम्प्टिंग सहित) के विरुद्ध किया गया।

संपादन-स्तरीय प्रदर्शन:
- पूर्ण मॉडल (GRPOfull) ने 1,221 मानव-समान संपादन (कुल संडों का 66.9%) उत्पन्न किए, जो सर्वश्रेष्ठ बेसलाइन (PPO-आधारित) से काफी बेहतर था जिसने केवल 239 (34.7%) उत्पन्न किए।
- इसने उच्चतम स्कोर (Semantic Similarity (0.915), Fluency (0.757), और Pattern Conformity (0.939)) प्राप्त किया।
तर्क-स्तरीय प्रदर्शन:
- जबकि बेसलाइन्स अक्सर उपयुक्तता में सुधार के लिए मानव-समानता का त्याग करते थे, GRPOfull ने एक मजबूत संतुलन बनाए रखा, और केवल मानव-समान संडों का उपयोग करके अनुचित तर्कों को उपयुक्त में बदलने की 36.4% दर हासिल की।
- पुनरावृत्त संपादन (Iterative Editing): जब इसे पुनरावृत्ति में लागू किया जाता है (आउटपुट को फिर से संपादित करना), तो मॉडल पूर्ण-पुनर्लेखन बेसलाइन्स के उपयुक्तता स्तरों के करीब पहुँच जाता है, जबकि मानव-समान संपादन विशेषताओं को बनाए रखता है।
मानव मूल्यांकन:
- पेयरवाइज तुलना में, मानव एनोटेटरों ने GRPOfull (11वें इटरेशन) तर्कों को 82% मामलों में सर्वश्रेष्ठ के रूप में रैंक किया, जो PPO बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
- मॉडल ने समानता, प्रवाह और समग्र मानव-समानता के लिए उच्चतम लिकर्ट (Likert) स्कोर प्राप्त किया।

5. महत्व और निहितार्थ

अंतराल को पाटना: यह शोध सफलतापूर्वक प्रदर्शित करता है कि LLMs को केवल दस्तावेज़-स्तरीय मेट्रिक्स के लिए अनुकूलित करने के बजाय मानव संपादन रणनीतियों (न्यूनतम, स्व-निहित परिवर्तन) की नकल करने के लिए संरेखित किया जा सकता है।
कार्य योग्य फीडबैक (Actionable Feedback): डिस्क्रीट, चयन योग्य संडों को उत्पन्न करके, यह सिस्टम ह्यूमन-इन-द-लूप वर्कफ़्लो का समर्थन करता है, जिससे उपयोगकर्ता अपने मूल स्वर या इरादे को खोए बिना अपने तर्कों को परिष्कृत कर सकते हैं।
नैतिक विचार: लेखक इस बात पर जोर देते हैं कि "उपयुक्तता" व्यक्तिपरक और सांस्कृतिक रूप से निर्भर है। वे "टोन पुलिसिंग" या हाशिए पर मौजूद विमर्श शैलियों के दमन को रोकने के लिए मानव पर्यवेक्षण की सिफारिश करते हैं, जिससे यह उपकरण एक स्वचालित सेंसर के बजाय परिशोधन के लिए एक सहायक के रूप में स्थापित होता है।
भावी कार्य: शोध पत्र विमर्श-स्तरीय संरचनात्मक पुनर्गठन (जैसे, पैराग्राफ को पुनर्व्यवस्थित करना) को संभालने की सीमाओं और इन संपादन पैटर्न की गैर-अंग्रेजी भाषाओं में हस्तांतरणीयता की पहचान करता है।

निष्कर्षतः, यह कार्य LLM-सहायता प्राप्त टेक्स्ट ऑप्टिमाइज़ेशन के लिए एक नया मानक स्थापित करता है, यह सिद्ध करता है कि संपादन-स्तरीय गुणवत्ता के लिए स्पष्ट रिवॉर्ड मॉडलिंग पारंपरिक पुनर्लेखन दृष्टिकोणों की तुलना में काफी अधिक उपयोगी और मानव-अनुकूल परिणाम देती है।