← नवीनतम पेपर
💬 NLP

Guidance Is Not a Hyperparameter: Learning Dynamic Control in Diffusion Language Models

यह शोध पत्र एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो डिफ्यूजन लैंग्वेज मॉडल्स में क्लासिफायर-फ्री गाइडेंस स्केल को एक निश्चित हाइपरपैरामीटर के बजाय एक गतिशील, सीखने योग्य नियंत्रण क्रिया (control action) के रूप में मानता है, यह प्रदर्शित करते हुए कि अनुकूलन योग्य गाइडेंस प्रक्षेपवक्र (adaptive guidance trajectories) विभिन्न एनएलपी कार्यों में नियंत्रणीयता और पीढ़ी की गुणवत्ता के बीच के संतुलन में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Fan Zhou, Tim Van de Cruys

प्रकाशित 2026-05-11
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Fan Zhou, Tim Van de Cruys

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नाटक निर्देशित कर रहे हैं जहाँ अभिनेता (AI) एक पंक्ति-दर-पंक्ति पटकथा याद करने की कोशिश कर रहे हैं। वे प्रश्न चिह्नों से भरे एक खाली पन्ने से शुरुआत करते हैं, और हर कदम के साथ, वे पूरे वाक्य को पूरा करने के लिए कुछ और शब्द भरते जाते हैं।

AI टेक्स्ट जनरेशन की दुनिया में, एक लोकप्रिय टूल है जिसे Classifier-Free Guidance (CFG) कहा जाता है। इसे एक निर्देशक के मेगाफोन के रूप में सोचें। जब निर्देशक चिल्लाता है "कीवर्ड्स पर ध्यान केंद्रित करो!" या "इसे उदास बनाओ!", तो मेगाफोन उन निर्देशों को बढ़ा देता है ताकि अभिनेता उन पर ध्यान दें।

समस्या: "एक ही आकार सबके लिए" वाला मेगाफोन
अब तक, निर्देशकों ने इस मेगाफोन को एक निश्चित वॉल्यूम नॉब (volume knob) की तरह माना है। वे तय करते हैं, "ठीक है, हम पूरे नाटक के लिए वॉल्यूम को 10 में से 7 पर सेट करेंगे," और वे फिर इसे कभी नहीं छूते।

लेखक तर्क देते हैं कि यह एक बुरा विचार है। एक वास्तविक नाटक की तरह, जैसे-जैसे कहानी आगे बढ़ती है, ज़रूरतें बदलती हैं:

  • नाटक की शुरुआत में: आपको एक तेज़ मेगाफोन की आवश्यकता होती है ताकि आप अभिनेताओं को बुनियादी संरचना सही करने के लिए प्रेरित कर सकें (जैसे, "एक जहाज से शुरू करें," "इन 10 शब्दों को शामिल करें")।
  • बाद में: यदि आप मेगाफोन को पूरी आवाज़ पर रखते हैं, तो अभिनेता बहुत तनाव में आ सकते हैं, चिल्लाने लग सकते हैं और संवाद के प्रवाह को खराब कर सकते हैं। आपको कहानी को सांस लेने देने और स्वाभाविक लगने देने के लिए वॉल्यूम कम करने की आवश्यकता होती है।

शुरुआत से अंत तक एक ही वॉल्यूम स्तर का उपयोग करना एक समझौता (trade-off) है: या तो कहानी नियमों का पालन करती है लेकिन रोबोटिक लगती है, या यह स्वाभाविक लगती है लेकिन नियमों को अनदेखा कर देती है।

समाधान: एक स्मार्ट, सीखने वाला निर्देशक
यह पेपर एक नया दृष्टिकोण प्रस्तावित करता है: मेगाफोन के वॉल्यूम को एक निश्चित सेटिंग के रूप में न मानें; इसे एक कौशल (skill) के रूप में सीखें।

एक मानव द्वारा मैन्युअल रूप से वॉल्यूम तय करने के बजाय, लेखकों ने एक AI "असिस्टेंट डायरेक्टर" को Reinforcement Learning (इसे कुत्ते को ट्रीट देकर प्रशिक्षित करने जैसा समझें) नामक पद्धति का उपयोग करके प्रशिक्षित किया।

  1. खेल: असिस्टेंट डायरेक्टर नाटक को चरण-दर-चरण चलते हुए देखता है।
  2. क्रिया: हर चरण में, असिस्टेंट यह तय करता है कि क्या ज़ोर से चिल्लाना है (उच्च मार्गदर्शन/high guidance) या धीरे से फुसफुसाना है (कम मार्गदर्शन/low guidance)।
  3. इनाम: नाटक के बिल्कुल अंत में, असिस्टेंट को एक "ट्रीट" (स्कोर) मिलता है जो दो चीजों पर आधारित होता है: क्या अभिनेताओं ने नियमों का पालन किया? और क्या नाटक सुनने में अच्छा लगा?
  4. सीखना: कई रिहर्सल के माध्यम से, असिस्टेंट वॉल्यूम को कैसे समायोजित किया जाए, इसका एक विशिष्ट "स्क्रिप्ट" सीख जाता है। वह सीख जाता है कि "कीवर्ड" वाले नाटक के लिए, उसे शुरुआत में ज़ोर से चिल्लाना चाहिए और बाद में धीरे बोलना चाहिए। "सेंटिमेंट" (भावना) वाले नाटक के लिए (किसी को दुखी या खुश बनाने के लिए), उसे मूड सेट करने के लिए शुरुआत में ही ज़ोर से चिल्लाने की आवश्यकता हो सकती है, और फिर धीरे-धीरे धीमा होना चाहिए।

उन्होंने क्या पाया
शोधकर्ताओं ने इसे तीन अलग-अलग प्रकार के "नाटकों" पर परखा:

  1. कीवर्ड जनरेशन (Keyword Generation): एक ऐसा वाक्य लिखना जिसमें 10 विशिष्ट शब्द शामिल होने चाहिए।
  2. लंबाई नियंत्रण (Length Control): एक वाक्य को छोटा करने के लिए फिर से लिखना (मूल का 40-80%)।
  3. सेंटिमेंट ट्रांसफर (Sentiment Transfer): एक खुशहाल वाक्य को उदास वाक्य में बदलना (या इसके विपरीत) बिना अर्थ खोए।

परिणाम:

  • पुराना तरीका (निश्चित वॉल्यूम): AI या तो नियमों का खराब तरीके से पालन करता था या सुनने में बहुत बुरा लगता था।
  • नया तरीका (सीखने वाला निर्देशक): AI ने हर कार्य के लिए एक "स्वीट स्पॉट" (सही संतुलन) खोज लिया। इसने सीखा कि जब संरचना बनाई जा रही हो तो सख्त रहना है और जब विवरणों को निखारा जा रहा हो तो कोमल रहना है।
    • कीवर्ड और लंबाई के लिए, AI ने ज़ोर से शुरू करना और फिर शांत होना सीखा (एक "हम्प" या उभार जैसा आकार)।
    • सेंटिमेंट के लिए, AI ने भावना को लॉक करने के लिए बहुत ज़ोर से चिल्लाना सीखा, और फिर तुरंत धीमा हो गया।

मुख्य निष्कर्ष
यह पेपर साबित करता है कि AI टेक्स्ट जनरेशन के लिए "वॉल्यूम नॉब" एक स्थिर संख्या नहीं है जिसे आप शुरू करने से पहले चुनते हैं। यह एक गतिशील उपकरण है जो टेक्स्ट लिखे जाने के साथ बदलता है। AI को यह सिखाकर कि कब सख्त होना है और कब लचीला होना है, उन्होंने ऐसा टेक्स्ट प्राप्त किया जो निर्देशों के प्रति आज्ञाकारी भी है और पढ़ने में स्वाभाविक भी।

संक्षेप में: उन्होंने AI के कंट्रोल सेटिंग्स को एक थर्मोस्टेट (एक बार सेट करें और भूल जाएं) की तरह मानना बंद कर दिया और इसे एक कंडक्टर (संगीत को एकदम सही बनाने के लिए ऑर्केस्ट्रा के वॉल्यूम को रीयल-टाइम में एडजस्ट करना) की तरह बनाना शुरू कर दिया।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →