← नवीनतम पेपर
💻 computer science

Agents of Diffusion: Enhancing Diffusion Language Models with Multi-Agent Reinforcement Learning for Structured Data Generation (Extended Version)

यह शोध पत्र एजेंट्स ऑफ डिफ्यूजन (AoD) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो मॉडल मापदंडों को संशोधित किए बिना, अर्थपूर्ण समृद्धि को सख्त संरचनात्मक अनुपालन के साथ जोड़कर, उच्च गुणवत्ता वाले, स्कीमा-संगत संरचित डेटा उत्पन्न करने में डिफ्यूजन लैंग्वेज मॉडल्स को निर्देशित करने के लिए मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग का लाभ उठाता है।

मूल लेखक: Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

प्रकाशित 2026-06-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही रचनात्मक लेकिन थोड़े अराजक कलाकार (एक डिफ्यूजन लैंग्वेज मॉडल) को एक विशिष्ट प्रकार का चित्र बनाना सिखाने की कोशिश कर रहे हैं: एक पूरी तरह से व्यवस्थित स्प्रेडशीट या एक JSON फ़ाइल।

यह कलाकार अद्भुत, अनूठी चीज़ें बनाने में माहिर है और रंगों को ऐसे तरीकों से मिला सकता है जो पहले कभी नहीं देखे गए। हालाँकि, उसे सख्त नियमों का पालन करने में संघर्ष करना पड़ता है। यदि आप उससे "लाल दरवाज़े और नीली छत वाला एक घर" बनाने के लिए कहते हैं, तो वह नीली छत और लाल दरवाज़े वाला घर दे सकता है, या वह दरवाज़ा बनाना ही भूल सकता है। वह सख्त प्रारूपों के लिए बहुत अधिक स्वतंत्र विचारों वाला है।

दूसरी ओर, आपके पास एक बहुत ही सख्त, नियम मानने वाला वास्तुकार (एक मानक ऑटोरिग्रेसिव LLM) है। यह वास्तुकार कभी भी नियम नहीं भूलता और हमेशा दरवाज़े को वहीं बनाता है जहाँ उसे होना चाहिए। लेकिन, वह उबाऊ है। वह बार-बार एक ही तरह का घर बनाता रहता है और उसे नए, रचनात्मक बदलाव लाने में कठिनाई होती है।

"एजेंट्स ऑफ डिफ्यूजन" (AoD) एक नई टीम-अप है जो इस समस्या को हल करता है। यह कलाकार को वास्तुकार बनने के लिए मजबूर करने या वास्तुकार को कलाकार बनने के लिए मजबूर करने की कोशिश नहीं करता है। इसके बजाय, यह एक विशेष "कोचिंग" प्रणाली का उपयोग करके एक तीन-सदस्यीय टीम बनाता है जो मिलकर काम करती है।

यह टीम कैसे काम करती है, इसे सरल उपमाओं का उपयोग करके यहाँ समझाया गया है:

1. रचनात्मक कलाकार (डिफ्यूजन मॉडल)

यह वह इंजन है जो वास्तव में डेटा बनाता है। यह उस कलाकार की तरह है जो सेकंडों में हजारों अद्वितीय घर के डिज़ाइन बना सकता है। यह विविध और रचनात्मक होने में बहुत अच्छा है, लेकिन इसे ब्लूप्रिंट का पालन करने के लिए मदद की आवश्यकता होती है।

2. सख्त वास्तुकार (जज एजेंट)

यह एक स्मार्ट कंप्यूटर प्रोग्राम है जो कलाकार के काम को देखता है। यह केवल "अच्छा" या "बुरा" नहीं कहता। इसके बजाय, यह एक समीक्षक की तरह कार्य करता है जो साधारण अंग्रेजी में बोलता है।

  • उदाहरण: गणितीय स्कोर देने के बजाय, यह कहता है, "हे, तुम एड्रेस फील्ड भूल गए, और फोन नंबर नकली लग रहा है। साथ ही, तुमने हर घर के लिए एक ही नाम का उपयोग किया है। थोड़ा और अनूठा होने का प्रयास करें।"

3. कोच (प्रॉम्ट ऑप्टिमाइज़र एजेंट)

यह बीच का व्यक्ति है। यह वास्तुकार की आलोचना को सुनता है और कलाकार से बात करता है।

  • जादू: कोच केवल कलाकार को "अधिक प्रयास करने" के लिए नहीं कहता। यह फीडबैक के आधार पर निर्देशों (एक "प्रॉम्ट") को फिर से लिखता है।
  • उदाहरण: कोच निर्देश को "एक घर बनाओ" से बदलकर "एक JSON घर बनाओ जिसमें एक अनूठा नाम, एक वास्तविक पता और इस विशिष्ट प्रारूप में एक फोन नंबर हो" कर देता है।

वे एक साथ कैसे सीखते हैं (रीइन्फोर्समेंट लूप)

पेपर एक चक्र का वर्णन करता है जो बार-बार होता है:

  1. कलाकार वर्तमान निर्देशों के आधार पर एक घर बनाता है।
  2. वास्तुकार उसके काम को देखता है और एक नोट लिखता है: "छत का रंग गलत है, और आप चिमनी बनाना भूल गए।"
  3. कोच नोट को पढ़ता है और अगले दौर के लिए निर्देशों को अपडेट करता है।
  4. कलाकार नए निर्देशों के साथ फिर से प्रयास करता है।

यह कई बार होता है। कलाकार नियमों का पालन करने में बेहतर होता जाता है बिना अपनी रचनात्मकता खोए, और कोच सही निर्देश देने में बेहतर होता जाता है। महत्वपूर्ण बात यह है कि कलाकार का दिमाग कभी नहीं बदलता (इसका आंतरिक कोड स्थिर रहता है)। केवल निर्देश बदलते हैं। इसका मतलब है कि यह प्रणाली बहुत कुशल है और इसे कलाकार को फिर से प्रशिक्षित करने के लिए भारी सुपरकंप्यूटरों की आवश्यकता नहीं है।

यह एक बड़ी बात क्यों है

पेपर ने चार अलग-अलग चुनौतियों (जैसे यात्रा बुकिंग डेटा बनाना या कठिन प्रश्नों के उत्तर देना) पर इस टीम का परीक्षण किया। यहाँ उन्होंने क्या पाया:

  • "स्वीट स्पॉट" (सही संतुलन): पिछली विधियाँ या तो बहुत रचनात्मक थीं (अव्यवस्थित नियम) या बहुत सख्त (उबाऊ दोहराव)। इस टीम ने दोनों हासिल किया: डेटा संरचनात्मक रूप से पूर्ण था (एक वास्तविक JSON फ़ाइल की तरह) लेकिन भी अत्यधिक विविध (कोई भी दो प्रविष्टियाँ एक जैसी नहीं थीं) था।
  • धोखाधड़ी नहीं: टीम ने यह सुनिश्चित किया कि कलाकार केवल उत्तरों की नकल नहीं कर रहा है (याद करना)। उन्होंने एक "फील्ड ओवरलैप" परीक्षण का उपयोग किया, जो यह जाँचने जैसा है कि क्या कलाकार केवल होमवर्क के उत्तरों की नकल कर रहा है। टीम के कलाकार ने नियमों का पालन करते हुए भी अद्वितीय उत्तर बनाए।
  • सुलभ: आपको इसे चलाने के लिए अरबों डॉलर के डेटा सेंटर की आवश्यकता नहीं है। टीम ने इसे एक मानक, उच्च-स्तरीय उपभोक्ता कंप्यूटर (जैसे एक शक्तिशाली गेमिंग पीसी) पर चलाया और यह उतना ही अच्छा काम करता है जितना कि महंगे क्लाउड सर्वर का उपयोग करने पर।

निष्कर्ष

पेपर का दावा है कि प्राकृतिक भाषा फीडबैक (AI से बात करना) और एक मल्टी-एजेंट टीम (एक कोच, एक समीक्षक और एक कलाकार) का उपयोग करके, आप दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं: डिफ्यूजन मॉडल की जंगली रचनात्मकता और नियम-पालन करने वाले मॉडलों का सख्त अनुशासन।

वे इसे "एजेंट्स ऑफ डिफ्यूशन" कहते हैं। यह एक रचनात्मक निर्देशक, एक सख्त संपादक और एक प्रतिभाशाली लेखक को मिलकर काम करने के लिए काम पर रखने जैसा है, जिससे यह सुनिश्चित होता है कि अंतिम कहानी व्याकरण की दृष्टि से भी सटीक और ताज़ा, रोमांचक विचारों से भरी हो।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →