💬 NLP

Simplifying the Modeling of Arbitrary Conditionals in Natural Language

यह शोध पत्र आर्बिट्रेरी कंडिशनल्स जीपीटी (AC-GPT) का प्रस्ताव करता है, जो मानक कॉज़ल ट्रांसफॉर्मर्स में एक सरल संशोधन है जो मॉडल के मूल बाएँ-से-दाएँ प्रदर्शन और प्रशिक्षण दक्षता को संरक्षित करते हुए, एक ही फॉरवर्ड पास में मनमाने टेक्स्ट कंडिशनल्स (पिछले, भविष्य और मिश्रित संदर्भों सहित) से कुशल मूल्यांकन और सैंपलिंग को सक्षम बनाता है।

मूल लेखक: Yinhan Lu, Eric Elmoznino, Léo Gagnon, Sarthak Mittal, Tejas Kasetty, Guillaume Lajoie

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yinhan Lu, Eric Elmoznino, Léo Gagnon, Sarthak Mittal, Tejas Kasetty, Guillaume Lajoie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिख रहे हैं। आपके पास इसे लिखने का एक मानक तरीका है: आप एक वाक्य लिखते हैं, फिर अगला, फिर अगला। आप पहले वाक्य को बदलने के लिए पूरी चीज़ को फिर से नहीं लिख सकते और निश्चित रूप से आप बीच में क्या लिखना है यह तय करने के लिए अंत को देख भी नहीं सकते। यह अधिकांश आधुनिक AI भाषा मॉडल (जैसे कि चैटबॉट्स को चलाने वाले) काम करने का तरीका है। वे एक बहुत तेज़, बहुत बुद्धिमान लेखक की तरह हैं जो केवल उस चीज़ को देखते हैं जो वे पहले ही लिख चुके हैं ताकि अगले शब्द का निर्णय ले सकें।

यह शोध पत्र एक नई विधि पेश करता है जिसे AC-GPT (Arbitrary Conditionals GPT) कहा जाता है। सोचिए कि AC-GPT उस लेखक को एक सुपरपावर देने जैसा है: पूरी कहानी को एक साथ—अतीत, वर्तमान और भविष्य—देखने की क्षमता और कहानी के प्रवाह को तोड़े बिना उन हिस्सों को लिखने में मदद करने के लिए इसके किसी भी हिस्से का उपयोग करने की क्षमता।

यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के मुख्य विचारों का विवरण दिया गया है:

1. समस्या: "एकतरफा रास्ता"

मानक AI मॉडल (जिन्हें कॉज़ल ट्रांसफॉर्मर कहा जाता है) एक एकतरफा सड़क पर चलते हैं। वे केवल "आगे" देख सकते हैं जो उन्होंने पहले ही देख लिया है।

सीमा: यदि आप चाहते हैं कि AI कहानी के बीच में एक गायब पैराग्राफ को भरे (जिसे "इनफिलिंग" कार्य कहा जाता), या यदि आप चाहते हैं कि वह एक ऐसा वाक्य लिखे जो कहानी के अंत को देखते हुए तर्कसंगत हो, तो मानक मॉडल संघर्ष करते हैं। वे भविष्य से "पीछे" देखने या बीच से "तिरछा" देखने में आसानी से सक्षम नहीं हैं। ऐसा करने के लिए, उन्हें आमतौर पर अंधे होकर अनुमान लगाना पड़ता है या जटिल, धीमे वर्कअराउंड का उपयोग करना पड़ता है जो अक्सर अर्थहीन परिणाम देते हैं।

2. समाधान: "जादुई स्टिकी नोट"

लेखक इस समस्या को ठीक करने के लिए एक चतुर तरकीब प्रस्तावित करते हैं, बिना पूरे कार (AI मॉडल) को फिर से बनाए।

तरकीब: कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, और आपके पास पहले से ही कुछ वाक्य लिखे हुए हैं (जिसे "कंडीशनिंग" सेट कहा जाता है। आप बीच में खाली जगह को भरना चाहते हैं।
AC-GPT की चाल: केवल AI को सामान्य रूप से कहानी पढ़ने देने के बजाय, यह विधि उन ज्ञात वाक्यों की प्रतियां लेती है और उन्हें एक "चीट शीट" के रूप में पृष्ठ के बिल्कुल शुरुआत में चिपका देती है।
परिणाम: अब, AI पहले चीट शीट पढ़ता है। क्योंकि AI को अपने से पहले की हर चीज़ देखने के लिए डिज़ाइन किया गया है, वह अब उन "भविष्य" या "मध्य" के वाक्यों का उपयोग गायब हिस्सों को लिखने में मदद के लिए कर सकता है। महत्वपूर्ण बात यह है कि वह ऐसा कहानी को सामान्य बाएं-से-दाएं क्रम में लिखते हुए ही करता है।

3. यह क्यों विशेष है: "विघटन-रहित" नियम

इस समस्या को हल करने के पिछले प्रयास ऐसे थे जैसे कार के इंजन को ठीक करने के लिए पूरी कार को अलग करना और एक नई कार बनाना।

पुराने तरीके: कुछ शोधकर्ताओं ने AI को यादृच्छिक क्रम में लिखने के लिए सिखाने की कोशिश की (जैसे पहले अंतिम वाक्य लिखना, फिर पहला, फिर मध्य)। इसने AI को भ्रमित किया और इसे सामान्य कहानियाँ लिखने में और भी खराब बना दिया।
AC-GPT का लाभ: यह इंजन को बिल्कुल वैसा ही रखता है। यह AI को लिखने का कोई नया अजीब तरीका सीखने के लिए मजबूर नहीं करता है। यह केवल यह बदल देता है कि AI लिखने शुरू करने से पहले क्या देखता है। इसका मतलब है कि आप एक शक्तिशाली, प्री-ट्रेंड AI (जो पहले से ही लिखने में माहिर है) को केवल थोड़ी सी अतिरिक्त ट्रेनिंग (फाइन-ट्यूनिंग) देकर यह नई सुपरपावर दे सकते हैं, न कि एक नया मॉडल शुरू से प्रशिक्षित करके।

4. परिणाम: हर चीज़ में बेहतर

शोध पत्र ने दो मुख्य चीजों पर परीक्षण किया:

खाली स्थान भरना: जब दो ज्ञात हिस्सों के बीच गायब टेक्स्ट भरने के लिए कहा गया, तो AC-GPT ने पिछले तरीकों की तुलना में बहुत बेहतर काम किया। इसने शुरुआत और अंत दोनों से संदर्भ (context) का उपयोग किया ताकि बीच का हिस्सा तर्कसंगत लगे।
मूल कौशल बनाए रखना: सबसे महत्वपूर्ण निष्कर्ष यह है कि AI को यह सुपरपावर देने से उसके मूल कार्य में कोई कमी नहीं आई। यह अभी भी एक कहानी को शुरू से अंत तक लिखने में मानक मॉडलों जितना ही अच्छा है।

निचोड़

AC-GPT को एक लेखक को ऐसे चश्मे देने के रूप में समझें जो उन्हें पांडुलिपि के पूरे पृष्ठ को एक साथ देखने की अनुमति देते हैं, न कि केवल उस पंक्ति को जिसे वे वर्तमान में टाइप कर रहे हैं।

मानक AI: केवल उन शब्दों को देख सकता है जो उसने पहले ही टाइप कर दिए हैं।
AC-GPT: उन शब्दों को देख सकता है जो उसने टाइप किए हैं, साथ ही वे शब्द भी जो वह बाद में टाइप करेगा (यदि वे संकेत के रूप में दिए गए हों), और अंतराल को पूरी तरह से भरने के लिए उस पूर्ण चित्र का उपयोग करता है।

यह शोध पत्र सिद्ध करता है कि आप AI को टेक्स्ट का यह "सर्वज्ञ" (omniscient) दृश्य दे सकते हैं बिना उसकी स्वाभाविक रूप से लिखने की क्षमता को तोड़े, और आप यह केवल यह बदलकर कर सकते हैं कि मॉडल को टेक्स्ट कैसे प्रस्तुत किया जाता है, न कि मॉडल को फिर से आविष्कार करके।

तकनीकी सारांश: प्राकृतिक भाषा में अनिश्चित कंडीशनल्स (Arbitrary Conditionals) के मॉडलिंग को सरल बनाना

समस्या विवरण

मानक कॉज़ल ट्रांसफॉर्मर (Causal Transformers), जो आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) का आधार हैं, एक जॉइंट डिस्ट्रीब्यूशन के ऑटोरेग्रेसिव फैक्टराइजेशन ( $p(x) = \prod_t p(x_t | x_{<t})$ ) के माध्यम से अनुक्रमों (sequences) को मॉडल करते हैं। यह बाएँ-से-दाएँ (left-to-right) संरचना कुशल प्रशिक्षण और डिकोडिंग को सक्षम बनाती है, लेकिन यह मॉडल की अनिश्चित कंडीशनल्स (arbitrary conditionals) को कुशलतापूर्वक मूल्यांकन करने या उनसे नमूना लेने (sampling) की क्षमता को मौलिक रूप से सीमित कर देती है (जैसे, $p(x_{middle} | x_{past}, x_{future})$ के लिए एक सिंगल फॉरवर्ड पास में संभाव्यता की गणना करना)।

इस समस्या के मौजूदा दृष्टिकोणों में शामिल हैं:

एनी-ऑर्डर ऑटोरेग्रेसिव मॉडल्स (जैसे, XLNet, $\sigma$ -GPT): ये मॉडल आर्किटेक्चर को произво (arbitrary) टोकन क्रमों को सपोर्ट करने के लिए संशोधित करते हैं। हालाँकि, इन्हें अक्सर जटिल आर्किटेक्चरल परिवर्तनों (जैसे, डबल पोजीशनल एनकोडिंग) की आवश्यकता होती है और ये मॉडल की क्षमता को उन सभी संभावित क्रमों को सीखने में बर्बाद करते हैं जो प्राकृतिक भाषा के लिए इष्टतम नहीं हैं।
मास्क्ड लैंग्वेज मॉडल्स (MLMs): हालांकि ये द्विदिश (bidirectional) अटेंशन के लिए सक्षम हैं, लेकिन ये जॉइंट प्रोबेबिलिटी के बजाय स्वतंत्र मार्जिनल्स की संभावना को अधिकतम करते हैं, जिससे वे गैर-जनरेटिव (non-generative) हो जाते हैं और अनुक्रमिक सैंपलिंग के लिए कम्प्यूटेशनल रूप से महंगे होते हैं (पुनरावृत्ति अनमास्किंग की आवश्यकता होती है)।
डिस्क्रीट डिफ्यूजन मॉडल्स (Discrete Diffusion Models): ये अनिश्चित कंडीशनल्स से नमूना ले सकते हैं, लेकिन आम तौर पर संभाव्यता (likelihood) का कुशलतापूर्वक मूल्यांकन करने में संघर्ष करते हैं और लेफ्ट-टू-राइट इंडक्टिव बायस की कमी के कारण पर्सप्लेक्सिटी (perplexity) में ऑटोरेग्रेसिव मॉडल्स से कम प्रदर्शन करते हैं।

महत्वपूर्ण रूप से, इनमें से अधिकांश विकल्पों के लिए मॉडल्स को शून्य से प्रशिक्षित करने की आवश्यकता होती है, जिससे मौजूदा, प्री-ट्रेंड LLMs को महत्वपूर्ण आर्किटेक्चरल सर्जरी के बिना अनिश्चित कंडीशनिंग को संभालने के लिए अनुकूलित करना असंभव हो जाता है।

कार्यप्रणाली: अनिश्चित कंडीशनल्स GPT (AC-GPT)

लेखक AC-GPT का प्रस्ताव करते हैं, जो एक विधि है जो मानक कॉज़ल ट्रांसफॉर्मर्स को उनके मूल आर्किटेक्चर और प्रशिक्षण उद्देश्यों को संरक्षित करते हुए अनिश्चित कंडीशनल्स को संभालने के लिए संवर्धित (augment) करती है।

मुख्य तंत्र

AC-GPT इनपुट सीक्वेंस रिप्रेजेंटेशन में एक सरल संशोधन पेश करता है:

कंडीशनड कॉपियों के साथ संवर्धन: एक दिए गए कंडीशनल क्वेरी के लिए जहाँ एक सीक्वेंस $x$ को एक कंडीशनिंग सेट $x_c$ और एक इवैल्यूएशन सेट $x_e$ में विभाजित किया गया है, मॉडल कंडीशनिंग टोकन्स की कॉपियाँ बनाता है, जिन्हें $\bar{x}_c$ कहा जाता है।
सीक्वेंस निर्माण: इन कॉपियों को सीक्वेंस के "शुरुआत" में (वैचारिक रूप से मूल टोकन्स से पहले) रखा जाता है ताकि सीक्वेंस के अन्य सभी टोकन्स उन पर ध्यान (attend) दे सकें।
अटेंशन मास्किंग:
- $\bar{x}_c$ के भीतर: अनरिस्ट्रिक्टेड द्विदिश (bidirectional) अटेंशन का उपयोग किया जाता है, क्योंकि ये टोकन्स ज्ञात हैं और उन्हें एक-दूसरे के सापेक्ष कॉज़ल ऑर्डरिंग का पालन करने की आवश्यकता नहीं है।
- शेष सीक्वेंस: मानक कॉज़ल अटेंशन बनाए रखा जाता है। इवैल्यूएशन सेट $x_e$ के टोकन्स $\bar{x}_c$ और $x_e$ के पिछले टोकन्स पर ध्यान दे सकते हैं, लेकिन वे $x_e$ के भविष्य के टोकन्स पर ध्यान नहीं दे सकते।
पोजीशनल इंटीग्रिटी: कॉपियाँ $\bar{x}_c$ अपने मूल स्थानों के पोजीशनल एनकोडिंग को बनाए रखती हैं। यह सुनिश्चित करता है कि मॉडल मूल संदर्भ में कंडीशन किए गए टोकन्स की सापेक्ष स्थिति को समझता है।
सूचना रिसाव (Information Leakage) को रोकना: कॉपी करने का तंत्र ट्रांसफॉर्मर लेयर्स के बीच सूचना के रिसाव को रोकने के लिए महत्वपूर्ण है। कॉपी तंत्र के बिना, मानक कॉज़ल अटेंशन बाद के टोकन्स से जानकारी को बाद की लेयर्स में कंडीशनिंग टोकन्स के माध्यम से अप्रत्यक्ष रूप से प्रभावित होने की अनुमति देगा, जो चेन रूल डिकंपोजिशन का उल्लंघन करता है।

प्रशिक्षण रणनीति

उद्देश्य: मॉडल को मानक नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव (टीचर फोर्सिंग) का उपयोग करके प्रशिक्षित किया जाता है। लॉस केवल इवैल्यूएशन सेट $x_e$ के टोकन्स पर कंप्यूट किया जाता है। कंडीशनिंग टोकन्स $\bar{x}_c$ के लिए भविष्यवाणियों को अनदेखा किया जाता है।
कंडीशनिंग डिस्ट्रीब्यूशन: वास्तव में अनिश्चित क्वेरीज पर अनुमान (inference) लगाने में सक्षम बनाने के लिए, मॉडल को कंडीशनिंग सेट्स के एक डिस्ट्रीब्यूशन पर प्रशिक्षित किया जाता है। लेखक पूरी तरह से अनिश्चित क्वेरीज और स्ट्रक्चर्ड क्वेरीज (जैसे, निरंतर ब्लॉक्स) के बीच इंटरपोलेशन करके कंडीशनिंग सेट्स $x_c$ को सैंपल करते हैं। इसमें कंडीशनिंग सेट के आकार, निरंतर ब्लॉक्स की संख्या और उनके स्थानों को सैंपल करना शामिल है।

प्रमुख योगदान

आर्किटेक्चरल सादगी: AC-GPT के लिए मानक कॉज़ल ट्रांसफॉर्मर आर्किटेक्चर में कोई मौलिक परिवर्तन (जैसे, कोई डबल पोजीशनल एनकोडिंग या कस्टम अटेंशन मास्क के बिना) की आवश्यकता नहीं है। यह केवल इनपुट सीक्वेंस को संवर्धित करता है।
सिंगल-पास इवैल्यूएशन: MLMs या डिफ्यूजन मॉडल्स के विपरीत, AC-GPT एक सिंगल फॉरवर्ड पास में एक अनिश्चित कंडीशनल के जॉइंट लाइकलहुड का मूल्यांकन कर सकता है।
लेफ्ट-टू-राइट इंडक्टिव बायस का संरक्षण: इवैल्यूएशन सेट के लिए मानक नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव और कॉज़ल ऑर्डरिंग को बनाए रखकर, AC-GPT प्राकृतिक भाषा कार्यों पर मानक LLMs के मजबूत प्रदर्शन गुणों को बनाए रखता है।
फाइन-ट्यूनिंग अनुकूलता: क्योंकि आर्किटेक्चर एक मानक कॉज़ल ट्रांसफॉर्मर बना रहता है, AC-GPT अनिश्चित कंडीशनिंग क्षमताएं प्राप्त करने के लिए मौजूदा, प्री-ट्रेंड LLMs को सीधे फाइन-ट्यून करने की अनुमति देता है, जो $\sigma$ -GPT या अन्य एनी-ऑर्डर मॉडल्स के लिए संभव नहीं है जिन्हें शून्य से प्रशिक्षण की आवश्यकता होती है।

प्रयोगात्मक परिणाम

लेखकों ने Wikitext-103 और FineWeb डेटासेट्स पर AC-GPT का मूल्यांकन मानक GPT, $\sigma$ -GPT (रैंडम और टेम्पोरल वेरिएंट), MLMs (BERT), और डिफ्यूजन मॉडल्स के विरुद्ध किया।

कंडीशनल क्वेरीज पर प्रदर्शन: AC-GPT ने कंडीशनल लाइकलहुड इवैल्यूएशन और सैंपलिंग कार्यों (जैसे, इन्फिलिंग, ट्रेनिंग डिस्ट्रीब्यूशन क्वेरीज) पर बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया।
- Wikitext-103 पर, AC-GPT ने इन्फिलिंग कार्यों पर 17.1 की पर्सप्लेक्सिटी प्राप्त की, जबकि BERT की 45.4 थी और $\sigma$ -GPT-random के लिए यह पूर्ण विफलता थी।
- इसने भविष्य के संदर्भ (future context) का लाभ उठाकर ट्रेनिंग-डिस्ट्रीब्यूशन क्वेरीज पर 15–16% पर्सप्लेक्सिटी में कमी प्रदर्शित की।
मानक प्रदर्शन का संरक्षण: AC-GPT ने अनकंडीशनल (लेफ्ट-टू-राइट) जनरेशन पर प्रतिस्पर्धी प्रदर्शन बनाए रखा, जिसमें स्टैंडर्ड GPT बेसलाइन के लगभग समान पर्सप्लेक्सिटी स्कोर (जैसे, 18.4 बनाम 17.9) थे।
प्री-ट्रेंड मॉडल्स तक स्केलिंग: Qwen3 मॉडल्स (8B, 14B, 32B) और LLaMA-3.1 (8B) के साथ फाइन-ट्यूनिंग प्रयोगों में, AC-GPT LoRA एडैप्टर्स ने अनकंडीशनल प्रदर्शन को कम किए बिना कंडीशनल कार्यों पर पर्याप्त लाभ (13–15% पर्सप्लेक्सिटी कमी) प्राप्त किया। लाभ मॉडल स्केल और एडैप्टर क्षमता (LoRA बनाम फुल फाइन-ट्यूनिंग) में सुसंगत थे।
सैंपलिंग गुणवत्ता: MAUVE स्कोर ने संकेत दिया कि AC-GPT और $\sigma$ -GPT-temporal ने वैनिला GPT बेसलाइन के समान उच्च-गुणवत्ता वाले जनरेशन का उत्पादन किया, जबकि $\sigma$ -GPT-random और डिफ्यूजन मॉडल्स अक्सर कंडीशनल सेटिंग्स में असंगत टेक्स्ट या "वर्ड सलाद" में ढह गए।

महत्व और दावे

पेपर का दावा है कि AC-GPT अनिश्चित कंडीशनल्स के समस्या का एक पैराडाइम-लेवल समाधान प्रदान करता है, जो अनिश्चित कंडीशनल्स के मॉडलिंग को अनिश्चित टोकन क्रमों के मॉडलिंग से अलग करता है।

दक्षता बनाम अनुकूलता: लेखक एक ट्रेड-ऑफ को स्वीकार करते हैं: AC-GPT प्री-ट्रेंड मॉडल्स की आर्किटेक्चरल अनुकूलता प्राप्त करने के लिए प्रशिक्षण दक्षता (केवल इवैल्यूएशन सेट के माध्यम से बैकप्रोपैगेशन करके) का त्याग करता है। वे तर्क देते हैं कि यह एक अनुकूल ट्रेड-ऑफ है, विशेष रूप से प्री-ट्रेंड LLMs की व्यापकता को देखते हुए।
व्यावहारिक प्रभाव: प्राथमिक महत्व इस बात में निहित है कि यह मौजूदा, शक्तिशाली LLMs को भविष्य के संदर्भ के बारे में सोचने और टेक्स्ट इन्फिलिंग एवं एडिटिंग जैसे कार्य करने की क्षमता के साथ संवर्धित (augment) करने की अनुमति देता है, जो नए आर्किटेक्चर को शून्य से प्रशिक्षित करने की अत्यधिक लागत के बिना संभव है।
विनम्रता: लेखक नोट करते हैं कि उनका वर्तमान कार्य ज्ञात टोकन्स पर कंडीशनिंग पर केंद्रित है। वे स्पष्ट रूप से कहते हैं कि अज्ञात सेट्स के ऊपर मार्जलाइजेशन (marginalizing over unknown sets) करना (जो एक अलग प्रकार की क्वेरी है) अभी तक इस कार्य में नहीं खोजा गया है, हालांकि वे सुझाव देते हैं कि इसे एक MASK टोकन पेश करके प्राप्त किया जा सकता है। वे यह भी स्वीकार करते हैं कि उनके प्रयोग दो डेटासेट्स तक सीमित थे और भविष्य के कार्य को बड़े कॉर्पोरा और विशिष्ट डाउनस्ट्रीम अनुप्रयोगों की खोज करनी चाहिए।

संक्षेप में, AC-GPT यह प्रदर्शित करता है कि अनिश्चित कंडीशनल्स को संभालने की क्षमता के लिए सफल लेफ्ट-टू-राइट ऑटोरेग्रेसिव फ्रेमवर्क को छोड़ने की आवश्यकता नहीं है, बल्कि यह केवल एक सरल, पोजीशन-अवेयर ऑगमेंटेशन है।