💬 NLP

Transducing Language Models

यह शोध पत्र पूर्व-प्रशिक्षित मॉडलों को नियतात्मक परिमित-अवस्था ट्रांसड्यूसरों (deterministic finite-state transducers) के साथ संयोजित करके नए भाषा मॉडल प्राप्त करने के लिए एक सामान्य ढांचे का परिचय देता है, जो बिना पुन: प्रशिक्षण के आउटपुट को बाइट्स, शब्दों या अमीनो एसिड जैसे विविध स्वरूपों में अनुकूलित करने के लिए कुशल संभाव्यता मार्गीकरण (probability marginalization) और अनुकूलन (conditioning) को सक्षम बनाता है।

मूल लेखक: Vésteinn Snæbjarnarson, Samuel Kiegeland, Tianyu Liu, Reda Boumasmoud, Ryan Cotterell, Tim Vieira

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vésteinn Snæbjarnarson, Samuel Kiegeland, Tianyu Liu, Reda Boumasmoud, Ryan Cotterell, Tim Vieira

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, उच्च प्रशिक्षित शेफ (एक भाषा मॉडल - Language Model) है जो एक विशिष्ट प्रकार के व्यंजन बनाने में विशेषज्ञ है। मान लीजिए कि वह शेफ केवल "उप-शब्द सामग्री" (जैसे "flour," "sugar," और "baking-powder") में ही बात करना जानता है।

हालाँकि, रेस्टोरेंट का मालिक (एक डाउनस्ट्रीम एप्लिकेशन) इस व्यंजन को एक अलग प्रारूप में परोसना चाहता है। शायद मालिक चाहता है कि रेसिपी "पूरे शब्दों" (जैसे "cake") में लिखी जाए, या शायद वह इसे पूरी तरह से एक अलग भाषा में अनुवादित करना चाहता है, जैसे "DNA अनुक्रम" या "बाइट्स" (कंप्यूटर का कच्चा कोड)।

आमतौर पर, यदि आप शेफ से बस "इसे अलग तरीके से लिखने" के लिए कहते हैं, तो वे भ्रमित हो जाते हैं। वे शब्दों में इन सामग्रियों को जबरदस्ती फिट करने की कोशिश कर सकते हैं, लेकिन गणित गड़बड़ा जाता है। अंत में आपको एक ऐसी रेसिपी मिलती है जो कहती है "आधा केक" या "एक चौथाई बाइट," जिसका कोई अर्थ नहीं निकलता।

यह पेपर एक "यूनिवर्सल ट्रांसलेटर" (एक ट्रांसड्यूसर) पेश करता है जो शेफ और मालिक के बीच में बैठता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में तोड़कर यहाँ समझाया गया है:

1. समस्या: "बेमेल होना" (The Mismatch)

आधुनिक AI मॉडल अगले "टोकन" (पाठ का एक हिस्सा) की भविष्यवाणी करने के लिए प्रशिक्षित होते हैं। लेकिन ये टोकन अक्सर अजीब होते हैं।

उदाहरण: शब्द "hello" को "he" और "llo" में तोड़ा जा सकता है।
समस्या: यदि आप चाहते हैं कि AI अगले अक्षर (h, e, l, l, o) की भविष्यवाणी करे न कि अगले टुकड़े की, तो AI सीधे यह नहीं कर पाता। यह ऐसा है जैसे किसी ऐसे शेफ से अंग्रेजी में मेनू लिखने के लिए कहना जो केवल फ्रेंच जानता है, बिना किसी डिक्शनरी के।

2. समाधान: "अनुवादक मशीन" (FST)

लेखकों ने एक मशीन बनाई है जिसे फाइनाइट-स्टेट ट्रांसड्यूसर (FST) कहा जाता है। इसे एक बहुत ही स्मार्ट, नियम-आधारित कन्वेयर बेल्ट के रूप में समझें।

इनपुट: AI का कच्चा आउटपुट (उप-शब्द के टुकड़े)।
मशीन: नियमों का एक सेट जो कहता है, "यदि आप 'he' के बाद 'llo' देखते हैं, तो उन्हें 'hello' बनाने के लिए आपस में जोड़ दें।" या, "यदि आप DNA कोड 'ATG' देखते हैं, तो उसे अमीनो एसिड 'Methionine' में बदल दें।"
आउटपुट: साफ, वांछित प्रारूप (शब्द, बाइट्स, या प्रोटीन)।

3. जादू का मंत्र: "संभाव्यता गणित" (Probability Math)

यहाँ पेचीदा हिस्सा है। यदि AI कहता है कि "he" की 50% संभावना है और "llo" की 50% संभावना है, तो हमें कैसे पता चलेगा कि संयुक्त शब्द "hello" की संभावना क्या है?

पुराना तरीका: आपको अनुमान लगाना पड़ता, या इस नए प्रारूप को सीखने के लिए पूरे AI को फिर से प्रशिक्षित (retrain) करना पड़ता। यह महंगा और धीमा है।
नया तरीका (यह पेपर): लेखकों ने सभी संभावनाओं को जोड़ने (sum up) का एक गणितीय तरीका खोज निकाला है।
- कल्पना कीजिए कि AI "hello" लिखने के लिए पासे (dice) फेंक रहा है। "hello" शब्द बनाने के कई तरीके हो सकते हैं (जैसे "h" + "ello", "he" + "llo", "hel" + "lo")।
- "अनुवादक मशीन" एक सुपर-साइंटिस्ट की तरह कार्य करती है। यह देखती है कि AI ने "hello" बनाने के लिए कितने भी संभावित रास्तों का उपयोग किया होगा, उन सभी रास्तों की संभावनाओं को जोड़ती है, और आपको "hello" आने की वास्तविक संभावना बताती है।

4. "भागफल और शेषफल" (The Quotient and Remainder - एक शॉर्टकट)

हर एक रास्ते की गणना करना असंभव है क्योंकि वे बहुत अधिक हैं (जैसे समुद्र तट पर रेत के हर कण को गिनने की कोशिश करना)।

उपमा: कल्पना कीजिए कि आप एक जार में पैसे गिन रहे हैं। हर एक पैसे को अलग-अलग गिनने के बजाय, आप उन्हें समूहों में बांट देते हैं।
- भागफल (The Quotient): ये "सुरक्षित दांव" हैं। यदि AI "he" कहता है, तो हम निश्चित रूप से जानते हैं कि कोई भी अंत एक वैध शब्द होगा जो "he" से शुरू होता है। हमें बाकी की जांच करने की आवश्यकता नहीं है; हम बस पूरे समूह को गिन लेते हैं।
- शेषफल (The Remainder): ये "जटिल मामले" (edge cases) हैं। हो सकता है कि AI ने "he" कहा हो, लेकिन यदि अगला अक्षर "x" है, तो यह एक शब्द नहीं होगा। हमें इन विशिष्ट, पेचीदा रास्तों की व्यक्तिगत रूप से जांच करनी होगी।
परिणाम: लेखकों ने एक ऐसा एल्गोरिदम बनाया है जो तेजी से "सुरक्षित दांव" को "जटिल मामलों" से अलग करता है। यह उन्हें रेत के हर कण को बिना जांचे, लगभग तुरंत उत्तर की गणना करने में सक्षम बनाता है।

5. यह क्यों महत्वपूर्ण है (वास्तविक दुनिया के उदाहरण)

इस पेपर ने तीन अलग-अलग "शेफ" पर इसका परीक्षण किया:

टेक्स्ट से बाइट्स (Text to Bytes): एक ऐसे मॉडल को बदलना जो "टुकड़ों" में बोलता है, एक ऐसे मॉडल में जो कच्चे कंप्यूटर कोड (बाइट्स) में बोलता है। यह स्पेलिंग की गलतियों को ठीक करने या यह समझने के लिए बेहतरीन है कि कंप्यूटर वास्तव में टेक्स्ट को कैसे देखता है।
टेक्स्ट से शब्द (Text to Words): एक ऐसे मॉडल को बदलना जो "टुकड़ों" में बोलता है, एक ऐसे मॉडल में जो उचित "शब्दों" (जैसे एक डिक्शनरी) में बोलता है। यह मनोविज्ञान अनुसंधान के लिए महत्वपूर्ण है ताकि यह समझा जा सके कि मनुष्य कैसे पढ़ते हैं।
DNA से प्रोटीन (DNA to Proteins): एक ऐसे मॉडल को बदलना जो DNA अक्षरों (A, C, G, T) को पढ़ता है, एक ऐसे मॉडल में जो परिणामी प्रोटीन (जीवन के निर्माण खंड) की भविष्यवाणी करता है। यह जीव विज्ञानियों को AI को फिर से प्रशिक्षित किए बिना नई दवाएं डिजाइन करने में मदद करता है।

निचोड़ (The Bottom Line)

यह पेपर किसी भी AI के लिए एक यूनिवर्सल एडाप्टर देने जैसा है।

पहले: यदि आप चाहते थे कि कोई AI एक अलग "भाषा" (प्रारूप) बोले, तो आपको एक नया AI शुरू से बनाना पड़ता था।
अब: आप किसी भी मौजूदा AI को ले सकते हैं, इस "अनुबंधक मशीन" को प्लग कर सकते हैं, और तुरंत एक नया AI प्राप्त कर सकते हैं जो बिल्कुल उसी प्रारूप में बोलता है जिसकी आपको आवश्यकता है, जिसके पीछे सटीक गणित है, और वह भी बिना एक भी न्यूरॉन को फिर से प्रशिक्षित किए।

यह शक्तिशाली AI मॉडलों को लचीला (flexible) और अनुकूलन योग्य (adaptable) बनाने का एक तरीका है, चाहे वह काम कोड लिखना हो, DNA का अनुवाद करना हो, या बस बेहतर अंग्रेजी लिखना हो।

यहाँ शोध पत्र "Transducing Language Models" (Snæbjarnarson et al. द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: स्ट्रिंग मिसमैच (String Mismatch) की समस्या

आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) टोकन अनुक्रमों (अक्सर सबवर्ड यूनिट्स जैसे कि बाइट-पेयर एनकोडेड टोकन) पर संभाव्यता वितरण (probability distributions) को परिभाषित करते हैं। हालाँकि, डाउनस्ट्रीम अनुप्रयोगों को अक्सर अलग-अलग प्रारूपों में आउटपुट की आवश्यकता होती है, जैसे कि:

कैरेक्टर्स/बाइट्स (Characters/Bytes): साइकोलिंग्विस्टिक्स, स्पेलिंग सुधार, या लो-लेवल कंट्रोल के लिए।
शब्द (Words): भाषाई विश्लेषण के लिए जिसमें ऑर्थोग्राफिक सीमाओं (जैसे कि Penn Treebank दिशानिर्देश) की आवश्यकता होती है।
अमीनो एसिड (Amino Acids): कम्प्यूटेशनल बायोलॉजी के लिए (DNA अनुक्रमों को प्रोटीन अनुक्रमों में बदलना)।

मुख्य चुनौती:
यद्यपि रूपांतरित वितरण (transformed distribution) से सैंपलिंग करना सरल है (एक टोकन अनुक्रम सैंपल करें, फिर रूपांतरण लागू करें), अन्य ऑपरेशन गणनात्मक रूप से कठिन (intractable) हो जाते हैं। विशेष रूप से:

स्कोरिंग (Scoring): एक विशिष्ट रूपांतरित स्ट्रिंग $P(y)$ की प्रायिकता की गणना करने के लिए उन सभी स्रोत स्ट्रिंग्स $x$ की प्रायिकता को जोड़ना आवश्यक है जो $y$ में मैप होती हैं (प्रीइमेज $f^{-1}(y)$ )। यह सेट घातांकीय रूप से बड़ा या अनंत हो सकता है।
कंडीशनिंग (Conditioning): वर्तमान लक्ष्य प्रीफिक्स (target prefix) के लिए अगले सिंबल का वितरण $P(y_{t+1} | y_{1:t})$ कंप्यूट करने के लिए उन सभी सोर्स प्रीफिक्स पर मार्जिनलाइजेशन (marginalization) की आवश्यकता होती है जो वर्तमान लक्ष्य तक मैप होते हैं।
अनुकूलन (Adaptation): मौजूदा समाधान अक्सर एड-हॉक पोस्ट-प्रोसेसिंग या रिट्रेनिंग पर निर्भर करते हैं, जो कम्प्यूटेशनल रूप से महंगा है और मूल मॉडल के सीखे हुए वितरण को खो देता है।

2. कार्यप्रणाली: ट्रांसड्यूस्ड लैंग्वेज मॉडल्स (Transduced Language Models)

लेखक एक ढांचा प्रस्तावित करते हैं जहाँ एक ट्रांसड्यूस्ड लैंग्वेज मॉडल ( $p_Y$ ) को एक सोर्स लैंग्वेज मॉडल ( $p_X$ ) और एक नियत स्ट्रिंग-टू-स्ट्रिंग रूपांतरण ( $f$ ) के संयोजन के रूप में परिभाषित किया जाता है, जिसे एक फाइनाइट-स्टेट ट्रांसड्यूसर (FST) के रूप में एनकोड किया जाता है।

$p_Y(y) = \sum_{x \in f^{-1}(y)} p_X(x)$

इसे कम्प्यूटेशनल रूप से व्यवहार्य बनाने के लिए, पेपर एक प्रिफिक्स डिकंपोज़िशन (Prefix Decomposition) रणनीति पेश करता है।

A. सैद्धांतिक ढांचा (Theoretical Framework)

स्रोत स्ट्रिंग्स के अनंत सेट पर योग करने के बजाय, लेखक प्रीकवर $P(y)$ (स्रोत स्ट्रिंग्स $x$ का सेट जहाँ $y$ , $f(x)$ का एक प्रीफिक्स है) को दो विलगित (disjoint) सेटों में विभाजित करते हैं:

क्वोटिएंट (Quotient - $Q(y)$ ): एक प्रीफिक्स-फ्री सेट ऑफ सोर्स स्ट्रिंग्स जहाँ प्रत्येक एक्सटेंशन (extension) एक ऐसी स्ट्रिंग पर मैप होता है जो $y$ से शुरू होती है। इन स्ट्रिंग्स के लिए, योगदान सोर्स मॉडल का प्रीफिक्स प्रोबेबिलिटी ( $\vec{p}_X(x)$ ) है।
रेमेन्डर (Remainder - $R(y)$ ): उन सोर्स स्ट्रिंग्स का एक सेट जो ठीक $y$ (या $y$ के प्रीफिक्स) पर मैप होते हैं लेकिन सभी एक्सटेंशन को कवर नहीं करते हैं। इनके लिए, योगदान स्ट्रिंग प्रोबेबिलिटी ( $p_X(x)$ ) है।

लक्ष्य की प्रीफिक्स प्रोबेबिलिटी इस प्रकार है:
$\vec{p}_Y(y) = \sum_{x \in Q(y)} \vec{p}_X(x) + \sum_{x \in R(y)} p_X(x)$

B. एल्गोरिदम

पेपर FST की संरचना का उपयोग करके $Q(y)$ और $R(y)$ को कुशलतापूर्वक कंप्यूट करने के लिए एल्गोरिदम विकसित करता है:

सटीक डिकंपोज़िशन (Exact Decomposition - BFS):
- एल्गोरिदम सोर्स स्ट्रिंग्स पर एक ब्रैडथ-फर्स्ट सर्च (BFS) करता है।
- यह एक "फ्रंटियर" (frontier) ऑफ ट्रांसड्यूसर स्टेट्स और आउटपुट बफ़र्स को बनाए रखता है।
- प्रत्येक कैंडिडेट स्ट्रिंग $x$ $x$ के लिए, यह तीन जाँच करता है:
  - क्या यह सिलेंडर (Cylinder) है? क्या $x$ का प्रत्येक एक्सटेंशन एक ऐसी स्ट्रिंग पर मैप होता है जो $y$ से शुरू होती है? यदि हाँ, तो $x \in Q(y)$ ।
  - क्या यह मेंबर (Member) है? क्या $x$ स्वयं एक ऐसी स्ट्रिंग पर मैप होता है जो $y$ से शुरू होती है? यदि हाँ (और सिलेंडर नहीं है), तो $x \in R(y)$ ।
  - क्या यह लाइव (Live) है? क्या $x$ को अंततः $y$ को कवर करने के लिए विस्तारित किया जा सकता है? यदि नहीं, तो इसे हटा दें (prune)।
- ऑप्टिमाइज़ेशन: एल्गोरिदम विशाल डिटरमिनिस्टिक ऑटोमेटन के स्पष्ट निर्माण से बचने के लिए लेज़ी डिटरमिनिज़ेशन (Lazy Determinization) और फ्रंटियर-आधारित चेक्स का उपयोग करता है। यह $x$ को तुरंत सिलेंडर के रूप में वर्गीकृत करने के लिए IP-यूनिवर्सलिटी शॉर्टकट्स (Input-Projection Universal states) का भी उपयोग करता है।
प्रूनिंग के माध्यम से सन्निकटन (Approximation via Pruning):
- जब डिकंपोज़िशन बहुत बड़ा हो जाता है, तो एल्गोरिदम कैंडिडेट को उनके सोर्स प्रीफिक्स प्रोबेबिलिटी के आधार पर सॉर्ट करता है और कम संचयी द्रव्यमान (cumulative mass) वाले स्ट्रिंग्स को हटा देता है (जिसे थ्रेशोल्ड $\tau$ द्वारा नियंत्रित किया जाता है)।
- यह संभाव्यता का एक निचला स्तर (lower bound) प्रदान करता है, और जैसे-जैसे $\tau \to 0$ होता है, त्रुटि समाप्त हो जाती है।
फाइनाइटनेस कंडीशंस (Finiteness Conditions):
- पेपर सिद्ध करता है कि यदि ट्रांसड्यूसर स्ट्रिक्ट-प्रीफिक्स मोनोटोन (जैसे, टोकन-टू-बाइट) है, तो रेमेन्डर खाली होता है और क्वोटिएंट सीमित होता है।
- गैर-मोनोटोन रूपांतरणों (जैसे, Penn Treebank टोकनाइजेशन) के लिए, पेपर IP-यiversal states और फाइनाइट क्लोजर से जुड़ी पर्याप्त शर्तें (सुरक्षा/Safety) प्रदान करता है ताकि फाइनाइट डिकंपोज़िशन सुनिश्चित किया जा सके।

3. मुख्य योगदान

औपचारिक ढांचा (Formal Framework): नियत स्ट्रिंग-टू-स्ट्रिंग रूपांतरणों से प्राप्त भाषा मॉडलों की एक कठोर परिभाषा, जो रूपांतरण को केवल एक पोस्ट-प्रोसेसिंग स्टेप के बजाय एक प्रथम-श्रेणी के घटक के रूप में मानती है।
कुशल एल्गोरिदम:
- क्वोटिएंट-रेमेन्डर डिकंपोज़िशन के माध्यम से प्रीफिक्स प्रोबेबिलिटी और नेक्स्ट-टोकन डिस्ट्रीब्यूशन की गणना करने के लिए एक सटीक एल्गोरिदम।
- प्रोबेबिलिटी-मास प्रूनिंग का उपयोग करने वाला एक व्यावहारिक सन्निकटन (approximation) एल्गोरिदम।
- लेज़ी डिटरमिनिज़ेशन, फ्रंटियर ट्रैकिंग, और IP-यूनिवर्सल शॉर्टकट्स जैसे ऑप्टिमाइज़ेशन जो इन्फरेंस की गति को काफी बढ़ा देते हैं।
सैद्धांतिक विश्लेषण: सटीक डिकंपोज़िशन कब संभव है (फाइनाइटनेस कंडीशंस) और प्रीफिक्स मोनोटोनिटी तथा डिकंपोज़िशन साइज के बीच संबंध का लक्षण वर्णन।
इंटरऑपरेबिलिटी (Interoperability): परिणामी ट्रांसड्यूस्ड मॉडल मानक ऑटोरेग्रेसिव इंटरफेस (नेक्स्ट-सिंबल डिस्ट्रीब्यूशन) को बनाए रखते हैं, जिससे उन्हें किसी भी सिस्टम के साथ उपयोग किया जा सकता है जो मानक LLMs के लिए डिज़ाइन किया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने GPT-2, LLaMA 3, और Phi-4 जैसे मॉडलों का उपयोग करके तीन अलग-अलग डोमेन पर इस ढांचे का मूल्यांकन किया:

टोकन्स से बाइट्स (Tokens to Bytes):
- परिणाम: सटीक बेसलाइन्स (जेन्सन-शैनन डायवर्जेंस < $10^{-4}$ ) के लगभग समान वितरण प्राप्त किया (मध्यम प्रूनिंग $\tau \le 10^{-3}$ के साथ)।
- परफॉरमेंस: प्रूनिंग थ्रेशोल्ड के आधार पर थ्रूपुट ~1 से 80 बाइट्स/सेकंड तक रहा।
- अवलोकन: यह रूपांतरण स्ट्रिक्ट-प्रीफिक्स मोनोटोन है, जिसके परिणामस्वरूप खाली रेमेन्डर और उच्च दक्षता मिलती है।
टोकन्स से ऑर्थोग्राफिक वर्ड्स (Penn Treebank):
- परिणाम: संदर्भ-संवेदनशील शब्द सीमाओं (जैसे, "Dr." बनाम "3.50" को संभालना) को सफलतापूर्वक मॉडल किया।
- चुनौती: यह रूपांतरण प्रीफिक्स मोनोटोन नहीं है, जिससे गैर-खाली रेमेन्डर और बड़े डिकंपोज़िशन साइज मिलते हैं।
- परफॉरमेंस: रेमेन्डर सेट की जटिलता के कारण टोकन-टू-बाइट की तुलना में कम थ्रूपुट, लेकिन फिर भी व्यवहार्य।
DNA से अमीनो एसिड (DNA to Amino Acids):
- परिणाम: एक DNA लैंग्वेज मॉडल को अमीनो एसिड मॉडल में बदला।
- चुनौती: यह मैपिंग कॉम्बिनेटोरियल है (3 न्यूक्लियोटाइड्स $\to$ 1 अमीनो एसिड), जिससे कैंडिडेट सेट तेजी से बढ़ता है।
- शमन (Mitigation): कैंडिडेट-सेट कैपिंग ( $n_{max}$ ) के साथ प्रूनिंग का उपयोग किया गया।
- परफॉरमेंस: प्रदर्शित किया कि जैविक अनुक्रम मॉडलिंग के लिए व्यावहारिक सन्निकटन पर्याप्त हैं।

मुख्य निष्कर्ष: प्रस्तावित सन्निकटन (प्रूनिंग) सटीक गणना की तुलना में बहुत कम कम्प्यूटेशनल लागत पर उच्च-गुणवत्ता वाले अनुमान (कम JSD) प्रदान करता है।

5. महत्व और प्रभाव

रिट्रेनिंग-मुक्त अनुकूलन (Retraining-Free Adaptation): यह अभ्यासकर्ताओं को फाइन-ट्यूनिंग या रिट्रेनिंग की लागत के बिना शक्तिशाली प्री-ट्रेंड मॉडल्स को विशिष्ट आउटपुट यूनिट्स (बाइट्स, वर्ड्स, प्रोटीन्स) के अनुकूल बनाने की अनुमति देता है।
सैद्धांतिक एकीकरण: यह संभाव्यता आधारित लैंग्वेज मॉडलिंग और फॉर्मल लैंग्वेज थ्योरी (फाइनाइट-स्टेट ट्रांसड्यूसर) के बीच के अंतर को पाटता है, जो "स्ट्रिंग मिसमैच" को संभालने का एक सिद्धांतवादी तरीका प्रदान करता है।
अनुप्रयोग:
- साइकोलिंग्विस्टिक्स: सबवर्ड मॉडल्स से वर्ड-लेवल सरप्राइज़ल (surprisal) की सटीक गणना सक्षम बनाता है।
- बायोइंफॉर्मेटिक्स: अमीनो एसिड अनुक्रमों पर रिट्रेनिंग के बिना प्रोटीन डिजाइन और विश्लेषण के लिए LLMs के उपयोग को सुगम बनाता है।
- नियंत्रित जनरेशन (Controlled Generation): उपयुक्त FSTs के साथ संयोजन करके आउटपुट बाधाओं (जैसे, वैध रासायनिक सूत्र, विशिष्ट व्याकरणिक संरचनाएं) का सख्त पालन सुनिश्चित करता है।
भविष्य की दिशाएं: यह LLM अनुकूलन के लिए फाइनाइट-स्टेट विधियों के लाभ उठाने का मार्ग खोलता है, जिसमें प्रॉम्प्ट के कई वैध व्याख्याओं पर मार्जिनलाइजेशन के संभावित अनुप्रयोग शामिल हैं।

संक्षेप में, यह शोध पत्र मौजूदा लैंग्वेज मॉडल्स को "ट्रांसड्यूस" करने के लिए एक गणितीय रूप से सुदृढ़ और कम्प्यूटेशनल रूप से कुशल टूलकिट प्रदान करता है, जिससे वे विशिष्ट डाउनस्ट्रीम अनुप्रयोगों की आवश्यकता वाली "भाषा" बोल सकें और अपने मूल संभाव्यता ज्ञान को सुरक्षित रख सकें।