📊 statistics

Elicitation without Backpropagation: Steering Model Behavior by Optimizing the Latent Posterior

यह शोध पत्र पोस्टीरियर प्रीफिक्स ट्यूनिंग (PPT) प्रस्तुत करता है, जो एक नवीन विधि है जो अपेक्षित उपयोगिता को अधिकतम करने के लिए प्रॉम्प्ट वितरणों को अनुकूलित करने के माध्यम से बेयस-फ़िल्टर्ड ट्रांसफॉर्मर से विशिष्ट व्यवहार उत्पन्न करती है, जिससे अनुकूलन के दौरान बैकप्रोपैगेशन या अतिरिक्त ट्रांसफॉर्मर फॉरवर्ड पासेस की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Garrett Baker, Vinayak Pathak, Daniel Murfet, Susan Wei

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Garrett Baker, Vinayak Pathak, Daniel Murfet, Susan Wei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कहानी सुनाना सिखाने की कोशिश कर रहे हैं। आप उसे केवल तथ्य नहीं देते; आप उसे एक "प्रॉम्ट" (prompt) देते हैं, एक छोटी शुरुआती वाक्य जैसे "एक समय की बात है..." और फिर देखते हैं कि आगे क्या होता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो वे AI चैटबॉट्स हैं जो कविताएँ, कोड और चुटकुले लिख सकते हैं। लेकिन यहाँ पेचीदा बात यह है कि ये रोबोट केवल चीज़ों को "जानते" नहीं हैं; वे वास्तव में एक विशाल अनुमान लगाने वाला खेल (guessing game) खेल रहे होते हैं। वे आपके द्वारा दिए गए शब्दों को देखते हैं और उन छिपे हुए नियमों के आधार पर अगले शब्द का अनुमान लगाने की कोशिश करते हैं जो उन्होंने प्रशिक्षण के दौरान सीखे हैं।

वैज्ञानिकों ने पाया है कि ये रोबोट एक रहस्य सुलझाने वाले जासूस की तरह काम करते हैं। जैसे ही रोबोट आपका प्रॉम्ट पढ़ता है, वह इस बारे में अपने "विश्वास" (belief) को अपडेट करता है कि आप किस तरह की कहानी सुनाना चाहते हैं। यह ऐसा है जैसे रोबोट के पास हजारों अलग-अलग "कहानीकारों" (कुछ जिन्हें सुखद अंत पसंद है, कुछ जिन्हें हॉरर पसंद है, कुछ जिन्हें गणित पसंद है) की एक मानसिक लाइब्रेरी है, और आपका प्रॉम्ट यह तय करने में मदद करता है कि अभी किस कहानीकार को सुनना है। इसे लेटेंट पोस्टीरियर मॉडल (latent posterior model) कहा जाता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम रोबोट को एक विशिष्ट कहानीकार चुनने के लिए मजबूर कर सकते हैं ताकि वह बिल्कुल वैसा ही कहे जैसा हम चाहते हैं, भले ही वह कोई अजीब या खतरनाक चीज़ हो? इसे एलिसिटेशन प्रॉब्लम (elicitation problem) कहा जाता है। यह एक जादुई मंत्र (प्रॉम्ट) खोजने की कोशिश करने जैसा है जिससे जिनी (genie) आपकी एक विशिष्ट इच्छा पूरी करे, लेकिन जिनी एक 'ब्लैक बॉक्स' है, और संभावित मंत्रों का स्थान इतना विशाल है कि उन्हें एक-एक करके जांचना संभव नहीं है।

भारी मेहनत के बिना जादुई मंत्र

इस शोध पत्र में, गैरेट बेकर, टिमेअस, विनायक पाठक, डैनियल मर्फ़ेट और सुसान वे नाम की शोधकर्ताओं की एक टीम एक चतुर नया तरीका पेश करती है जिससे वे उन जादुic मंत्रों को खोज सकें। वे अपने इस तरीके को पोस्टीरियर प्रीफिक्स ट्यूनिंग (Posterior Prefix Tuning - PPT) कहते हैं।

आमतौर पर, जब लोग किसी AI को एक निश्चित तरीके से व्यवहार करने के लिए प्रेरित करने हेतु सही प्रॉम्ट खोजने की कोशिश करते हैं, तो वे ग्रीडी कोऑर्डिनेट ग्रेडिएंट (Greedy Coordinate Gradient - GCF) नामक एक ब्रूट-फोर्स (brute-force) विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक विशिष्ट गाना खोजने के लिए रेडियो को ट्यून करने की कोशिश कर रहे हैं। GCG विधि रेडियो के डायल को एक बार में एक बहुत छोटे कदम से घुमाने, शोर सुनने, वापस घुमाने, दूसरी दिशा में घुमाने, फिर से सुनने और इसे हजारों बार दोहराने जैसी है। यह काम तो करता है, लेकिन यह धीमा है और इसके लिए हर बार थोड़ा सा बदलाव करने पर रोबोट को "सोचना" (एक गणना चलाना) पड़ता है।

इस शोध पत्र के लेखक कहते हैं, "ठहरिए! हमें हर बार रेडियो सुनने की ज़रूरत नहीं है।" उन्होंने महसूस किया कि क्योंकि रोबोट अनिवार्य रूप से अपने विश्वास को अपडेट करने वाला एक जासूस है, हम रेडियो को पूरी तरह से छोड़ सकते हैं। रोबोट को एक कहानी उत्पन्न करने के लिए कहने और फिर यह जाँचने के बजाय कि क्या वह अच्छी है, उन्होंने सीधे रोबोट की मानसिक लाइब्रेरी (latent posterior) को देखने का निर्णय लिया।

"एक-बार" की लाइब्रेरी यात्रा

यहाँ जादुई ट्रिक है: शोधकर्ता पहले रोबोट को बिना किसी विशिष्ट प्रॉम्ट के कई रैंडम कहानियाँ सुनाने के लिए कहते हैं। इन रैंडम कहानियों से, वे रोबोट की पूरी मानसिक लाइब्रेरी का एक मानचित्र (map) बनाते हैं। वे पता लगाते हैं कि लाइब्रेरी में कौन से "कहानीकार" (latent models) हैं और रोबोट उनके चुने जाने की कितनी संभावना रखता है। यह रोबोट के मस्तिष्क का एक बार लिया गया स्नैपशॉट लेने जैसा है, जिसमें लाइब्रेरी का नक्शा बनाने के लिए रोबोट को 5,000 लंबी कहानियाँ (rollouts) उत्पन्न करने के लिए कहना शामिल है।

एक बार जब उनके पास यह स्नैपशॉट आ जाता है, तो उन्हें ऑप्टिमाइज़ेशन प्रक्रिया के दौरान रोबोट को फिर से सोचने के लिए कहने की आवश्यकता नहीं होती है। वे गणित का उपयोग करके यह सिम्युलेट (simulate) कर सकते हैं: "यदि हमने रोबोट को यह विशिष्ट प्रॉम्ट दिया, तो वह किस कहानीकार को चुनेगा? और क्या वह कहानीकार वांछित परिणाम देगा?"

वे ऐसा रोबोट के विश्वासों का एक "झुका हुआ" (tilted) संस्करण बनाकर करते हैं। कल्पना कीजिए कि आपके पास कंचों (marbles) का एक थैला है, जिसमें से प्रत्येक एक अलग कहानीकार का प्रतिनिधित्व करता है। कुछ कंचे लाल (अच्छे कहानीकार) हैं, कुछ नीले (बुरे वाले) हैं। रोबोट आमतौर पर पासे के निष्पक्ष रोल के आधार पर कंचों को चुनता है। PPT एक ऐसी विधि है जो आपको जादुчески लाल कंचों पर वजन बढ़ाने की अनुमति देती है ताकि रोबोट उन्हें चुनने के लिए मजबूर हो जाए, बिना वास्तव में दोबारा पासा फेंके।

परिणाम: जीत और हार का मिश्रण

टीम ने इस परीक्षण को दो प्रकार के सरलीकृत रोबोट दिमागों (बेयस-फिल्टर्ड ट्रांसफॉर्मर) पर टेस्ट किया। एक सरल सिक्का उछालने वाला (Beta–Bernoulli) था, और दूसरा थोड़ा अधिक जटिल पैटर्न-फॉलोअर (Reinforced Urn) था। उन्होंने इन रोबोटों से तीन चीजें करने की कोशिश की:

रिवर्स क्रॉस-एन्ट्रॉपी (Reverse Cross-Entropy): रोबole के आउटपुट को एक विशिष्ट लक्ष्य पैटर्न जैसा बनाना।
फ्रीक्वेंसी मैचिंग (Frequency Matching): रोबोट को एक विशिष्ट अनुपात में "0" और "1" कहना सिखाना।
डिक वैलिडिटी (Dyck Validity): रोबोट को कोष्ठकों (parentheses) का एक ऐसा क्रम उत्पन्न करना सिखाना जो पूरी तरह से संतुलित हो (जैसे ()() या (()))।

उन्होंने अपने नए "वन-शॉट" तरीके (PPT) की तुलना पुराने "डायल-घुमाने" वाले तरीके (GCG) से की।

अच्छी खबर: अधिक जटिल "Reinforced Urn" रोबोट पर, PPT ने विशिष्ट परिदृश्यों में प्रभावशाली परिणाम दिखाए। उदाहरण के लिए, जब प्रॉम्ट छोटे (6 अक्षर) थे और लक्ष्य संतुलित कोष्ठक (Dyck validity) उत्पन्न करना था, तो PPT-RB ने हर एक प्रयास में सही प्रॉम्ट खोजा, जबकि पुराना तरीका संघर्ष करता रहा। यह ऐसा था जैसे PPT मील दूर से ही समाधान देख सकता था, जबकि GCG अंधेरे में लड़खड़ा रहा था।
मिली-जुली खबर: सरल "Coin-flipper" रोबोट पर, दोनों विधियाँ काफी अच्छी थीं, लेकिन पुराना तरीका (GCG) कभी-कभी बेहतर प्रदर्शन करता था, विशेष रूप से जब प्रॉम्ट लंबे (50 अक्षर) होते थे।
आश्चर्य: प्रदर्शन कार्य और प्रॉम्ट की लंबाई के आधार पर बदल गया। जटिल रोबोट के लिए "Dyck Validity" परीक्षण पर, लंबे प्रॉम्ट (50 अक्षर) के साथ, पुराने तरीके (GCG) ने वास्तव में जीत हासिल की, जिसने वह समाधान खोजा जिसे PPT मिस कर गया। इसी तरह, सरल रोबोट पर, जब प्रॉम्ट लंबे थे तो GCG अक्सर PPT से बेहतर रहा।

यह क्यों मायने रखता है

PPT की सबसे बड़ी जीत केवल यह नहीं है कि यह कभी-कभी बेहतर प्रॉम्ट खोजता है; बल्कि इसकी दक्षता (efficiency) है। पुराने तरीके को प्रॉम्ट में हर एक छोटे बदलाव के लिए रोबोट को "सोचने" (एक फॉरवर्ड पास चलाना) और फिर "पीछे की ओर सोचने" (बैकप्रोपैगेट करना) की आवश्यकता होती थी। यह महंगा और धीमा है।

हालाँकि, PPT को वास्तविक ऑप्टिमाइज़ेशन चरणों के दौरान रोबोट को शून्य बार सोचने के लिए कहता है। यह सारा भारी काम शुरुआत में ली गई लाइब्रेरी के "स्नैपशॉट" (प्रारंभिक 5,000 रोलआउट्स) का उपयोग करके करता है। यह पूरे भूलभुलैया के मानचित्र को शुरू करने से पहले ही प्राप्त करने जैसा है। आप अपने दिमाग में तुरंत लाखों रास्तों को आजमा सकते हैं, बिना कभी एक भी कदम चले।

लेखक नोट करते हैं कि यह विधि तब सबसे अच्छा काम करती है जब रोबोट का व्यवहार अच्छी तरह से समझा गया हो और विशिष्ट गणितीय नियमों का पालन करता हो (जैसे कि परीक्षण किए गए सरलीकृत मॉडल)। वे स्वीकार करते हैं कि वास्तविक दुनिया के, जटिल AI मॉडल के लिए, यह अभी तक एक पूर्ण समाधान नहीं हो सकता है। लेकिन "रोबोट के छिपे हुए विश्वासों को नियंत्रित करने के लिए हम एक विशिष्ट परिणाम कैसे प्राप्त करें" की विशिष्ट समस्या के लिए, उन्होंने एक ऐसा रास्ता दिखाया है जो तेज़, सस्ता और कई मामलों में आश्चर्यजनक रूप से प्रभावी है।

संक्षेप में, उन्होंने रोबोट के दिमाग को उसके आंतरिक मानचित्र को देखकर नियंत्रित करने का एक तरीका खोजा है, न कि केवल दरवाजा खटखटाकर उम्मीद करने का। यह जिनी से इच्छा मांगने का एक स्मार्ट तरीका है, और यह हमें यह समझने में मदद कर सकता है कि इन शक्तिशाली उपकरणों को हमारे इच्छित तरीके से व्यवहार करने के लिए कैसे बनाए रखा जाए।

तकनीकी सारांश: पोस्टीरियर प्रीफिक्स ट्यूनिंग के माध्यम से बैकप्रोपैगेशन के बिना एलिसिटेशन (Elicitation)

समस्या विवरण (Problem Statement)

यह शोध पत्र एलिसिटेशन समस्या (elicitation problem) को संबोधित करता है: एक विशिष्टता (specification) दी गई है जो अवांछनीय (या वांछनीय) व्यवहार को मॉडल के निरंतरता (continuations) पर एक उपयोगिता फलन (utility function) $U$ के रूप में औपचारिक रूप देती है, तो एक प्रॉम्प्ट $z_{1:m}$ कैसे खोजा जाए जो ट्रांसफॉर्मर के आउटपुट की अपेक्षित उपयोगिता $J(z_{1:m})$ को अधिकतम करे?

वर्तमान दृष्टिकोण, जैसे कि ग्रीडी कोऑर्डिनेट ग्रेडिएंट (Greedy Coordinate Gradient - GCG), हार्ड प्रॉम्प्ट्स के कॉम्बिनेटोरियल स्पेस पर एक डिस्क्रीट सर्च के रूप में इसे देखते हैं, जिसके लिए प्रत्येक अनुकूलन चरण (optimization step) पर ट्रांसफॉर्मर के एम्बेडिंग लेयर के माध्यम से बैकप्रोपैगेशन की आवश्यकता होती है। यह अत्यधिक गणनात्मक रूप से महंगा है और यह इस बात का लाभ नहीं उठाता है कि ट्रांसफॉर्मर संदर्भ (context) को कैसे संसाधित करते हैं। लेखक तर्क देते हैं कि बेयस-फिल्टर्ड ट्रांसफॉर्मर्स (BFTs) के लिए—जो एक पदानुक्रमित पूर्व (hierarchical prior) से प्राप्त अनुक्रमों पर मेटा-लर्न किए गए मॉडल हैं—एलिसिटेशन उद्देश्य को लेटेंट पोस्टीरियर (latent posterior) के माध्यम से फैक्टराइज़ किया जा सकता है। यह समस्या को प्रॉम्प्ट स्पेस को सीधे खोजने के बजाय लेटेंट प्रेडिक्टिव मॉडल्स के वितरण को निर्देशित करने के रूप में पुनर्गठित करने की अनुमति देता है।

कार्यप्रणाली: पोस्टीरियर प्रीफिक्स ट्यूनिंग (PPT)

प्रस्तावित विधि, पोस्टीरियर प्रीफिक्स ट्यूनिंग (PPT), ट्रांसफॉर्मर के माध्यम से बैकप्रोपैगेशन के बिना प्रॉम्प्ट को अनुकूलित करने के लिए BFTs के लेटेंट पोस्टीरियर फैक्टराइजेशन का उपयोग करती है।

1. सैद्धांतिक आधार (Theoretical Foundation)

एक BFT के लिए, अगला-टोकन वितरण संदर्भ पर आधारित लेटेंट टास्क $\tilde{k}$ (कर्नेल्स) पर एक बेयस मिश्रण (Bayes mixture) है:
$\pi_\theta(y | y_{1:n}) = \int_K \tilde{k}(y | y_{1:n}) \Pi(d\tilde{k} | y_{1:n})$
एलिसिटेशन उद्देश्य $J(z_{1:m})$ को लेटेंट पोस्टीरियर पर एक अपेक्षा (expectation) के रूप में फिर से लिखा जा सकता है:
$J(z_{1:m}) = \int_K \mu(\tilde{k}; z_{1:m}) \Pi(d\tilde{k} | z_{1:m})$
जहाँ $\mu(\tilde{k}; z_{1:m})$ प्रॉम्प्ट $z_{1:m}$ दिए जाने पर एक विशिष्ट लेटेंट टास्क $\tilde{k}$ द्वारा उत्पन्न निरंतरताओं की अपेक्षित उपयोगिता है।

2. टिल्टेड पोस्टीरियर के माध्यम से अनुकूलन (Optimization via Tilted Posteriors)

डिस्क्रीट प्रॉम्प्ट $z_{1:m}$ को अनुकूलित करने के बजाय, PPT एक प्रॉम्प्ट वितरण (एक कर्नेल $\kappa$ ) के निरंतर पैरामीट्राइजेशन को अनुकूलित करता है।

टिल्ट फैक्टर (Tilt Factor): एक कारक $W(\tilde{k}; \kappa)$ एक लेटेंट टास्क और प्रॉम्प्ट वितरण के बीच अनुकूलता (compatibility) को मापता है।
टिल्टेड पोस्टीरियर (Tilted Posterior): पूर्व $\Pi_0$ को $W$ द्वारा पुन: भारित (reweighted) किया जाता है ताकि एक टिल्टेड पोस्टीरियर $\Pi_{\text{tilt}}(\cdot; \kappa) \propto W(\tilde{k}; \kappa)\Pi_0$ बन सके।
सरोगेट ऑब्जेक्टिव (Surrogate Objective): यह विधि एक सरोगेट ऑब्जेक्टिव $J_{\text{tilt}}(\kappa)$ को अधिकतम करती है, जो टिल्टेड पोस्टीरियर के तहत अपेक्षित उपयोगिता है।

3. बैकप्रोपैगेशन के बिना ग्रेडिएंट अनुमान (Gradient Estimation without Backpropagation)

सरोगेट ऑब्जेक्टिव के ग्रेडिएंट का अनुमान फिक्स्ड सेट ऑफ प्रायर सैंपल्स के विरुद्ध इम्पॉर्टेंस सैंपलिंग (Importance Sampling - IS) का उपयोग करके लगाया जाता है।

प्रेडिक्टिव मोंटे कार्लो (Predictive Monte Carlo - PMC): प्रशिक्षित BFT से एक बार ऑटोरिग्रेसिव रूप से रोलआउट किए बिना (बिना कंडीशनिंग के) लेटेंट प्रायर सैंपल्स (जैसे कि प्रोबेबिलिटी मास फंक्शन्स या ट्रांजिशन मैट्रिसेस) का एक एकल सेट निकाला जाता है।
एमोर्टाइजेशन (Amortization): इन सैंपल्स को सभी अनुकूलन चरणों में और किसी भी संख्या में उपयोगिता फलनों (utility functions) के लिए पुन: उपयोग किया जाता है।
जीरो ट्रांसफॉर्मर कॉल्स (Zero Transformer Calls): ग्रेडिएंट को पूरी तरह से लेटेंट स्पेस में पूर्व-निर्धारित सैंपल्स का उपयोग करके कंप्यूट किया जाता है। अनुकूलन के दौरान ट्रांसफॉर्मर $\pi_\theta$ के माध्यम से कोई फॉरवर्ड पास या बैकप्रोपैगेशन नहीं होता है।

4. हार्ड प्रॉम्प्ट रिकवरी (Hard Prompt Recovery)

अनुकूलन एक निरंतर कर्नेल $\kappa$ प्रदान करता है। एक हार्ड प्रॉम्प्ट $z_{1:m}$ को "स्नैपिंग" (snapping) के माध्यम से प्राप्त किया जाता है:

$k=0$ (एक्सचेंजेबल/i.i.d.) के लिए, इसमें टोकन फ्रीक्वेंसी को राउंड करना शामिल है।
$k \ge 1$ (मार्कोव) के लिए, इसमें अनुकूलित ट्रांजिशन टेबल के अनुरूप डे ब्रुइन ग्राफ (de Bruijn graph) पर एक पथ (Eulerian path) का निर्माण करना शामिल है।

दो वेरिएंट प्रस्तुत किए गए हैं:

PPT: उपयोगिता टर्म $\mu$ को प्रति प्रायर सैंपल एक सिंगल मोंटे कार्लो रोलआउट के माध्यम से अनुमानित करता है।
PPT-RB: राव-ब्लैकवेलिज़ेशन (Rao–Blackwellization) का उपयोग $\mu$ को क्लोज्ड फॉर्म में कंप्यूट करने के लिए करता है (जहाँ उपलब्ध हो), जिससे वेरिएंस कम होता है।

मुख्य योगदान (Key Contributions)

एलिसिटेशन का फैक्टराइजेशन (Factorization of Elicitation): यह शोध पत्र प्रदर्शित करता है कि BFTs के लिए, एलिसलेशन समस्या लेटेंट पोस्टीरियर के माध्यम से फैक्टराइज़ होती है, जिससे अनुकूलन प्रॉम्प्ट स्पेस के बजाय लेटेंट बिलीफ्स (beliefs) के स्थान पर हो सकता है।
बैकप्रोपैगेशन-मुक्त अनुकूलन (Backpropagation-Free Optimization): PPT बिना ट्रांसफॉर्मर के फॉरवर्ड या बैकवर्ड पास को कॉल किए हार्ड प्रॉम्प्ट्स के ग्रेडिएंट-आधारित अनुकूलन को प्राप्त करता है।
उपयोगिता एमोर्टाइजेशन (Utility Amortization): BFT के विश्वासों (beliefs) को कैरेक्टराइज करने की लागत (PMC के माध्यम से) एक-बार की लागत है। सैंपल्स का एक एकल सेट किसी भी संख्या में उपयोगिता फलनों के विरुद्ध एलिसलेशन को संचालित कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को दो सिंथेटिक BFTs (बीटा-बर्नौली और रीइन्फोर्स्ड अर्न) पर तीन उपयोगिता परिवारों (रिवर्स क्रॉस-एंट्रॉपी, फ्रीक्वेंसी मैचिंग, डिक वैलिडिटी) और प्रॉम्प्ट लंबाई ( $m=6, 50$ ) के माध्यम से मान्य किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक PPT और PPT-RB की तुलना मानक GCG बेसलाइन से करते हैं:

रीइन्फोर्स्ड अर्न BFT ( $k=1$ ):
- छोटे प्रॉम्प्ट ( $m=6$ ): PPT-RB, GCG से काफी बेहतर प्रदर्शन करता है। डिक वैलिडिटी (Dyck validity) कार्य में, PPT-RB हर रैंडम सीड पर एन्यूमरेटेड ग्लोबल ऑप्टिममम तक पहुँचता है, जबकि GCG का औसत बहुत कम रैंक रहता है।
- लंबे प्रॉम्प्ट ( $m=50$ ): PPT मेथड्स आमतौर पर रिवर्स क्रॉस-एंट्रॉपी और फ्रीक्वेंसी मैचिंग पर GCG से बेहतर प्रदर्शन करते हैं। हालाँकि, डिक वैलिडिटी के लिए, GCG ( $J \approx 0.61$ ) PPT वेरिएंट्स ( $J \approx 0.014$ ) की तुलना में काफी बेहतर प्रदर्शन करता है, जो इस विशिष्ट सेटिंग में बड़े पैमाने पर जटिल संरचनात्मक बाधाओं को संभालने में विधि की सीमाओं का सुझाव देता है।
बीटा-बर्नौली BFT ( $k=0$ ):
- छोटे प्रॉम्प्ट ( $m=6$ ): सभी विधियाँ (GCG सहित) आम तौर पर ग्लोबल ऑप्टिममम तक पहुँच जाती हैं।
- लंबे प्रॉम्प्ट ( $m=50$ ): GCG और PPT-RB, रिवर्स क्रॉस-एंट्रॉपी के लिए मानक PPT की तुलना में बेहतर और तुलनीय प्रदर्शन करते हैं। फ्रीक्वेंसी मैचिंग के लिए, GCG PPT वेरिएंट्स से बेहतर प्रदर्शन करता है।

परिणाम संकेत देते हैं कि PPT उन सेटिंग्स में लेटेंट बिलीफ्स को निर्देशित करने के लिए अत्यधिक प्रभावी है जहाँ लेटेंट-पोस्टीरियर फैक्टराइजेशन अच्छी तरह से काम करता है, विशेष रूप से छोटे प्रॉम्प्ट और विशिष्ट उपयोगिता संरचनाओं के लिए, लेकिन कार्य की जटिलता और प्रॉम्प्ट की लंबाई के आधार पर इसका प्रदर्शन बदलता रहता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि PPT एलिसलेशन को लेटेंट पोस्टीरियर को निर्देशित करने की समस्या के रूप में मानकर ट्रांसफॉर्मर व्यवहार को समझने और नियंत्रित करने के लिए एक नया प्रतिमान (paradigm) प्रदान करता है।

दक्षता (Efficiency): अनुकूलन को ट्रांसफॉर्मर के फॉरवर्ड पास से अलग करके, PPT प्रॉम्प्ट सर्च के लिए बैकप्रोपैगेशन के गणनात्मक बॉटलनेक को समाप्त करता है।
व्याख्यात्मकता (Interpretability): यह विधि सीधे प्रेडिक्टिव मॉडल्स के लेटेंट स्पेस पर कार्य करती है, जो यह समझने के लिए एक तंत्र प्रदान करती है कि कौन से "विश्वास" (लेटेंट टास्क) विशिष्ट व्यवहारों की ओर ले जाते हैं।
स्केलेबिलिटी (Scalability): प्रायर सैंपल्स का एमोर्टाइजेशन यह सुझाव देता है कि एक बार BFT की लेटेंट संरचना को कैरेक्टराइज करने के बाद, इसे नगण्य सीमांत लागत (marginal cost) पर किसी भी उद्देश्य के विरुद्ध निर्देशित किया जा सकता है।

लेखक एक सीमित दायरे बनाए रखते हैं, यह नोट करते हुए कि विधि लेटेंट-पोस्टीरियर फैक्टराइजेशन (समीकरण 4) की वैधता पर निर्भर करती, जो आदर्शित BFTs के लिए सटीक है लेकिन वास्तविक दुनिया के ट्रांसफॉर्मर्स के लिए केवल एक अनुमान है। वर्तमान कार्यान्वयन बाइनरी वोकैबुलरी और परिमित-आयामी (finite-dimensional) लेटेंट टास्क (0- और 1-मार्कोव एक्सचेंजेबिलिटी) वाले शैलीबद्ध (stylized) सेटिंग्स तक ही सीमित है।