🧬 biology

Calibrating Generative Models to Distributional Constraints

यह शोध पत्र कैलिब्रेशन को एक कड़े अनुकूलन (constrained optimization) समस्या के रूप में फ्रेम करके और दो सुलभ फाइन-ट्यूनिंग उद्देश्यों—रिलैक्स लॉस (relax loss) और रिवॉर्ड लॉस (reward loss)—को पेश करके जनरेटिव मॉडल्स के मिसकैलिब्रेशन को संबोधित करता है, जो विविध अनुप्रयोगों और बड़े पैमाने के मॉडल्स में वांछित सांख्यिकीय बाधाओं के साथ सैंपलिंग वितरणों को प्रभावी ढंग से संरेखित करते हैं।

मूल लेखक: Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (एक जेनेरेटिव मॉडल) है जो अविश्वसनीय रूप से प्रतिभाशाली खाना बनाने में है। इस शेफ ने एक विशिष्ट कुकबुक (ट्रेनिंग डेटा) से लाखों रेसिपी चखकर हजारों व्यंजन बनाना सीख लिया है।

हालाँकि, एक समस्या है। भले ही शेफ कुशल है, लेकिन उसमें कुछ बुरी आदतें या "गलत अंशांकन" (miscalibrations) विकसित हो गए हैं:

वे केवल पास्ता ही बना सकते हैं, भले ही कुकबुक में बहुत सारी पिज्जा और सुशी मौजूद थी।
वे हर पिज्जा को बिल्कुल एक जैसा बना सकते हैं, जिससे मूल रेसिपी की विविधता छूट जाती है।
कहानी की किताब के संदर्भ में, वे हमेशा "डॉक्टर" के किरदार को पुरुष और "नर्स" को महिला बना सकते हैं, भले ही वास्तविक जीवन में यह अधिक संतुलित हो।

यह पेपर CGM (कैलिब्रेटिंग जेनेरेटिव मॉडल्स) नामक एक नई विधि पेश करता है ताकि शेफ को बर्खास्त किए बिना या उन्हें शून्य से शुरू करने के बिना इन आदतों को ठीक किया जा सके।

मुख्य समस्या: "रेसिपी" बनाम "परिणाम"

लेखक समझाते हैं कि जबकि शेफ व्यक्तिगत व्यंजन अच्छी तरह से बनाना जानता है, लेकिन उनके द्वारा तैयार किया गया कुल मेनू वांछित सांख्यिकी (statistics) से मेल नहीं खाता है। शायद आप 50% पास्ता और 50% पिज्जा चाहते हैं, लेकिन शेफ बार-बार 90% पास्ता ही बनाता रहता है।

तकनीकी शब्दों में, यह मिसकैलिब्रेशन (miscalibration) कहलाता है। शेफ के आउटपुट के आंकड़े (सैंपलिंग डिस्ट्रीब्यूशन) वांछित मूल्यों (प्रतिबंधों) से मेल नहीं खाते हैं।

समाधान: एक हल्का सा इशारा, न कि एक नया लेखन

लेखक शेफ को "फाइन-ट्यून" करने का एक तरीका प्रस्तावित करते हैं। वे शेफ के पूरे दिमाग को बदलना नहीं चाहते (जो महंगा और जोखिम भरा होगा)। इसके बजाय, वे उस शेफ का सबसे करीबी संभव संस्करण खोजना चाहते हैं जो नए नियमों का सख्ती से पालन करता है।

वे इसे एक गणितीय समस्या के रूप में देखते हैं: "उस नए शेफ को खोजें जो पुराने शेफ के जितना संभव हो उतना समान है (ताकी उनकी अनूठी शैली बनी रहे) लेकिन जो नए मेनू अनुपातों का सख्ती से पालन करता है।"

इस समस्या को हल करने के लिए, उन्होंने दो विशिष्ट "प्रशिक्षण तकनीकें" (एल्गोरिदम) बनाईं:

1. "रिलैक्स लॉस" विधि (द पेनल्टी बॉक्स)

इसे एक सख्त डाइट कोच के रूप में सोचें।

यह कैसे काम करता है: कोच शेफ से कहता है, "आप अपने तरीके से खाना बनाना जारी रख सकते हैं, लेकिन हर बार जब आप 50/50 के नियम से मेल न खाने वाली प्लेट परोसेंगे, तो आपको एक पेनल्टी पॉइंट मिलेगा।"
लक्ष्य: शेफ अपने पेनल्टी पॉइंट्स को कम करने की कोशिश करता है और साथ ही अपनी मूल खाना पकाने की शैली के जितना संभव हो उतना करीब रहने की कोशिश करता है।
यह क्यों अच्छा है: यह बहुत लचीला है। यह एक साथ सैकड़ों नियमों को संभाल सकता है (जैसे, "50% पास्ता, 30% पिज्जा, 20% सुशी, और साथ ही यह भी सुनिश्चित करें कि कोई भी व्यंजन बहुत नमकीन न हो")। पेपर दिखाता है कि यह विशाल शेफ (अरबों पैरामीटर्स वाले मॉडल) के लिए भी काम करता है।

2. "रिवॉर्ड लॉस" विधि (द रिवॉर्ड सिस्टम)

इसे एक गेमिफाइड ट्रेनिंग सत्र के रूप में सोचें।

यह कैसे काम करता है: केवल गलतियों को दंडित करने के बजाय, कोच एक "रिवॉर्ड स्कोर" की गणना करता है कि शेफ कितना अच्छा प्रदर्शन कर रहा है। यदि शेफ एक संतुलित प्लेट परोसता है, तो उसे अंक मिलते हैं। यदि वह असंतुलित प्लेट परोसता है, तो उसे कम अंक मिलते हैं।
लक्ष्य: शेफ अपने कुल स्कोर को अधिकतम करने की कोशिश करता है।
चुनौती: यह विधि सरल नियमों के लिए तो बेहतरीन है, लेकिन यह भ्रमित हो सकती है यदि आप इसे एक साथ बहुत सारे नियम देते हैं (जैसे, कई अलग-अलग सामग्रियों को एक साथ संतुलित करने की कोशिश करना)। पेपर में पाया गया कि जब प्रतिबंधों की संख्या बहुत अधिक हो जाती है, तो यह संघर्ष करती है।

वास्तविक दुनिया के परीक्षण: उन्होंने इसे कहाँ आज़माया?

लेखकों ने तीन बहुत अलग प्रकार के "शेफ" पर अपने तरीकों का परीक्षण किया:

प्रोटीन डिज़ाइन (द मॉलिक्यूलर शेफ):
- समस्या: ये मॉडल (प्रोटीन बनाने वाले) ऐसे प्रोटीन डिजाइन कर रहे थे जो एक-दूसरे के बहुत समान दिखते थे और उनमें प्रकृति में पाई जाने वाली स्वाभाविक विविधता की कमी थी।
- समाधान: उन्होंने मॉडल को अधिक विविध प्रोटीन आकारों (जैसे अल्फा-हेलिस और बीटा-स्ट्रैंड्स) का एक अधिक विविध मिश्रण बनाने के लिए मजबूर करने के लिए "रिलैक्स" विधि का उपयोग किया, जो वास्तविक जैविक डेटा से मेल खाता हो।
- परिणाम: प्रोटीन बहुत अधिक विविध और यथार्थवादी हो गए, बिना "टूटे" हुए या अनुपयोगी हुए।
इमेज जनरेशन (द विजुअल आर्टिस्ट):
- समस्या: जानवरों को चित्रित करने के लिए प्रशिक्षित एक इमेज मॉडल शेरों और तेंदुओं को बनाने का जुनूनी था, और शायद ही कभी लोमड़ियों या भेड़ियों को बनाता था, भले ही उसके ट्रेनिंग डेटा में वे सभी मौजूद थे।
- समाधान: उन्होंने मॉडल को छह प्रकार के जंगली जानवरों को समान संख्या में बनाने के लिए कैलिब्रेट किया।
- परिणाम: मॉडल ने लोमड़ियों और भेड़ियों को बहुत अधिक बार बनाना शुरू कर दिया। छवियां अभी भी यथार्थवादी थीं, हालांकि पेपर नोट करता है कि समायोजन के एक साइड इफेक्ट के रूप में कुछ छवियां थोड़ी "मिश्रित" (जैसे शेर-भेड़िया मिश्रण) दिखीं।
लैंग्वेज मॉडल्स (द स्टोरीटेलर):
- समस्या: एक बड़ा लैंग्वेज मॉडल बच्चों की कहानियाँ लिख रहा था जहाँ "वकील" लगभग हमेशा एक पुरुष था और "नर्स" लगभग हमेशा एक महिला थी, जो वास्तविक दुनिया के पूर्वाग्रहों को पुख्ता कर रहा था।
- समाधान: उन्होंने मॉडल को यह सुनिश्चित करने के लिए कैलिब्रेट किया कि प्रत्येक पेशे के लिए, पात्र का लिंग संतुलित (50/50) हो।
- परिणाम: मॉडल ने पारंपरिक जोड़ियों के समान ही महिला वकीलों और पुरुष नर्सों के साथ कहानियाँ लिखना शुरू कर दिया, बिना कहानियों के निरर्थक हुए या उनकी गुणवत्ता खोए।

निचोड़ (The Bottom Line)

पेपर का दावा है कि CGM एक शक्तिशाली, सामान्य-उद्देश्य वाला उपकरण है। यह हमें किसी भी प्री-ट्रेंड AI मॉडल को लेने और उसके समग्र आउटपुट को विशिष्ट सांख्यिकीय लक्ष्यों (जैसे निष्पक्षता, विविधता, या जैविक सटीकता) से मेल खाने के लिए धीरे से निर्देशित करने की अनुमति देता है, बिना पूरे मॉडल को फिर से प्रशिक्षित किए।

CGM-Relax मुख्य कार्यवाहक है: यह एक साथ सैकड़ों जटिल नियमों को संभालता है और सबसे बड़े मॉडल्स पर काम करता है।
CGM-Reward एक विशेषज्ञ है: यह सरल कार्यों के लिए बहुत अच्छा है और मापदंडों को ट्यून करने की जटिलता से बचता है, लेकिन बहुत अधिक नियमों के साथ संघर्ष करता है।

लेखक इस बात पर जोर देते हैं कि हालांकि यह कई कैलिब्रेशन समस्याओं को हल करता है, लेकिन यह कोई जादुई छड़ी नहीं है। इसके लिए अभी भी सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है, और कुछ चरम मामलों में (जैसे अत्यंत दुर्लभ घटनाओं को उत्पन्न करने की कोशिश करना), सटीक परिणाम पाने के लिए इसे बहुत अधिक कंप्यूटिंग पावर की आवश्यकता हो सकती है। लेकिन अधिकांश व्यावहारिक अनुप्रयोगों के लिए, यह सफलतापूर्वक AI के आउटपुट को वास्तव में हमारी इच्छा के अनुरूप वापस लाता है।

तकनीकी सारांश: वितरण संबंधी बाधाओं (Distributional Constraints) के लिए जनरेटिव मॉडल्स का अंशांकन (Calibration)

समस्या विवरण (Problem Statement)

जनरेटिव मॉडल्स अक्सर गलत अंशांकन (miscalibration) से ग्रस्त होते हैं, जहाँ सैंपलिंग वितरण के सांख्यिकी (जैसे, वर्ग आवृत्तियाँ, माध्यमिक संरचना अनुपात, या लिंग प्रतिनिधित्व) वांछित मानों से व्यवस्थित रूप से विचलित हो जाते हैं। यह समस्या विभिन्न डोमेन में प्रकट होती है: इमेज मॉडल्स मोड कोलैप्स (mode collapse) प्रदर्शित करते हैं; लैंग्वेज मॉडल्स सामाजिक पूर्वाग्रहों को सुदृढ़ करते हैं; और प्रोटीन/DNA मॉडल्स ऐसी संरचनाएँ उत्पन्न करते हैं जिनमें असामान्य उप-संरचना आवृत्तियाँ होती हैं। ये त्रुटियाँ अक्सर डेटासेट असंतुलन, उप-इष्टतम प्रशिक्षण गतिकी (training dynamics), या पोस्ट-हॉक समायोजन जैसे लो-टेम्परेचर सैंपलिंग से उत्पन्न होती हैं।

लेखक अंशांकन को एक बाधित अनुकूलन समस्या (constrained optimization problem) के रूप में देखते हैं। एक बेस जनरेटिव मॉडल $p_{\theta_{base}}(x)$ , एक सांख्यिकी $h(x)$ , और एक लक्षित प्रत्याशा (target expectation) $h^*$ दिए जाने पर, लक्ष्य एक नया वितरण $p_\theta$ खोजना है जो $E_{p_\theta}[h(x)] = h^*$ को संतुष्ट करे जबकि बेस मॉडल के प्रति कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करे:
$p_{\theta^*} = \arg \min_{p_\theta} D_{KL}(p_\theta \parallel p_{\theta_{base}}) \quad \text{सर्त (s.t.)} \quad E_{p_\theta}[h(x)] = h^*$
यह सूत्रीकरण उस मॉडल को खोजने का प्रयास करता है जो बेस वितरण के सबसे करीब हो और अंशांकन बाधा को संतुष्ट करता हो। हालाँकि, इसे सटीक रूप से हल करना कठिन (intractable) है क्योंकि ऑब्जेक्टिव और बाधा दोनों में प्रत्याशाएँ शामिल हैं जिन्हें उच्च-आयामी जनरेटिव मॉडल्स के लिए कंप्यूट करना कठिन होता है।

कार्यप्रणाली (Methodology)

इस जटिलता को दूर करने के लिए, पेपर फाइन-ट्यूनिंग के लिए दो सरोगेट ऑब्जेक्टिव पेश करता है, जिन्हें CGM-relax और CGM-reward कहा जाता है। दोनों विधियाँ नमूनों (samples) से प्राप्त अनबायस्ड ग्रेडिएंट अनुमानों का उपयोग करके स्टोकेस्टिक ऑप्टिमाइज़ेशन पर निर्भर करती हैं।

1. CGM-relax (रिलैक्स लॉस)

यह दृष्टिकोण हार्ड कंस्ट्रेंट को एक पेनल्टी टर्म से बदल देता है। ऑब्जेक्टिव फंक्शन है:
$L_{relax}(\theta) = \| E_{p_\theta}[h(x)] - h^* \|^2 + \lambda D_{KL}(p_\theta \parallel p_{\theta_{base}})$

बाधा उल्लंघन (Constraint Violation - $L_{viol}$ ): एम्पिरिकल सांख्यिकी और लक्षित मान के बीच के अंतर का स्क्वेर्ड $\ell_2$ नॉर्म। लेखक एक बायस-करेक्टेड सैंपल वेरिएंस फॉर्मूला का उपयोग करके इस टर्म के लिए एक अनबायस्ड एस्टीमेटर व्युत्पन्न करते हैं।
KL डाइवर्जेंस ( $L_{KL}$ ): इसे मोंटे कार्लो सैंपलिंग के माध्यम से मापा जाता है।
ऑप्टिमाइज़ेशन: विधि अनबायस्ड ग्रेडिएंट्स को कंप्यूट करने के लिए इम्पोर्टेंस सैंपलिंग का उपयोग करती है। विशेष रूप से, यह वर्तमान मॉडल $p_\theta$ (स्टॉप-ग्रेडिएंट के साथ) से नमूने लेती है और KL टर्म और कंस्ट्रेंट उल्लंघन के ग्रेडिएंट का अनुमान लगाने के लिए नमूनों को रीवेट (reweight) करती है। एक हाइपरपैरामीटर $\lambda$ बाधा को संतुष्ट करने और बेस मॉडल के करीब रहने के बीच ट्रेड-ऑफ करता है।

2. CGM-reward (रिवॉर्ड लॉस)

यह दृष्टिकोण अंशांकन समस्या को मैक्सिमम एंट्रॉपी (Maximum Entropy) सिद्धांत से जोड़ता है। मैक्सिमम एंट्रॉपी समस्या का समाधान (मोमेंट कंस्ट्रेंट्स के अधीन बेस मॉडल के प्रति KL को कम करना) बेस मॉडल का एक एक्सपोनेंशियल टिल्ट (exponential tilt) है: $p_{\alpha^*}(x) \propto p_{\theta_{base}}(x) \exp(\alpha^{*\top} h(x))$ ।

$\alpha^*$ का अनुमान लगाना: चूंकि वास्तविक मैक्सिमम एंट्रॉपी वितरण कठिन है, इसलिए यह विधि बेस मॉडल से $N$ नमूनों का उपयोग करके डुअल ऑप्टिमाइज़ेशन समस्या को हल करके इष्टतम रिवॉर्ड पैरामीटर्स $\alpha^*$ का अनुमान लगाती है।
लॉस फंक्शन: फाइन-ट्यूनिंग ऑब्जेक्टिव अनुमानित मैक्सिमम एंट्रॉपी वितरण $p_{\hat{\alpha}_N}$ के साथ KL डाइवर्जेंस है:
$L_{reward}(\theta) = D_{KL}(p_\theta \parallel p_{\hat{\alpha}_N}) = D_{KL}(p_\theta \parallel p_{\theta_{base}}) + E_{p_\theta}[-r_{\hat{\alpha}_N}(x)] + C$
यह एक रिवॉर्ड फाइन-ट्यूनिंग समस्या के समान है जहाँ "रिवॉर्ड" बाधाओं से प्राप्त होता है।
ऑप्टिमाइज़ेशन: CGM-relax की तरह, यह वेरिएंस को कम करने के लिए लीव-वन-आउट बेसलाइन्स के साथ स्कोर-फंक्शन ग्रेडिएंट एस्टीमेटर्स का उपयोग करता है।

ग्रेडिएंट एस्टीमेशन (Gradient Estimation)

दोनों विधियाँ इम्पोर्टेंस सैंपलिंग के साथ स्कोर-फंक्शन ग्रेडिएंट एस्टीमेटर्स (REINFORCE-शैली) का उपयोग करती हैं। एक्सपेक्टेशन पर $\theta$ की निर्भरता को संभालने के लिए, लेखक "स्टॉप-ग्रेडिएंट" ट्रिक का उपयोग करते हैं जहाँ वर्तमान मॉडल के एक फिक्स्ड वर्जन से नमूने लिए जाते हैं, और ग्रेडिएंट घनत्व अनुपात (स्कोर फंक्शन) के माध्यम से कंप्यूट किए जाते हैं। वेरिएंस रिडक्शन लीव-वन-आउट बेसलाइन्स का उपयोग करके प्राप्त किया जाता है।

मुख्य योगदान (Key Contributions)

सूत्रीकरण (Formulation): जनरेटिव मॉडल अंशांकन को एक कंस्ट्रेंड KL मिनिमाइजेशन समस्या के रूप में फ्रेम करना।
एल्गोरिदम (Algorithms): दो व्यावहारिक फाइन-ट्यूनिंग एल्गोरिदम (CGM-relax और CGM-reward) प्रस्तावित करना जो स्टोकेस्टिक ऑप्टिमाइज़ेशन का उपयोग करके कंस्ट्रेंड समस्या के समाधान का अनुमान लगाते हैं।
स्केलेबिलिटी (Scalability): यह प्रदर्शित करना कि ये विधियाँ सैकड़ों साथ-साथ बाधाओं और 9 बिलियन पैरामीटर्स वाले मॉडल्स को संभाल सकती हैं।
सैद्धांतिक संबंध (Theoretical Connection): अंशांकन, मैक्सिमम एंट्रॉपी और रिवॉर्ड फाइन-ट्यूनिंग के बीच संबंध स्थापित करना, यह दिखाते हुए कि CGM-reward मैक्सिमम एंट्रॉपी समाधान को लक्षित करता है जबकि CGM-relax एक रेगुलराइज्ड वर्जन को लक्षित करता है।

परिणाम (Results)

लेखक तीन विविध अनुप्रयोगों में विधियों का मूल्यांकन करते हैं:

प्रोटीन डिज़ाइन (Genie2 और ESM3):
- लक्ष्य: प्राकृतिक प्रोटीन सांख्यिकी (CATH डेटासेट) से मेल खाने के लिए सेकेंडरी स्ट्रक्चर कंटेंट (अल्फा-हेलिस और बीटा-स्ट्रैंड्स) को कैलिब्रेट करना।
- बाधाएं (Constraints): 99 साथ-साथ बाधाएं (बाइवैरिएट CDFs)।
- परिणाम: CGM-relax ने Genie2 के लिए प्राकृतिक प्रोटीन वितरण से दूरी को >4x और ESM3 के लिए >2x कम कर दिया। CGM-reward ने अधिक मामूली सुधार प्राप्त किए, जिसका कारण आंशिक रूप से हाई-डायमेंशनल कंस्ट्रेंट्स के साथ $\alpha^*$ का अनुमान लगाने की कठिनाई है। दोनों विधियों ने बायोफिजिकल प्लासिबिलिटी बनाए रखी, हालांकि "डिज़ाइन फेल्योर" में थोड़ी वृद्धि हुई।
इमेज जनरेशन (TarFlow):
- लक्ष्य: AFHQ डेटासेट की "वाइल्डलाइफ" श्रेणी के भीतर क्लास प्रोपोरशन्स को संतुलित करना (जैसे, शेर, बाघ, लोमड़ी, भेड़ियों को समान बनाना)।
- बाधाएं: 5 साथ-साथ बाधाएं।
- परिणाम: CGM-relax ने क्लास प्रोपोरशन्स के टोटल वेरिएशन डिस्टेंस को 0.306 से घटाकर 0.101 कर दिया। हालांकि सैंपल रियलिज्म (FID) थोड़ा कम हुआ, लेकिन कैलिब्रेटेड मॉडल ने अधिक विविध और संतुलित जनरेशन बनाई। CGM-reward कंस्ट्रेंट उल्लंघन को कम करने में विफल रहा।
लैंग्वेज मॉडलिंग (Gemma-2-9B-IT):
- लक्ष्य: विभिन्न व्यवसायों (जैसे, विभिन्न प्रोफेशन के लिए पुरुष/महिला वकील की समान संभावना सुनिश्चित करना) के लिए जेनरेट की गई बच्चों की कहानियों में जेंडर बायस को कम करना।
- बाधाएं: 8 प्रोफेशन-कंडीशनल कंस्ट्रेंट्स।
- परिणाम: दोनों विधियों ने जेंडर इम्बैलेंस को कम किया। CGM-relax ने बेसलाइन की तुलना में इम्बैलेंस को तीन गुना से अधिक कम किया, जबकि CGM-reward ने सांख्यिकीय रूप से महत्वपूर्ण लेकिन छोटा सुधार दिखाया। फाइन-ट्यून किए गए मॉडल्स ने कहानी की गुणवत्ता (लॉग-प्रोबेबिलिटी में गिरावट के बिना) बनाए रखी।

सिंथेटिक प्रयोग (Synthetic Experiments):

दुर्लभ घटनाएँ (Rare Events): CGM ने गॉसियन मिश्रण (Gaussian mixtures) में दुर्लभ मोड्स को सफलतापूर्वक अपवेट किया, भले ही बेस प्रोबेबिलिटी $10^{-3}$ जितनी कम थी।
उच्च आयाम (High Dimensions): CGM-relax ने $10^3$ तक की बाधाओं को प्रभावी ढंग से संभाला। इसके विपरीत, CGM-reward $30$ से अधिक बाधाओं के लिए अव्यवहारिक हो गया क्योंकि एम्पिरिकल मैक्सिमम एंट्रॉपी समस्या (इक्वेशन 7) को हल करना कठिन था।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि CGM एक व्यावहारिक ढांचा प्रदान करता है जिससे मॉडल आर्किटेक्चर में बदलाव या स्क्रैच से रिट्रेनिंग की आवश्यकता के बिना हाई-डायमेंशनल जनरेटिव मॉडल्स को डिस्ट्रिब्यूशनल कंस्ट्रेंट्स को पूरा करने के लिए कैलिब्रेट किया जा सकता है।

मजबूती (Robustness): CGM-relax को CGM-reward की तुलना में अधिक मजबूत दिखाया गया है, विशेष रूप से उन हाई-डायमेंशनल कंस्ट्रेंट सेटिंग्स में जहाँ मैक्सिमम एंट्रॉपी पैरामीटर्स का अनुमान लगाना कठिन हो जाता है।
ट्रेड-ऑफ (Trade-offs): विधियाँ अंशांकन सटीकता और बेस मॉडल के प्रति फिडेलिटी (fidelity) के बीच एक नेविगेबल ट्रेड-ऑफ प्रदान करती हैं (जिसे $\lambda$ द्वारा नियंत्रित किया जाता है)।
सीमाएँ (Limitations): लेखक स्वीकार करते हैं कि अवशेष त्रुटियाँ (residual errors) बनी रहती हैं, विशेष रूप से बहुत दुर्लभ घटनाओं के लिए। इसके अलावा, फ्रेमवर्क वर्तमान में उन मॉडल्स पर निर्भर करता है जिनके पास ट्रेक्टेबल लाइकलीहुड (tractable likelihoods) हैं (डिफ्यूजन मॉडल्स, नॉर्मलाइजिंग फ्लो, ऑटोरिग्रेसिव मॉडल्स), जो इसे GANs जैसे इम्प्लिसिट मॉडल्स के प्रत्यक्ष अनुप्रयोग को सीमित करता है।

यह कार्य अंशांकन को स्टैंडर्ड रिवॉर्ड फाइन-ट्यूनिंग से अलग एक विशिष्ट और फलदायी शोध दिशा के रूप में स्थापित करता है, जो डिस्ट्रिब्यूशनल अलाइनमेंट के लिए कंस्ट्रेंट्स का उपयोग करता है।