🤖 machine learning

Calibrating Generative Models to Feature Distributions with MMD Finetuning

यह शोध पत्र kCGM को प्रस्तुत करता है, जो मैक्सिमम मीन ディस्क्रीपेंसी (MMD) न्यूनीकरण और KL रेगुलराइजेशन का उपयोग करके जनरेटिव मॉडल्स को लक्षित फीचर वितरणों से मेल खाने के लिए कैलिब्रेट करने की एक विधि है, जो एंटीबायोटिक, प्रोटीन और डीएनए जनरेशन जैसे विविध कार्यों में सैंपल वैधता को बनाए रखते हुए फीचर अलाइनमेंट को प्रभावी ढंग से सुधारता है।

मूल लेखक: Nathaniel L. Diamant, Brian L. Trippe

प्रकाशित 2026-06-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nathaniel L. Diamant, Brian L. Trippe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जो विभिन्न प्रकार के व्यंजन बनाने में अविश्वसनीय रूप से प्रतिभाशाली है। इस शेफ ने व्यंजनों के एक विशाल पुस्तकालय (प्रीट्रेन्ड मॉडल) से बहुत कुछ सीखा है और वह लगभग हर बार एक स्वादिष्ट, दिखने में वास्तविक लगने वाला भोजन तैयार कर सकता है। हालाँकि, यदि आप उससे किसी विशिष्ट प्रकार का व्यंजन, जैसे कि "प्रामाणिक इतालवी पास्ता" बनाने के लिए कहते हैं, तो उसे संघर्ष करना पड़ सकता है। वे एक पास्ता व्यंजन बना सकते हैं जो दिखने में शानदार हो और स्वाद में ठीक हो, लेकिन इसमें वह विशिष्ट बनावट, सॉस की स्थिरता या मसालों का प्रोफाइल गायब हो सकता है जो असली इतालवी पास्ता को परिभाषित करता है।

AI की दुनिया में, यह एक आम समस्या है। जनरेटिव मॉडल (जैसे कि वह शेफ) व्यक्तिगत आइटम बना सकते हैं जो वास्तविक लगते हैं, लेकिन यदि आप उनके द्वारा बनाए गए पूरे बैच को देखें, तो फीचर्स का वितरण (distribution of features) (कुल शैली, आकार या रासायनिक संरचना) अक्सर उस दिशा से भटक जाता है जो आप वास्तव में चाहते हैं।

यह पेपर kCGM (kernel Calibrating Generative Models) नामक एक नई विधि पेश करता है ताकि शेफ की प्राकृतिक प्रतिभा को खराब किए बिना इस भटकाव को ठीक किया जा सके।

समस्या: "सिर्फ नकल करना" क्यों काम नहीं करता

यदि आप चाहते हैं कि आपका AI शेफ बेहतर एंटीबायोटिक्स (एक प्रकार की दवा) बनाए, तो एक सरल समाधान यह हो सकता है कि आप उन्हें 174 वास्तविक एंटीबायोटिक्स की एक सूची दिखाएं और कहें, "इनके और अधिक संस्करण बनाओ।"

पेपर का तर्क है कि यह एक छात्र को एक ही पाठ्यपुस्तक को पृष्ठ दर पृष्ठ रटने के लिए कहने जैसा है।

ओवरफिटिंग (Overfitting): AI उन 174 विशिष्ट अणुओं को बस याद कर सकता है और अपनी रचनात्मकता खो सकता है। यह एक जनरेटर के बजाय एक फोटोकॉपी मशीन बन जाता है।
गलत फोकस: यह गलत चीजों की नकल कर सकता है। यह अणुओं के आकार की नकल करना सीख सकता है, लेकिन उन रासायनिक गुणों को खो सकता है जो उन्हें दवा के रूप में काम करने के योग्य बनाते हैं।
मॉडल को तोड़ना: प्रयोगों में, जब शोधकर्ताओं ने इस "सीधी नकल" (डायरेक्ट फाइनट्यूनिंग) को एंटीबायोटिक्स पर आज़माया, तो AI ने "अमान्य" अणु (invalid molecules) बनाना शुरू कर दिया—ऐसे रासायनिक ढांचे जो वास्तव में वास्तविक दुनिया में अस्तित्व में नहीं हो सकते। इसने सूची से मेल खाने के लिए गुणवत्ता का बलिदान दे दिया।

समाधान: kCGM (द "टेस्ट-टेस्ट" कैलिब्रेशन)

AI को लक्षित सूची को याद करने के लिए मजबूर करने के बजाय, kCGM एक स्मार्ट टेस्ट-टेस्टर की तरह काम करता है जो AI की रचनाओं के समग्र स्वाद प्रोफाइल की लक्ष्य के विरुद्ध तुलना करता है।

यह कैसे काम करता है, यहाँ कुछ उपमाएँ दी गई हैं:

1. फीचर मैप (विशेषताओं का "मेन्यू")
आपको AI को वास्तविक अणुओं को दिखाने की आवश्यकता नहीं है। आपको बस यह बताना है कि कौन सी विशेषताएं मायने रखती हैं।

दवाओं के लिए, आपको "लिपोफिलिसिटी" (यह कितना तैलीय है) या "आणविक भार" की चिंता हो सकती है।
प्रोटीन के लिए, आपको "हेलिक्स" और "स्ट्रैंड" आकारों के अनुपात की चिंता हो सकती है।
DNA के लिए, आपको इस बात की चिंता हो सकती है कि एक विशिष्ट कोशिका प्रकार में अनुक्रम कितना सक्रिय है।
ये विशेषताएं एक मेन्यू ऑफ ट्रेट्स की तरह हैं। AI को वास्तविक लक्ष्य अणुओं को देखने की आवश्यकता नहीं है; उसे बस यह देखने की आवश्यकता है कि औसत रूप में लक्ष्य समूह का "मेन्यू" कैसा दिखता है।

2. MMD (द "डिस्टेंस मेजर")
पेपर मैक्सिमम मीन डिसक्रीपेंसी (Maximum Mean Discrepancy - MMD) नामक एक गणितीय उपकरण का उपयोग करता है। इसे एक रूलर (पैमाना) के रूप में सोचें जो बिंदुओं के दो बादलों के बीच की दूरी को मापता है।

कल्पना करें कि AI का वर्तमान आउटपुट नीले बिंदुओं का एक बादल है।
लक्षित एंटीबायोटिक्स लाल बिंदुओं का एक बादल हैं।
MMD इन दोनों बादलों के बीच की दूरी को उनके केंद्र के बजाय उनके आकार और फैलाव के संदर्भ में मापता है।
नवाचार: पिछले तरीकों (जैसे CGM) ने केवल बादलों के केंद्र (औसत) को मिलाने की कोशिश की थी। kCGM बादलों के संपूर्ण आकार को मिलाने का प्रयास करता है। यह सुनिश्चित करता है कि AI केवल "औसत" एंटीबायोटिक्स नहीं बना रहा है, बल्कि विविध मिश्रण बना रहा है जो वास्तविक वितरण की तरह बिल्कुल दिखता है।

3. स्कोर-फंक्शन (द "नज" या हल्का धक्का)
चूंकि AI हमेशा इन फीचर्स के पीछे के गणित को "देख" नहीं सकता (कुछ फीचर्स ब्लैक बॉक्स होते हैं, जैसे एक जटिल रासायनिक फिंगरप्रिंट), kCGM एक स्कोर-फंक्शन एस्टिमेटर का उपयोग करता है।

कल्पना करें कि AI एक अंधा कलाकार है जो एक लक्ष्य को बनाने की कोशिश कर रहा है।
लक्ष्य को देखने के बजाय, उसे एक "स्कोर" मिलता है जो बताता है कि उसका चित्र लक्ष्य की शैली के कितने करीब है।
kCGm इस स्कोर के आधार पर एक "नज" (हल्का धक्का) की गणना करता है ताकि AI के अगले प्रयास को धीरे से लक्ष्य वितरण के करीब लाया जा सके, बिना उसे विशिष्ट उदाहरणों को याद करने के लिए मजबूर किए।

4. KL रेगुलराइजेशन (द "सेफ्टी नेट")
यह अत्यंत महत्वपूर्ण है। जब आप AI को प्रेरित करते हैं, तो आप नहीं चाहते कि वह खाना बनाना पूरी तरह से भूल जाए।

kCGM में एक "सेफ्टी नेट" (KL रेगुलराइजेशन) शामिल है जो कहता है, "लक्ष्य की ओर बढ़ें, लेकिन अपनी मूल, उच्च-गुणवत्ता वाली शैली से बहुत दूर न जाएं।"
यह AI को केवल लक्ष्य संख्या प्राप्त करने के लिए निरर्थक (अमान्य) अणु बनाने से रोकता है।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इस "टेस्ट-टेस्टर" पद्धति का परीक्षण तीन अलग-अलग किचनों में किया:

एंटीबायोटिक्स (छोटे अणु):
- परिणाम: जब उन्होंने AI को एंटीबायोटिक्स उत्पन्न करने के लिए प्रेरित किया, तो "सीधी नकल" करने वाले तरीके ने AI को तोड़ दिया, जिससे कई अमान्य रासायनिक संरचनाएं बनीं।
- kCGM: AI ने वैध, रासायनिक रूप से सुदृढ़ अणु उत्पन्न किए जो वास्तविक एंटीबायोटिक्स के सांख्यिकीय वितरण से पूरी तरह मेल खाते थे। इसने मैच को भी सुधारा और गुणवत्ता को भी उच्च बनाए रखा।
प्रोटीन (फोल्डिंग शेप्स):
- परिणाम: AI ऐसे प्रोटीन बना रहा था जो लगभग पूरी तरह से एक ही आकार (अल्फा-हेलिस) के थे, जिससे प्रकृति में पाई जाने वाली विविधता गायब थी।
- kCGM: इसने AI को प्रकृति में पाए जाने वाले विविध प्रोटीन आकारों के मिश्रण को सफलतापूर्वक बनाने के लिए परिवर्तित किया, जो पिछले तरीकों की तुलना में बहुत बेहतर था।
DNA (रेगुलेटरी सीक्वेंस):
- परिणाम: AI को सही कोशिकाओं में सही जीन को सक्रिय करने वाले DNA अनुक्रम बनाने में संघर्ष करना पड़ा।
- kCGM: इसने AI को DNA अनुक्रमों को उत्पन्न करने के लिए कैलिब्रेट किया जिनका विशिष्ट कोशिका प्रकारों के लिए सही "एक्टिविटी प्रोफाइल" था, भले ही इन विशेषताओं को मापने के लिए उपयोग किए गए फीचर्स जटिल और "ब्लैक-बॉक्स" (दूसरे AI द्वारा अनुमानित) थे।

मुख्य निष्कर्ष

पेपर का दावा है कि kCGM जनरेटिव मॉडल को फाइन-ट्यून करने का एक बेहतर तरीका है। मॉडल को उदाहरणों की एक छोटी सूची याद करने के लिए मजबूर करने के बजाय (जो इसे तोड़ देता है), यह मॉडल को एक लक्षित समूह के सांख्यिकीय फिंगरप्रिंट से मेल खाने के लिए धीरे से निर्देशित करता है।

यह एक कैलिब्रेशन डायल की तरह काम करता है: आप इसे AI के आउटपुट को अपने लक्ष्य से अधिक निकटता से मिलाने के लिए घुमा सकते हैं, लेकिन "सेफ्टी नेट" यह सुनिश्चित करता है कि AI कभी भी वैध, उच्च-गुणवत्ता वाले नमूने बनाने की अपनी क्षमता न खोए। यह तब भी काम करता है जब वे फीचर्स जिन्हें आप महत्व देते हैं जटिल, नॉन-डिफरेंशिएबल, या "ब्लैक-बॉक्स" टूल्स से आते हैं।

तकनीकी सारांश: MMD फाइनट्यूनिंग के साथ फीचर डिस्ट्रीब्यूशन के लिए जेनेरेटिव मॉडल्स को कैलिब्रेट करना (kCGM)

समस्या विवरण (Problem Statement)
जेनेरेटिव मॉडल्स अक्सर ऐसे नमूने (samples) उत्पन्न करते हैं जो व्यक्तिगत रूप से तो तर्कसंगत होते हैं, लेकिन महत्वपूर्ण फीचर्स (features) के संबंध में वितरण संबंधी विसंगति (distributional misalignment) प्रदर्शित करते हैं। उदाहरण के लिए, एक मॉडल जो व्यापक रासायनिक स्थान (chemical space) पर प्री-ट्रेन किया गया है, वह ऐसे अणु (molecules) उत्पन्न कर सकता है जो एक विशिष्ट चिकित्सीय वर्ग, जैसे कि एंटीबायोटिक्स, के फीचर डिस्ट्रीब्यूशन से काफी भिन्न हों। इसे सीधे लक्षित सेट (target set) पर फाइनट्यूनिंग के माध्यम से सुधारना समस्याग्रस्त है: इसमें छोटे डेटासेट्स पर ओवरफिटिंग का जोखिम होता है, इसके लिए पूर्ण लक्षित नमूनों की आवश्यकता होती है (जो दुर्लभ हो सकते हैं), और यह निर्दिष्ट करने में विफल रहता है कि किन विशिष्ट फीचर्स को मैच किया जाना चाहिए। मौजूदा पद्धतियां अक्सर नॉन-डिफरेंशिएबल (non-differentiable) ब्लैक-बॉक्स फीचर्स (जैसे मॉर्गन फिंगरप्रिंट्स) के साथ संघर्ष करती हैं। यह पेपर उन एल्गोरिदम में एक अंतराल की पहचान करता है जो केवल फीचर-लेवल सुपरविजन का उपयोग करके, बिना फीचर मैप या सैंपलिंग प्रक्रिया की डिफरेंशिएबिलिटी की आवश्यकता के, जेनेरेटिव मॉडल्स को लक्षित फीचर डिस्ट्रीब्यूशन से मिलाने के लिए कैलिब्रेट कर सकें।

कार्यप्रणाली (Methodology): kCGM
लेखक kernel Calibrating Generative Models (kCGM) पेश करते हैं, जो एक फाइनट्यूनिंग विधि है जो प्री-ट्रेन किए गए मॉडल के KL डाइवर्जेंस द्वारा नियमित (regularized) होते हुए, जनरेटेड फीचर डिस्ट्रीब्यूशन और लक्षित फीचर डिस्ट्रीब्यूशन के बीच मैक्सिमम मीन डिस्क्रिपेंसी (Maximum Mean Discrepancy - MMD) को कम करती है।

ऑब्जेक्टिव फंक्शन (Objective Function): यह विधि एक ऑब्जेक्टिव $L_\theta$ को अनुकूलित करती है जो दो पदों (terms) से बना है:
1. MMD लॉस: मॉडल-प्रेरित फीचर डिस्ट्रीबक्शन $P$ (जहाँ $y = h(x)$ और $x \sim p_\theta$ ) और एम्पिरिकल टारगेट डिस्ट्रीब्यूशन $Q$ (लक्षित फीचर्स $y^{targ}_{1:N}$ से) के बीच स्क्वेयर्ड MMD का एक अनबायस्ड फाइनाइट-सैंपल एस्टीमेटर।
2. KL रेगुलराइजेशन: एक पद $\lambda D_{KL}(p_\theta || p_{\theta_{pre}})$ जो यह सुनिश्चित करता है कि फाइन-ट्यून किया गया मॉडल प्री-ट्रेन्ड डिस्ट्रीब्यूशन के करीब रहे, जिससे कैटास्ट्रफिक फॉरगेटिंग (catastrophic forgetting) या मोड कोलैप्स (mode collapse) को रोका जा सके।
कर्नेल चयन (Kernel Selection): पिछली पद्धतियों के विपरीत जो डॉट-प्रोडक्ट कर्नेल्स (जो केवल माध्य/means को मैच करते हैं) पर निर्भर हो सकती हैं, kCGM उन कर्नेल्स का उपयोग करता है जो प्रोबेबिलिटी डिस्ट्रीब्यूशंस पर एक मेट्रिक को परिभाषित करते हैं (जो केवल समान डिस्ट्रीब्यूशंस के लिए शून्य होते हैं)।
- निरंतर यूक्लिडियन फीचर्स (continuous Euclidean features) के लिए, एक एनर्जी-डिस्टेंस कर्नेल (energy-distance kernel) का उपयोग किया जाता है।
- डिस्क्रीट बिट-वेक्टर फीचर्स (जैसे मॉर्गन फिंगरप्रिंट्स) के लिए, एक टैनिटोमो/जैकार्ड कर्नेल (Tanimoto/Jaccard kernel) का उपयोग किया जाता है।
  ये विकल्प अतिरिक्त बैंडविड्थ हाइपरपैरामीटर्स को जोड़ने से बचते हैं।
ग्रेडिएंट एस्टीमेशन (Gradient Estimation): चूंकि फीचर मैप $h$ और सैंपलिंग प्रक्रिया नॉन-डिफरेंशिएबल हो सकती है, kCGM स्कोर-फंक्शन ग्रेडिएंट्स (REINFORCE-स्टाइल) का उपयोग करता है।
- लीव-वन-आउट (LOO) बेसलाइन: एक महत्वपूर्ण तकनीकी योगदान MMD लॉस के लिए एक नवीन LOO बेसलाइन का व्युत्पन्न (derivation) है। मानक LOO बेसलाइन बैच के अन्य नमूनों से गुणांकों (coefficients) का औसत लेती है, लेकिन MMD गुणांक नमूनों के बीच जुड़े (coupled) होते हैं। लेखक एक विशिष्ट "MMD-LOO" एस्टीमेटर व्युत्पन्न करते हैं जो यह अनुमान लगाता है कि यदि किसी विशिष्ट नमूने को मिनी-बैच में शामिल नहीं किया गया होता तो औसत गुणांक क्या होता, जिससे बिना बायस (bias) के वेरिएंस कम होता है।
- एल्गोरिदम: इस प्रक्रिया में वर्तमान मॉडल से नमूने लेना (बिना ग्रेडिएंट ट्रैकिंग के), फीचर वेक्टर्स की गणना करना, LOO बेसलाइन्स के साथ MMD और KL गुणांकों की गणना करना, और स्कोर-फंक्शन ग्रेडिएंट्स के माध्यम से मॉडल वेट्स को अपडेट करना शामिल है।

मुख्य योगदान (Key Contributions)

फॉर्मुलेशन: यह पेपर केवल लक्षित फीचर नमूनों का उपयोग करके KL-रेगुलराइज्ड MMD फाइनट्यूनिंग के रूप में फीचर-डिस्ट्रीब्यूशन मैचिंग को फॉर्मुलेट करता है, जिससे मूल सैंपल स्पेस में पूर्ण लक्षित नमूनों की आवश्यकता समाप्त हो जाती है।
अनबायस्ड एस्टीमेटर: लेखक MMD ऑब्जेक्टिव के लिए एक अनबायस्ड स्कोर-फंक्शन ग्रेडिएंट एस्टीमेटर व्युत्पन्न करते हैं, जो नॉन-डिफरेंशिएबल फीचर मैप्स और नॉन-रीपैरामीटेराइज़ेबल सैंपलर्स (जैसे ऑटोरिग्रेसिव मॉडल्स, डिस्क्रीट डिफ्यूजन) के उपयोग को सक्षम बनाता है।
सामान्यीकरण (Generalization): kCGM, 'कैलिब्रेटिंग जेनेरेटिव मॉडल्स (CGM)' का सामान्यीकरण करता है। जहाँ CGM लक्षित फीचर माध्य (means) को मैच करता है, वहीं kCGM MMD के माध्यम से पूर्ण डिस्ट्रीब्यूशन को मैच करता है। पेपर नोट करता है कि kCGM में डॉट-प्रोडक्ट कर्नेल का उपयोग करने से CGM-रिलैक्स ऑब्जेक्ट प्राप्त होता है।

प्रायोगिक परिणाम (Experimental Results)
लेखक तीन डोमेन में kCGM का मूल्यांकन करते हैं: स्मॉल-मॉलिक्यूल जनरेशन, प्रोटीन स्ट्रक्चर जनरेशन, और रेगुलेटरी DNA जनरेशन।

स्मॉल-मॉलिक्यूल एंटीबायोटिक्स:
- कार्य: 174 ज्ञात एंटीबायोटिक्स के फीचर डिस्ट्रीब्यूशन से मेल खाने के लिए एक G2PT ऑटोरिग्रेसिव ग्राफ मॉडल को कैलिब्रेट करना।
- फीचर्स: मॉर्गन फिंगरप्रिंट्स (लोकल सबस्ट्रक्चर), मुरको स्कैफोल्ड्स (टोपोलॉजी), और फिजिकोकेमिकल डिस्क्रिप्टर्स।
- निष्कर्ष: kCGM, CGM और डायरेक्ट फाइनट्यूनिंग की तुलना में लक्षित फीचर डिस्ट्रीब्यूशन (MMD द्वारा मापा गया) और प्री-ट्रेन्ड मॉडल से दूरी के बीच एक बेहतर ट्रेड-ऑफ प्राप्त करता है। महत्वपूर्ण रूप से, जबकि डायरेक्ट फाइनट्यूनिंग के कारण एंटीबायोटिक सेट पर उच्च अनुपात में रासायनिक रूप से अमान्य (invalid) अणु उत्पन्न हुए, kCGM ने फीचर मैचिंग में सुधार किया और साथ ही केमिकल वैलिडिटी को भी बढ़ाया। kCGM ने क्रॉस-फीचर ट्रांसफर भी प्रदर्शित किया, जिससे केवल फिंगरप्रिंट्स पर प्रशिक्षित होने के बावजूद स्कैफोल्ड और डिस्क्रिप्टर मैचिंग में सुधार हुआ।
प्रोटीन स्ट्रक्चर डायवर्सिटी:
- कार्य: CATH डेटासेट के सेकेंडरी स्ट्रक्चर डिस्ट्रीब्यूशन (अल्फा-हेलिस बनाम बीटा-स्ट्रैंड्स) से मेल खाने के लिए Genie 2 (एक प्रोटीन डिफ्यूजन मॉडल) को फाइनट्यून करना।
- निष्कर्ष: प्री-ट्रेन्ड मॉडल मुख्य रूप से अल्फा-हेलिस्स उत्पन्न कर रहा था। kCGM ने CGM की तुलना में लक्षित डिस्ट्रीब्यूशन के साथ असहमति को लगभग 2 गुना कम कर दिया। kCGM ने KL वेट $\lambda$ के साथ एक स्मूथ ट्रेड-ऑफ कर्व दिखाया, जबकि CGM का प्रदर्शन $\lambda$ के प्रति कम संवेदनशील था, जिससे ऑप्टिमाइजेशन कठिन हो गया।
रेगुलेटरी DNA जनरेशन:
- कार्य: सेल-टाइप-विशिष्ट एक्टिविटी प्रोफाइल (AlphaGenome द्वारा अनुमानित) के साथ यथार्थवादी DNA सीक्वेंस उत्पन्न करने के लिए एक डिस्क्रीट डिफ्यूजन मॉडल को फाइनट्यून करना।
- निष्कर्ष: kCGM 47 अलग-अलग सिस-रेगुलेटरी टॉपिक्स के लिए एक्टिविटी प्रोफाइल के पूर्ण डिस्ट्रीब्यूशन को सफलतापूर्वक मैच करने में सफल रहा, जिसने CGM (जो केवल माध्य को मैच करता था) को पीछे छोड़ दिया। फाइन-ट्यून किया गया मॉडल ऐसे सीक्वेंस उत्पन्न करता है जिनके एक्टिविटी प्रोफाइल वास्तविक एन्हांसर के समान थे, जबकि प्री-ट्रेन्ड मॉडल कम-सक्रिय (under-active) सीक्वेंस उत्पन्न कर रहा था।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि kCGM, विशेष रूप से जब लक्षित डेटासेट्स छोटे हों या जब केवल डिस्ट्रीब्यूशन के विशिष्ट पहलुओं को संरक्षित करने की आवश्यकता हो, तो डायरेक्ट फाइनट्यूनिंग का एक मजबूत विकल्प प्रदान करता है। इसका प्राथमिक महत्व यह है कि यह सक्षम बनाता है:

केवल फीचर-लेवल सुपरविजन का उपयोग करके जेनेरेटिव मॉडल्स को उपयोगकर्ता-निर्दिष्ट फीचर डिस्ट्रीब्यूशंस के अनुरूप बनाना।
ब्लैक-बॉक्स और नॉन-डिफरेंशिएबल फीचर्स (जैसे फिंगरप्रिंट्स, प्रेडिक्टर आउटपुट्स) को संभालना, जो वैज्ञानिक डोमेन में आम हैं लेकिन मानक ग्रेडिएंट-आधारित फाइनट्यूनिंग के साथ असंगत हैं।
डायरेक्ट फाइनट्यूनिंग के सामान्य विफलता मोड (केमिकल वैलिडिटी में कमी) को ठीक करते हुए सैंपल क्वालिटी (वैलिडिटी) को बनाए रखना या सुधारना।
ऑटोरिग्रेसिव मॉडल्स, कंटीन्यूअस-स्पेस डिफ्यूजन, और डिस्क्रीट डिफ्यूजन मॉडल्स सहित विविध आर्किटेक्चर पर लागू होना।

लेखक सीमाओं का उल्लेख करते हैं, जैसे कि MMD हाइपोथीसिस टेस्टिंग में 'कर्स ऑफ डायमेंशनैलिटी' के कारण बहुत उच्च-आयामी (high-dimensional) फीचर्स के लिए संभावित अप्रभावीता, और ट्रैक्टेबल सैंपलिंग-ट्रैजेक्टरी लॉग-प्रोबेबिलिटीज की आवश्यकता (फ्लो मैचिंग मॉडल्स को छोड़कर)। वे सुझाव देते हैं कि भविष्य का कार्य इस ढांचे को उन सेटिंग्स तक बढ़ा सकता है जहाँ केवल डिस्ट्रीशनल बाधाएं मौजूद हैं बिना मूल जेनेरेटिव स्पेस में पूर्ण नमूनों के।

समस्या: "सिर्फ नकल करना" क्यों काम नहीं करता

समाधान: kCGM (द "टेस्ट-टेस्ट" कैलिब्रेशन)

प्रयोगों में क्या हुआ?

मुख्य निष्कर्ष

तकनीकी सारांश: MMD फाइनट्यूनिंग के साथ फीचर डिस्ट्रीब्यूशन के लिए जेनेरेटिव मॉडल्स को कैलिब्रेट करना (kCGM)

इसी तरह के और पेपर