📊 statistics

On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference

यह शोध पत्र LoRA-Curve प्रस्तुत करता है, जो LoRA-आधारित बेयसियन अनुमान (Bayesian inference) के लिए एक खंडित बेज़ियर वक्र पैरामीट्रिकरण (segmented Bézier curve parameterization) है, जो स्वतंत्र रूप से फाइन-ट्यून किए गए ऑप्टिमा के बीच निरंतर लो-लॉस वैलीज़ (low-loss valleys) को जोड़ता है, जिससे पारंपरिक रैखिक इंटरपोलेशन या डिस्क्रीट एनसेम्बल विधियों की तुलना में बेहतर कार्यात्मक विविधता और एपिस्टेमिक अनिश्चितता अनुमान प्राप्त होता है।

मूल लेखक: Daniel Dold, Emanuel Sommer, Julius Kobialka, Oliver Dürr, David Rügamer

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Dold, Emanuel Sommer, Julius Kobialka, Oliver Dürr, David Rügamer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI में "स्वीट स्पॉट्स" (Sweet Spots) खोजना

कल्पना कीजिए कि आपके पास एक विशाल, प्री-ट्रेंड AI मॉडल है (जैसे कि एक सुपर-स्मार्ट लाइब्रेरियन जिसे सब कुछ पता है)। आप उसे एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे कि गणित की पहेलियाँ हल करना। इसे करने के लिए कि पूरी लाइब्रेरी को फिर से प्रशिक्षित न करना पड़े, आप लाइब्रेरियन के दिमाग में एक छोटा, कुशल "अडैप्टर" (जिसे LoRA कहा जाता है) जोड़ते हैं।

आमतौर पर, जब हम इस अडैप्टर को प्रशिक्षित करते हैं, तो हम सेटिंग्स के एक आदर्श सेट (एक "पॉइंट एस्टीमेट") की तलाश करते हैं जो अच्छा काम करे। समस्या यह है कि AI बहुत अधिक आत्मविश्वासी (overconfident) हो सकता है। यदि वह ऐसा प्रश्न देखता है जिसे वह नहीं जानता, तो भी वह 100% निश्चितता के साथ अनुमान लगा सकता है, जो कि खतरनाक है।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर दो चीजें करते हैं:

"एक सबसे अच्छा अनुमान" (MAP): एक ही आदर्श सेटिंग खोजें।
"विशेषज्ञों की समिति" (Deep Ensembles): पाँच अलग-अलग अडैप्टर को अलग-अलग प्रशिक्षित करें और उन्हें वोट देने दें। यह अच्छा है क्योंकि वे कठिन सवालों पर असहमत हो सकते हैं, जिससे हमें अनिश्चितता का स्तर पता चलता है। लेकिन यह महंगा और जटिल है।

पेपर की खोज:
लेखकों ने पाया कि इन विभिन्न "परफेक्ट सेटिंग्स" के बीच का स्थान खराब प्रदर्शन का एक बंजर इलाका नहीं है। इसके बजाय, यह एक निरंतर, सुचारू घाटी (continuous, smooth valley) है जहाँ AI विशेषज्ञों जितना ही अच्छा प्रदर्शन करता है, लेकिन उनके बीच एक सहज बदलाव (smooth transition) भी होता है। उन्होंने इस घाटी में चलने के लिए एक टूल बनाया जिसे LoRA-Curve कहा जाता है।

मूल अवधारणा: "बेज़ियर कर्व" (Bézier Curve) का रूपक

AI की सेटिंग्स को एक परिदृश्य (landscape) के रूप में सोचें जिसमें पहाड़ (खराब प्रदर्शन) और घाटियाँ (अच्छा प्रदर्शन) हैं।

पुराना तरीका (Linear Interpolation): कल्पना कीजिए कि आपके पास दो अलग-अलग पहाड़ियों (दो अच्छे समाधानों) पर दो कैंपर्स हैं। यदि आप उनके बीच एक सीधी रेखा में चलने की कोशिश करते हैं, तो आपको बीच में एक खड़ी चढ़ाई चढ़नी पड़ सकती है। ऐसा तब होता है जब हम केवल दो AI मॉडलों का औसत निकालते हैं; बीच में प्रदर्शन गिर जाता है।
पेपर का तरीका (LoRA-Curve): एक सीधी रेखा के बजाय, एक लचीले, घुमावदार हाइकिंग ट्रेल (एक Bézier curve) की कल्पना करें जो दो पहाड़ियों को बिना किसी ऊंचे पहाड़ पर चढ़े, निचले इलाकों के माध्यम से जोड़ता है।

लेखकों ने इस ट्रेल के दो संस्करण बनाए हैं:

"फ्री" ट्रेल (Free LoRA-Curve): आप एक खाली मानचित्र से शुरुआत करते हैं और AI को अपने आप सबसे अच्छा घुमावदार रास्ता खोजने देते हैं। यह एक हाइकर की तरह है जो सबसे सुगम मार्ग खोजने के लिए खोजबीन कर रहा है।
"एंकरड" ट्रेल (Anchored LoRA-Curve): आप दो मौजूदा, प्रमाणित कैंपर्स (अन्य तरीकों द्वारा खोजे गए समाधान) को लेते हैं और विशेष रूप से उन्हें जोड़ने वाला एक लचीला रास्ता बनाते हैं। यह सुनिश्चित करता है कि आप मूल विशेषज्ञों की गुणवत्ता खोए बिना उनके बीच एक सुचारू पथ प्राप्त कर सकें।

यह क्यों मायने रखता है: "सुचारू संक्रमण" (Smooth Transition)

पेपर यह सिद्ध करता है कि जैसे-जैसे आप इस ट्रेल पर चलते हैं, AI के उत्तर सुचारू रूप से (smoothly) बदलते हैं, न कि झटकेदार तरीके से।

रूपक: कल्पना कीजिए कि 5 विशेषज्ञों की एक समिति किसी फिल्म की रेटिंग पर वोट दे रही है।
- पुराना तरीका (Discrete): विशेषज्ञ A कहता है "1 स्टार", विशेषज्ञ B कहता है "5 स्टार"। उनके बीच कोई "3-स्टार" राय नहीं है; आपके पास केवल दो चरम स्थितियाँ हैं।
- नया तरीका (LoRA-Curve): जैसे-जैसे आप विशेषज्ञ A से विशेषज्ञ B की ओर एक डायल घुमाते हैं, रेटिंग 1 से 5 तक सुचारू रूप से बदल जाती है। बीच के बिंदु पर, AI एक "3-स्टार" रेटिंग देता है जो विशेषज्ञों जितनी ही आत्मविश्वासी और सटीक होती है।

यह सुचारूता AI को अनिश्चितता (uncertainty) व्यक्त करने की अनुमति देती है। यदि ट्रेल एक ऐसे "धुंधले" क्षेत्र से गुजरती है जहाँ AI के उत्तर एक-दूसरे से असहमत होने लगते हैं, तो हमें पता चल जाता है कि AI अनिश्चित है। यदि ट्रेल सुचारू और सुसंगत है, तो हम जानते हैं कि AI आत्मविश्वासी है।

"JSD" का गुप्त नुस्खा: ट्रेल को दिलचस्प बनाए रखना

एक जोखिम यह है कि AI आलसी हो सकता है और ट्रेल के एक ही स्थान पर टिका रह सकता है। इसे रोकने के लिए, लेखकों ने एक "विविधता दंड" (जिसे JSD Regularization कहा जाता है) जोड़ा।

रूपक: कल्पना कीजिए कि आप एक लंबी लीश (ट्रेल) पर एक कुत्ते को टहला रहे हैं। यदि कुत्ता बस एक ही जगह बैठा रहता है, तो आप ऊब जाएंगे। JSD पेनल्टी एक हल्के खिंचाव की तरह है जो कहता है, "हे, उस पार्क के दूसरे हिस्से को भी एक्सप्लोर करो!" यह AI को ट्रेल के विभिन्न "कार्यात्मक" क्षेत्रों में जाने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वह समस्याओं को हल करने के कई तरीकों को पकड़ सके। यह AI की "अनिश्चितता" को अधिक सटीक बनाता है।

उन्होंने क्या पाया (परिणाम)

विभिन्न तर्क परीक्षणों (जैसे तर्क पहेलियाँ और पठन समझ) पर एक बड़े लैंग्वेज मॉडल (Qwen2.5) का उपयोग करके, उन्होंने पाया:

घाटी मौजूद है: अलग-अलग अच्छे समाधानों के बीच का स्थान वास्तव में एक सुचारू, कम-हानि वाली घाटी (low-loss valley) है। आपको "एक अच्छा मॉडल" या "पाँच महंगे मॉडल" के बीच चयन करने की आवश्यकता नहीं है। आप अच्छे मॉडलों का एक निरंतर स्पेक्ट्रम रख सकते हैं।
बेहतर अनिश्चितता: इस कर्व पर चलकर, AI अधिक "कार्यात्मक विविधता" (वह समस्या को सोचने के विभिन्न तरीकों को समझता है) को कैप्चर करता है, बिना सटीकता खोए।
"फ्लैट" बोनस: उन्होंने इसे एक ऐसी तकनीक के साथ जोड़ा जो AI को "शार्प" चोटियों के बजाय "फ्लैट" घाटियों (चौड़े, स्थिर क्षेत्रों) को खोजने के लिए प्रोत्साहित करती है। इसने AI को और भी अधिक मजबूत (robust) बना दिया।
Anchored बनाम Free: "Anchored" संस्करण (ज्ञात विशेषज्ञों को जोड़ना) बहुत विश्वसनीय था। "Free" संस्करण (शून्य से रास्ता खोजना) को प्रशिक्षित करना तेज़ था लेकिन कभी-कभी नए, अनदेखे डेटा पर सामान्यीकरण (generalize) करने में संघर्ष करता था।

सारांश

पेपर LoRA-Curve पेश करता है, जो एक AI के विभिन्न "स्मार्ट" संस्करणों को एक सीधी रेखा के बजाय एक सुचारू, घुमावदार सड़क के साथ जोड़ने का एक तरीका है। यह सड़क आपको सोचने के विभिन्न तरीकों के बीच सुचारू रूप से संक्रमण करने की अनुमति देती है, जिससे हमें यह जानने का एक बेहतर, अधिक सिद्धांतपूर्ण तरीका मिलता है कि AI कब आत्मविश्वासी है और कब वह केवल अनुमान लगा रहा है। यह एक शहरों के बीच झटकेदार बस यात्रा से शहरों को जोड़ने वाली एक सुचारू, निरंतर ट्रेन ट्रैक में अपग्रेड करने जैसा है।

तकनीकी सारांश: LoRA-आधारित बेयसियन अनुमान (Bayesian Inference) में लो-लॉस वैलीज़ (Low-Loss Valleys) का निर्माण और निहितार्थ

समस्या विवरण

लो-रैंक अडैप्टेशन (LoRA) के माध्यम से फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स (LLMs) आमतौर पर पॉइंट एस्टीमेट्स (मैक्सिमम ए पोस्टेरिओरी, MAP) या सिंगल-मोड वेरिएशनल इंफरेंस पर निर्भर करते हैं, जो एपिस्टेमिक अनसर्टेंटी (epistemic uncertainty) के सिद्धांतपूर्ण अनुमान प्रदान करने में विफल रहते हैं। जबकि डीप एन्सेम्बल्स (Deep Ensembles - DE) एक डिस्क्रीट मल्टी-मोड दृष्टिकोण प्रदान करते हैं, LoRA रिजीम में हालिया निष्कर्ष बताते हैं कि वे सिंगल-मोड विधियों की तुलना में बहुत कम लाभ देते हैं, जो व्यापक डीप लर्निंग अवलोकनों के विपरीत है जहाँ स्वतंत्र ऑप्टिमा का एन्सेम्बल सामान्यीकरण (generalization) में सुधार करता है। एक महत्वपूर्ण अंतराल यह समझने में है कि क्या LoRA वेट स्पेस में स्वतंत्र ऑप्टिमा को जोड़ने वाली निरंतर, लो-लॉस वैलीज़ (low-loss valleys) मौजूद हैं। यदि ऐसी वैलीज़ मौजूद हैं, तो वे एक निरंतर मैनिफोल्ड (manifold) पर बेयसियन मॉडल एवरेजिंग (BMA) को सक्षम कर सकती हैं, जो उस कार्यात्मक विविधता (functional diversity) को पकड़ सकती है जिसे स्थानीय वेरिएशनल विधियों और डिस्क्रीट एन्सेम्बल्स दोनों द्वारा छोड़ दिया जाता है।

कार्यप्रणाली: LoRA-Curve

लेखक LoRA-Curve पेश करते हैं, जो बेज़ियर कर्व्स (Bézier curves) का उपयोग करके LoRA वेट स्पेस के माध्यम से एक निरंतर, सेगमेंटेड पथ को पैरामीटराइज़ करता है। यह दृष्टिकोण स्वतंत्र ऑप्टिमा को जोड़ने के लिए लो-लॉस वैलीज़ का निर्माण करता है।

मुख्य पैरामीटराइजेशन

विधि LoRA पैरामीटर स्पेस $\Theta$ के भीतर एक निरंतर पथ $t \mapsto \zeta_\vartheta(t)$ को परिभाषित करती है, जहाँ अपडेटेड वेट्स $W_\vartheta(t) = W_0 + B_\vartheta(t)A_\vartheta(t)$ हैं। कर्व का निर्माण कंट्रोल पॉइंट्स $\vartheta = \{\theta_0, \dots, \theta_{m+1}\}$ पर बर्नस्टीन बेसिस पॉलिनोमिअल्स (Bernstein basis polynomials) का उपयोग करके किया जाता है।

दो प्राथमिक कॉन्फ़िगरेशन प्रस्तावित किए गए हैं:

फ्री LoRA-Curve (FLC): सभी कंट्रोल पॉइंट्स (एंकर और इंटरमीडिएट हैंडल) को शुरुआत से ही जॉइंटली ऑप्टिमाइज़ किया जाता है। इनिशियलाइज़ेशन यह सुनिश्चित करता है कि सभी बिंदुओं पर $B_i A_i = 0$ (बेस मॉडल $W_0$ को रिकवर करना) हो, और पूरी कर्व को पथ के साथ अपेक्षित लॉस को कम करने के लिए प्रशिक्षित किया जाता है।
एंकोर्ड LoRA-Curve (ALC): "एंकर" पॉइंट्स (सेगमेंट बाउंड्रीज़) को स्वतंत्र रूप से फाइन-ट्यून किए गए LoRA मॉडल्स (जैसे, एक डीप एन्सेम्बल से) के वेट्स पर फ्रीज कर दिया जाता है। केवल इंटरमीडिएट "हैंडल" पॉइंट्स को इन फिक्स्ड एंकर्स को एक स्मूथ, लो-लॉस ट्राजेक्टरी के माध्यम से जोड़ने के लिए ऑप्टिमाइज़ किया जाता है।

सेगमेंटेशन और रेगुलाइजेशन

अत्यधिक नॉन-कॉन्वेक्स लॉस लैंडस्केप में नेविगेट करने के लिए, फ्रेमवर्क सेगमेंटेड बेज़ियर कर्व्स का उपयोग करता है। एक एकल उच्च-डिग्री पॉलिनोम के बजाय, पथ में कई सेगमेंट होते हैं जो एंकर पॉइंट्स पर जुड़े होते हैं। यह $C^0$ निरंतरता बनाए रखते हुए लॉस बैरियर्स के चारों ओर तीखे मोड़ लेने की अनुमति देता है।

कर्व को एक सिंगल पॉइंट एस्टीमेट में ढहने से रोकने और कार्यात्मक विविधता को प्रोत्साहित करने के लिए, लेखक एक जेन्सन-शैनन डायवर्जेंस (JSD) रेगुलराइज़र पेश करते हैं। यह पेनल्टी कर्व के दूरस्थ बिंदुओं ( $t_1$ और $t_2$ ) पर प्रेडिक्टिव डिस्ट्रीब्यूशन के बीच डायवर्जेंस को मैक्सिमाइज़ करती है, जिससे ट्राजेक्टरी विविध कार्यात्मक क्षेत्रों (diverse functional regions) को एक्सप्लोर करने के लिए मजबूर होती है।

सैद्धांतिक गुण

पेपर दो प्रमुख सैद्धांतिक गुणों को स्थापित करता है:

निरंतरता (Continuity): आउटपुट डिस्ट्रीब्यूशन $p(y|x, W_\vartheta(t))$ कर्व पैरामीटर $t$ के संबंध में निरंतर है। यह डिस्क्रीट एन्सेम्बल्स के विपरीत है, जो मोड्स के बीच जंप प्रदर्शित करते हैं।
रेगुलरिटी (Regularity): कर्व पर प्रतिबंधित लॉस लिप्सचिट्ज़ निरंतर (Lipschitz continuous) और पीसवाइज़ कंटीन्यूअसली डिफरेंशिएबल है। लॉस में परिवर्तन, फुल लॉस ग्रेडिएंट के नॉर्म और कर्व की स्पीड द्वारा नियंत्रित होते हैं।

इंफरेंस स्ट्रैटेजी

इंफरेंस के लिए, लेखक ऑप्टिमाइज़्ड कर्व के साथ ग्रिड एप्रोक्सिमेशन का उपयोग करके पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन का अनुमान लगाते हैं। महत्वपूर्ण रूप से, वे स्टैंडर्ड वेटिंग के बजाय यूनिफॉर्म एवरेजिंग (जो इन्फिनिट टेम्परेचर स्केलिंग, $T \to \infty$ के समकक्ष है) का उपयोग करते हैं। लेखक तर्क देते हैं कि स्टैंडर्ड वेटिंग से ट्रेनिंग डेटा पर "डबल-कंडीशनिंग" होगी (क्योंकि कर्व पहले से ही $D$ पर ऑप्टिमाइज़ किया गया था), जिससे प्रेडिक्टिव डायवर्सिटी कोलैप्स हो जाएगी।

मुख्य परिणाम

प्रयोग Qwen2.5 7B का उपयोग करके रीजनिंग और क्लासिफिकेशन बेंचमार्क्स (ARC-Challenge, ARC-Easy, OBQA, boolq, Winogrande) पर किए गए।

लो-लॉस वैलीज़ का अस्तित्व:
- स्वतंत्र ऑप्टिमा के बीच लीनियर इंटरपोलेशन लॉस बैरियर्स (नेगेटिव लॉग-लाइक्लीहुड में पीक्स) का सामना करता है।
- FLC और ALC दोनों सफलतापूर्वक इन बैरियर्स को नेविगेट करते हैं, जिससे निरंतर लो-लॉस वैलीज़ का निर्माण होता है। FLC, एंकर्स को डायनेमिकली शिफ्ट करके, अक्सर ALC की तुलना में ट्रेनिंग डेटा पर स्मूथ पाथ पाता है।
कार्यात्मक विविधता और प्रदर्शन:
- ALC बनाम डिस्क्रीट एन्सेम्बल्स: ALC, समान आकार के डीप एन्सेम्बल्स (DE) की तुलना में लॉग-लाइक्लीहुड और एक्यूरेसी के मामले में उन्हें मैच करता है या उनसे बेहतर प्रदर्शन करता है। महत्वपूर्ण रूप से, ALC डिस्क्रीट मोड्स के बीच प्रेडिक्टिव गैप को पाटता है, जिससे क्लास प्रोबेबिलिटीज में स्मूथ ट्रांज़िशन मिलता है जो DE नहीं दे सकता।
- FLC बनाम ALC: जबकि FLC ट्रेनिंग डेटा पर स्मूथ वैलीज़ खोजता है, यह कुछ डेटासेट्स (जैसे, winogrande_m) पर ALC की तुलना में जनरलाइजेशन गैप प्रदर्शित करता है। यह सुझाव देता है कि सभी पॉइंट्स को जॉइंटली ऑप्टिमाइज़ करने से ऐसी ऑप्टिमाइज़ेशन डायनेमिक्स उत्पन्न हो सकती है जो टेस्ट लैंडस्केप के साथ पूरी तरह से संरेखित नहीं होती हैं, जबकि ALC का प्री-ट्रेन्ड एंकर्स पर निर्भरता एक अधिक मजबूत इंडक्टिव बायस प्रदान करती है।
- सेगमेंटेशन: मल्टी-सेगमेंट कर्व्स लगातार सिंगल-सेगमेंट कर्व्स से बेहतर प्रदर्शन करते हैं जिनमें समान संख्या में कंट्रोल पॉइंट्स होते हैं, जो फ्लेक्सिबल, नॉन-लीनियर रूटिंग की आवश्यकता की पुष्टि करते हैं।
रेगुलराइजेशन का प्रभाव:
- फ्लैट-LoRA: कर्व फ्रेमवर्क को फ्लैट-LoRA परटर्बेशन्स (वाइडर मिनिमा खोजने के लिए नॉइज़ इंजेक्ट करना) के साथ मिलाने से निरंतर पथों को लॉस लैंडस्केप के व्यापक क्षेत्रों में सफलतापूर्वक धकेला जाता है, जिससे जनरलाइजेशन में सुधार होता है।
- JSD रेगुलराइजेशन: JSD रेगुलराइज़र लागू करने से कर्व पैरामीटर और प्रेडिक्शन के बीच म्युचुअल इंफॉर्मेशन (MI) में उल्लेखनीय वृद्धि होती है, जो उच्च कार्यात्मक विविधता को दर्शाता है, बिना प्रेडिक्टिव परफॉरमेंस (लॉग-लाइक्लीहुड) से समझौता किए।

महत्व और दावे

पेपर का दावा है कि स्वतंत्र LoRA ऑप्टिमा के बीच का स्थान एक हाई-लॉस बैरियर नहीं बल्कि एक समृद्ध, नेविगेबल लो-लॉस क्षेत्र है। निरंतर पथों का निर्माण करके, LoRA-Curve:

चरम सीमाओं को एकीकृत करता है: यह सिंगल-मोड वेरिएशनल इंफरेंस और डिस्क्रीट एन्सेम्बल्स के बीच के अंतर को पाटता है, BMA के लिए एक निरंतर मैनिफोल्ड प्रदान करता है।
कार्यात्मक विविधता को कैप्चर करता है: यह स्पष्ट रूप से निरंतर पैरामीटर-स्पेस ट्रैवर्सल को मापने योग्य म्यूचुअल इंफॉर्मेशन में वृद्धि से जोड़ता है, जो उस विविधता को कैप्चर करता है जिसे डिस्क्रीट तरीके केवल आंशिक रूप से ही एक्सप्लोइट कर पाते हैं।
व्याख्यात्मकता प्रदान करता है: कर्व की निरंतर प्रकृति यह व्याख्या करने की अनुमति देती है कि लो-रैंक वेट्स में बदलाव प्रेडिक्टिव प्रोबेबिलिटीज में स्मूथ बदलावों में कैसे अनुवादित होता है।

लेखक निष्कर्ष निकालते हैं कि जबकि FLC लो-लॉस वैलीज़ खोजने के लिए एक कुशल ऑप्टिमाइज़ेशन स्ट्रैटेजी है, ALC ज्ञात हाई-परफॉर्मिंग ऑप्टिमा को जोड़ने के लिए अधिक मजबूत तंत्र प्रदान करता है। यह कार्य स्थापित करता है कि निरंतर मोड कनेक्टिविटी, प्रोबेबिलिस्टिक LoRA के लिए एक व्यवहार्य और प्रभावी रणनीति है, बशर्ते कि उचित रेगुलराइजेशन (फ्लैटनेस और डायवर्सिटी) और इंफरेंस स्ट्रैटेजी (यूनिफॉर्म एवरेजिंग) का उपयोग किया जाए।

सीमाएँ

लेखक कई सीमाओं को स्वीकार करते हैं:

विश्लेषण एक-आयामी (one-dimensional), ग्लोबली कपल्ड ट्राजेक्टरीज तक सीमित है। उच्च-आयामी सतहों या प्रति एडॉप्टर स्वतंत्र कर्व्स में विस्तार करने से व्याख्यात्मकता कम हो जाती है और प्रारंभिक परीक्षणों में कोई अनुभवजन्य लाभ नहीं मिलता है।
FLC जनरलाइजेशन: विशिष्ट डेटासेट्स पर एंकर्ड कॉन्फ़िगरेशन की तुलना में फ्री कॉन्फ़िगरेशन जनरलाइजेशन गैप दिखाता है।
कंप्यूटेशनल बॉटलनेक: जबकि 1D केस यूनिफॉर्म एवरेजिंग को पोस्टीरियर वेट कंप्यूटेशन को बायपास करने की अनुमति देता है, उच्च-आयामी पैरामीटराइजेशन में फुल पोस्टीरियर के मूल्यांकन की अत्यधिक लागत फिर से आ सकती है।