🤖 AI

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

यह शोध पत्र तर्क देता है कि रूटिंग और वोटिंग जैसे मल्टी-मॉडल एलएलएम (LLM) सिस्टम के प्रदर्शन में होने वाली वृद्धि मौलिक रूप से "को-फेलियर रेट" (वह आवृत्ति जिसमें सभी मॉडल एक साथ विफल हो जाते हैं) द्वारा सीमित है, जो एक ऐसा मीट्रिक है जिसे मानक सहसंबंध माप (correlation measures) नहीं पकड़ पाते हैं और जो अक्सर एक मजबूत क्वेरी-स्तरीय रूटिंग सिग्नल की अनुपस्थिति में, एन्सेम्बल सटीकता को एकल सर्वश्रेष्ठ मॉडल के स्तर तक ही सीमित कर देता है।

मूल लेखक: Josef Chen

प्रकाशित 2026-06-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Josef Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए शोध पत्र "When Does Combining Language Models Help?" का स्पष्टीकरण दिया गया है।

मुख्य विचार: क्यों "अधिक आवाज़ें" हमेशा "बेहतर उत्तर" नहीं देतीं

कल्पना कीजिए कि आप एक कठिन पहेली को हल करने की कोशिश कर रहे एक मैनेजर हैं। आपके पास चुनने के लिए 67 अलग-अलग विशेषज्ञों (AI मॉडल्स) की एक टीम है। टेक जगत में सामान्य सलाह यह है: "सिर्फ सबसे बुद्धिमान व्यक्ति को न चुनें; एक समूह से पूछें और उत्तर पर वोट करें। यदि वे असहमत हैं, तो समूह आमतौर पर किसी भी अकेले व्यक्ति से अधिक समझदार होता है।"

यह शोध पत्र तर्क देता है कि यह सलाह अक्सर गलत होती है। कभी-कभी, विशेषज्ञों के एक समूह से पूछना वास्तव में आपको वही उत्तर देता है जो केवल एक सबसे अच्छे विशेषज्ञ से पूछने पर मिलता, लेकिन बहुत अधिक लागत पर। वास्तव में, कठिन समस्याओं पर, पूरा समूह एक साथ विफल हो सकता है, और कोई भी वोटिंग उस स्थिति को ठीक नहीं कर सकती।

दो मुख्य समस्याएँ

लेखकों ने पाया कि मॉडल्स को संयोजित (combine) करना दो मुख्य कारणों से एक "ग्लास सीलिंग" (एक ऐसी सीमा जिसे आप तोड़ नहीं सकते) से टकरा जाता है।

1. "सब-गलत" सीलिंग (साझा अंधा बिंदु/Common Blind Spot)

कल्पना कीजिए कि आप 67 विशेषज्ञों से एक बहुत ही पेचीदा गणित का सवाल पूछते हैं।

पुरानी धारणा: यदि विशेषज्ञ विविध (diverse) हैं, तो वे अलग-अलग गलतियाँ करेंगे। यदि विशेषज्ञ A गलत है, तो विशेषज्ञ B सही हो सकता है।
वास्तविकता: कठिन, खुले-अंत वाले प्रश्नों (जैसे जटिल गणित या कोडिंग) पर, ये सभी 67 विशेषज्ञ अक्सर एक ही समय में एक ही सवाल पर गलत होते हैं। उनका एक साझा "अंधा बिंदु" (blind spot) होता है।

शोध पत्र इसे $\beta$ (बीटा) कहता है: वह दर जिस पर हर एक मॉडल एक ही प्रश्न पर विफल होता है।

नियम: आप उन्हें कैसे भी संयोजित करें (वोटिंग, रूटिंग, या कैस्केडिंग), आपकी सटीकता (accuracy) कभी भी 100% माइनस $\beta$ से अधिक नहीं हो सकती।
उदाहरण: कल्पना कीजिए कि 67 लोग एक कमरे में छिपी हुई चाबी खोजने की कोशिश कर रहे हैं। यदि वे सभी एक ही गलत कोने में देखते हैं (क्योंकि उन सभी को एक ही गलत चीज़ सिखाई गई थी), तो उन सभी से पूछने से कोई मदद नहीं मिलेगी। आप चाबी कभी नहीं ढूंढ पाएंगे, चाहे आप कितने भी लोगों से क्यों न पूछ लें।

2. "कोरिलेशन ट्रैप" (गलत मीट्रिक)

वर्तमान में, कंपनियाँ यह तय करने के लिए कि मॉडल्स के समूह का उपयोग कब करना है, $\rho$ (रो) को देखती हैं, जो यह मापता है कि दो मॉडल्स कितनी बार एक ही गलती करते हैं।

जाल (Trap): शोध पत्र सिद्ध करता है कि $\rho$ , "सब-गलत" (All-Wrong) समस्या का अनुमान लगाने के लिए एक बहुत बुरा संकेतक है। आपके पास दो मॉडल्स हो सकते हैं जो बहुत अलग दिखते हैं (कम कोरिलेशन), लेकिन फिर भी वे सबसे कठिन सवालों पर एक साथ विफल हो सकते हैं।
उदाहरण: यह चेक करने जैसा है कि दो मौसम भविष्यवक्ता कल बारिश होगी या नहीं, इस पर सहमत हैं या नहीं। वे 90% समय असहमत हो सकते हैं। लेकिन यदि एक विशाल तूफान (एक कठिन समस्या) आता है, तो वे दोनों गलत हो सकते हैं। उनकी दैनिक सहमति की जाँच करने से आपको यह पता नहीं चलेगा कि क्या वे बड़े तूफान के समय दोनों विफल हो जाएंगे।

दो शासन (Regimes): कब संयोजन करें, कब रुकें

शोध पत्र कार्यों को दो अलग-अलग "दुनियाओं" या शासनों में विभाजित करता है:

दुनिया A: "सीलिंग-बाउंड" कार्य (खुले-अंत वाली गणित और कोडिंग)

क्या होता है: ये कठिन समस्याएँ हैं जिनमें बहुविकल्पीय विकल्प नहीं होते।
परिणाम: यहाँ "सब-गलत" होने की दर ( $\beta$ ) अधिक है। विशेषज्ञ एक साथ विफल होते हैं।
सबक: यहाँ मॉडल्स को संयोजित करना बेकार है। आप एकल सर्वश्रेष्ठ मॉडल को नहीं हरा सकते क्योंकि पूरा समूह एक ही अंधे बिंदु में फंसा हुआ है। शोध पत्र ने पाया कि इन कार्यों पर, "सब-गलत" होने की दर मानक गणित की भविष्यवाणी से लगभग 2.5 गुना अधिक थी।

दुनिया B: "रियलाइजेबिलिटी-बाउंड" कार्य (विज्ञान और बहुविकल्पीय प्रश्न)

क्या होता है: ये ऐसे कार्य हैं जहाँ उत्तर स्पष्ट है या चुनने के लिए विकल्प मौजूद हैं (जैसे बहुविकल्पीय परीक्षा)।
परिणाम: यहाँ "सब-गलत" होने की दर शून्य के करीब है। विशेषज्ञ उत्तरों पर असहमत होते हैं, इसलिए एक स्मार्ट सिस्टम सही उत्तर चुन सकता है।
सबक: यहाँ सुधार की गुंजाइश है। विशेषज्ञ उत्तरों पर असहमत होते हैं, इसलिए सैद्धांतिक रूप से एक स्मार्ट सिस्टम सही एक को चुन सकता है। हालाँकि, शोध पत्र ने पाया कि वर्तमान "रूटर" सिस्टम (AI जो तय करता है कि किस मॉडल का उपयोग करना है) वास्तव में इन अंतरों को खोजने के लिए बहुत कम बुद्धिमान हैं। वे इस अवसर को खो देते हैं।

"फॉर्मेट" का आश्चर्य

लेखकों ने विज्ञान के प्रश्नों (GPQA) के साथ एक दिलचस्प प्रयोग किया।

जब बहुविकल्पीय (Multiple Choice) के रूप में पूछा गया, तो मॉडल्स शायद ही कभी एक साथ गलत हुए।
जब मुक्त प्रतिक्रिया (Free Response) के रूप में पूछा गया (विकल्पों को हटा दिया गया), तो मॉडल्स अचानक उच्च दर पर एक साथ विफल होने लगे।
निष्कर्ष: यह विषय (विज्ञान) नहीं है जो विफलता का कारण बनता है; यह फॉर्मेट (प्रारूप) है। खुले-अंत वाले प्रश्न "सब-गलत" वाले अंधे बिंदु को सक्रिय कर देते हैं।

आर्थिक सबक: विविधता बनाम गुणवत्ता

शोध पत्र ने एक सामान्य विचार का भी परीक्षण किया: "यदि आप एक स्मार्ट मॉडल को एक कम बुद्धिमान लेकिन विविध मॉडल के साथ मिलाते हैं, तो आपको बेहतर परिणाम मिलते हैं।"

निष्कर्ष: यह आमतौर पर गलत है। यदि "कम बुद्धिमान" मॉडल बहुत अलग है, तो वह अक्सर गलत उत्तर के लिए वोट देता है, जिससे स्मार्ट मॉडल भी नीचे गिर जाता है।
अपवाद: विविधता केवल तभी मदद करती है जब मॉडल्स की गुणवत्ता समान हो। यदि आप ऐसे मॉडल्स का मिश्रण करते हैं जो सभी समान रूप से स्मार्ट हैं लेकिन अलग-अलग प्रकार की गलतियाँ करते हैं, तो उन्हें संयोजित करना काम करता है। लेकिन यदि आप एक जीनियस को एक नौसिखिए के साथ मिलाते हैं, तो नौसिखिया आमतौर पर टीम को नुकसान पहुँचाता है।

सारांश: आपको क्या करना चाहिए?

"पेयरवाइज कोरिलेशन" नंबर पर भरोसा करना बंद करें। यह आपको कुछ नहीं बताता कि पूरा समूह एक साथ विफल होगा या नहीं।
"सब-गलत" दर ( $\beta$ ) की जाँच करें। कई मॉडल्स का एक जटिल सिस्टम बनाने से पहले, यह जाँच लें कि क्या वे सभी कठिन सवालों पर एक साथ विफल होते हैं। यदि वे ऐसा करते हैं, तो आप एक सीमा (ceiling) से टकरा गए हैं। वोटिंग की मात्रा इसे नहीं तोड़ पाएगी।
सिर्फ अधिक मॉडल्स न जोड़ें। एक ऐसे समूह में अधिक मॉडल्स जोड़ना जो पहले से ही एक साझा अंधे बिंदु साझा करता है, एक ऐसी खोज दल में अधिक लोगों को जोड़ने जैसा है जो गलत कमरे में तलाश कर रहा है। इससे कोई मदद नहीं मिलती।
"फॉर्मेट" पर ध्यान दें। यदि आप खुले-अंत वाले प्रश्न पूछ रहे हैं, तो उम्मीद करें कि मॉडल्स एक साथ विफल होंगे। यदि आप उन्हें बहुविकल्पीय प्रश्नों में बदल सकते हैं, तो आप उन्हें प्रभावी ढंग से संयोजित करने की क्षमता को अनलॉक कर सकते हैं।

निचोड़: आज के सबसे कठिन खुले-अंत वाले कार्यों पर, "सर्वश्रेष्ठ" मॉडल्स इतने समान हैं कि वे एक साथ विफल होते हैं। उन्हें संयोजित करना शायद ही कभी एकल सर्वश्रेष्ठ मॉडल से बेहतर होता है, जब तक कि आपके पास यह जानने के लिए एक विशिष्ट संकेत न हो कि किस प्रश्न के लिए कौन सा मॉडल सही है। जादू मॉडल्स की संख्या में नहीं है; बल्कि ऐसे मॉडल्स खोजने में है जो अलग-अलग तरीकों से विफल होते हों।

तकनीकी सारांश: रूटिंग, वोटिंग और मिश्रण-एजेंटों (Mixture-of-Agents) पर एक सह-विफलता सीमा (Co-Failure Ceiling)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) ऑर्केस्ट्रेशन का क्षेत्र एकल "सर्वश्रेष्ठ" मॉडल चुनने से हटकर रूटिंग, वोटिंग, कैस्केड्स और मिश्रण-एजेंटों (MoA) के माध्यम से विषम मॉडलों के पूल्स (pools) को प्रबंधित करने की ओर स्थानांतरित हो गया है। वर्तमान में अभ्यासकर्ता यह निर्धारित करने के लिए कि क्या विविधता से सटीकता में लाभ होगा, पेयरवाइज एरर कोरिलेशन ( $\rho$ ) पर प्राथमिक नैदानिक (diagnostic) के रूप में निर्भर करते हैं। प्रचलित धारणा यह है कि निम्न $\rho$ उच्च विविधता और इस प्रकार एन्सेम्बल सुधार की उच्च क्षमता को दर्शाता है।

यह शोध पत्र तर्क देता है कि $\rho$ गलत नैदानिक है। यह प्रतिपादित करता है कि किसी भी ऐसी पॉलिसी की प्राप्त करने योग्य सटीकता, जिसका आउटपुट किसी सदस्य मॉडल का उत्तर होता है (जैसे, एक राउटर, मेजॉरिटी वोट, या कैस्केड), $\rho$ द्वारा नहीं, बल्कि $\beta$ द्वारा सीमित होती है, जो वह दर है जिस पर सभी मॉडल एक ही क्वेरी पर विफल होते हैं। केंद्रीय समस्या यह है कि $\rho$ , $\beta$ की पहचान नहीं कर सकता; भिन्न संयुक्त त्रुटि वितरण (joint error distributions) समान मार्जिनल्स और पेयरवाइज कोरिलेशन होने के बावजूद बहुत अलग सह-विफलता दरों (co-failure rates) को रख सकते हैं। फलस्वरूप, $\rho$ पर निर्भर रहने से "सह-विफलता टेल" (co-failure tail) का व्यवस्थित रूप से कम आकलन होता है, जिससे खरीदार ऑर्केस्ट्रेशन के मूल्य को बढ़ा-चढ़ाकर देख सकते हैं या प्राप्त सटीकता की सीमा का गलत अनुमान लगा सकते हैं।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक ऑर्केस्ट्रेशन को एक बजट-बाधित आवंटन समस्या के रूप में औपचारिक रूप देते हैं।

सीलिंग थ्योरम (प्रोप. 1): किसी भी चयन नीति $\pi$ के लिए जो सदस्य का उत्तर आउटपुट करती है, सटीकता $1 - \beta$ द्वारा सीमित है, जहाँ $\beta = P(\text{सभी } m \text{ मॉडल गलत हैं})$ । सर्वश्रेष्ठ एकल मॉडल की तुलना में अधिकतम संभावित लाभ $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$ है।
नॉन-आइडेंटिफिकेशन (प्रोप. 3): $m \ge 3$ के लिए, सह-विफलता दर $\beta$ , पेयरवाइज एरर लॉ का फलन नहीं है। लेखक सिद्ध करते हैं कि ऐसे संयुक्त वितरण मौजूद हैं जिनमें समान एक- और दो-आयामी मार्जिनल्स (और इस प्रकार समान $\rho$ ) हैं लेकिन भिन्न $\beta$ हैं।
अंडरप्राइसिंग मैकेनिज्म (प्रोप. 2): लेखक त्रुटियों को एक कॉमन शॉक (सभी मॉडल प्रायिकता $\pi$ के साथ विफल होते हैं) और स्वतंत्र त्रुटियों के मिश्रण के रूप में मॉडल करते हैं। वे प्रदर्शित करते हैं कि एक सिंगल-फैक्टर गॉसियन कोपुला (Gaussian copula), जो पेयरवाइज $\rho$ के लिए कैलिब्रेटेड है, एक $\beta_{sf}$ की भविष्यवाणी करता है जो पूल आकार $m$ बढ़ने के साथ 0 की ओर अभिसरित होता है, जबकि वास्तविक $\beta$ , $\pi > 0$ की ओर अभिसरित होता है। इस प्रकार, अंडरप्राइसिंग अनुपात $\beta / \beta_{sf}$ पूल आकार के साथ विवर्जित (diverges) होता है।
फाइनाइट-सैंपल सर्टिफिकेट: एक होल्ड-आउट क्वेरी सेट पर क्लॉपर-पियर्सन इंटरवल्स का उपयोग करते हुए, लेखक प्री-डिप्लॉयमेंट " $0 सर्टिफिकेट" व्युत्पन्न करते हैं। यदि$ \beta $का निचला स्तर यह बताता है कि$ 1 - \beta_{lo}$ वर्तमान सर्वश्रेष्ठ सटीकता के करीब है, तो कोई भी पॉलिसी अपने ऑर्केस्ट्रेशन ओवरहेड की भरपाई नहीं कर सकती।

प्रयोगात्मक सेटअप

यह अध्ययन 21 प्रदाताओं के 67 फ्रंटियर मॉडल्स (GPT-5.5, क्लाउड ओपस 4.8, जेमिनी 3.1 प्रो और अन्य सहित) का तीन अलग-अलग व्यवस्थाओं में मूल्यांकन करता है:

सैचुरेटेड मिक्स (Saturated Mix): मानक बेंचमार्क (GSM8K, MMLU, ARC-Challenge, MATH-500)।
हार्ड सिंगल-डोमेन (Hard Single-Domain): MMLU-Pro और MATH-Hard (लेवल-5)।
स्ट्रक्चरली डिसजॉइंट डोमेन्स (Structurally Disjoint Domains):
- ओपन-एंडेड गणित (MATH-500, MATH-Hard)।
- निष्पादन-ग्रेड कोड (स्ट्रेस टेस्ट के साथ प्रतिस्पर्धी प्रोग्रामिंग समस्याएं)।
- स्नातक स्तर का विज्ञान (GPQA-Diamond), जिसे मल्टीपल-चॉइस और फ्री-रिस्पॉन्स दोनों प्रारूपों में परखा गया है।

ग्रेडिंग स्ट्रिक्ट रूप से प्रोग्रामेटिक (एक्सैक्ट मैच, इंटीजर एक्सट्रैक्शन, या निष्पादन-आधारित) है ताकि LLM जज बायस से बचा जा सके, सिवाय एक विशिष्ट फ्री-रिस्पॉन्स GPQA प्रयोग के जिसे 5-जज पैनल द्वारा ग्रेड किया गया है। लागत का मापन वास्तविक API उपयोग के विरुद्ध किया गया है।

मुख्य परिणाम

1. सह-विफलता टेल और $\rho$ ट्रैप

ओपन-एंडेड डोमेन (गणित और कोड) में, अनुभवजन्य 'ऑल-वोंग रेट' $\beta$ , पेयरवाइज कोरिलेशन द्वारा अनुमानित दर से काफी अधिक है।

MATH-500 (67 मॉडल): अनुभवजन्य $\beta = 0.052$ (330/330 क्वेरी में से 17)। एक सही टेट्राकोरिक-कैलिब्रेटेड सिंगल-फैक्टर गॉसियन कोपुला $\beta_{sf} = 0.021$ की भविष्यवाणी करता है। अनुभवजन्य टेल कोपुला भविष्यवाणी की तुलना में 2.5 गुना अधिक मोटी (fatter) है।
कोड प्रतियोगिताएं: अनुभवजन्य $\beta = 0.079$ । सिंगल-फैक्टर मॉडल इसे 3.1 गुना कम आंकता है।
पूल साइज प्रभाव: मॉडलों के रैंडम सबसेट्स का पुन: नमूनाकरण (resampling) दिखाता है कि अंडरप्राइसिंग अनुपात पूल आकार के साथ मोनोटोनिक रूप से बढ़ता है ( $k=2$ पर 1.0 से $k=67$ पर मध्यिका 2.5 तक)।
मल्टीपल-चॉइस बनाम फ्री-रिस्पॉन्स: मल्टीपल-चॉइस GPQA में, $\beta \approx 0$ है। हालांकि, जब उन्हीं प्रश्नों को फ्री-रिस्पॉन्स के रूप में पूछा जाता है (विकल्प हटाकर), तो $\beta$ उछलकर 0.127 हो जाता है। यह पुष्टि करता है कि सह-विफलता व्यवस्था विषय वस्तु के बजाय कार्य प्रारूप (task format/open-endedness) द्वारा संचालित होती है।

2. ऑर्केस्ट्रेशन की दो व्यवस्थाएं

यह शोध पत्र दो अलग-अलग व्यवस्थाओं की पहचान करता है जहाँ "सीलिंग" अलग तरह से व्यवहार करती है:

सीलिंग-बाउंड (ओपन-एंडेड मैथ/कोड): यहाँ, $\beta > 0$ गैर-नगण्य है। सीलिंग $1-\beta$ कम है, और "ओरेकल गेन" (सैद्धांतिक अधिकतम सुधार) छोटा है। प्राथमिक सीमा सह-विफलता टेल है, जिसे पेयरवाइज $\rho$ पहचानने में विफल रहता है।
रियलाइजेबिलिटी-बाउंड (साइंस/मल्टीपल-चॉइस): यहाँ, $\beta \approx 0$ है। सीलिंग प्रभावी रूप से खुली है, और ओरेकल गेन बड़ा है (जैसे, GPQA में $G=0.15$ )। हालांकि, यह गेन हल करने योग्य असहमति (resolvable disagreement) का प्रतिनिधित्व करता है। वर्तमान सीखे गए राउटर इस गेन को कैप्चर करने में विफल रहते हैं क्योंकि क्वेरी-स्तर का सिग्नल यह अंतर करने के लिए अपर्याप्त है कि जब फ्रंटियर मॉडल असहमत हों तो कौन सा मॉडल सही होगा।

3. ऑर्केस्ट्रेशन रणनीतियों का प्रदर्शन

लर्नड राउटर (Learned Routers): 15-मॉडल सैचुरेटेड मिक्स पर, एक लर्नड राउटर (TF-IDF + डोमेन) ने ओरेकल गेन का केवल 9% कैप्चर किया (शून्य से सांख्यिकीय रूप से अविभेदित)। एक मजबूत LLM-एज़-राउटर ने 0% कैप्चर किया।
नेइव डायवर्सिटी (Naive Diversity): विषम ट्रिपलेट्स (heterogeneous triplets) पर अनवेटेड मेजॉरिटी वोटिंग अक्सर एकल सर्वश्रेष्ठ मॉडल की तुलना में नकारात्मक लाभ (negative gains) देती है, क्योंकि कमजोर विविध मॉडल मजबूत मॉडल को आउटवोट कर देते हैं।
मैच्ड-क्वालिटी एन्सेम्बल्स: हाई-कोरिलेशन सेल्फ-MoA (सर्वश्रेष्ठ मॉडल के कई सैंपल) की तुलना मैच की गई गुणवत्ता वाले लो-कोरिलेशन हेट्रोजेनियस एन्सेम्बल से करने पर, हेट्रोजेनियस एन्सेम्बल जीतता है (औसत लाभ +0.027)। यह डायवर्सिफिकेशन थ्योरम का समर्थन करता है, लेकिन केवल तभी जब सदस्य की गुणवत्ता नियंत्रित हो।
कैस्केड्स: कैस्केड प्रदर्शन तब रैंडम मिक्सिंग में गिर जाता है जब वेरीफायर का AUC 0.5 के करीब पहुंच जाता है, जो सैद्धांतिक सीमाओं की पुष्टि करता है।

महत्व और दावे

यह शोध पत्र $\rho$ (पेयरवाइज कोरिलेशन) से ध्यान हटाकर $\beta$ (सह-विफलता दर) पर ध्यान केंद्रित करके LLM ऑर्केस्ट्रेशन के अर्थशास्त्र को फिर से परिभाषित करने का दावा करता है।

नैदानिक बदलाव: $\rho$ , "ऑल-वोंग" टेल के प्रति अंधा है। एक खरीदार केवल $\rho$ को देखकर यह निर्धारित नहीं कर सकता कि ऑर्केस्ट्रेशन व्यवहार्य है या नहीं; उन्हें $\beta$ का सीधे अनुमान लगाना चाहिए।
** $0 सर्टिफिकेट:** एक एकल ग्रेडेड क्वेरी सेट$ \beta $पर एक सांख्यिकीय निचला स्तर प्रदान कर सकता है। यदि$ 1 - \beta_{lo}$ वर्तमान सर्वश्रेष्ठ मॉडल की सटीकता के करीब है, तो यह शोध पत्र दावा करता है कि यह गणितीय रूप से असंभव है कि कोई भी रूटिंग या वोटिंग पॉलिसी इसके लागत को उचित ठहरा सके।
स्केल की सीमा: पूल में अधिक मॉडल जोड़ना बेहतर प्रदर्शन की गारंटी नहीं देता है। यदि पूल एक "कॉमन-मोड एटम" (एक साझा विफलता मोड) साझा करता है, तो सह-विफलता दर $\beta$ सकारात्मक रहती है, जो पूरे पूल की उपयोगिता को आकार (size) के बावजूद सीमित कर देती है।
फॉर्मेट डिपेंडेंस: "सीलिंग-बाउंड" व्यवस्था विषय की कठिनाई के बजाय कार्य प्रारूप (ओपन-एंडेड बनाम मल्टीपल-चॉइस) का एक फलन है। ओपन-एंडेड कार्य स्वाभाविक रूप से एक सह-विफलता टेल रखते हैं जो एन्सेम्बल विधियों की प्रभावकारिता को सीमित करती है।

लेखक निष्कर्ष निकालते हैं कि वर्तमान फ्रंटियर मॉडल्स के लिए, सत्यापन योग्य, ओपन-एंडेड कार्यों पर, सुधार का "लीवर" अधिक मॉडल जोड़ना या नेइव डायवर्सिटी पर भरोसा करना नहीं है, बल्कि विफलता-मोड हेट्रोजेनिटी (failure-mode heterogeneity) की पहचान करना और मार्केट चर्न (मार्केट चर्न) को प्रबंधित करना है (ब्रेड्थ का विकल्प मूल्य)। क्षेत्र का $\rho$ पर निर्भरता वास्तविक सीलिंग को छुपाती है जो $\beta$ द्वारा निर्धारित होती है।