🤖 machine learning

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

यह शोधपत्र मल्टी-रिस्पॉन्स ट्रेनिंग (MRT) को मानक सिंगल-रिस्पॉन्स फाइन-ट्यूनिंग के एक सांख्यिकीय रूप से सुदृढ़ विकल्प के रूप में प्रस्तुत करता है, जो यह प्रदर्शित करता है कि प्रति प्रॉम्प्ट कई वैध पूर्णताओं (completions) को बनाए रखने से भाषा मॉडल का सामान्यीकरण (generalization) बेहतर होता है, क्योंकि यह एक सिद्धांत-आधारित वेरिएंस-बजट ट्रेडऑफ़ और इष्टतम रिस्पॉन्स चयन रणनीतियों के माध्यम से सशर्त आउटपुट वितरणों को बेहतर ढंग से कैप्चर करता है और "मोड लॉटरी" (mode lottery) से बचता है।

मूल लेखक: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को कहानी लिखना सिखा रहे हैं। पुराने तरीके में (जिसे कागज़ पर Single-Response Training कहा गया है), आप छात्र को "एक बिल्ली के बारे में कहानी लिखें" जैसा प्रॉम्प्ट देते हैं, और फिर उन्हें एक अच्छी कहानी का एक उदाहरण दिखाते हैं। आप उनसे कहते हैं, "यही उत्तर है।"

समस्या यह है कि केवल एक ही सही उत्तर नहीं होता। आप एक मज़ेदार कहानी, एक दुखद कहानी, एक रहस्य या एक साइंस-फिक्शन एडवेंचर लिख सकते हैं। केवल एक संस्करण दिखाकर, आप एक "Mode Lottery" खेल रहे हैं। आप अनिवार्य रूप से कह रहे हैं, "हम भाग्यशाली थे कि हमने चुनी हुई यह विशिष्ट कहानी आपको दिखाने के लिए चुनी।" यदि छात्र केवल एक प्रकार की कहानी देखता है, तो उसे लग सकता है कि बिल्ली के बारे में लिखने का यही एकमात्र तरीका है, जिससे वह अन्य सभी वैध, रचनात्मक संभावनाओं को खो देता है।

यह पेपर Multi-Response Training (MRT) नामक एक नया तरीका प्रस्तावित करता है। एक कहानी दिखाने के बजाय, आप छात्र को एक ही प्रॉम्प्ट के लिए कई अलग-अलग, समान रूप से अच्छी कहानियाँ दिखाते हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के मुख्य विचारों का विवरण दिया गया है:

1. "प्रश्नों" के दो प्रकार

लेखक दो चीजों के बीच एक महत्वपूर्ण अंतर स्पष्ट करते हैं:

प्रॉम्प्ट्स (प्रश्न): ये वे विभिन्न विषय हैं जिनके बारे में आप पूछते हैं (जैसे, "एक कविता लिखें," "इस कोड को ठीक करें," "यात्रा की योजना बनाएं")।
रिस्पॉन्स (उत्तर): ये एक ही प्रश्न के उत्तर देने के विभिन्न तरीके हैं।

उपमा: कल्पना कीजिए कि आप एक शेफ (रसोइया) हैं।

नए प्रॉम्प्ट्स नए सामग्री (एक नई सब्जी, एक नया मसाला) प्राप्त करने जैसे हैं। यह आपको दुनिया की विविधता के बारे में सिखाता है।
नए रिस्पॉन्स उसी सामग्री के लिए अलग-अलग रेसिपी (जैसे, एक आलू पकाने के 5 अलग तरीके) देखने जैसे हैं। यह आपको एक ही विषय की गहराई के बारे में सिखाता है।

पेपर का तर्क है कि यदि आपके पास बहुत सारी अलग-अलग सामग्रियां (प्रॉम्प्ट्स) हैं लेकिन प्रत्येक के लिए केवल एक रेसिपी है, तो आप खाना पकाने की पूरी क्षमता नहीं सीख रहे हैं। आपको एक ही आलू को पकाने के कई तरीकों को देखने की आवश्यकता है ताकि आप "कंडीशनल डिस्ट्रीब्यूशन" (एक आलू को पकाने के सभी तरीके) को समझ सकें।

2. "वेरिएंस-बजट" नियम (अधिक उत्तर कब दिखाएं)

आप सोच सकते हैं, "क्यों न मैं हर सवाल के लिए 100 जवाब दिखा दूँ?" पेपर कहता है: नहीं, यह पैसों की बर्बादी है।

वे "Variance-Budget" की अवधारणा पेश करते हैं। अपने प्रशिक्षण बजट को किराने के बजट की तरह समझें।

प्रॉम्प्ट्स महंगे हैं: एक नया, अनूठा प्रश्न लिखने में मानवीय प्रयास, समय और पैसा लगता है।
रिस्पॉन्स सस्ते हैं: एक बार आपके पास एक प्रश्न होने के बाद, एक कंप्यूटर उसके लिए 50 अलग-अलग उत्तर बहुत तेज़ी से और सस्ते में उत्पन्न कर सकता है।

नियम:

यदि एक ही प्रश्न के उत्तर आपस में बहुत समान हैं (कम विविधता), तो उन्हें अधिक दिखाना बहुत मदद नहीं करता है। यह एक ही बिल्ली की 50 तस्वीरें दिखाने जैसा है; आप कुछ भी नया नहीं सीख रहे हैं।
यदि उत्तर बहुत अलग हैं (उच्च विविधता), तो उन्हें अधिक दिखाना एक बड़ी जीत है। यह एक ही आलू को पकाने के 50 अलग-अलग तरीकों को दिखाने जैसा है; आप बहुत कुछ सीखते हैं।

पेपर यह बताने के लिए एक सरल सूत्र देता है कि आपको कितने उत्तर ( $K$ ) रखने चाहिए। यह इस पर निर्भर करता है:

उत्तर एक-दूसरे से कितने अलग हैं।
नए प्रश्न बनाम नए उत्तर प्राप्त करना कितना महंगा है।

सही संतुलन (Sweet Spot): यदि उत्तर सस्ते और विविध हैं, और प्रश्न महंगे हैं, तो आपको एक प्रश्न के लिए कई उत्तर रखने चाहिए। यदि सभी उत्तर एक जैसे हैं, तो केवल एक रखें।

3. "Mode Lottery" का जाल

पेपर चेतावनी देता है कि यदि आप केवल एक स्कोर (जैसे, रिवॉर्ड सिस्टम) के आधार पर "सर्वश्रेष्ठ" उत्तर चुनते हैं, तो आप अनजाने में मॉडल को खराब कर सकते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक जो छात्र को केवल "A+" निबंध दिखाता है।

जाल: छात्र सीख जाता है कि "A+" पाने का केवल एक ही तरीका है। वे रचनात्मक होना या लिखने के अन्य वैध तरीकों को तलाशना बंद कर देते हैं। वे केवल उस एक शैली की नकल करने में "कोलैप्स" (ढह) जाते हैं।
पेपर का समाधान:
- रैंडम सिलेक्शन (एक सुरक्षित दांव): बस $K$ उत्तरों को यादृच्छिक (random) रूप से चुनें। यह निष्पक्ष है और मॉडल को संभावनाओं की पूरी श्रृंखला सिखाता है।
- रिवॉर्ड सिलेक्शन (एक जोखिम भरा दांव): केवल उच्चतम स्कोर वाले उत्तर चुनना। यह अक्सर "Mode Lottery" की समस्या की ओर ले जाता है जहाँ मॉडल अन्य सभी वैध तरीकों को भूल जाता है।
- "GRADES" विधि: एक स्मार्ट मध्य मार्ग। यह उन उत्तरों को चुनता है जो उच्च-गुणवत्ता वाले और एक-दूसरे से अलग हैं, यह सुनिश्चित करता है कि मॉडल एक ही शैली में ढहने के बिना विविध और अच्छे विकल्पों का एक सेट देखे।

4. "इम्प्लिसिट" शॉर्टकट

पेपर ने यह भी गौर किया कि विशाल डेटासेट के बारे में कुछ दिलचस्प है। कभी-कभी, आपको एक ही प्रॉम्प्ट के लिए स्पष्ट रूप से कई उत्तर दिखाने की आवश्यकता नहीं होती है। यदि आपके पास बहुत सारे प्रश्न हैं, तो उनमें से कई एक ही प्रश्न के पुनर्गठित संस्करण होते हैं (जैसे, "मैं लीकेज को कैसे ठीक करूँ?" बनाम "मेरा सिंक टपक रहा है, मदद करें!")।

उपमा: यदि आपके पास 100 अलग-अलग लोग हैं जो आपसे जूता बाँधने का तरीका पूछ रहे हैं, और आप उनमें से प्रत्येक को केवल एक उत्तर देते हैं, लेकिन प्रश्न थोड़े अलग हैं, तो मॉडल अभी भी उन थोड़े अलग प्रश्नों को देखकर जूता बाँधने के "कई तरीकों" को सीख सकता है। इसे Implicit Multi-Response Training कहा जाता है। हालाँकि, पेपर कहता है कि यह तभी काम करता है जब प्रश्न वास्तव में अलग हों। यदि प्रश्न केवल एक-दूसरे की कॉपी-पेस्ट हैं, तो इससे कोई मदद नहीं मिलती।

सारांश: आपको क्या करना चाहिए?

पेपर AI मॉडल को प्रशिक्षित करने वाले किसी भी व्यक्ति के लिए एक सरल मार्गदर्शिका प्रदान करता है:

केवल समस्या में अधिक डेटा मत झोंकिए। यह शब्दों की संख्या के बारे में नहीं है; यह उत्तरों की विविधता के बारे में है।
विविधता की जाँच करें। यदि आपके प्रश्नों के कई अलग-अलग वैध उत्तर हैं, तो केवल एक दिखाना बंद करें। 2, 4, या 8 दिखाएँ।
अपने बजट पर नज़र रखें। यदि नए प्रश्न प्राप्त करना कठिन/महंगा है, लेकिन उत्तर उत्पन्न करना आसान/सस्ता है, तो एक प्रश्न के लिए कई उत्तर दिखाने की दिशा में भारी रूप से झुकें।
अपने उत्तर बुद्धिमानी से चुनें। यदि आप चाहते हैं कि AI मानव भाषा की पूरी श्रृंखला को समझे, तो उत्तरों को यादृच्छिक रूप से चुनें या सुनिश्चित करें कि वे विविध हैं। यदि आप केवल "उच्चतम रिवॉर्ड" वाले उत्तर चुनते हैं, तो आप अनजाने में AI को संकीर्ण और दोहराव वाला बना सकते हैं।

संक्षेप में: MRT "Mode Lottery" से बचता है क्योंकि यह AI को सिखाता है कि कई प्रश्नों के लिए, कोई एक एकल "सही" उत्तर नहीं है, बल्कि वैध विकल्पों की एक पूरी श्रृंखला है।

तकनीकी सारांश: मोड लॉटरी से बचना: मल्टी-रिस्पॉन्स ट्रेनिंग भाषा मॉडल के सामान्यीकरण (Generalization) में सुधार करती है

समस्या विवरण (Problem Statement)

आधुनिक भाषा मॉडल फाइन-ट्यूनिंग आमतौर पर एक एकल प्रॉम्प्ट को एक एकल रिस्पॉन्स के साथ जोड़ने की परंपरा का पालन करती है। हालांकि यह वर्गीकरण (classification) कार्यों के लिए उपयुक्त है, लेकिन यह ओपन-एंडेड जनरेशन के लिए अनुपयुक्त है जहाँ प्रॉम्प्ट्स अक्सर कई वैध पूर्णताओं (completions) को स्वीकार करते हैं (जैसे, "एक फंक्शन लिखें जो एक लिस्ट को सॉर्ट करता है")। केवल एक रिस्पンス पर प्रशिक्षण देकर, मॉडल एक मल्टी-मोडल कंडीशनल डिस्ट्रीब्यूशन के एक संकीर्ण हिस्से के संपर्क में आता है। लेखक इस घटना को "मोड लॉटरी" (mode lottery) कहते हैं, जहाँ प्रशिक्षण डेटा बार-बार संभावित मोड्स के एक विशिष्ट उपसमुच्चय (subset) पर जोर दे सकता है (अक्सर सबसे सामान्य, आसानी से उत्पन्न होने वाले, या उच्चतम रिवॉर्ड वाले) जबकि अन्य वैध और मूल्यवान मोड्स सांख्यिकीय रूप से अदृश्य रह जाते हैं।

मौजूदा पाइपलाइन अक्सर कई उम्मीदवारों को जेनरेट करती है लेकिन प्रशिक्षण के लिए एक एकल "सर्वश्रेष्ठ" रिस्पॉन्स चुनती है (जैसे, रिवॉर्ड मैक्सिमाइजेशन के माध्यम से)। यह शोध पत्र तर्क देता है कि क्षेत्र में इस बात के सिद्धांतों की कमी है कि कब कई रिस्पॉन्स रखना फायदेमंद होता है, कितना लाभ अपेक्षित है, और किन रिस्पॉन्स को रखा जाना चाहिए।

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

यह शोध पत्र मल्टी-रिस्पॉन्स ट्रेनिंग (MRT) को एक ही प्रॉम्प्ट पर $K > 1$ रिस्पॉन्स पर प्रशिक्षण के रूप में औपचारिक रूप देता है, जो स्टैंडर्ड सिंगल-रिस्पॉन्स ट्रेनिंग (SRT, जहाँ $K=1$ ) के विपरीत है। मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि प्रॉम्प्ट और रिस्पॉन्स अलग-अलग सांख्यिकीय संसाधन हैं:

अतिरिक्त प्रॉम्प्ट्स इनपुट डिस्ट्रीब्यूशन ( $P(x)$ ) के बारे में अनिश्चितता को कम करते हैं।
एक ही प्रॉम्प्ट के लिए अतिरिक्त रिस्पॉन्स कंडीशनल आउटपुट डिस्ट्रीब्यूशन ( $P(y|x)$ ) के बारे में अनिश्चितता को कम करते हैं।

1. वेरिएंस-बजट नियम (Variance–Budget Law)

लेखक एम्पिरिकल लॉस वेरिएंस के एक स्ट्रक्चरल डिकंपोजिशन को व्युत्पन्न करते हैं। एक निश्चित मॉडल $\theta$ के लिए, MRT एस्टिमेटर का वेरिएंस इस प्रकार विभाजित होता है:
$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$
जहाँ:

$V_x$ प्रॉम्प्ट-व्यापी वेरिएंस है (इनपुट डिस्ट्रीब्यूशन के बारे में अनिश्चितता)।
$V_{y|x}$ प्रॉम्प्ट-के-भीतर अपेक्षित वेरिएंस है (कंडीशनल आउटपुट डिस्ट्रीब्यूशन के बारे में अनिश्चितता)।
$N_p$ विशिष्ट प्रॉम्प्ट्स की संख्या है।
$K$ प्रति प्रॉम्प्ट रिस्पॉन्स की संख्या है।

यह डिकंपोजिशन एक "प्रॉम्प्ट फ्लोर" (prompt floor) को प्रकट करता है: $K$ को बढ़ाने से दूसरा पद कम हो जाता है लेकिन पहला पद ( $V_x/N_p$ ) कम नहीं किया जा सकता। फलस्वरूप, MRT में घटते प्रतिफल (diminishing returns) मिलते हैं जब प्रॉम्प्ट-स्तरीय अनिश्चितता हावी हो जाती है।

अधिग्रहण लागतों ( $C_p$ प्रॉम्प्ट्स के लिए, $C_r$ रिस्पॉन्स के लिए) और एक निश्चित बजट $B = N_p(C_p + K C_r)$ को पेश करते हुए, लेखक कॉस्ट-अवेयर ऑप्टिमल मल्टीप्लिसिटी $K^\star$ निकालते हैं:
$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$
यह नियम सुझाव देता है कि MRT तब सबसे अधिक मूल्यवान होता है जब रिस्पॉन्स सस्ते हों, प्रॉम्प्ट महंगे हों, और कंडीशनल रिस्पॉन्स डिस्ट्रीब्यूशन अत्यधिक विविध (उच्च $V_{y|x}/V_x$ ) हो।

2. जनरलाइजेशन बाउंड्स (Generalization Bounds)

यह शोध पत्र संभावित लाभों को मापने के लिए दो पूरक जनरलाइजेशन बाउंड्स प्रदान करता है:

बर्नस्टीन बाउंड (Bernstein Bound): दिखाता है कि एक निश्चित मॉडल के लिए, $K$ बढ़ाने से जनरलाइजेशन एरर बाउंड $V_{y|x}/K$ के कारक पर निर्भर करता है, जबकि प्रॉम्प्ट-स्तरीय पद अपरिवर्तित रहता है।
हायरार्किकल रेडमेकर बाउंड (Hierarchical Rademacher Bound): MRT डेटा की नॉन-i.i.d. संरचना को संबोधित करता है (दोहराए गए प्रॉम्प्ट्स)। यह सिद्ध करता है कि पदानुक्रमित संरचना के बावजूद, रिस्पॉन्स-स्तरीय जटिलता केवल $K$ के बजाय कुल प्रॉम्प्ट-रिस्पॉन्स पेयर्स ( $N_p K$ ) के साथ स्केल करती है, बशर्ते मॉडल क्लास पर सुप्रीमकम को सही ढंग से संभाला जाए। यह प्रमाणित करता है कि MRT से प्राप्त लाभ मॉडल सिलेक्शन के दौरान भी बने रहते हैं।

3. टारगेट-अवेयर रिस्पॉन्स सिलेक्शन (Target-Aware Response Selection)

शोध पत्र विश्लेषण करता है कि विभिन्न चयन रणनीतियाँ प्रशिक्षण लक्ष्य को कैसे बदलती हैं:

रैंडम-के-ऑफ-एन (RKoN): $N$ में से $K$ रिस्पॉन्स को यूनिफॉर्मली रैंडम तरीके से चुनता है। यह डिस्ट्रीब्यूशनल फाइन-ट्यूनिंग के लिए अनबायस्ड डिफॉल्ट है, जो कैंडिडेट डिस्ट्रीब्यूशन को सुरक्षित रखता है और $1/K$ की दर से ग्रेडिएंट वेरिएंस को कम करता है।
बेस्ट-के-ऑफ-एन (BKoN): रिवॉर्ड स्कोर के आधार पर रिस्पॉन्स चुनता है। लेखक दिखाते हैं कि यह एक परसिस्टेंट अपर-टेल बायस (persistent upper-tail bias) प्रेरित करता है। जैसे-जैसे कैंडिडेट पूल बढ़ता है, BKoN प्रशिक्षण को रिवॉर्ड-डोमिनेंट मोड पर केंद्रित कर देता है, जिससे वैध मोड्स कोलैप्स हो सकते हैं और ग्रेडिएंट्स वास्तविक डिस्ट्रीब्यूशनल ऑब्जेक्टिव से विचलित हो सकते हैं।
GRADES (Greedy Reward-Aware DiversE Subsetting): एक सबमॉड्यूलर ऑप्टिमाइजेशन दृष्टिकोण जो क्वालिटी और डायवर्सिटी के बीच संतुलन बनाता है। यह उच्च-गुणवत्ता और विविध रिस्पॉन्स बनाए रखने के लिए एक $(1 - 1/e)$ एप्रोक्सिमेशन गारंटी प्रदान करता है, जो स्ट्रेटिफाइड सैंपलिंग के व्यावहारिक प्रॉक्सी के रूप में कार्य करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक चार डोमेन में नियंत्रित सिमुलेशन और बड़े पैमाने पर LLM फाइन-ट्यूनिंग के माध्यम से अपने सिद्धांत को सत्यापित करते हैं: इंस्ट्रक्शन फॉलोइंग (Gold), डायलॉग (Nectar), प्रेफरेंस अलाइनमेंट (UltraFeedback), और कोड जनरेशन (CodeContests)।

वेरिएंस डिकंपोजिशन: नियंत्रित सिमुलेशन ने पुष्टि की कि $K$ बढ़ाने से केवल प्रॉम्प्ट-के-भीतर वाला वेरिएंस घटक कम होता है, जो अनुमानित प्रॉम्प्ट फ्लोर के करीब पहुंच जाता है।
ऑप्टिमल मल्टीप्लिसिटी: एक निश्चित बजट के तहत, टेस्ट परफॉरमेंस एक U-आकार के कर्व का अनुसरण करती है, जिसका न्यूनतम बिंदु अनुमानित $K^\star$ के पास होता है। प्रॉम्प्ट-स्तरीय वेरिएंस की तुलना में उच्च रिस्पॉन्स-स्तरीय परिवर्तनशीलता वाले डेटासेट्स (जैसे, CodeContests) ने MRT से सबसे अधिक लाभ दिखाया, जबकि प्रॉम्प्ट-हैवी डेटासेट्स (जैसे, Nectar) ने कम सुधार दिखाया।
सेलेक्टर का प्रभाव:
- RKoN ने $K$ बढ़ने के साथ संदर्भ लॉस (रेफरेंस लॉस) और कवरेज में लगातार सुधार किया।
- BKoN ने उच्च रिवॉर्ड स्कोर प्राप्त किए लेकिन कम डायवर्सिटी और खराब रेफरेंस लाइकलीहुड का सामना किया, जो टारगेट शिफ्ट की पुष्टि करता है।
- GRADES/DBKoN (Diverse-Best-K-of-N) ने क्वालिटी और कवरेज के बीच सफलतापूर्वक संतुलन बनाया, और रेफरेंस कवरेज मेट्रिक्स में शुद्ध डायवर्सिटी या शुद्ध रिवॉर्ड सिलेक्शन से बेहतर प्रदर्शन किया।
इम्प्लिसिट MRT: प्रॉम्प्ट रिडंडेंसी (पैराफ्रेस) के साथ प्रयोगों ने प्रदर्शित किया कि अत्यधिक रेडंडेंट कॉर्पोरा MRT प्रभावों की नकल कर सकते हैं यदि पैराफ्रेस अलग-अलग कंडीशनल मोड्स को उजागर करते हैं। हालांकि, यदि पैराफ्रेस को लगभग समान रिस्पॉन्स के साथ जोड़ा जाता है, तो लाभ नगण्य होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र रिस्पॉन्स मल्टीप्लिसिटी को एक ह्यूरिस्टिक के बजाय एक डेटा-एलोकेशन समस्या के रूप में पुनर्गठित करता है जिसके पास स्पष्ट सांख्यिकीय मार्गदर्शन है। इसके प्राथमिक दावे हैं:

संदर्भ-निर्भर मूल्य: MRT सार्वभौमिक रूप से श्रेष्ठ नहीं है; इसका मूल्य प्रॉम्प्ट-व्यापी और प्रॉम्प्ट-के-भीतर के वेरिएंस के अनुपात और डेटा अधिग्रहण की सापेक्ष लागत पर निर्भर करता है।
सांख्यिकीय आधार: जब रिस्पॉन्स सस्ते और विविध हों, और प्रॉम्प्ट महंगे हों, तो कई रिस्पॉन्स रखना एक सांख्यिकीय रूप से ठोस विकल्प है जो कंडीशनल स्ट्रक्चर पर प्रशिक्षण देकर "मोड लॉटरी" से बचने में मदद करता है।
चयन महत्वपूर्ण है: सेलेक्टर का चुनाव महत्वपूर्ण है। जबकि रिवॉर्ड-आधारित चयन एक विशिष्ट मेट्रिक के लिए अनुकूलित करता है, यह वैध मोड्स को कोलैप्स कर सकता है। डिस्ट्रीब्यूशनल जनरलाइजेशन के लिए, अनबायस्ड सिलेक्शन (RKoN) या डायवर्सिटी-अवेयर सिलेक्शन (GRADES) की आवश्यकता होती है ताकि कंडीशनल स्ट्रक्चर को सुरक्षित रखा जा सके।
इम्प्लिसिट बनाम एक्सप्लिसिट: बड़े, रेडंडेंट कॉर्पोरा एक "इम्प्लिसिट MRT" प्रभाव प्रदान कर सकते हैं, लेकिन एक्सप्लिसिट मल्टी-रिस्पॉन्स ट्रेनिंग उन लो-रेडंडेंसी रेजिम्स में सबसे अधिक फायदेमंद होती है जहाँ प्रत्येक प्रॉम्प्ट टास्क डिस्ट्रीब्यूशन के एक विशिष्ट क्षेत्र को कवर करता है।

लेखक निष्कर्ष निकालते हैं कि MRT यह तय करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है कि कब रिस्पॉन्स मल्टीप्लिसिटी की लागत सार्थक है, जो ओपन-एंडेड जनरेशन की मल्टी-मोडल प्रकृति को बेहतर ढंग से मॉडल करने के लिए "एक प्रॉम्प्ट, एक रिस्पॉन्स" की परंपरा से आगे बढ़ता है।