🤖 machine learning

Which Directions Matter? Sparse Design for Affine Robust Optimization

यह शोध पत्र एफाइन रोबस्ट ऑप्टिमाइज़ेशन में अनिश्चितता दिशाओं के एक स्पार्स उपसमुच्चय (subset) को चुनने के लिए एक डेटा-संचालित, ग्रीडी एल्गोरिदम का प्रस्ताव करता है, जो कवरेज ऑब्जेक्टिव की सबमॉड्यूलरिटी का लाभ उठाते हुए $(1-1/e)$ एप्रोक्सिमेशन गारंटी प्रदान करता है और लॉस बाउंड्स तथा आउट-ऑफ-सैंपल कंट्रोल के लिए सर्टिफिकेट प्रदान करता है।

मूल लेखक: Pedro Chumpitaz-Flores, My Duong, Juan S. Borrero, Kaixun Hua

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pedro Chumpitaz-Flores, My Duong, Juan S. Borrero, Kaixun Hua

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शहर (आपका मशीन लर्निंग मॉडल) को हर संभावित हमले से बचाने के लिए एक किला बनाने की कोशिश कर रहे हैं।

"रोबस्ट ऑप्टिमाइज़ेशन" (Robust Optimization) की दुनिया में, इन "हमलों" को अनिश्चितता (uncertainties) कहा जाता है। ये अजीब मौसम के पैटर्न, सिस्टम को धोखा देने की कोशिश करते हैकर्स, या डेटा में अप्रत्याशित बदलाव हो सकते हैं। आमतौर पर, सुरक्षित रहने के लिए, आप एक ऐसी दीवार बनाने की कोशिश करते हैं जो हर एक दिशा से आने वाले हमले को कवर करे।

लेकिन यहाँ एक समस्या है: दिशाओं के लाखों विकल्प मौजूद हैं। हर एक दिशा के लिए दीवार बनाना बहुत महंगा, धीमा और गणनात्मक रूप से असंभव (computationally impossible) है। यह एक पूरे देश के चारों ओर बाड़ लगाने जैसा है ताकि केवल कुछ विशिष्ट प्रकार के घुसपैठियों को रोका जा सके।

यह शोध पत्र एक सरल, महत्वपूर्ण प्रश्न पूछता है: कौन सी विशिष्ट दिशाएँ वास्तव में मायने रखती हैं?

हमलों की "डिक्शनरी" (The "Dictionary" of Attacks)

लेखक एक विशाल लाइब्रेरी (एक डिक्शनरी) की कल्पना करते हैं जिसमें हजारों संभावित हमले की दिशाएं शामिल हैं। कुछ वास्तविक, खतरनाक खतरे हैं ("सिग्नल"), और कई शोर या नकली खतरे ("डिकोय") हैं।

वे एक छोटा, बजट-अनुकूल उपसमूह (subset) चुनने की कोशिश करते हैं ताकि एक "स्पार्स" (sparse) किला बनाया जा सके। लक्ष्य उन दिशाओं का सबसे छोटा समूह खोजना है जो उस विशाल, महंगे किले की तरह ही सुरक्षा प्रदान करे जो सब कुछ कवर करता है।

"लालची" रणनीति: एक बार में केक का एक टुकड़ा खाना (The "Greedy" Strategy)

आप हर संयोजन (combination) की जाँच किए बिना सबसे अच्छी दिशाओं को कैसे खोज सकते हैं? आप नहीं कर सकते। यह शोध पत्र सिद्ध करता है कि सटीक संयोजन खोजना गणितीय रूप से एक असंभव पहेली (NP-hard) है।

इसके बजाय, वे एक ग्रीडी स्ट्रैटेजी (Greedy Strategy) का उपयोग करते हैं। कल्पना कीजिए कि आप एक बड़े, अस्त-व्यस्त कमरे को कुछ कालीनों (rugs) से ढंकने की कोशिश कर रहे हैं।

आप पूरे कमरे को देखते हैं।
आप उस एकल कालीन को चुनते हैं जो अभी उस समय सबसे अधिक बिना ढके हुए फर्श क्षेत्र को कवर करता है।
आप उसे बिछा देते हैं।
आप देखते हैं कि क्या अभी भी बिना ढका हुआ है, शेष स्थान को कवर करने वाले अगले कालीन को चुनते हैं, और उसे बिछा देते हैं।
आप इसे तब तक दोहराते हैं जब तक कि आपका बजट (या कालीन) समाप्त न हो जाए।

यह शोध पत्र सिद्ध करता है कि यह "ग्रीडी" दृष्टिकोण वास्तव में सबसे अच्छा है जो आप कर सकते हैं। यह गारंटी देता है कि आपको उस सुरक्षा का कम से कम 63% (विशेष रूप से $1 - 1/e$ ) प्राप्त होगा जो आपको एक आदर्श, जादुई चयन से मिलता। इस असंभव पहेली को हल किए बिना आप इससे बेहतर नहीं कर सकते।

"कवरेज" का रूपक (The "Coverage" Metaphor)

लेखक इसे एक कवरेज समस्या के रूप में देखते हैं।

लक्ष्य: यह सुनिश्चित करना कि प्रत्येक "टेस्ट दिशा" (हमले के घुसने का एक विशिष्ट तरीका) के लिए, आपके चयनित दिशाओं का समूह उसे "कवर" करे।
मीट्रिक: वे यह मापते हैं कि उनका चयनित समूह खतरों के साथ कितनी अच्छी तरह "संरेखित" (align) होता है। यदि खतरा उत्तर से आता है, और आपने उत्तर-मुखी दीवार चुनी है, तो आपके पास अच्छा कवरेज है। यदि आपने पूर्व-मुखी दीवार चुनी है, तो आपके पास खराब कवरेज है।

वे दिखाते हैं कि इस कवरेज समस्या में सबमोड्यूलरिटी (submodularity) नामक एक विशेष गणितीय गुण है। सरल शब्दों में, इसका अर्थ है कि "घटते प्रतिफल" (diminishing returns) का नियम लागू होता है: पहला कालीन बहुत सारा फर्श कवर करता है; दूसरा कालीन भी बहुत कुछ कवर करता है, लेकिन थोड़ा कम नया फर्श; तीसरा और भी कम कवर करता है। यही वह गुण है जो ग्रीडी रणनीति को इतना प्रभावी बनाता है।

"सुरक्षा प्रमाण पत्र" (The "Safety Certificate")

इस शोध पत्र का एक सबसे शानदार हिस्सा सर्टिफिकेट (Certificate) है।

आमतौर पर, जब आप किसी जटिल समस्या को सरल बनाते हैं, तो आप चिंतित होते हैं: "क्या मैंने कुछ महत्वपूर्ण हटा दिया है? क्या मेरा किला वास्तव में कमजोर है?"

लेखक एक गणितीय "सुरक्षा प्रमाण पत्र" प्रदान करते हैं। यह एक रिपोर्ट कार्ड की तरह है जो आपको ठीक-ठीक बताता है कि केवल कुछ दिशाओं को चुनने से आपने कितनी "रोबस्टनेस" (robustness) खो दी है।

वे पूर्ण, आदर्श किले और आपके स्पार्स, सस्ते किले के बीच के "गैप" (gap) की गणना करते हैं।
वे सिद्ध करते हैं कि यदि आपकी चुनी हुई दिशाएं "टेस्ट दिशाओं" को अच्छी तरह से कवर करती हैं, तो गैप बहुत कम है।
वे वास्तविक दुनिया के डेटा के आधार पर किले के "आकार" (त्रिज्या/radius) को कैलिब्रेट करने का एक तरीका भी प्रदान करते हैं, जिससे यह सुनिश्चित होता है कि आपका सरल मॉडल नए, अनदेखे हमलों का सामना करने पर विफल न हो।

"सूखी घास का ढेर" वाली समस्या (The "Haystack" Problem)

यह शोध पत्र यादृच्छिक चयन (random selection) के खतरे को भी उजागर करता है। कल्पना कीजिए कि आपके पास सूखी घास का एक ढेर (दिशाओं की एक विशाल डिक्शनरी) है और आपको सुइयां (खतरनाक हमले) ढूंढनी हैं।

यादृच्छिक चयन (Random Selection): यदि आप केवल उम्मीद में घास का एक मुट्ठी भर हिस्सा (random directions) उठाते हैं कि शायद उसमें सुइयां मिल जाएं, तो संभावना है कि आप ज्यादातर घास ही उठाएंगे। जैसे-जैसे घास का ढेर बढ़ता है, आपका यादृच्छिक चयन और भी खराब होता जाता है।
ग्रीडी चयन (Greedy Selection): आपकी विधि बुद्धिमानी से घास के ढेर को स्कैन करती है और वास्तविक सुइयों को चुनती है। शोध पत्र दिखाता है कि जैसे-जैसे डिक्शनरी बहुत बड़ी होती जाती है, ग्रीडी विधि प्रभावी बनी रहती है, जबकि यादृच्छिक चयन बुरी तरह विफल हो जाता है।

सारांश

संक्षेप में, यह शोध पत्र अनिश्चितता के विरुद्ध कुशल, मजबूत रक्षा बनाने की एक रेसिपी प्रदान करता है।

सब कुछ कवर करने की कोशिश न करें। यह बहुत महंगा है।
एक "स्मार्ट पिकर" (Greedy Algorithm) का उपयोग करें ताकि संभावनाओं की एक विशाल सूची में से सबसे महत्वपूर्ण दिशाओं को चुना जा सके।
गणित पर भरोसा करें: इस प्रकार की समस्याओं के लिए यह विधि सिद्ध रूप से सबसे अच्छी है।
एक गारंटी प्राप्त करें: आपको एक सर्टिफिकेट मिलता है जो आपको बताता है कि आपका सरल मॉडल पूर्ण मॉडल की तुलना में कितना सुरक्षित है।

यह एक विशाल, भारी समस्या को एक प्रबंधनीय, चरण-दर-चरण प्रक्रिया में बदल देता है, जिससे यह सुनिश्चित होता है कि आपके मशीन लर्निंग मॉडल अनंत कंप्यूटिंग शक्ति की आवश्यकता के बिना भी मजबूत बने रहें।

तकनीकी सारांश: कौन सी दिशाएं महत्वपूर्ण हैं? एफ़िन रोबस्ट ऑप्टिमाइज़ेशन के लिए स्पार्स डिज़ाइन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र एफ़िन रोबस्ट ऑप्टिमाइज़ेशन (affine robust optimization) के लिए अनिश्चितता सेट (uncertainty sets) डिजाइन करने की चुनौती को संबोधित करता है, जब अनिश्चितता संभावित दिशाओं के एक सीमित डिक्शनरी (finite dictionary) द्वारा परिभाषित होती है। कई रोबस्ट मशीन लर्निंग और ऑप्टिमाइज़ेशन अनुप्रयोगों में, अनिश्चितता मॉडल दिशाओं के बड़े परिवारों (जैसे, ग्रेडिएंट्स, एडवरसैरियल परटर्बेशन, या डोमेन शिफ्ट) पर निर्भर करते हैं। हालाँकि, पूर्ण डिक्शनरी पर रोबस्ट ऑप्टिमाइज़ेशन समस्याओं को हल करना अक्सर गणनात्मक रूप से अत्यधिक कठिन या अत्यधिक रूढ़िवादी (overly conservative) हो जाता है।

मुख्य समस्या एक बजट बाधा $B$ (जहाँ $B \ll N$ ) के अधीन, पूर्ण डिक्शनरी $D = \{d_i\}_{i=1}^N$ से दिशाओं के एक स्पार्स सबसेट (sparse subset) की पहचान करना है जो पूर्ण मॉडल की मजबूती (robustness) को पुनः प्राप्त कर सके। लेखक एटॉमिक अनिश्चितता सेट (atomic uncertainty sets) पर ध्यान केंद्रित करते हैं, जो चयनित डिक्शनरी परमाणुओं (atoms) के एक उपसमुच्चय के स्केल्ड रेडियस $r$ वाले कन्वेक्स हल (convex hulls) हैं। इसका उद्देश्य समाधान प्राप्त करने वाले स्पार्स सबसेट और पूर्ण डिक्शनरी से प्राप्त समाधान के बीच प्रदर्शन अंतराल (robust value gap) को कम करना है, जबकि व्यवहार्यता (tractability) सुनिश्चित करना और आउट-ऑफ-सैंपल व्यवहार्यता के लिए सांख्यिकीय गारंटी प्रदान करना है।

2. कार्यप्रणाली (Methodology)

एटॉमिक अनिश्चितता सेट और सपोर्ट फंक्शन (Atomic Uncertainty Sets and Support Functions)
लेखक एक उपसमुच्चय $S \subseteq [N]$ के लिए एक एटॉमिक अनिश्चितता सेट $U_S(r)$ को $S$ के परमाणुओं के गैर-ऋणात्मक रैखिक संयोजनों (non-negative linear combinations) के रूप में परिभाषित करते हैं (प्लस जीरो वेक्टर), जिनके गुणांकों का योग $r$ से अधिक नहीं है। एक प्रमुख सैद्धांतिक योगदान इन सेट्स के लिए एक क्लोज्ड-फॉर्म सपोर्ट फंक्शन (closed-form support function) का व्युत्पन्न है:
$h_{U_S}(s) = r \max_{i \in S_0} \langle d_i, s \rangle$
जहाँ $S_0 = S \cup \{0\}$ है। यह क्लोज्ड फॉर्म इन सेट्स के लिए रोबस्ट ऑब्जेक्टिव $\Phi_S(x)$ को एक परिमित सेट पर मैक्सिमाइजेशन के रूप में व्यक्त करने की अनुमति देता है, जिससे अनुकूलन (optimization) व्यवहार्य (जैसे, लीनियर या सेकंड-ऑर्डर कोन प्रोग्रामिंग के माध्यम से) हो जाता है।

चयन समस्या को सबमॉड्यूलर मैक्सिमाइजेशन के रूप में देखना (The Selection Problem as Submodular Maximization)
यह शोध पत्र दिशा चयन समस्या को मूल्यांकन दिशाओं $T$ (जिसमें प्रकट ग्रेडिएंट्स, एडवरसैरियल दिशाएं, या वैलिडेशन डेटा शामिल हो सकता है) पर एक सपोर्ट कवरेज ऑब्जेक्टिव (support coverage objective) को अधिकतम करने के रूप में फ्रेम करता है। ऑब्जेक्टिव फंक्शन $F(S; T)$ को चयनित परमाणुओं और $T$ की दिशाओं के बीच औसत अधिकतम संरेखण (alignment) के रूप में परिभाषित किया गया है:
$F(S; T) := \frac{1}{|T|} \sum_{s \in T} \max_{i \in S_0} \langle d_i, s \rangle$
लेखक सिद्ध करते हैं कि $F(S; T)$ मोनोटोनिक (monotone) और सबमॉड्यूलर (submodular) है। यह संरचनात्मक गुण महत्वपूर्ण है क्योंकि यह दिशाओं को चुनने के लिए एक ग्रीडी एल्गोरिदम (greedy algorithm) के उपयोग की अनुमति देता। ग्रीडी विधि उस परमाणु को पुनरावृत्ति (iteratively) से जोड़ती है जो कवरेज में सबसे बड़ा मार्जिनल इंक्रीज प्रदान करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

अनुमान गारंटी (Approximation Guarantee): $F$ की सबमॉड्यूलरिटी का लाभ उठाते हुए, यह सिद्ध किया गया है कि ग्रीडी एल्गोरिदम इष्टतम उपसमुच्चय के सापेक्ष $(1 - 1/e)$ एप्रोक्सिमेशन रेश्यो प्राप्त करता है, जो मानक जटिलता धारणाओं के तहत टाइट (tight) है (मैक्स कवरेज से रिडक्शन के माध्यम से यह समस्या NP-hard सिद्ध होती है)।
डिटरमिनिस्टिक एरर बाउंड्स (Deterministic Error Bounds): शोध पत्र दिशात्मक कवरेज (directional coverage) और रोबस्ट वैल्यू गैप के बीच संबंध स्थापित करता है। एक $\epsilon$ -नेट तर्क का उपयोग करते हुए, वे सिद्ध करते हैं कि ग्लोबल रोबस्ट वैल्यू गैप, परिमित प्रोब सेट $T$ पर वर्स्ट-केस एलाइनमेंट डेफिसिट और एक डिसक्रेटाइजेशन टर्म द्वारा सीमित है। यह एक सर्टिफिकेट (certificate) प्रदान करता है जो यह मात्रा निर्धारित करता है कि स्पार्स मॉडल पूर्ण मॉडल का कितनी अच्छी तरह से अनुमान लगाता है।
फाइनाइट-सैंपल कैलिब्रेशन (Finite-Sample Calibration): आउट-ऑफ-सैंपल व्यवहार्यता सुनिश्चित करने के लिए, लेखक कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) से प्रेरित एक रेडियस कैलिब्रेशन प्रक्रिया को एकीकृत करते हैं। वे रेडियस $r$ के लिए एक हाई-प्रोबेबिलिटी बाउंड व्युत्पन्न करते हैं ताकि अनिश्चितता सेट एक निर्धारित कॉन्फिडेंस लेवल के साथ ऑपरेशनल अनिश्चितता को कवर कर सके, भले ही उपसमुच्चय $S$ डेटा-डिपेंडेंट हो।

एल्गोरिदम (Algorithm)
प्रस्तावित ओरेकल-असिस्टेड ग्रीडी मेथड (Oracle-Assisted Greedy Method) इनके बीच बारी-बारी से चलता है:

वर्तमान रोबस्ट ऑप्टिमाइज़ेशन समस्या को हल करके एक समाधान $x_t$ खोजना।
पूर्ण डिक्शनरी पर एक ओरेकल का उपयोग करके वर्स्ट-केस परटर्बेशन दिशा $s_t = q(x_t)$ की पहचान करना।
$s_t$ को मूल्यांकन सेट $T$ में जोड़ना।
अगला डिक्शनरी परमाणु चुनना जो कवरेज $F(S \cup \{i\}; T)$ में मार्जिनल गेन को अधिकतम करता है।
यह प्रक्रिया तब तक जारी रहती है जब तक कि बजट समाप्त न हो जाए या स्टॉपिंग क्राइटेरियम (एलाइनमेंट डेफिसिट पर आधारित) पूरा न हो जाए।

3. मुख्य योगदान (Key Contributions)

वैचारिक ढांचा (Conceptual Framework): यह शोध पत्र दिशात्मक मजबूती को एक सीमित डिक्शनरी पर सबसेट डिजाइन समस्या के रूप में फिर से फ्रेम करता है, यह प्रदर्शित करते हुए कि दिशाओं का एक छोटा सेट पूर्ण मॉडल प्रदर्शन को पुनः प्राप्त कर सकता है।
तकनीकी नवाचार (Technical Innovation): यह एक क्लोज्ड-फॉर्म सपोर्ट फंक्शन के साथ एक एटॉमिक अनिश्चितता परिवार पेश करता है, जो व्यवहार्य रोबस्ट प्रोग्राम्स को सक्षम बनाता है। यह दिशात्मक कवरेज को रोबस्ट वैल्यू गैप से जोड़ने के लिए तकनीकी सर्टिफिकेट प्रदान करता है और आउट-ऑफ-सैंपल नियंत्रण के लिए फाइनाइट-सैंपल रेडियस कैलिब्रेशन नियम भी देता है।
एल्गोरिद्मिक समाधान (Algorithmic Solution): एक ग्रीडी सिलेक्शन एल्गोरिदम प्रस्तावित किया गया है जिसमें $(1 - 1/e)$ एप्रोक्सिमेशन गारंटी है, जिसे $P \neq NP$ की धारणा के तहत इस वर्ग की समस्याओं के लिए इष्टतम सिद्ध किया गया है।
प्रायोगिक सत्यापन (Empirical Validation): प्रयोगों से पता चलता है कि सपोर्ट कवरेज पर आधारित ग्रीडी सिलेक्शन, "माइक्रो-बजट" रिजीम ( $B \ll N$ ) में रैंडम बेसलाइन्स और अन्य ह्यूरिस्टिक्स (जैसे MaxNorm) की तुलना में काफी बेहतर प्रदर्शन करता है, जो न्यूनतम दिशाओं के साथ पूर्ण मॉडल व्यवहार को पुनः प्राप्त करता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखक तीन सेटिंग्स में अपने तरीके का मूल्यांकन करते हैं:

सिंथेटिक ज्योमेट्रिक वैलिडेशन (Synthetic Geometric Validation): सिग्नल और डिकॉय परमाणुओं के साथ 2D सेटिंग में, ग्रीडी कवरेज विधि रैंडम सिलेक्शन या MaxNorm की तुलना में सपोर्ट एप्रोक्सिमेशन एरर को काफी तेजी से कम करती है। यह उन "डिकॉय" परमाणुओं को प्रभावी ढंग से अनदेखा करती है जिनका नॉर्म बड़ा है लेकिन प्रासंगिक दिशाओं के साथ एलाइनमेंट कम है।
बड़े डिक्शनरी के साथ स्केलिंग (Scaling with Large Dictionaries): CIFAR-10/100 पर प्री-ट्रेन्ड नेटवर्क्स से फ्रीज्ड फीचर्स का उपयोग करते हुए, यह विधि उच्च कवरेज बनाए रखती है जैसे-जैसे डिक्शनरी का आकार $N$ बढ़ता है, जबकि रैंडम सिलेक्शन तेजी से गिर जाता है ("हेस्टैक इफेक्ट")। ग्रीडी विधि धीमी गति से बढ़ते बजट के साथ उच्च कवरेज लक्ष्यों (जैसे, $\ge 0.99$ ) तक पहुँच जाती है, जबकि रैंडम सिलेक्शन उचित बजट के भीतर लक्ष्य तक पहुँचने में विफल रहता है।
इंटीजर रोबस्ट ऑप्टिमाइज़ेशन (Integer Robust Optimization): इंटीजर प्रोग्रामिंग इंस्टेंस में, ग्रीडी स्ट्रैटेजी (विशेष रूप से "Greedy MaxGap") अन्य डिटरमिनिस्टिक पॉलिसी की तुलना में छोटे बजट के साथ उच्च प्रतिशत व्यवहार्य इंस्टेंस के लिए मजबूती प्रमाणित करती है, जो यह सुझाव देती है कि व्यवहार्यता अक्सर सक्रिय बाधाओं (active constraints) के एक छोटे सेट द्वारा संचालित होती है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह बजट-बाधित दिशात्मक अनिश्चितता सेट डिजाइन करने के लिए एक डेटा-ड्रिवन, सैद्धांतिक रूप से सुदृढ़ ढांचा (data-driven, theoretically grounded framework) प्रदान करता है। इसका महत्व व्यवहार्य रोबस्ट ऑप्टिमाइज़ेशन की आवश्यकता और बड़े अनिश्चितता डिक्शनरी की जटिलता के बीच के अंतर को पाटने में निहित है।

व्यवहार्यता (Tractability): अनिश्चितता सेट को एक स्पार्स पॉलीटोप (polytope) में कम करके, यह विधि संभावित रूप से कठिन रोबस्ट समस्याओं को मानक कन्वेक्स प्रोग्राम्स में बदल देती है।
दक्षता (Efficiency): ग्रीडी दृष्टिकोण व्यापक खोज की आवश्यकता के बिना "सबसे महत्वपूर्ण" दिशाओं की पहचान करने का एक गणनात्मक रूप से कुशल तरीका प्रदान करता है।
विश्वसनीयता (Reliability): कॉन्फॉर्मल-शैली के कैलिब्रेशन और डिटरमिनिस्टिक सर्टिफिकेट का एकीकरण यह सुनिश्चित करता है कि स्पार्स मॉडल न केवल गणनात्मक रूप से कुशल हैं, बल्कि सांख्यिकीय रूप से विश्वसनीय भी हैं और उनके एप्रोक्सिमेशन एरर में सीमाबद्ध (bounded) हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण उन परिदृश्यों के लिए सबसे उपयुक्त है जहाँ दिशाओं का एक पूर्व-निर्धारित डिक्शनरी (जैसे, डोमेन ज्ञान या माइनिंग प्रक्रियाओं से) मौजूद है और जहाँ लक्ष्य ओवर-कंजर्वेटिविटी के बिना मजबूती सुनिश्चित करने के लिए एक प्रतिनिधि उपसमुच्चय चुनना है। वे सीमाओं को स्वीकार करते हुए कहते हैं कि यदि प्रारंभिक डिक्शनरी में वास्तविक वर्स्ट-केस दिशाएं नहीं हैं, तो परिणामी मॉडल आशावादी (optimistic) होगा, और भविष्य का कार्य एंड-टू-एंड डिक्शनरी लर्निंग की खोज कर सकता है।