🤖 machine learning

Discovering Data Structures: Nearest Neighbor Search and Beyond

यह शोध पत्र एक सामान्य एंड-टू-एंड लर्निंग फ्रेमवर्क प्रस्तावित करता है जो बिना किसी इनिशियलाइजेशन के शून्य से ही इष्टतम डेटा संरचनाओं और क्वेरी एल्गोरिदम की स्वचालित रूप से खोज करता है, जो बाइनरी सर्च, के-डी ट्रीज़ (k-d trees) और निकटतम पड़ोसी खोज (nearest neighbor search) के लिए लोकैलिटी-सेंसिटिव हैशिंग (locality-sensitive hashing) जैसे ज्ञात समाधानों को सफलतापूर्वक दोहराने के साथ-साथ डेटा स्ट्रीम में फ्रीक्वेंसी एस्टीमेशन (frequency estimation) के अनुकूल भी होता है।

मूल लेखक: Omar Salemohamed, Laurent Charlin, Shivam Garg, Vatsal Sharan, Gregory Valiant

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Omar Salemohamed, Laurent Charlin, Shivam Garg, Vatsal Sharan, Gregory Valiant

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अस्त-व्यस्त पुस्तकालय है। पारंपरिक रूप से, लाइब्रेरियन (कंप्यूटर वैज्ञानिक) तेजी से किताब खोजने के लिए विशिष्ट नियम और फाइलिंग सिस्टम (डेटा स्ट्रक्चर) डिजाइन करने में वर्षों बिताते हैं। वे कह सकते हैं, "सभी किताबों को वर्णानुक्रम (alphabetically) में शेल्फ पर रखें" या "रंग और आकार के आधार पर समूह बनाएं।" ये नियम सभी के लिए अच्छे काम करते हैं, लेकिन उन्हें आपकी विशिष्ट आदतों के बारे में पता नहीं होता। हो सकता है कि आप हमेशा रहस्यमयी उपन्यास (mystery novels) लेते हों, या आपके पुस्तकालय में एक अजीब पैटर्न हो जहाँ 90% किताबें बिल्लियों के बारे में हों।

यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या हम कंप्यूटर को शून्य से अपना खुद का लाइब्रेरी फाइलिंग सिस्टम आविष्कार करना सिखा सकते हैं, केवल किताबों को देखकर और उन्हें खोजने का अभ्यास करके?

लेखक कहते हैं—हाँ। उन्होंने एक "लर्निंग मशीन" बनाई है जो केवल नियमों का पालन नहीं करती; यह स्वयं नियमों की खोज करती है।

दो-भागों वाली टीम

उनके द्वारा बनाया गया सिस्टम दो रोबोटों की एक टीम की तरह है जो मिलकर काम करते हैं:

ऑर्गनाइज़र (डेटा-प्रोसेसिंग नेटवर्क): यह रोबोट डेटा के ढेर (किताबों) को देखता है और उन्हें पुनर्व्यवस्थित करने का सबसे अच्छा तरीका निकालता है। यह केवल वर्णानुक्रम में सॉर्ट नहीं करता; यह इस तरह से सॉर्ट करना सीखता है जिससे अगले रोबोट का काम आसान हो जाए।
सर्चर (क्वेरी-एग्जीक्यूशन नेटवर्क): इस रोबोट को एक विशिष्ट प्रश्न दिया जाता है (जैसे, "बिल्लियों वाली किताब खोजें")। इसे केवल बहुत कम संख्या में शेल्फ देखने (एक सीमित "बजट" या बार देखने) की अनुमति होती है। इसे उन कुछ प्रयासों में सही किताब खोजने के लिए एक रणनीति सीखनी होती है।

जादू तब होता है जब वे साथ मिलकर प्रशिक्षण लेते हैं। ऑर्गनाइज़र विशेष रूप से सर्चर की मदद करने के लिए किताबों को व्यवस्थित करना सीखता है, और सर्चर ऑर्गनाइज़र की व्यवस्था को पढ़ना सीखता है। वे लाखों बार अभ्यास करते हैं जब तक कि वे एक ऐसी प्रणाली का आविष्कार न कर लें जो उनके पास मौजूद किताबों के प्रकार के लिए पूरी तरह से काम करती हो।

उन्होंने क्या खोजा?

शोधकर्ताओं ने विभिन्न प्रकार के "पुस्तकालयों" (डेटासेट) पर इसका परीक्षण किया और पाया कि रोबोटों ने प्रसिद्ध मानव आविष्कारों को फिर से बनाया, और अक्सर उनमें सुधार भी किया:

सरल सूची (1D डेटा): जब डेटा केवल संख्याओं की एक रेखा थी, तो ऑर्गनाइज़र ने संख्याओं को पूरी तरह से सॉर्ट (sort) करना सीख लिया। इसके बाद, सर्चर ने मानक "बाइनरी सर्च" (जो सूची के मध्य का अनुमान लगाने जैसा है) से बेहतर रणनीति सीखी। यदि संख्याएँ आमतौर पर छोटी थीं, तो सर्चर ने सूची के बीच के बजाय शुरुआत में देखना सीखा, जिससे समय की बचत हुई।
2D मैप: जब डेटा में दो आयाम थे (जैसे X और Y निर्देशांक वाला एक नक्शा), तो रोबोटों ने एक k-d ट्री बनाना सीखा। यह एक नक्शे को छोटे-छोटे वर्गों में विभाजित करने का एक जटिल तरीका है ताकि स्थान को जल्दी से खोजा जा सके। रोबोटों ने यह बिना किसी के बताए कि "ट्री" या "स्प्लिट" क्या होता है, खुद ही खोज निकाला।
हाई-डायमेंशनल मेज़ (High-Dimensional Maze): छवियों (जिनमें हजारों विशेषताएं होती हैं) जैसे जटिल डेटा के साथ काम करते समय, रोबोटों ने लोकैलिटी सेंसिटिव हैशिंग (LSH) नामक चीज़ सीखी। कल्पना कीजिए कि आप बिल्ली की एक फोटो लेते हैं और तुरंत जान जाते हैं कि वह "बिल्ली की बाल्टी" (Cat Bucket) में आती है, बिना हर अन्य फोटो को देखे। रोबोटों ने जटिल छवियों को सरल बाल्टियों में प्रोजेक्ट करना सीखा, ठीक वैसे ही जैसे मानव विशेषज्ञ करते हैं।
"हेवी हिटर" ट्रिक: एक परीक्षण में, जिसमें वस्तुओं के कितनी बार आने की गिनती की जाती है (जैसे इंटरनेट पर लोकप्रिय IP एड्रेस को ट्रैक करना), रोबोटों ने अपनी मेमोरी में सबसे अधिक बार आने वाली वस्तुओं के लिए विशेष "VIP स्लॉट" सुरक्षित करना सीखा। इसने सामान्य वस्तुओं को दुर्लभ वस्तुओं के साथ मिलने से रोका, जिससे मानक गिनती वाले उपकरणों को मात मिली।

"अहा!" क्षण (The "Aha!" Moment)

सबसे आश्चर्यजनक बात यह थी कि रोबोटों को किसी इंसान द्वारा यह कहने की आवश्यकता नहीं थी कि, "हे, इसे सॉर्ट करने की कोशिश करो!" या "एक ट्री स्ट्रक्चर का उपयोग करो!" वे रैंडम शोर (random noise) से शुरू हुए और परीक्षण और त्रुटि (trial and error) के माध्यम से, उन्होंने अपने आप इन क्लासिक कंप्यूटर साइंस एल्गोरिदम को रिवर्स-इंजीनियर किया।

संख्याओं की छवियों के एक प्रयोग में, रोबोटों ने पहचानना सीखा कि छवियां वास्तव में संख्याएं हैं, उन्हें मान (value) के आधार पर सॉर्ट किया, और फिर उन्हें कुशलतापूर्वक खोजा—बिना यह बताए कि "संख्या" क्या है या उन्हें कैसे सॉर्ट किया जाए। उन्होंने बस यह सीख लिया कि "समान दिखने वाली छवियों" को एक साथ समूहबद्ध किया जाना चाहिए ताकि खोजना तेज़ हो सके।

कमी (सीमाएं)

पेपर अपनी सीमाओं के बारे में ईमानदार है:

पैमाना (Scale): प्रयोग अपेक्षाकृत छोटे पुस्तकालयों (लगभग 100 से 500 आइटम) पर किए गए थे। वास्तविक दुनिया के पुस्तकालयों में लाखों आइटम होते हैं। अभी इस बहुत सारे डेटा के साथ रोबोट अभिभूत (overwhelmed) हो सकते हैं।
गति: रोबोटों को शुरू करने से पहले "सोचने" (प्री-प्रोसेसिंग) में लंबा समय लगता है। वास्तविक जीवन में, हमें अक्सर तत्काल उत्तरों की आवश्यकता होती है।
ब्लैक बॉक्स: हालांकि रोबोटों ने बेहतरीन समाधान खोजे, लेकिन हमारे पास हमेशा एक सरल गणितीय प्रमाण नहीं होता जो यह समझा सके कि उनकी विशिष्ट व्यवस्था क्यों काम करती है। हम बस इतना जानते हैं कि यह काम करती है क्योंकि हमने इसका परीक्षण किया है।

निचोड़ (The Bottom Line)

यह पेपर साबित करता है कि न्यूरल नेटवर्क एल्गोरिद्मिक आविष्कारक (algorithmic inventors) के रूप में कार्य कर सकते हैं। फाइलिंग सिस्टम को डिजाइन करने के लिए इंसानों के बजाय, हम कंप्यूटर को यह खोजने दे सकते हैं कि उसके सामने दिखने वाले डेटा के विशिष्ट पैटर्न के आधार पर डेटा को व्यवस्थित करने और खोजने का सबसे कुशल तरीका क्या है। यह एक रोबोट को एक बिखरा हुआ कमरा देने और उसे एक विशिष्ट खिलौना खोजने के लिए सीमित समय देने जैसा है, और फिर उसे कमरे को व्यवस्थित करने का एक नया तरीका आविष्कार करते हुए देखना, जो मानव द्वारा डिज़ाइन किए गए तरीके से भी बेहतर है।

तकनीकी सारांश: एंड-टू-एंड डेटा संरचनाओं की खोज

समस्या विवरण

यह शोध पत्र इस बात की जांच करता है कि क्या न्यूरल नेटवर्क बिना किसी मानव-निर्मित पूर्वधारणा (prior) या सावधानीपूर्वक इनिशियलाइजेशन के, शून्य से डेटा संरचनाओं और क्वेरी एल्गोरिदम की खोज कर सकते हैं। मुख्य ध्यान निकटतम पड़ोसी (Nearest Neighbor - NN) खोज की समस्या पर है, जहाँ एक डेटासेट $D$ और एक क्वेरी $q$ दिए जाने पर, लक्ष्य $y = \arg\min_{x \in D} \text{dist}(x, q)$ को खोजना है। चुनौती इस कॉम्बिनेटोरियल समस्या को एक एंड-टू-एंड लर्निंग टास्क के रूप में फ्रेम करने में है, जो स्पेस कॉम्प्लेक्सिटी (मेमोरी साइज) और क्वेरी कॉम्प्लेक्सिटी (लुकअप की संख्या) पर बाधाएं लागू करती है, जबकि यह सुनिश्चित करती है कि सीखी गई संरचना विशिष्ट डेटा वितरणों के लिए कुशल हो।

एक माध्यमिक अनुप्रयोग जो खोजा गया है, वह है स्ट्रीमिंग सेटिंग में फ्रीक्वेंसी एस्टीमेशन (आवृत्ति अनुमान), जहाँ एक मॉडल तत्वों के एक स्ट्रीम को देखता है और मेमोरी सीमाओं के तहत एक क्वेरी किए गए आइटम की आवृत्ति का अनुमान लगाता है।

कार्यप्रणाली: डिस्कवरी फ्रेमवर्क

लेखक एक दो-घटक वाले न्यूरल आर्किटेक्चर का प्रस्ताव करते हैं जिसे एंड-टू-एंड प्रशिक्षित किया जाता है:

डेटा-प्रोसेसिंग नेटवर्क:
- भूमिका: कच्चे डेटासेट $D$ को एक संरचित डेटाबेस $\hat{D}$ में परिवर्तित करना।
- आर्किटेक्चर: मुख्य रूप से एक 8-लेयर ट्रांसफार्मर (NanoGPT पर आधारित) जिसमें क्वाड्रेटिक अटेंशन है, हालांकि दक्षता के लिए लीनियर अटेंशन वेरिएंट्स का भी अन्वेषण किया गया है।
- तंत्र: कच्चे डेटा मानों को पुनरुत्पादित करने की कठिनाई से बचने के लिए, नेटवर्क सीधे रूपांतरित डेटा आउटपुट करने के बजाय, प्रत्येक डेटा बिंदु के लिए एक रैंकिंग (स्केलर मान) सीखता है। एक डिफरेंशिएबल सॉर्टिंग फंक्शन फिर इन रैंकिंग्स के आधार पर डेटासेट को पुनर्व्यवस्थित करता है ताकि $\hat{D}$ तैयार हो सके। यह परम्यूटेशन-आधारित दृष्टिकोण किसी भी क्रम को दर्शाने की क्षमता को बनाए रखते हुए कच्चे डेटा मानों को पुनरुत्पादित करने की कठिनाई से बचता है।
- विस्तार: उन परिदृश्यों में जहाँ अतिरिक्त स्थान की अनुमति है, नेटवर्क क्वेरी चरण में सहायता के लिए अतिरिक्त प्री-कंप्यूटेड वेक्टर्स या सांख्यिकी आउटपुट कर सकता है।
क्वेरी-एग्जीक्यूशन नेटवर्क:
- भूमिका: $\hat{D}$ में $M$ लुकअप के एक निश्चित बजट का उपयोग करके क्वेरी $q$ का उत्तर प्राप्त करना।
- आर्किटेक्चर: $M$ स्वतंत्र मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs), $Q_1, \dots, Q_M$ का एक अनुक्रम।
- तंत्र: प्रत्येक क्वेरी मॉडल $Q_i$ क्वेरी $q$ और पिछले लुकअप के इतिहास $H_i = \{(m_1, v_1), \dots, (m_{i-1}, v_{i-1})\}$ को इनपुट के रूप में लेता है। यह $\hat{D}$ में एक्सेस करने के लिए स्थान को इंगित करने वाला एक वन-हॉट वेक्टर $m_i$ आउटपुट करता है।
- डिफरेंशिएबिलिटी: प्रशिक्षण के दौरान मेमोरी एक्सेस की असतत (discrete) प्रकृति को संभालने के लिए, मॉडल लॉजिट्स पर नॉइज़ इंजेक्शन के साथ Gumbel-Softmax का उपयोग करता है। यह स्पर्सिटी (sparsity) और मजबूती को प्रोत्साहित करता है, जिससे मॉडल ग्रेडिएंट डिसेंट के माध्यम से असतत चयन रणनीतियों को सीखने में सक्षम होता है। इन्फरेंस के समय, एक हार्डमैक्स (hardmax) लागू किया जाता है।

प्रशिक्षण उद्देश्य: सिस्टम को टुपल्स $(D, q, y)$ पर प्रशिक्षित किया जाता है जहाँ $y$ वास्तविक निकटतम पड़ोसी है। लॉस (loss) को अनुमानित आउटपुट $\hat{y}$ और $y$ के बीच कम किया जाता है (सेटिंग के आधार पर स्क्वेर्ड लॉस या क्रॉस-एन्ट्रॉपी का उपयोग करके)। प्रशिक्षण पूरी तरह से एंड-टू-एंड है, जो डेटा संरचना निर्माण और क्वेरी एल्गोरिदम दोनों को एक साथ ऑप्टिमाइज़ करता है।

मुख्य योगदान और परिणाम

1. शास्त्रीय एल्गोरिदम की रिकवरी

फ्रेमवर्क ने बिना किसी स्पष्ट पर्यवेक्षण (supervision) के ज्ञात इष्टतम एल्गोरिदम को सफलतापूर्वक खोजा:

1D NN सर्च:
- यूनिफॉर्म डिस्ट्रीब्यूशन पर, मॉडल डेटा को सॉर्ट करना सीखता है और एक ऐसी सर्च रणनीति विकसित करता है जो बाइनरी सर्च से बेहतर है, जो वितरण संबंधी ज्ञान का लाभ उठाने के लिए इंटरपोलेशन सर्च जैसा दिखता है।
- "हार्ड" डिस्ट्रीब्यूशन (जहाँ क्वेरी पोजीशन कोई पूर्व जानकारी नहीं देती) पर, यह बाइनरी सर्च की खोज करता है, जो वर्स्ट-केस ऑप्टिमलिटी प्राप्त करता है।
- जिपफियन (Zipfian) डिस्ट्रीब्यूशन पर, यह स्क्यू (skew) के अनुकूल होता है, जो मानक बाइनरी सर्च से बेहतर प्रदर्शन करता है।
2D NN सर्च:
- यूनिफॉर्म डिस्ट्रीब्यूशन पर, यह एक ऐसा परम्यूटेशन सीखता है जो स्थानिक रूप से निकट बिंदुओं को एक साथ समूहित करता है, जो मानक k-d trees से बेहतर प्रदर्शन करता है।
- हार्ड डिस्ट्रीब्यूशन पर, यह एक रिकर्सिव पार्टीशनिंग रणनीति सीखता है जो k-d tree के व्यवहार की नकल करती है, जो बारी-बारी से आयामों (dimensions) के साथ डेटा को विभाजित करती है।

2. उच्च-आयामी प्रतिनिधित्व और LSH

हाइपरस्फीयर डेटा: 30-डायमेंशनल यूनिट हाइपरस्फीयर पर, मॉडल एक संरचना सीखता है जो लोकेलिटी-सेंसिटिव हैशिंग (LSH) के समान है। यह दो वेक्टर्स पर एक प्रोजेक्शन की खोज करता है जो स्पेस को विभाजित करता है, प्रभावी रूप से समान बिंदुओं को कुशल रिट्रीवल के लिए एक ही "बकेट" में मैप करता है।
MNIST (3-digit): जब इसे संख्यात्मक लेबल (पिक्सेल दूरी के बजाय) के आधार पर निकटतम पड़ोसी खोजने का कार्य दिया गया, तो मॉडल ने सीखा:
1. संख्यात्मक क्रम को कैप्चर करने वाले 1D फीचर्स निकालना।
2. इन फीचर्स को सॉर्ट करना।
3. एक इंटरपोलेशन-जैसी सर्च करना।
  यह पूरी तरह से संख्यात्मक लेबल या मेट्रिक स्पेस पर स्पष्ट पर्यवेक्षण के बिना शून्य से प्राप्त किया गया।
रियल-वर्ल्ड बेंचमार्क्स: मॉडल फैशन-MNIST और SIFT डेटासेट पर हैंड-डिज़ाइन किए गए लर्निंग-टू-हैश बेसलाइन्स (ITQ, K-Means, NeuralLSH) के साथ प्रतिस्पर्धी प्रदर्शन करता है।

3. स्ट्रीम्स में फ्रीक्वेंसी एस्टीमेशन

इसे जिपफियन डिस्ट्रीब्यूशन वाले स्ट्रीमिंग फ्रीक्वेंसी एस्टीमेशन समस्या पर लागू किया गया, जहाँ यह मानक CountMinSketch (CMS) एल्गोरिदम से बेहतर प्रदर्शन करता है।
इनसाइट ट्रांसफर: सीखा गया मॉडल मानक CMS (जो $\Delta=1$ का उपयोग करता है) की तुलना में एक छोटा अपडेट डेल्टा (इन्क्रीमेंट वैल्यू) उपयोग करता है। लेखकों ने इस अंतर्दृष्टि का उपयोग एक ऑगमेंटेड CMS को डिजाइन करने के लिए किया जिसमें एक कस्टम अपडेट डेल्टा है, जो वास्तविक दुनिया के CAIDA IP ट्रैफिक डेटासेट पर प्रदर्शन को $1.9\times$ तक सुधारता है।

4. अतिरिक्त स्पेस का उपयोग

फ्रेमवर्क अतिरिक्त मेमोरी का उपयोग करना सीखने की क्षमता प्रदर्शित करता है। 1D और 30D सेटिंग्स में, डेटा-प्रोसेसिंग नेटवर्क सांख्यिकी (जैसे, सॉर्टेड इनपुट्स के भारित योग) को प्री-कंप्यूट और स्टोर करना सीखता है जो क्वेरी नेटवर्क को कम लुकअप के साथ निकटतम पड़ोसी खोजने में सक्षम बनाता है।

महत्व और दावे

पेपर दावा करता है कि यह एंड-टू-एंड डेटा स्ट्रक्चर लर्निंग की दिशा में एक पहला कदम है। इसकी प्राथमिक महत्ता निम्नलिखित में निहित है:

व्यवहार्यता (Feasibility): यह प्रदर्शित करना कि डीप लर्निंग मॉडल बिना किसी स्पष्ट पर्यवेक्षण के सार्थक, शास्त्रीय डेटा संरचनाओं (सॉर्टिंग, बाइनरी सर्च, k-d trees, LSH) और क्वेरी एल्गोरिदम की खोज कर सकते हैं।
वितरण अनुकूलनशीलता (Distribution Adaptivity): यह दिखाना कि सीखी गई संरचनाएं विशिष्ट डेटा वितरणों (जैसे, यूनिफॉर्म बनाम हार्ड बनाम जिपफियन) के अनुकूल हो सकती हैं ताकि वर्स्ट-केस ऑप्टिमल हैंड-डिज़ाइन किए गए स्ट्रक्चर्स से बेहतर प्रदर्शन किया जा सके।
एकीकृत ढांचा (Unified Framework): डेटा स्ट्रक्चर समस्याओं को स्पेस और क्वेरी बाधाओं के साथ एंड-टू-एंड लर्निंग टास्क के रूप में फ्रेम करने के लिए एक सामान्य प्रतिमान प्रस्तावित करना, जो NN सर्च से परे फ्रीक्वेंसी एस्टीमेशन, ग्राफ स्ट्रक्चर और स्पार्स मैट्रिक्स कंप्रेशन जैसी समस्याओं पर लागू होता है।
अंतर्दृष्टि सृजन (Insight Generation): यह उजागर करना कि छोटे पैमाने के सीखे गए मॉडल शास्त्रीय एल्गोरिदम को सुधारने के लिए हस्तांतरणीय अंतर्दृष्टि प्रदान कर सकते हैं (जैसा कि ऑगमेंटेड CountMinSketch में देखा गया है)।

सीमाएं और दायरा

लेखक स्पष्ट रूप से कुछ सीमाओं का उल्लेख करते हैं:

पैमाना (Scale): प्रयोग छोटे डेटासेट्स ( $N \approx 100$ , $N=500$ तक) तक सीमित हैं। कंप्यूटेशनल लागत (क्वाड्रेटिक अटेंशन, बड़े आउटपुट वेक्टर्स के लिए मेमोरी) के कारण व्यावहारिक, बड़े पैमाने के डेटासेट्स तक स्केल करना एक खुला चैलेंज बना हुआ है।
दक्षता (Efficiency): अध्ययन स्पेस और क्वेरी कॉम्प्लेक्सिटी पर केंद्रित है। यह प्रीप्रोसेसिंग समय या न्यूरल नेटवर्क इन्फरेंस लागत के लिए पूर्ण अनुकूलन नहीं करता है, जो व्यावहारिक परिनियोजन (deployment) के लिए महत्वपूर्ण हैं।
गारंटी (Guarantees): लर्निंग-ऑगमेंटेड एल्गोरिदम के विपरीत, जो प्रमाणित गारंटी देते हैं, एंड-टू-एंड सीखे गए स्ट्रक्चर्स में सैद्धांतिक सीमाएं और व्याख्यात्मकता (interpretability) का अभाव है।
विफलता मोड (Failure Modes): पेपर नोट करता है कि लर्निंग विशिष्ट सेटिंग्स (जैसे, रैंडमाइज्ड रैंक ऑर्डर के साथ उच्च-स्क्यू जिपफियन डिस्ट्रीब्यूशन) में विफल हो सकती है जहाँ सावधानीपूर्वक इनिशियलाइजेशन या इंडक्टिव बायस की आवश्यकता हो सकती है।

पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान मॉडल अभी तक उत्पादन-स्तर के क्लासिकल डेटा स्ट्रक्चर्स के स्थान लेने के लिए तैयार नहीं हैं, फिर भी वे एल्गोरिथमिक डिज़ाइन स्पेस की खोज करने और नए ह्यूरिस्टिक्स खोजने के लिए शक्तिशाली उपकरण के रूप में कार्य करते हैं।