🔢 mathematics

Horizon Activation Mapping for Neural Networks in Time Series Forecasting

यह शोध पत्र हॉरिजन एक्टिवेशन मैपिंग (HAM) को प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) दृश्य व्याख्यात्मकता तकनीक है जो समय श्रृंखला उप-श्रंखलाओं (time series subseries) में ग्रेडिएंट नॉर्म औसत का विश्लेषण करती है ताकि विविध न्यूरल नेटवर्क आर्किटेक्चर के लिए समय श्रृंखला पूर्वानुमान में सूक्ष्म मॉडल चयन, सत्यापन और क्रॉस-फैमिली तुलना को सक्षम बनाया जा सके।

मूल लेखक: Krupakar Hans, V A Kandappan

प्रकाशित 2026-05-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krupakar Hans, V A Kandappan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अगले कुछ हफ्तों के मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आपके पास चुनने के लिए कई अलग-अलग प्रकार के रोबोट (न्यूरल नेटवर्क) हैं, लेकिन वे सभी अलग-अलग भाषाएं बोलते हैं और उनके आंतरिक गियर भी अलग हैं। आमतौर पर, यह देखने के लिए कि कौन सा रोबोट सबसे अच्छा काम कर रहा है, आप केवल अंतिम स्कोर देखते हैं: "वास्तविक मौसम से भविष्यवाणी कितनी करीब थी?"

लेकिन क्या होगा अगर आप यह जानना चाहें कि रोबोट कैसे सोच रहा है? क्या होगा अगर आप यह देखना चाहें कि वह किन दिनों पर ध्यान दे रहा है और किन दिनों को अनदेखा कर रहा है? यह पेपर बिल्कुल यही पेश करता है: एक टूल जिसे होरिज़न एक्टिवेशन मैपिंग (Horizon Activation Mapping - HAM) कहा जाता है।

यहाँ इस पेपर का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

1. समस्या: "ब्लैक बॉक्स" पूर्वानुमानकर्ता (The "Black Box" Forecasters)

टाइम सीरीज़ फोरकास्टिंग (पिछले डेटा के आधार पर भविष्य के नंबरों की भविष्यवाणी करना) की दुनिया में, AI मॉडल के कई अलग-अलग "परिवार" होते हैं। कुछ तेज़ धावक (MLPs) की तरह होते हैं, कुछ सावधानी से पढ़ने वाले (Self-Attention) की तरह होते हैं, और कुछ समय की यात्रा करने वाले जासूसों (Diffusion models) की तरह होते हैं।

वर्तमान में, यदि आप उनकी तुलना करना चाहते हैं, तो आप केवल अंतिम त्रुटि स्कोर (error score) देखते हैं। यह दो शेफों का मूल्यांकन करने जैसा है कि केवल अंतिम व्यंजन का स्वाद कैसा है, बिना कभी उनकी खाना पकाने की प्रक्रिया देखे। आपको नहीं पता कि एक शेफ सब्जियां काटने में एकदम सटीक है जबकि दूसरा सॉस जला रहा है। लेखकों ने इन विभिन्न रोबोटों के भीतर देखने का एक तरीका खोजने की कोशिश की ताकि उनके सीखने की प्रक्रिया को समझा जा सके, चाहे उनका आंतरिक डिज़ाइन कुछ भी हो।

2. समाधान: HAM (समय का "हीट मैप")

लेखकों ने होरिज़न एक्टिवेशन मैपिंग (HAM) बनाया है। इसे समय का "हीट मैप" समझें।

उपमा (Analogy): कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। एक मानक हीट मैप (जैसे इमेज AI में उपयोग किया जाने वाला Grad-CAM) आपको दिखाता है कि AI स्क्रीन के किन हिस्सों को देख रहा है। HAM ऐसा ही कुछ करता है, लेकिन समय के लिए।
यह कैसे काम करता है: इमेज के बजाय, HAM डेटा की एक टाइमलाइन (क्षितिज/horizon) को देखता है। यह पूछता है: "जैसे-जैसे AI भविष्य की भविष्यवाणी करने की कोशिश करता है, वह टाइमलाइन की शुरुआत में बनाम अंत में कितनी मेहनत (gradient) लगा रहा है?"
दो मोड:
- कॉज़ल मोड (Causal Mode): AI भविष्य की भविष्यवाणी करने के लिए अतीत को देखता है (जैसे पेज 1 से अंत तक किताब पढ़ना)।
- एंटी-कॉज़ल मोड (Anti-Causal Mode): AI अतीत को समझने के लिए भविष्य को देखता है (जैसे आखिरी पेज से शुरू होकर पीछे की ओर किताब पढ़ना)।
- HAM दोनों के लिए एक रेखा खींचता है। यदि रेखा सीधी है, तो AI सभी दिनों के साथ समान व्यवहार कर रहा है। यदि रेखा ऊपर या नीचे की ओर मुड़ती है, तो इसका मतलब है कि AI टाइमलाइन के विशिष्ट भागों पर अधिक ध्यान केंद्रित कर रहा है।

3. उन्होंने क्या खोजा (प्रयोग)

लेखकों ने ऊर्जा खपत (ETTm2) के डेटासेट का उपयोग करके विभिन्न मॉडलों पर इस टूल का परीक्षण किया। यहाँ उनके मुख्य निष्कर्ष दिए गए हैं:

ड्रॉपआउट्स (दिक्कत/भटकाव का परीक्षण):
उन्होंने यह देखने के लिए "ड्रॉपआउट्स" (नेटवर्क के कुछ हिस्सों को बेतरतीब ढंग से बंद करना) जोड़े कि क्या इससे मदद मिलती है। उन्होंने पाया कि जटिल, बहु-चर (multi-variable) कार्यों के लिए, ड्रॉपआउट जोड़ने से AI ने अधिक मेहनत की (उच्च ग्रेडिएंट मैग्नीट्यूड), विशेष रूप से लंबी अवधि की भविष्यवाणियों पर। यह एक छात्र को हर कुछ मिनटों में ब्रेक लेने के लिए कहने जैसा है; आश्चर्यजनक रूप से, इसने उन्हें लंबी अवधि के होमवर्क पर अधिक तीव्रता से ध्यान केंद्रित करने के लिए प्रेरित किया।
बैच साइज (कक्षा के आकार का प्रभाव):
उन्होंने यह बदलकर परीक्षण किया कि AI एक बार में कितने डेटा पॉइंट्स का अध्ययन करता है (बैच साइज)।
- निष्कर्ष: जब "कक्षा का आकार" (बैच साइज) बदला, तो AI का व्यवहार बहुत ही अनुमानित और सुचारू तरीके से बदला। यह ऐसा है जैसे AI का "प्रयास वक्र" (effort curve) बैच साइज के आधार पर एक विशिष्ट गणितीय रेसिपी (पॉलीनोमियल) का पालन करता है। यह बताता है कि भले ही अंतिम स्कोर समान दिखे, लेकिन बैच साइज के आधार पर AI के सीखने का तरीका अलग होता है।
अर्ली स्टॉपिंग (जल्दी हार मान लेने का परीक्षण):
उन्होंने प्रशिक्षण को पूरी तरह से समाप्त होने से पहले ही रोक दिया।
- निष्कर्ष: जब प्रशिक्षण जल्दी रोका गया, तो AI का "प्रयास" काफी गिर गया। टूल ने दिखाया कि AI ने लंबी अवधि के पैटर्न को सीखना छोड़ दिया और केवल एक "ठीक-ठाक" स्थानीय समाधान (local solution) पर समझौता कर लिया। यह उस छात्र की तरह है जो परीक्षा से एक सप्ताह पहले पढ़ाई करना बंद कर देता है और केवल पहला अध्याय याद करता है।
विभिन्न मॉडल परिवार:
उन्होंने विभिन्न प्रकार के AI (जैसे N-HITS, FEDformer, SpaceTime, और Diffusion मॉडल) की तुलना की।
- N-HITS: इस मॉडल ने एक विशिष्ट पैटर्न दिखाया जो इसके गणितीय सिद्धांत से मेल खाता था: यह भविष्य को अतीत के एक रैखिक संयोजन (linear combination) के रूप में मानता है। HAM प्लॉट ने इस "न्यूरल एप्रोक्सिमेशन" की पुष्टि की।
- SpaceTime: इस मॉडल ने दिखाया कि जैसे-जैसे प्रेडिक्शन हॉरिजन लंबा होता गया, यह एक सीधी रेखा से एक्सपोनेंशियल कर्व (घातीय वक्र) में बदल गया। इसका मतलब है कि यह मॉडल भविष्य की खिड़की चौड़ी होने पर दूर के भविष्य पर बहुत अधिक ध्यान केंद्रित करता है।
- Diffusion मॉडल्स: ये मॉडल (जो शोर/noise के माध्यम से सीखते हैं) दिखाते हैं कि वे समय के छोटे टुकड़ों को बहुत उच्च तीव्रता के साथ देखते हैं, जो लगभग एक निरंतर गूँज (constant hum) की तरह है, चाहे वे भविष्य में कितनी भी दूर की भविष्यवाणी क्यों न कर रहे हों।

4. यह क्यों महत्वपूर्ण है

यह पेपर तर्क देता है कि HAM एक सार्वभौमिक अनुवादक (universal translator) है।

पहले: आप केवल अंतिम स्कोर (MSE/MAE) द्वारा मॉडलों की तुलना कर सकते थे।
अब: आप HAM प्लॉट को देख सकते हैं और कह सकते हैं, "आह, मॉडल A टाइमलाइन के अंतिम 20% को अनदेखा कर रहा है, जबकि मॉडल B बीच के हिस्से पर भारी ध्यान दे रहा है।"

यह शोधकर्ताओं को निम्नलिखित कार्य करने की अनुमति देता है:

सही मॉडल चुनना (यदि आपको दूर के भविष्य की भविष्यवाणी करने की आवश्यकता है, तो उस मॉडल को चुनें जिसका HAM वक्र लंबी अवधि की परवाह करने वाला दिखता है)।
बेहतर डेटा स्प्लिट्स चुनना (यह तय करना कि प्रशिक्षण बनाम परीक्षण के लिए किस डेटा का उपयोग किया जाए) यह देखकर कि AI डेटा के विभिन्न हिस्सों के प्रति कैसे प्रतिक्रिया करता है।
"ऑप्टिमाइज़ेशन लैंडस्केप" को समझना: वे देख सकते हैं कि क्या AI एक "स्थानीय घाटी" (एक औसत दर्जे का समाधान) में फँसा हुआ है या वह सही पहाड़ पर चढ़ रहा है।

सारांश

यह पेपर HAM पेश करता है, जो एक विज़ुअल टूल है जो टाइम-सीरीज़ AI के लिए एक्स-रे की तरह काम करता है। केवल अंतिम ग्रेड देखने के बजाय, यह आपको दिखाता है कि AI टाइमलाइन में कहाँ और कितनी कड़ी मेहनत कर रहा है। यह प्रकट करता है कि विभिन्न AI परिवारों के सीखने के तरीके में अलग-अलग "व्यक्तित्व" होते हैं, और यह टूल हमें उनके आंतरिक आर्किटेक्चर की परवाह किए बिना उन अंतरों को स्पष्ट रूप से देखने में मदद करता है।

शीर्षक: न्यूरल नेटवर्क के लिए टाइम सीरीज़ फोरकास्टिंग में होराइजन एक्टिवेशन मैपिंग (Horizon Activation Mapping)

समस्या विवरण
टाइम सीरीज़ फोरकास्टिंग के लिए न्यूरल नेटवर्क मॉडल ने विशेष रूप से लॉन्ग-होराइजन कार्यों में महत्वपूर्ण प्रदर्शन सुधार प्राप्त किए हैं। हालाँकि, क्षेत्र में मॉडल चयन और व्याख्यात्मकता (interpretability) के लिए एक एकीकृत ढांचे का अभाव है जो विशिष्ट लेयर प्रकारों या मॉडल परिवारों के प्रति उदासीन (agnostic) हो। मौजूदा व्याख्यात्मकता विधियाँ, जैसे कि Grad-CAM, कंप्यूटर विज़न के लिए डिज़ाइन की गई हैं और स्थानिक अटेंशन मैप्स (spatial attention maps) पर निर्भर करती हैं, जो मल्टीवेरिएट फोरकास्टिंग की स्पैटियो-टेम्पोरल प्रकृति में सीधे तौर पर अनुवादित नहीं होती हैं। इसके अलावा, जबकि विभिन्न मॉडल परिवार (जैसे, MLP-आधारित, सेल्फ-अटेंशन, SSM-आधारित, डिफ्यूजन) मौजूद हैं, एक बड़े पैमाने के सुपरवाइज्ड डेटासेट या विश्लेषणात्मक ढांचे का अभाव है जो विभिन्न आर्किटेक्चरों के बीच उनके आंतरिक लर्निंग डायनेमिक्स और ग्रेडिएंट गतिविधियों की तुलना कर सके। वर्तमान मॉडल चयन अक्सर त्रुटि मेट्रिक्स (MSE, MAE) पर निर्भर करता है जो विभिन्न परिवारों में समान हो सकते हैं, जिससे अंतर्निहित ऑप्टिमाइज़ेशन लैंडस्केप और लर्निंग रणनीतियाँ अस्पष्ट रह जाती हैं।

कार्यप्रणाली: होराइजन एक्टिवेशन मैपिंग (HAM)
लेखक होराइजन एक्टिवेशन मैपिंग (HAM) पेश करते हैं, जो Grad-CAM से प्रेरित एक विजुअल इंटरप्रिटेबिलिटी तकनीक है जिसे टाइम सीरीज़ फोरकास्टिंग के लिए अनुकूलित किया गया है। HAM फोरकास्टिंग होराइजन के भीतर सब-सीरीज़ में ग्रेडिएंट अपडेट मैग्नीट्यूड का विश्लेषण करके मॉडल गुणों की पहचान करता है।

कॉज़ल (Causal) और एंटी-कॉज़ल (Anti-Causal) मोड: एक होराइजन आकार $H$ $H$ के लिए, HAM बैकप्रोपैगेशन से पहले लॉस फंक्शन पर लागू दो मास्किंग मोडों का उपयोग करके ग्रेडिएंट नॉर्म एवरेज की गणना करता है:
- कॉज़ल मोड ( $c$ ): टाइमस्टेप 0 से $h$ तक के सब-सीरीज़ को शामिल करता है।
- एंटी-कॉज़ल मोड ( $a$ ): टाइमस्टेप $h$ से $H$ तक के सब-सीरीज़ को शामिल करता है।
ग्रेडिएंट नॉर्म एवरेज: ढांचा मॉडल पैरामीटर्स $\theta$ के संबंध में इन मास्क्ड सब-सीरीज़ पर औसत ग्रेडिएंट नॉर्म की गणना करता है।
विज़ुअलाइज़ेशन:
- HAM प्लॉट्स: होराइजन के विभिन्न टाइमस्टेप्स के विरुद्ध ग्रेडिएंट नॉर्म एवरेज को प्रदर्शित करते हैं, जिसकी तुलना एक समान वितरण (uniform distribution) का प्रतिनिधित्व करने वाली "लाइन ऑफ प्रोपोर्शनैलिटी" से की जाती है।
- डिफरेंस प्लॉट्स: होराइजन में लर्निंग के अंतर को उजागर करने के लिए कॉज़ल और एंटी-कॉज़ल ग्रेडिएंट एवरेज के अंतर को $[-1, 1]$ तक स्केल करके दिखाते हैं।
- इंटरपोलेटेड एरिया प्लॉट्स: अलग-अलग होराइजन साइज वाले मॉडलों की तुलना करने के लिए प्रति मॉडल अधिकतम क्षेत्र को $[0, 1]$ रेंज में सामान्यीकृत (normalize) करते हैं।
मुख्य मेट्रिक्स: ढांचा ग्रेडिएंट इक्विवेरिएंट पॉइंट (Gradient Equivariant Point) की पहचान करता है, जहाँ पहले $h$ टाइमस्टेप्स का ग्रेडिएंट नॉर्म एवरेज शेष $H-h$ टाइमस्टेप्स के बराबर होता है। यह वक्रों और लाइन ऑफ प्रोपोर्शनैलिटी के बीच साइन्ड एरिया (signed area) की भी गणना करता है ताकि विविधताओं को बढ़ाया जा सके।

प्रायोगिक सेटअप
अध्ययन ETTm2 डेटासेट (60-20-20 ट्रेन-वैल-टेस्ट स्प्लिट) का उपयोग करके एक NVIDIA A40 GPU पर विविध मॉडल परिवारों पर HAM का मूल्यांकन करता है। मॉडलों में शामिल हैं:

MLP-आधारित: CycleNet, N-Linear, N-HITS।
सेल्फ-अटेंशन: FEDformer, Pyraformer।
स्टेट स्पेस मॉडल्स (SSM): SpaceTime।
डिफ्यूजन: Multi-Resolution DDVM।

प्रयोग विभिन्न होराइजन साइज ( $H = \{96, 192, 336, 720\}$ ) को कवर करते हैं और निम्नलिखित का अन्वेषण करते हैं:

ड्रॉपआउट दरें।
बैच साइज।
अर्ली स्टॉपिंग (एपोक पोस्ट-स्टॉपिंग)।
डेटासेट स्प्लिट्स (ट्रेन बनाम वैलिडेशन बनाम टेस्ट)।
यूनिवेरिएट बनाम मल्टीवेरिएट फोरकास्टिंग।
आर्किटेक्चरल हाइपरपैरामीटर्स (जैसे, साइकिल क्यू लेंथ, नॉर्मलाइजेशन रणनीतियाँ)।

मुख्य परिणाम और अवलोकन

ड्रॉपआउट प्रभाव: मल्टीवेरिएट मॉडलों (विशेष रूप से N-HITS) में, ड्रॉपआउट (0.2) जोड़ने से समग्र ग्रेडिएंट मैग्नीट्यूड में 3 गुना से अधिक की वृद्धि हुई, विशेष रूप से होराइजन के लंबे क्षेत्रों में।
बैच साइज डायनेमिक्स:
- ग्रेडिएंट मैग्नीट्यूड और एरर मेट्रिक्स बैच साइज के साथ जटिल संबंध दिखाते हैं।
- कन्वर्ज्ड मॉडलों (N-HITS, N-Linear, CycleNet) में, बैच साइज के माध्यम से इंटरपोलेटेड ग्रेडिएंट नॉर्म एवरेज एक पॉलिनोमियलल सैचुरेटिंग ट्रेंड प्रदर्शित करते हैं, जो प्रति एपोक बैच साइज के बीच एक संभावित एक्सपोनेंशियल एप्रोक्सिमेशन का सुझाव देता है।
- CycleNet ने बैच साइज के आधार पर सूक्ष्म प्रदर्शन अंतर दिखाया, जिसमें छोटे बैच साइज (50) पर एंटी-कॉज़ल गतिविधि बढ़ती है और बड़े बैच साइज (100) पर कॉज़ल गतिविधि घटती है।
अर्ली स्टॉपिंग: अर्ली स्टॉप किए गए मॉडलों में कम ग्रेडिएंट मैग्नीट्यूड देखा गया, विशेष रूप से कॉज़ल मोड में। अर्ली-स्टॉप किए गए मॉडलों का ग्रेडिएंट इक्विवेरिएंट पॉइंट $H/2$ के करीब शिफ्ट हो गया, जो बताता है कि जब मॉडल लोकल मिनिमममा तक पहुँच गया, तो लंबे होराइजन क्षेत्रों में गतिविधियाँ प्रदर्शन में सुधार नहीं कर पाईं।
डेटासेट स्प्लिट्स: ट्रेनिंग डेटा कर्व्स को लाइन ऑफ प्रोपोर्शनैलिटी के करीब धकेलता है। N-HITS में वैलिडेशन सेट्स ने CycleNet की तुलना में "आउट-ऑफ-डिस्ट्रीब्यूशन" पहलुओं को अधिक स्पष्ट रूप से दिखाया।
यूनिवेरिएट बनाम मल्टीवेरिएट: मल्टीवेरिएट फोरकास्टिंग ने अधिक स्थानिक लर्निंग कठिनाइयों को प्रस्तुत किया। मल्टीवेरिएट सब-सीरीज़ में शुरुआती टाइमस्टेप्स को हटाने से एंटी-कॉज़ल कर्व्स को लाइन ऑफ प्रोपोर्शनैलिटी के नीचे धकेल दिया, जो यूनिवेरिएट मामलों में नहीं देखा गया।
आर्किटेक्चर विशिष्टताएं:
- N-Linear: नॉर्मलाइजेशन (पिछले टाइमस्टेप के मान को घटाना) ने त्रुटियों को 16% कम कर दिया और ग्रेडिएंट मैग्नीट्यूड को बदल दिया, जिससे होराइजन के पहले 23% में कॉज़ली गिरावट आई और उसके बाद वृद्धि हुई।
- CycleNet: साइकिल क्यू लेंथ ने वैल्यूज के क्रम को प्रभावित किया। सबसे छोटा साइकिल लेंथ (64) सर्वश्रेष्ठ प्रदर्शन से संबंधित था और इसमें सब-सीरीज़ लेंथ के बीच बड़े मैग्नीट्यूड का इंटरप्ले देखा गया।
- SpaceTime: इसने एक्सपोनेंशियल ऑटोरेग्रेसिव गतिविधियाँ प्रदर्शित कीं। इसका कॉज़ल मोड लीनियर (H=96 पर) से एक्सपोनेंशियल ट्रेंड्स (H={192, 336, 720} पर) में परिवर्तित हुआ, जो होराइजन के लंबे क्षेत्रों को उजागर करता है।
- N-HITS: इसका व्यवहार न्यूरल एप्रोक्सिमेशन थ्योरम के अनुरूप था, जहाँ एंटी-कॉज़ल वृद्धि अनंत होराइजन धारणाओं का समर्थन करती है।
- डिफ्यूजन (Multi-Resolution DDPM): इसने प्रोपोर्शनल अपेक्षाओं की तुलना में छोटे सब-सीरीज़ के लिए विशिष्ट रूप से बड़े ग्रेडिएंट नॉर्म दिखाए, जो डिफ्यूजन-आधारित फोरकास्टिंग का एक गुण सुझाता है।

महत्व और दावे
लेखक दावा करते हैं कि HAM एक ग्रैनुलर, मॉडल-अग्नोस्टिक फ्रेमवर्क प्रदान करता है:

मॉडल चयन: सरल एरर मेट्रिक्स से परे विभिन्न न्यूरल नेटवर्क परिवारों (MLP, Attention, SSM, Diffusion) के बीच लर्निंग रणनीतियों और ऑप्टिमाइज़ेशन लैंडस्केप की तुलना करने के लिए।
वैलिडेशन सेट का चुनाव: उपयुक्त वैलिडेशन सेट्स चुनने के लिए HAM प्लॉट्स में सापेक्ष परिवर्तनशीलता (relative variabilities) का उपयोग करने के लिए।
आर्किटेक्चरल इनसाइट: HAM प्लॉट्स में विशिष्ट रुझानों को सैद्धांतिक गुणों, जैसे कि N-HITS के न्यूरल एप्रोक्सिमेशन थ्योरम और SpaceTime के एक्सपोनेंशियल ऑटोरेग्रेसिव स्वभाव को जोड़ने के लिए।
सामान्यीकरण (Generalizability): यह ढांचा मॉडल में उपयोग किए जाने वाले लेयर प्रकारों के बावजूद लागू करने योग्य है, जो पिछले तरीकों की सीमा को संबोधित करता जो विशिष्ट आर्किटेक्चर के लिए विशिष्ट थे।

लेखक नोट करते हैं कि जबकि HAM समग्र नॉर्म एवरेज का उपयोग करता है, लेयर-वाइज प्लॉट्स छोटे और लंबे सब-सीरीज़ के लिए लर्निंग डायनेमिक्स को और अधिक स्पष्ट कर सकते हैं। अध्ययन इस निष्कर्ष के साथ समाप्त होता है कि HAM टाइम सीरीज़ फोरकास्टिंग के "ऑप्टिमाइज़ेशन लैंडस्केप" को समझने के लिए एक उपकरण के रूप में कार्य करता है, जो व्याख्यात्मक आर्किटेक्चरल बदलावों और क्रॉस-फैमिली तुलना को सक्षम बनाता है।

1. समस्या: "ब्लैक बॉक्स" पूर्वानुमानकर्ता (The "Black Box" Forecasters)

2. समाधान: HAM (समय का "हीट मैप")

3. उन्होंने क्या खोजा (प्रयोग)

4. यह क्यों महत्वपूर्ण है

सारांश

इसी तरह के और पेपर