⚡ electrical engineering

Hierarchical End-to-End Taylor Bounds for Complete Neural Network Verification

यह शोध पत्र \textsc{HiTaB} को प्रस्तुत करता है, जो एक नवीन सत्यापन ढांचा (verification framework) है जो पहुंच विश्लेषण (reachability analysis) और सुरक्षा प्रमाणन (safety certification) के लिए अधिक सटीक, पदानुक्रमित एंड-टू-एंड टेलर बाउंड्स (hierarchical end-to-end Taylor bounds) प्रदान करने के लिए न्यूरल नेटवर्क वक्रता (neural network curvature) की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) का व्यवस्थित रूप से लाभ उठाता है।

मूल लेखक: Taha Entesari, Mahyar Fazlyab

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taha Entesari, Mahyar Fazlyab

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सटीक रूप से अनुमान लगाने की कोशिश कर रहे हैं कि एक बहुत ही जटिल, स्व-चालित (self-driving) रोबोट अलग-अलग दिशाओं में थोड़ा धकेले जाने पर अंततः कहाँ पहुँचेगा। इस रोबोट का मस्तिष्क एक न्यूरल नेटवर्क है, जो एक प्रकार का कंप्यूटर प्रोग्राम है जो डेटा से सीखता है। क्योंकि रोबोट का उपयोग सुरक्षा-महत्वपूर्ण कार्यों (जैसे ड्राइविंग या उड़ना) के लिए किया जाता है, हमें यह 100% सुनिश्चित करने की आवश्यकता है कि यदि इसे थोड़ा शोर (noise) या विक्षोभ (perturbation) प्राप्त होता है, तो भी यह किसी दीवार से न टकरा जाए या खाई में न गिर जाए।

समस्या यह है कि ये न्यूरल नेटवर्क ब्लैक बॉक्स की तरह होते हैं। वे इतने जटिल हैं कि हम आसानी से यह गणना नहीं कर सकते कि वे हर एक संभावित पथ (path) क्या लेंगे। यह एक तूफान में उड़ने वाली पत्ती के सटीक पथ की भविष्यवाणी करने की कोशिश करने जैसा है; इसमें बहुत सारे चर (variables) होते हैं।

पुराना तरीका: रफ अंदाज़ (Rough Guesses)

पहले, शोधकर्ताओं ने एक "सुरक्षा जाल" (safety net) बनाकर इसे हल करने की कोशिश की।

जीरो-ऑर्डर (शून्य-क्रम - "आलसी" नेट): वे बस कहते थे, "रोबोट यहाँ है, और यह अधिकतम X गति से चल सकता है।" यह एक बहुत बड़ा, ढीला घेरा बनाता है। यह सुरक्षित है, लेकिन यह इतना बड़ा है कि इससे बहुत कुछ पता नहीं चलता।
फर्स्ट-ऑर्डर (प्रथम-क्रम - "ढलान" नेट): उन्होंने देखा कि रोबोट वर्तमान में किस दिशा में झुक रहा है (ग्रेडिएंट)। इसने जाल को थोड़ा और कस दिया, जैसे किसी पहाड़ी की ढलान के आधार पर एक छोटा घेरा बनाना।
सेकंड-ऑर्डर (द्वितीय-क्रम - "वक्रता" नेट): उन्होंने यह देखना शुरू किया कि पहाड़ी कैसे मुड़ रही है (हेसियन/Hessian)। इसने जाल को और भी अधिक कस दिया।

हालाँकि, इन सभी तरीकों में एक दोष था: वे "वक्रता की वक्रता" (curvature of the curvature) को देखना बंद कर देते थे। कल्पना कीजिए कि आप कार चला रहे हैं। आप जानते हैं कि सड़क मुड़ रही है (सेकंड-ऑर्डर), लेकिन आप यह नहीं जानते कि अगले एक सेकंड में वह मोड़ अचानक अधिक तीखा होने वाला है या सपाट होने वाला है। यह तीखेपन में होने वाला बदलाव ही वह चीज़ है जिसे लेखक हेसियन लिप्सचिट्ज़ निरंतरता (Hessian Lipschitz continuity) कहते हैं।

नया समाधान: HITAB

लेखक इस पेपर में HITAB (Hierarchical End-to-End Taylor Bounds) नामक एक नया ढांचा पेश करते हैं। HITAB को एक अति-सटीक GPS के रूप में समझें जो न केवल सड़क के वर्तमान आकार को देखता है, बल्कि यह भी भविष्यवाणी करता है कि चलते समय सड़क का आकार कैसे बदल रहा है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "वक्रता की वक्रता" (Hessian Lipschitz)
कल्पना कीजिए कि आप एक स्लाइड (फिसलन पट्टी) पर गेंद लुढ़का रहे हैं।

फर्स्ट-ऑर्डर बताता है कि स्लाइड किस दिशा में इशारा कर रही है।
सेकंड-ऑर्डर बताता है कि स्लाइड कितनी ढालू है।
HITAB पूछता है: "क्या स्लाइड की ढाल तेजी से बदल रही है?" यदि स्लाइड अचानक एक कॉर्कस्क्रू (corkscrew) की तरह मुड़ जाती है, तो एक साधारण ढलान गणना विफल हो जाएगी। HITAB इस "मरोड़" (twistiness) को ध्यान में रखता है (हेसियन का लिप्सचिट्ज़ स्थिरांक)। वक्रता कितनी बदल सकती है, इसे मापकर, वे गेंद के पथ के चारों ओर बहुत अधिक सटीक और कड़ा सुरक्षा जाल बना सकते हैं।

2. "परत-दर-परत" जासूस (Layer-by-Layer Detective)
न्यूरल नेटवर्क परतों के ढेर (जैसे एक मल्टी-लेयर केक) की तरह बने होते हैं। यह जानने के लिए कि पूरा केक कैसा व्यवहार करता है, आपको आमतौर पर पूरे का एक साथ विश्लेषण करना पड़ता है, जो कठिन है।
लेखकों ने एक कंपोजिशनल विधि (compositional method) विकसित की है। पूरे केक का एक साथ विश्लेषण करने के बजाय, उन्होंने प्रत्येक परत के "मरोड़" को व्यक्तिगत रूप से मापने और फिर उन मापों को जोड़ने का एक नियम बनाया। यह एक गगनचुंबी इमारत की प्रत्येक मंजिल की स्थिरता को मापने और फिर यह जानने के लिए उन्हें जोड़ने जैसा है कि पूरी इमारत कितना डगमगाएगी। यह गणित को इतना तेज़ बनाता है कि इसे वास्तव में उपयोग किया जा सके।

3. "सुरक्षा पदानुक्रम" (Safety Hierarchy)
HITAB सुरक्षा जांच के तीन स्तर प्रदान करता है, जो एक सीढ़ी की तरह है:

स्तर 1: एक त्वरित, रफ चेक (जीरो-ऑर्डर)।
स्तर 2: दिशा का उपयोग करके एक बेहतर चेक (फर्स्ट-ऑर्डर)।
स्तर 3: दिशा, वक्रता और बदलते-वक्रता का उपयोग करके सबसे अच्छा चेक (सेकंड-ऑर्डर)।
यह ढांचा स्वचालित रूप से स्थिति के लिए सबसे सटीक नेट चुनता है। यदि "मरोड़" कम है, तो सेकंड-ऑर्डर चेक एक बहुत ही छोटा, सटीक सुरक्षा क्षेत्र देता है।

परिणाम: कम शाखाएँ, तेज़ उत्तर

इसका परीक्षण करने के लिए, लेखकों ने एक क्वाड्रोटर (ड्रोन) का उपयोग किया जो बाधाओं के बीच उड़ने की कोशिश कर रहा था। वे देखना चाहते थे कि क्या ड्रोन टकरा जाएगा।

उन्होंने एक मानक विधि (फर्स्ट-ऑर्डर) का उपयोग किया और उसे सुनिश्चित करने के लिए 908,000 अलग-अलग परिदृश्यों (branches) की जांच करनी पड़ी।
उन्होंने HITAB (सेकंड-ऑर्डर) का उपयोग किया और उन्हें केवल 119,000 परिदृश्यों की जांच करनी पड़ी।

उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में खोई हुई चाबी ढूंढ रहे हैं।

पुराना तरीका एक टॉर्च जलाने और फर्श के हर एक इंच को एक-एक करके जांचने जैसा है। इसमें बहुत समय लगता है।
HITAB एक थर्मल कैमरा होने जैसा है जो तुरंत बता देता है, "चाबी निश्चित रूप से इस छोटे से कोने में है, पूरे कमरे में नहीं।" आप खाली जगहों को छोड़ देते हैं और उत्तर बहुत तेज़ी से पाते हैं।

सारांश

पेपर का दावा है कि न्यूरल नेटवर्क के व्यवहार की "वक्रता" कैसे बदलती है, इसे मापने के लिए एक विशिष्ट गणितीय ट्रिक का उपयोग करके, वे अधिक सटीक और कड़े सुरक्षा प्रमाण पत्र (safety certificates) बना सकते हैं। इसका अर्थ है कि हम AI सिस्टम को पहले की तुलना में कम कंप्यूटिंग पावर और अधिक विश्वास के साथ सत्यापित कर सकते हैं, विशेष रूप से उन प्रणालियों के लिए जो स्मूथ, डिफरेंशिएबल (differentiable) न्यूरल नेटवर्क का उपयोग करती हैं (जैसे कि कंट्रोल और रोबोटिक्स में उपयोग किए जाने वाले)।

वे यह दावा नहीं करते हैं कि यह हर प्रकार के AI (जैसे "ReLU" एक्टिवेशन फंक्शन वाले, जो चिकने होने के बजाय ऊबड़-खाबड़ होते हैं) के लिए काम करता है, और न ही वे दावा करते हैं कि यह दुनिया की सभी सुरक्षा समस्याओं को हल करता है। यह एक विशिष्ट प्रकार के स्मूथ न्यूरल नेटवर्क के लिए एक विशिष्ट, शक्तिशाली उपकरण है।

तकनीकी सारांश: पूर्ण न्यूरल नेटवर्क सत्यापन के लिए पदानुक्रमित एंड-टू-एंड टेलर बाउंड्स (Hierarchical End-to-End Taylor Bounds)

समस्या विवरण

यह शोध पत्र न्यूरल नेटवर्क रीचेबिलिटी एनालिसिस (neural network reachability analysis) की चुनौती को संबोधित करता है, विशेष रूप से एक दिए गए इनपुट डोमेन पर न्यूरल नेटवर्क द्वारा प्राप्त किए जा सकने वाले आउटपुट सेट की गणना करने या उसे सटीक रूप से बाउंड करने के कार्य को। यह समस्या स्वायत्त ड्राइविंग और चिकित्सा निदान जैसे लर्निंग-एबल्ड फिजिकल सिस्टम्स में सुरक्षा और मजबूती (robustness) को प्रमाणित करने के लिए केंद्रीय है।

चूंकि नॉन-कॉन्वेक्स (nonconvex) फलनों के लिए सटीक रीचेबल सेट की गणना करना आम तौर पर अव्यवहार्य (intractable) है, इसलिए मौजूदा विधियां व्यवहार्य ओवर-एप्रोक्सीमेशन (overapproximations) पर निर्भर करती हैं। लेखक देखते हैं कि स्मूथ, दो बार डिफरेंशिएबल नेटवर्क्स (जैसे कि tanh या sigmoid एक्टिवेशन का उपयोग करने वाले) के लिए वर्तमान अत्याधुनिक विधियां आमतौर पर अधिकतम दूसरे क्रम की जानकारी (ग्रेडिएंट और हेसियन) का उपयोग करती हैं, लेकिन वे अनुमान त्रुटियों (approximation errors) को नियंत्रित करने के लिए उच्च-क्रम की स्मूथनेस (higher-order smoothness) (विशेष रूप से, हेसियन की लिप्सचिट्ज़ निरंतरता/Lipschitz continuity) का व्यवस्थित रूप से लाभ उठाने में विफल रहती हैं। लक्ष्य एक दिए गए बाउंडेड इनपुट सेट $X$ पर फलन $f(x)$ के अधिकतम मान के लिए कड़े, प्रमाणित ऊपरी बाउंड (upper bounds) प्राप्त करना है, जिसे इस प्रकार तैयार किया गया है:
$\max_{x \in X} f(x)$
जहाँ $X$ आमतौर पर एक $\ell_2$ या $\ell_\infty$ बॉल होता है।

कार्यप्रणाली: HITAB फ्रेमवर्क

लेखक HITAB (Hierarchical End-to-End Taylor Bounds) प्रस्तावित करते हैं, जो एक पदानुक्रमित (hierarchical) फ्रेमवर्क है जो ज़ीरोथ-, फर्स्ट-, और सेकंड-ऑर्डर स्थानीय जानकारी के आधार पर बाउंड्स का निर्माण करता है, जिसे हेसियन के लिप्सचिट्ज़ स्थिरांक ( $L_{\nabla^2 f}$ ) द्वारा संवर्धित किया गया है।

1. टेलर बाउंड्स का पदानुक्रम (Hierarchy of Taylor Bounds)

यह फ्रेमवर्क एक नामित बिंदु $x_c$ के आसपास फंक्शन $f(x_c + \delta)$ को बाउंड करने वाले मेजराइज़र (majorizers) $\bar{f}$ की एक श्रृंखला को परिभाषित करता है:

ज़ीरोथ-ऑर्डर (Zeroth-Order): यह फंक्शन वैल्यू $f(x_c)$ और ग्लोबल लिप्सचिट्ज़ स्थिरांक $L_f$ का उपयोग करता है। यह बाउंड $\epsilon$ के आकार के सापेक्ष रैखिक (linear) है।
फर्स्ट-ऑर्डर (First-Order): यह ग्रेडिएंट $\nabla f(x_c)$ और ग्रेडिएंट लिप्सचिट्ज़ स्थिरांक $L_{\nabla f}$ को शामिल करता है। यह एक क्वाड्रेटिक रिमाइंडर बाउंड प्रदान करता है।
सेकंड-ऑर्डर (द्वितीय-क्रम - मुख्य योगदान): यह हेसियन $\nabla^2 f(x_c)$ और हेसियन लिप्सचिट्ज़ स्थिरांक $L_{\nabla^2 f}$ को शामिल करता है। इसके परिणामस्वरूप एक सेकंड-ऑर्डर टेलर मॉडल प्राप्त होता है जिसमें एक प्रमाणित क्यूबिक रिमाइंडर टर्म (certified cubic remainder term) होता है:
$f(x_c + \delta) \leq f(x_c) + \nabla f(x_c)^\top \delta + \frac{1}{2}\delta^\top \nabla^2 f(x_c) \delta + \frac{1}{6}L_{\nabla^2 f}\|\delta\|_2^3$
निचले क्रम के बाउंड्स के विपरीत, एक यूक्लिडियन बॉल पर इस सेकंड-ऑर्डर मेजराइज़र को मैक्सिमाइज करना आम तौर पर नॉन-कॉन्वेक्स और अव्यवहार्य है। लेखक एक क्लोज्ड-फॉर्म, कंप्यूटेशनल रूप से व्यवहार्य ऊपरी बाउंड प्राप्त करने के लिए एक "स्प्लिट-एंड-बाउंड" (Split-and-Bound) रिलैक्सेशन का प्रस्ताव करते हैं।

2. हेसियन लिप्सचिट्ज़ स्थिरांक का कंपोजिशनल एस्टीमेशन

डीप न्यूरल नेटवर्क्स के लिए $L_{\nabla^2 f}$ की गणना करना एक महत्वपूर्ण तकनीकी बाधा है। लेखक इस स्थिरांक को बाउंड करने के लिए एक लेयरवाइज प्रोपेगेशन प्रक्रिया (थ्योरम 5) विकसित करते हैं।

वे लेयर मैप्स $F^I(x) = \sigma(W^I x + b^I)$ के हेसियन लिप्सचिट्ज़ स्थिरांक के लिए एक रिकर्सिव कंपोजिशन नियम को परिभाषित करते हैं।
यह बाउंड एक्टिवेशन फंक्शन $\sigma$ और उसके डेरिवेटिव्स ( $L_\sigma, L_{\sigma'}, L_{\sigma''}$ ) के लिप्सचिट्ज़ स्थिरांक, साथ ही नेटवर्क वेट्स और लेयर आउटपुट्स एवं उनके ग्रेडिएंट्स के पहले से गणना किए गए लिप्सचिट्ज़ स्थिरांकों पर निर्भर करता है।
यह इनपुट लेयर से आउटपुट लेयर तक $L_{\nabla^2 f}$ की कुशल, मॉड्यूलर गणना की अनुमति देता है।

3. ब्रांच-एंड-बाउंड (BaB) के साथ एकीकरण

पूर्ण सत्यापन (complete verification) प्राप्त करने के लिए, HITAB बाउंड्स को एक ब्रांच-एंड-बाउंड (BaB) पाइपलाइन में एकीकृत किया जाता है।

एल्गोरिदम इनपुट डोमेन को पुनरावृत्ति (iteratively) से विभाजित करता है।
प्रत्येक नोड पर, पदानुक्रमित बाउंड $\bar{f}_m$ (ज़ीरोथ, फर्स्ट, और सेकंड-ऑर्डर प्रमाणों में से न्यूनतम) की गणना की जाती है।
यह प्रक्रिया तब तक जारी रहती है जब तक कि ऊपरी और निचले बाउंड के बीच का अंतर एक निर्धारित टॉलरेंस (tolerance) से कम न हो जाए।
फ्रेमवर्क $\ell_2$ और $\ell_\infty$ कंस्ट्रेंड इनपुट सेट्स दोनों का समर्थन करता है, जिसमें नॉर्म रिलेशंस का उपयोग करके $\ell_\infty$ बॉक्स के लिए विशिष्ट अनुकूलन शामिल हैं।

मुख्य योगदान

कंपोजिशनल हेसियन लिप्सचिट्ज़ बाउंड: लेयर-दर-लेयर कर्वेचर बाउंड्स को प्रोपेगेट करके डीप फीडफॉरवर्ड नेटवर्क्स में $L_{\nabla^2 f}$ को बाउंड करने के लिए एक अभिनव, कुशल एल्गोरिदम।
एंड-टू-एंड सेकंड-ऑर्डर टेलर मॉडल: एक प्रमाणित स्थानीय ऊपरी बाउंड जिसमें क्यूबिक रिमाइंडर टर्म होता है, जो हेसियन की लिप्सचिट्ज़ निरंतरता का उपयोग करता है।
बाउंड्स का एकीकृत पदानुक्रम: एक फ्रेमवर्क जो ज़ीरोथ-, फर्स्ट-, और सेकंड-ऑर्डर बाउंड्स को एकीकृत करता है, जो सटीक स्थितियाँ (परटर्बेशन साइज $\epsilon$ पर थ्रेशोल्ड) प्रदान करता है जिनके तहत उच्च-क्रम के एप्रोक्सीमेशन स्पष्ट रूप से निम्न-क्रम के प्रमाणों की तुलना में टाइट सर्टिफिकेट प्रदान करते हैं।
व्यावहारिक सत्यापन पाइपलाइन: स्मूथ न्यूरल नेटवर्क्स के लिए इन बाउंड्स को एक पूर्ण BaB वेरीफायर (एल्गोरिदम 1) में एकीकृत करना।

प्रयोगात्मक परिणाम

लेखकों ने HITABLE को एक 6D क्वाड्रोटर कंट्रोल बेंचमार्क पर मूल्यांकन किया, जहाँ एक न्यूरल नेटवर्क कंट्रोलर (जो एक मॉडल प्रेडिक्टिव कंट्रोलर की नकल करने के लिए प्रशिक्षित है) बाधाओं से बचते हुए एक सिस्टम को निर्देशित करता है। कार्य में $\ell_\infty$ -बाउंडेड स्टेट परटर्बेशन्स के तहत 10 टाइम स्टेप्स पर रीचेबल सेट्स की गणना करना शामिल था।

तुलना: HITAB की तुलना एक अत्याधुनिक फर्स्ट-ऑर्डर लोकल बाउंडिंग अप्रोच (Sharifi and Fazlyab, 2024) से की गई।
प्रदर्शन:
- HITAB ने BaB एल्गोरिदम द्वारा आवश्यक ब्रांचों की संख्या को काफी कम कर दिया (उदाहरण के लिए, $10^{-2}$ टॉलरेंस पर ~119k ब्रांच बनाम ~908k ब्रांच)।
- यह कमी तेज़ रनटाइम में बदली (उदाहरण के लिए, $10^{-2}$ टॉलरेंस पर ~108s बनाम ~320s)।
अवलोकन: सेकंड-ऑर्डर जानकारी ने टाइट लोकल एप्रोक्सीमेशन प्रदान किया, विशेष रूप से ब्रांचिंग प्रक्रिया के दौरान उत्पन्न होने वाले छोटे सब-डोमेन पर, जिससे अधिक कुशल कन्वर्जेंस हुआ।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह स्मूथ न्यूरल नेटवर्क्स के लिए पहला व्यावहारिक रीचेबिलिटी एनालिसिस फ्रेमवर्क प्रस्तुत करता है जो व्यवस्थित रूप से कर्वेचर (हेसियन) की लिप्सचिट्ज़ निरंतरता का लाभ उठाता है।

टाइट सर्टिफिकेट्स: फर्स्ट-ऑर्डर (ग्रेडिएंट) या मानक सेकंड-ऑर्डर (हेसियन) एप्रोक्सीमेशन से आगे बढ़कर, हेसियन की स्मूथनेस को शामिल करके, HITAB टाइट सेफ्टी सर्टिफिकेट बनाता है।
व्यवस्थित सुधार: यह कार्य उन स्थितियों को स्पष्ट करता है जहाँ उच्च-क्रम की जानकारी फायदेमंद होती है, यह दिखाते हुए कि क्यूबिक रिमाइंडर टर्म छोटे परटर्बेशन क्षेत्रों में काफी कम कंजर्वेटिविज्म (conservatism) की अनुमति देता है।
पूर्णता (Completeness): कई मौजूदा विधियों के विपरीत जो स्मूथ नेटवर्क्स के लिए अपूर्ण (heuristic) हैं, HITAB को पूर्ण सत्यापन पाइपलाइनों के भीतर एम्बेड करने के लिए डिज़ाइन किया गया है, जो यह सुनिश्चित करता है कि पर्याप्त समय मिलने पर सत्यापन प्रक्रिया एक सटीक उत्तर तक पहुँच सके।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि उनका वर्तमान कार्यान्वयन CPU-आधारित है, और सेकंड-ऑर्डर मैक्सिमाइजेशन समस्या के लिए टाइट न्यूमेरिकल रिलैक्सेशन (split-and-bound क्लोज्ड फॉर्म से परे) भविष्य के कार्य के लिए एक अवसर है। हालांकि, वे दावा करते हैं कि वर्तमान क्लोज्ड-फॉर्म अप्रोच टाइटनेस और कंप्यूटेशनल लागत के बीच एक अनुकूल ट्रेड-ऑफ प्रदान करती है।