🤖 machine learning

Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation

यह शोध पत्र "स्पेक्ट्रल सर्जरी" (Spectral Surgery) को प्रस्तुत करता है, जो एक पोस्ट-हॉक अनुकूलन तकनीक है जो बिना पुन: प्रशिक्षण के प्रति-वर्ग सटीकता को संतुलित करने के लिए हेसियन स्पाइक आइजनवेक्टर्स (Hessian spike eigenvectors) के साथ मॉडल वेट्स को सीधे विचलित करके असंतुलित डेटासेट पर वर्गीकरण प्रदर्शन में सुधार करती है।

मूल लेखक: Hugo Vigna, Samuel Bontemps

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hugo Vigna, Samuel Bontemps

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने 10 अलग-अलग जानवरों (जैसे बिल्ली, कुत्ता, पक्षी आदि) को पहचानने के लिए एक बहुत ही स्मार्ट AI को प्रशिक्षित किया है। AI सामान्य रूप से अच्छा है, लेकिन यह थोड़ा अन्यायपूर्ण है: यह जहाजों और ट्रकों को पहचानने में माहिर है (93% सटीकता) लेकिन बिल्लियों और कुत्तों को पहचानने में बहुत संघर्ष करता है (केवल 69% सटीकता)। आमतौर पर, इसे ठीक करने के लिए, आपको वापस शुरुआती स्तर पर जाना होगा, AI को बिल्लियों की अधिक तस्वीरें दिखानी होंगी और इसे फिर से शुरू से प्रशिक्षित करना होगा। इसमें बहुत समय और कंप्यूटिंग पावर लगती है।

यह पेपर "स्पेक्ट्रल सर्जरी" (Spectral Surgery) नामक एक चतुर शॉर्टकट पेश करता है। प्रशिक्षण देने के बजाय, यह पहले से प्रशिक्षित AI पर एक सूक्ष्म, सटीक "सर्जरी" करता है ताकि कुछ ही मिनटों में इसके कमजोर पक्षों को ठीक किया जा सके।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. AI की "मांसपेशियों की स्मृति" (Hessian Spectrum)

तैयार किए गए AI को लाखों चलते-फिरते पुर्जों (पैरामीटर्स) वाली एक विशाल, जटिल मशीन के रूप में सोचें। जब आप देखते हैं कि यह मशीन गलतियों के प्रति कैसी प्रतिक्रिया देती है, तो इसकी एक विशिष्ट "मांसपेशियों की स्मृति" (muscle memory) पैटर्न होती है।

शोधकर्ताओं ने पाया कि यह पैटर्न एक पर्वत श्रृंखला जैसा दिखता है:

सपाट घाटी (The Bulk): मशीन के अधिकांश हिस्से एक सपाट घाटी में होते हैं। यदि आप इन हिस्सों को धकेलते हैं, तो कुछ नहीं होता। वे इस बारे में नहीं बदलते कि AI किसी विशिष्ट जानवर के बारे में क्या सोचता है।
नुकीली चोटियाँ (The Spikes): कुछ बहुत ऊँची, नुकीली चोटियाँ हैं। ये चोटियाँ बिल्कुल अलग-अलग जानवर श्रेणियों (classes) से मेल खाती हैं। यदि आप मशीन को इन विशिष्ट "स्पाइक" दिशाओं में धकेलते हैं, तो यह बदल जाता है कि AI विशिष्ट जानवरों को कैसे देखता है।

पेपर की बड़ी खोज यह है कि ये "स्पाइक्स" ही एकमात्र लीवर हैं जो विशिष्ट समस्याओं को ठीक करने के लिए मायने रखते हैं। बाकी मशीन केवल शोर (noise) है।

2. सर्जरी: एक लक्षित समायोजन

"स्पेक्ट्रल सर्जरी" इन विशिष्ट "स्पाइक" दिशाओं के साथ मशीन को ट्यून करके AI की सेटिंग्स को बदलने का एक तरीका है।

मानचित्र (Sensitivity Matrix): सबसे पहले, यह विधि एक मानचित्र बनाती है। यह पूछती है: "यदि मैं मशीन को 'स्पाइक #1' की दिशा में थोड़ा धकेलता हूँ, तो क्या यह बिल्लियों को पहचानने में बेहतर होता है? क्या यह जहाजों को पहचानने में खराब होता है?"
संतुलन का कार्य: AI जहाजों के लिए अच्छा हो सकता है लेकिन बिल्लियों के लिए बुरा। सर्जरी एक सटीक मिश्रण की गणना करती है। यह मशीन को उन दिशाओं में धकेलती है जो "कमजोर" वर्गों (बिल्लियों) की मदद करती हैं, जबकि यह कोशिश करती है कि "मजबूत" वर्गों (जहाजों) को नुकसान न पहुँचे।
सुरक्षा जाल (Safety Net): यह विधि सावधान रहती है। यदि कोई धक्का AI को कुत्तों को पहचानने में बदतर बनाता है, तो यह तुरंत रुक जाती है और एक अलग कोण आज़माती है। यह तब तक एडजस्ट करती रहती है जब तक कि AI सभी के लिए निष्पक्ष न हो जाए।

3. यह अन्य सुधारों से बेहतर क्यों है

आमतौर पर, यदि आप एक अन्यायपूर्ण AI को ठीक करना चाहते हैं, तो आप प्रयास कर सकते हैं:

फोकल लॉस (Focal Loss): AI को प्रशिक्षण के दौरान कठिन उदाहरणों पर "अधिक ध्यान देने" के लिए कहना। यह मदद करता है, लेकिन यह पूरी कक्षा पर चिल्लाने जैसा है कि ध्यान दें; यह हमेशा उस विशिष्ट छात्र को ठीक नहीं करता जो संघर्ष कर रहा है।
पुनः प्रशिक्षण (Retraining): इसे अधिक डेटा खिलाना। यह काम करता है लेकिन धीमा और महंगा है।

स्पेक्ट्रल सर्जरी अलग है क्योंकि:

यह प्रशिक्षण के बाद होता है (Post-hoc)। आपको मूल प्रशिक्षण डेटा की आवश्यकता नहीं है, बस परीक्षण की कुछ बहुत कम छवियों की आवश्यकता है।
यह तेज़ है। इसमें एक मानक कंप्यूटर पर लगभग 25 मिनट लगते हैं।
यह सटीक है। यह उन विशिष्ट "स्पाइक्स" को लक्षित करता है जो वर्गों (classes) को नियंत्रित करते हैं।

4. परिणाम: AI को निष्पक्ष बनाना

शोधकर्ताओं ने इसे जानवरों को पहचानने के लिए प्रशिक्षित AI (CIFAR-10) पर परखा।

सर्जरी से पहले: AI जहाजों (93%) के लिए बहुत अच्छा था लेकिन बिल्लियों (68%) के लिए बहुत बुरा था। अंतर बहुत बड़ा था।
सर्जरी के बाद: बिल्लियों को पहचानने की AI की क्षमता बढ़कर 76% हो गई। जहाजों को पहचानने की क्षमता थोड़ी गिर गई, लेकिन समग्र निष्पक्षता में नाटकीय रूप से सुधार हुआ। सबसे अच्छे और सबसे खराब जानवर पहचान के बीच का "अंतर" 36% तक कम हो गया।
समझौता (The Trade-off): AI कुल मिलाकर "स्मार्ट" नहीं हुआ (इसका कुल स्कोर समान रहा), लेकिन यह बहुत अधिक संतुलित हो गया। इसने जहाजों को पसंद करने वाले घमंडी व्यवहार को छोड़ दिया और बिल्लियों का भी सम्मान करना शुरू कर दिया।

5. वास्तविक दुनिया का चिकित्सा परीक्षण

उन्होंने इसे एक मेडिकल डेटासेट (ISIC-2019) पर भी आजमाया, जहाँ कुछ बीमारियाँ बहुत दुर्लभ हैं और कुछ आम हैं।

AI दुर्लभ बीमारियों को पहचानने में बहुत बुरा था।
स्पेक्ट्रल सर्जरी ने AI को सामान्य बीमारियों को नुकसान पहुँचाए बिना दुर्लभ स्थितियों को बहुत बेहतर तरीके से पहचानने में मदद की।
दिलचस्प बात यह है कि उन्होंने पाया कि यदि AI पहले से ही एक विशिष्ट प्रशिक्षण पद्धति (Class-Balanced) के साथ "प्री-बेक्ड" था, तो सर्जरी के लिए काम करने की गुंजाइश कम थी। यह सुझाव देता है कि सर्जरी तब सबसे अच्छा काम करती है जब AI की संरचना में सुधार के लिए कुछ "अनछुआ потенциаल" (untapped potential) बचा हो।

निचोड़

स्पेक्ट्रल सर्जरी को एक पहले से बने पियानो के मास्टर ट्यूनर के रूप में समझें। पियानो को फिर से बनाने (पुनः प्रशिक्षण) के बजाय, ट्यूनर कुंजियों (keys) को सुनता है, उन विशिष्ट तारों को ढूंढता है जो बेसुरा हैं (स्पाइक्स), और उन्हें बस इतना कसता है कि हर नोट (प्रत्येक क्लास) समान रूप से अच्छा सुनाई दे। यह तेज़ है, इसमें बहुत कम अतिरिक्त प्रयास की आवश्यकता है, और यह सब कुछ फिर से सीखने की आवश्यकता के बिना AI को बहुत अधिक निष्पक्ष बनाता है।

तकनीकी सारांश: स्पेक्ट्रल सर्जरी (Spectral Surgery)

समस्या विवरण (Problem Statement)

वर्गीकरण कार्यों (classification tasks) पर प्रशिक्षित डीप न्यूरल नेटवर्क एक विशिष्ट हेसियन स्पेक्ट्रम (Hessian spectrum) प्रदर्शित करते हैं: निकट-शून्य आइगेनवैल्यू (eigenvalues) का एक निरंतर बल्क और कुछ बड़े आउटलियर आइगेनवैल्यू (स्पाइक्स)। सैद्धांतिक कार्य (पाप्यान एट अल.) ने स्थापित किया है कि ये $C-1$ स्पाइक्स फीचर स्पेस में इंटर-क्लास दिशाओं के अनुरूप होते हैं, जहाँ $C$ कक्षाओं (classes) की संख्या है। हालाँकि, पूर्व शोधों ने इस संरचना को केवल वर्णनात्मक रूप से माना है। कोई भी मौजूदा विधि इन स्पाइक आइगेनवेक्टर्स (spike eigenvectors) का उपयोग मॉडल प्रदर्शन को बेहतर बनाने के लिए, विशेष रूप से बिना पुन: प्रशिक्षण (retraining) के प्रति-वर्ग सटीकता (per-class accuracy) के अंतर को दूर करने के लिए, परिचालन रूप से नहीं कर पाई है।

कार्यप्रणाली: स्पेक्ट्रल सर्जरी (Methodology: Spectral Surgery)

लेखक स्पेक्ट्रल सर्जरी का प्रस्ताव करते हैं, जो एक पोस्ट-हॉक अनुकूलन विधि (post-hoc optimization method) है जो प्रति-वर्ग सटीकता को पुनर्संतुलित करने के लिए हेसियन स्पाइक आइगेनवेक्टर्स के साथ मॉडल वेट्स (weights) को सीधे विचलित करती है। यह विधि पूरी तरह से एक प्रशिक्षित मॉडल पर कार्य करती है, जिसके लिए हेसियन अनुमान के लिए केवल एक छोटे मिनी-बैच और एक होल्ड-आउट मूल्यांकन सेट की आवश्यकता होती है।

विधि के मुख्य घटक हैं:

स्पाइक-क्लास सेंसिटिविटी मैट्रिक्स ( $S$ ):
विधि प्रत्येक स्पाइक आइगेनवेक्टर के साथ प्रत्येक वर्ग की सटीकता के दिशात्मक व्युत्पन्न (directional derivative) को मापती है। $K$ स्पाइक आइगेनवेक्टर्स $\{q_1, \dots, q_K\}$ और एक प्रोब एम्प्लीट्यूड $\epsilon$ के लिए, संवेदनशीलता $S_{i,j}$ की गणना की जाती है:
$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$
यह मैट्रिक्स कैप्चर करता है कि एक विशिष्ट स्पाइक दिशा के अनुदिश आगे बढ़ने से विशिष्ट वर्गों में सुधार होता है या गिरावट आती है।
प्रतिबंधित गुणांक अनुकूलन (Constrained Coefficient Optimization):
विधि स्पाइक परम्यूटेशन $\delta\theta = \sum \alpha_i q_i$ के एक रैखिक संयोजन की खोज करती है ताकि कमजोर वर्गों की सटीकता को अधिकतम किया जा सके और मजबूत वर्गों की रक्षा की जा सके। इसे एक प्रतिबंधित अनुकूलन समस्या के रूप में तैयार किया गया है:
$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$
शर्तों के साथ:
- $\|\alpha\| \le \alpha_{\max}$ (रैखिक शासन में रहने के लिए)।
- मजबूत वर्गों के लिए $(S^\top \alpha)_j \ge -0.01$ (कोई गिरावट न होने की बाधा)।
- वेट्स $w_j$ त्रुटियों से प्राप्त किए जाते हैं, जहाँ एक घातांक $p$ कमजोर वर्गों पर दबाव के संकेंद्रण को नियंत्रित करता है (जैसे, तीव्र फोकस के लिए $p=2$ , और दबाव फैलाने के लिए $p=1/2$ )।
पुनरावृत्ति अनुकूलन लूप (Iterative Adaptive Loop):
अनुकूलन पुनरावृत्ति (iteratively) में किया जाता है। प्रत्येक चरण में:
- हेसियन आइगेनवेक्टर्स को पुन: कंप्यूट किया जाता है (क्योंकि वेट अपडेट के साथ स्पेक्ट्रम बदल जाता है)।
- संवेदनशीलता मैट्रिक्स $S$ को फिर से बनाया जाता है।
- गुणांक $\alpha$ को सीक्वेंशियल लीस्ट-स्क्वायर प्रोग्रामिंग (SLSQP) के माध्यम से हल किया जाता है।
- एडेप्टिव एम्प्लीट्यूड कंट्रोल: एक एडम-शैली (Adam-style) तंत्र सुधार संकेतों के सिग्नल-टू-नॉइज़ रेशियो (SNR) के आधार पर परम्यूटेशन बजट $\alpha_{\max}$ को समायोजित करता है, जिससे स्टेप साइज गतिशील रूप से बढ़ या घट सकता है।
- रोलबैक मैकेनिज्म: यदि कोई चरण वर्ग की सटीकता के मानक विचलन (standard deviation) को बढ़ाता है या किसी एक वर्ग में बड़ी गिरावट का कारण बनता है, तो वेट्स को पूर्ववत (revert) कर दिया जाता है।
स्केलेबिलिटी (Sequential Deflated Surgery):
कई वर्गों वाले डेटासेट (जैसे, 99 स्पाइक्स के साथ CIFAR-100) के लिए, मेमोरी की सीमाएं सभी स्पाइक्स को एक साथ रिकवर करने से रोकती हैं। लेखक सीक्वेंशियल डिफलेटेड स्पेक्ट्रल सर्जरी का प्रस्ताव करते हैं, जो कई चरणों में चलता है। प्रत्येक चरण में, पहले से रिकवर किए गए आइगेनवेक्टर्स को हेसियन-वेक्टर उत्पाद ऑरेकल (Hessian-vector product oracle) से प्रोजेक्ट करके बाहर (deflated) निकाला जाता है, जिससे पूर्ण बेस को स्टोर किए बिना अगले समूह के स्पाइक्स को रिकवर करना संभव हो जाता है।

मुख्य योगदान (Key Contributions)

हेसियन स्पाइक्स का परिचालन उपयोग: यह पेपर पहली बार हेसियन स्पाइक आइगेनवेक्टर्स को लक्षित वर्ग सुधार के लिए एक परिचालन लीवर के रूप में उपयोग करता है, जो स्पेक्ट्रम के वर्णनात्मक विश्लेषण से आगे बढ़ता है।
पोस्ट-हॉक रीबैलेंसिंग: यह विधि पूर्ण प्रशिक्षण सेट तक पहुँच, बैकप्रोपैगेशन अपडेट, या पुन: प्रशिक्षण के बिना, प्रभावी रूप से प्रति-वर्ग सटीकता को पुनर्संतुलित करती है। हेसियन अनुमान के लिए केवल कुछ सौ छवियों की आवश्यकता होती है।
नवीन घटक: स्पाइक-क्लास सेंसिटिविटी मैट्रिक्स, नो-डिग्रेडेशन बाधाओं के साथ कंट्रैस्टेड ऑप्टिमाइज़ेशन, और इटरेशन-लेवल सिग्नल्स के आधार पर एडेप्टिव एम्प्लीट्यूड कंट्रोल का परिचय।
संरचनात्मक सत्यापन: लेखक "बल्क-वॉक" प्रयोगों के माध्यम से प्रमाण देते हैं कि स्पाइक सबस्पेस के लंबवत (orthogonal) होने वाले परम्यूटेशन क्लास-लेवल प्रदर्शन को अपरिवर्तित छोड़ देते हैं, जिससे पुष्टि होती है कि वर्ग-विभेदक जानकारी पैरामीटर स्पेस के एक बहुत छोटे हिस्से में केंद्रित है।

प्रयोगात्मक परिणाम (Experimental Results)

CIFAR-10 (ResNet-50)

प्रदर्शन: वर्ग सटीकता के मानक विचलन ( $\sigma$ ) को 36% कम किया (8.57% से 5.52% तक)।
वर्ग लाभ: सबसे कमजोर वर्ग ("cat") को +7.5 प्रतिशत अंक (pp) और "dog" को +5.9 pp का लाभ हुआ।
ग्लोबल प्रभाव: ग्लोबल सटीकता में नगण्य कमी (0.2 pp) आई।
तुलना: रीबैलेंसिंग में फोकल लॉस फाइन-ट्यूनिंग ( $\Delta\sigma = -0.76$ pp) और क्लास-बैलेंस्ड फाइन-ट्यूनिंग ( $\Delta\sigma = -0.60$ pp) से बेहतर प्रदर्शन किया, जबकि यह पोस्ट-हॉक संचालित है।
दक्षता: एकल CPU पर लगभग 25 मिनट में पूरा हुआ।

CIFAR-100 (ResNet-50)

स्केलेबिलिटी: सीक्वेंशियल डिफलेटेड सर्जरी का उपयोग करते हुए, लेखकों ने 99 सैद्धांतिक स्पाइक्स में से 45 तक पहुँच बनाई।
प्रदर्शन: होल्ड-आउट सेट पर $\sigma$ को 1.6% कम किया। स्पेक्ट्रल कवरेज के आंशिक होने के कारण सापेक्ष कमी CIFAR-10 की तुलना में कम थी।

ISIC-2019 (मेडिकल इमेजिंग)

संदर्भ: एक गंभीर रूप से असंतुलित 8-क्लास डेटासेट (आवृत्तियाँ दो क्रमों के अंतर तक फैली हुई हैं)।
संरचना:
- SS अकेले: रीबैलेंसिंग में फोकल लॉस फाइन-ट्यूनिंग से थोड़ा बेहतर प्रदर्शन किया ( $\sigma$ : 19.6% बनाम 20.8%) और तुलनीय बैलेंस्ड एक्यूरेसी दी।
- FL + SS: बैलेंस्ड एक्यूरेसी को 51.5% तक सुधारा (केवल FL के लिए 49.2% की तुलना में) और $\sigma$ को 16.4% तक कम किया।
- CB + SS: क्लास-बैलेंस्ड फाइन-ट्यूनिंग (जो 57.7% बैलेंस्ड एक्यूरेसी तक पहुँची थी) के ऊपर लागू करने पर, SS ने बैलेंस्ड एक्यूरेसी को बनाए रखते हुए $\sigma$ को 3.5 pp (11.3% तक) और कम कर दिया।
अंतर्दृष्टि: दुर्लभ लेकिन दृश्य रूप से विशिष्ट वर्गों (जैसे, वेस्कुलर लीजन) ने सर्जरी के प्रति मजबूत प्रतिक्रिया दी। भ्रमित करने वाले जोड़े (जैसे, मेलानोमा बनाम नेवी) स्पेक्ट्रल एंटैंगलमेंट के कारण सीमित सुधार दिखाते हैं।

सैद्धांतिक विश्लेषण: प्रभावी रैंक (Effective Rank)

लेखक डायग्नोस्टिक के रूप में संवेदनशीलता मैट्रिक्स $S$ के एंट्रोपिक प्रभावी रैंक ( $r_{eff}$ ) का परिचय देते हैं।

CIFAR-10 पर, $r_{eff} \approx 4$ है, जो मल्टी-एक्सिस ट्रेड-ऑफ और महत्वपूर्ण लाभ की अनुमति देता है।
ISIC-2019 (CB फाइन-ट्यूनिंग के बाद) पर, $r_{eff} \approx 2$ है, जो दर्शाता है कि ट्रेनिंग-टाइम विधि ने पहले ही अधिकांश resolvable स्पेक्ट्रल डिग्री ऑफ फ्रीडम को अवशोषित कर लिया था। यह SS के कम (लेकिन सकारात्मक) लाभ को स्पष्ट करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि स्पेक्ट्रल सर्जरी मॉडल सुधार के लिए हेसियन स्पेक्ट्रल स्ट्रक्चर की व्यावहारिक उपयोगिता को प्रदर्शित करती है। मुख्य दावे शामिल हैं:

पोस्ट-हॉक प्रभावकारिता: बिना पुन: प्रशिक्षण के, केवल डेटा के एक छोटे उपसमुच्चय का उपयोग करके, एक प्रशिक्षित मॉडल पर क्लास प्रदर्शन को महत्वपूर्ण रूप से पुनर्संतुलित करना संभव है।
पूरकता (Complementarity): स्पेक्ट्रल सर्जरी लॉस-आधारित रीवेटिंग (फोकल लॉस, क्लास-बैलेंस्ड) की तुलना में एक अलग "प्लेन" पर कार्य करती है। जब ट्रेनिंग-टाइम विधियों ने उपलब्ध स्पेक्ट्रल डिग्री ऑफ फ्रीडम को समाप्त नहीं किया होता है, तो ये विधियाँ योगात्मक (additive) होती हैं।
सीमाएँ: विधि संवेदनशीलता मैट्रिक्स के प्रभावी रैंक द्वारा सीमित है। यदि प्रशिक्षण प्रक्रिया ने पहले ही क्लास एसिमेट्री को हल कर दिया है (कम $r_{eff}$ ), या यदि कक्षाएं स्पेक्ट्रली एंटैंगल्ड हैं (जैसे, दृश्य रूप से समान कक्षाएं स्पाइक दिशाओं को साझा करती हैं), तो लाभ सीमित होते हैं।
अंतिम चरण: यह विधि एक टर्मिनल पोस्ट-हॉक स्टेप के रूप में सबसे अच्छी है; इसके बाद का फाइन-ट्यूनिंग (भले ही बल्क में प्रोजेक्ट किया गया हो) रीबैलेंसिंग लाभों को कम कर देता है।

लेखक प्रभावी रैंक पर अपने दावों के प्रति विनम्र रहते हैं, यह नोट करते हुए कि यह वर्तमान में दो मापे गए रेजिमों (CIFAR-10 और ISIC-2019) के आधार पर एक "वर्किंग हाइपोथीसिस" है और इसे विविध आर्किटेक्चर और डेटासेट पर और अधिक परीक्षण की आवश्यकता है।