🤖 machine learning

bispectrum: Selective $G$ -Bispectra Made Practical

यह शोध पत्र **bispectrum** को प्रस्तुत करता है, जो एक ओपन-सोर्स PyTorch लाइब्रेरी है जो कम-डेटा, मध्यम-क्षमता वाले डीप लर्निंग परिदृश्यों में मौजूदा पूलिंग विधियों की तुलना में निरंतर प्रदर्शन सुधार प्रदर्शित करते हुए, सात ग्रुप एक्शन्स के लिए कुशल, चयनात्मक $G$ -बिसस्पेक्ट्रा को लागू करके लगभग-सटीक इनवेरिएंस (invariance) प्राप्त करने के लिए बनाया गया है।

मूल लेखक: Johan Mathe, Adele Myers, Simon Mataigne, Nina Miolane

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Johan Mathe, Adele Myers, Simon Mataigne, Nina Miolane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भीड़ वाले कमरे में अपने किसी दोस्त को पहचानने की कोशिश कर रहे हैं। यदि वे मुड़ते हैं, दूसरी ओर जाते हैं, या अपना सिर झुकाते हैं, तो भी वे वही व्यक्ति रहते हैं। मशीन लर्निंग की दुनिया में, कंप्यूटर अक्सर इस मामले में संघर्ष करते हैं। यदि आप कंप्यूटर को एक बिल्ली की तस्वीर दिखाते हैं, और फिर उसे वही बिल्ली 90 डिग्री घुमाकर दिखाते हैं, तो एक मानक कंप्यूटर सोच सकता है कि यह पूरी तरह से एक अलग वस्तु है।

इसे ठीक करने के लिए, वैज्ञानिक "समरूपता" (symmetry) का उपयोग करते हैं। वे कंप्यूटर को सिखाते हैं कि रोटेशन (घूर्णन) केवल एक रूपांतरण है, न कि कोई नई वस्तु। लेकिन इसमें एक पेंच है: जब आप एक जटिल छवि को एक सरल "फिंगरप्रिंट" में संक्षिप्त करने की कोशिश करते हैं जो इन रोटेशन को अनदेखा करता है, तो आप अक्सर महत्वपूर्ण विवरण खो देते हैं। यह एक गाने का वर्णन करने जैसा है जहाँ आप केवल प्रत्येक नोट के वॉल्यूम को सूचीबद्ध करते हैं, लेकिन उनके बजने के क्रम को भूल जाते हैं। आप धुन (melody) खो देते हैं।

यह पेपर एक नए टूल को पेश करता है जिसे bispectrum (विशेष रूप से, एक "selective G-bispectrum") कहा जाता है जो इस समस्या को हल करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "अपूर्ण फिंगरप्रिंट"

कल्पना कीजिए कि आपके पास एक अनूठा, जटिल स्नोफ्लेक (हिम कण) है। आप इसका ऐसा विवरण बनाना चाहते हैं जो इसके घूमने पर भी समान रहे।

पुराने तरीके (Norm Pooling): यह स्नोफ्लेक की फोटो लेने, चित्र में कितने "सफेद" हिस्से हैं इसे मापने और आकार को अनदेखा करने जैसा है। यदि आपके पास दो अलग-अलग स्नोफ्लेक हैं जिनमें सफेद हिस्से की मात्रा समान है, तो कंप्यूटर उन्हें एक जैसा मान लेगा। यह "आकार" के विवरणों (फेज/phase) को फेंक देता है।
नया तरीका (Bispectrum): यह एक 3D स्कैन लेने जैसा है जो हर छोटी लकीर और घाटी को पकड़ता है। महत्वपूर्ण बात यह है कि यह लकीरों के बीच के संबंधों को रिकॉर्ड करता है। भले ही आप स्नोफ्लेक को घुमा दें, लकीरों के बीच के संबंध समान रहते हैं। यह मूल आकार के हर विवरण को सुरक्षित रखते हुए एक "पूर्ण फिंगरप्रिंट" बनाता है, बस वह घूम गया होता है।

2. नवाचार: "चयनात्मक" (Selective) और "व्यावहारिक"

इस "पूर्ण फिंगरप्रिंट" (G-bispectrum) के पीछे का गणित दशकों से मौजूद है, लेकिन यह बहुत भारी था।

पुराना तरीका: पूर्ण फिंगरप्रिंट की गणना करना समुद्र तट पर रेत के हर एक कण को गिनने की कोशिश करने जैसा था। यह कंप्यूटर के लिए बहुत धीमा और महंगा था।
"चयनात्मक" सफलता: लेखकों ने महसूस किया कि आपको रेत के हर एक कण को गिनने की आवश्यकता नहीं है। पूरे समुद्र तट को पूरी तरह से पुनर्गणना करने के लिए आपको केवल चुनिंदा, चतुराई से चुने गए कुछ कणों की आवश्यकता है। वे इसे selectivity कहते हैं।
- सरल समूहों के लिए (जैसे 2D इमेज का रोटेशन), यह काम को एक विशाल वर्ग संख्या (square number) से घटाकर एक प्रबंधनीय रैखिक संख्या (linear number) में बदल देता है।
- जटिल 3D रोटेशन के लिए (जैसे ग्लोब को घुमाना), उन्होंने "मददगार कणों" को चुनने का एक नया तरीका बनाया जिसने काम को एक विस्फोटक घन (cubic explosion) से घटाकर एक प्रबंधनीय वर्ग (square) में बदल दिया।

3. टूल: एक "प्लग-एंड-प्ले" लाइब्रेरी

लेखकों ने केवल गणित ही नहीं किया; उन्होंने bispectrum नामक एक सॉफ्टवेयर लाइब्रेरी भी बनाई है।

इस लाइब्रेरी को एक यूनिवर्सल अडैप्टर के रूप में समझें। अतीत में, यदि आप इस गणित का उपयोग 2D छवियों के लिए करना चाहते थे, तो आपको एक कोड चाहिए था; 3D मेडिकल स्कैन के लिए दूसरा; गोलाकार डेटा के लिए दूसरा। यह विभिन्न उपकरणों का एक "पैचवर्क" था।
यह लाइब्रेरी एक एकल, स्वच्छ "प्लग-इन" है जो सात अलग-अलग प्रकार की समरूपता (जैसे 2D रोटेशन, 3D रोटेशन और ट्रांसलेशन) के लिए काम करती है। आप इसे किसी भी आधुनिक AI सिस्टम में डाल सकते हैं, और यह तुरंत काम करना शुरू कर देता है।
यह अविश्वसनीय रूप से तेज़ है। एक आधुनिक कंप्यूटर चिप (GPU) पर, यह इन जटिल फिंगरप्रिंटों की गणना एक मिलीसेकंड से भी कम समय में करता है—पलक झपकने से भी तेज़।

4. परिणाम: कम डेटा के साथ बेहतर

लेखकों ने तीन अलग-अलग चुनौतियों पर इस नए टूल का परीक्षण किया:

मेडिकल पैथोलॉजी (2D): ऊतक के नमूनों (tissue samples) में कैंसर की पहचान करना।
3D अंग वर्गीकरण: CT स्कैन में अंगों की पहचान करना।
गोलाकार अंक (Spherical Digits): एक गोले (जैसे ग्लोब) पर खींचे गए नंबरों को पहचानना।

निष्कर्ष:
जब कंप्यूटर के पास बहुत सारा डेटा होता है, तो नया टूल पुराने, सरल तरीकों के लगभग बराबर प्रदर्शन करता है।
हालाँकि, जब कंप्यूटर के पास बहुत कम डेटा होता है (लो-डेटा रिजीम), तो नया टूल चमकता है। क्योंकि यह सभी जानकारी को सुरक्षित रखता है (यह "पूर्ण" है), यह पुराने तरीकों की तुलना में बहुत तेज़ी से और अधिक सटीकता से सीखता है जो विवरणों को फेंक देते हैं। यह एक ऐसे छात्र की तरह है जो पूरी किताब याद करता है बनाम एक छात्र जो केवल अध्याय के सारांश याद करता है; जब परीक्षा कठिन होती है, तो पूर्ण ज्ञान वाला छात्र जीतता है।

सारांश

यह पेपर एक व्यावहारिक, तेज़ और ओपन-सोर्स सॉफ्टवेयर लाइब्रेरी प्रस्तुत करता है जो AI को आकृतियों और पैटर्न को पूरी तरह से समझने की अनुमति देती है, चाहे उन्हें कैसे भी घुमाया या स्थानांतरित किया जाए। एक "चयनात्मक" गणितीय ट्रिक का उपयोग करके, उन्होंने पहले से बहुत जटिल गणना को वास्तविक डीप लर्निंग में उपयोग करने के लिए पर्याप्त तेज़ बना दिया, जिससे यह सिद्ध हुआ कि यह डेटा की कमी होने पर AI को बेहतर ढंग से सीखने में मदद करता है।

कहाँ खोजें: इसका कोड मुफ्त और ओपन-सोर्स है, जो GitHub पर bispectrum नाम से उपलब्ध है।

तकनीकी सारांश: bispectrum: चयनात्मक G-Bispectra को व्यावहारिक बनाना

समस्या विवरण

कई मशीन लर्निंग कार्यों में विशिष्ट समूह क्रियाओं (जैसे, अनुवाद, 2D/3D रोटेशन) के तहत अपरिवर्तनीयता (invariance) की आवश्यकता होती है। जबकि इक्विवेरिएंट न्यूरल नेटवर्क इक्विवेरिएंट फीचर मैप्स को बनाए रखकर इसे लागू करते हैं, अंतिम चरण के लिए इन फीचर्स को प्रेडिक्शन के लिए इनवेरिएंट रिप्रेजेंटेशन में मैप करने की आवश्यकता होती है। मौजूदा इनवेरिएंट पूलिंग विधियाँ (norm pooling, gated pooling, max pooling) गणनात्मक रूप से कुशल हैं लेकिन अपूर्ण (incomplete) हैं: वे फेज (phase) जानकारी को हटा देती हैं, जिसका अर्थ है कि अलग-अलग सिग्नल जो समान पावर स्पेक्ट्रम साझा करते हैं लेकिन सापेक्ष फेज में भिन्न होते हैं, उन्हें समान डिस्क्रिप्टर में मैप कर दिया जाता है।

G-bispectrum एक सिद्धांत आधारित, पूर्ण इनवेरिएंट प्रदान करता है जो समूह क्रिया तक सभी सिग्नल जानकारी को सुरक्षित रखता है। हालांकि, डीप लर्निंग में इसके उपयोग में निम्नलिखित बाधाएं रही हैं:

उच्च गणना लागत: पूर्ण बिस्पेक्ट्रा परिमित समूहों (finite groups) के लिए द्विघाती ( $O(|G|^2)$ ) और गोलाकार रोटेशन के लिए त्रिघाती ( $O(L^3)$ ) स्केल करते हैं।
खंडित कार्यान्वयन: मौजूदा निर्माण सैद्धांतिक शोध पत्रों में बिखरे हुए हैं और कोई एकीकृत, डिफरिएबल, GPU-रेडी लाइब्रेरी उपलब्ध नहीं है।
अनुभवजन्य मूल्यांकन का अभाव: आधुनिक डीप लर्निंग पाइपलाइनों में बिस्पेक्ट्रल पूलिंग की मानक विकल्पों के विरुद्ध तुलना करने के लिए कोई एकीकृत बेंचमार्क नहीं है।

कार्यप्रणाली (Methodology)

लेखक bispectrum प्रस्तुत करते हैं, जो एक ओपन-सोर्स PyTorch लाइब्रेरी है जो डिफरिएबल nn.Module लेयर्स के रूप में चयनात्मक G-bispectra (selective G-bispectra) को लागू करती है। मुख्य कार्यप्रणाली में तीन तकनीकी स्तंभ शामिल हैं:

1. चयनात्मक बिस्पेक्ट्रम निर्माण (Selective Bispectrum Construction)

पूर्ण बिस्पेक्ट्रम (जिसमें रेडंडेंट जानकारी होती है) की गणना करने के बजाय, लाइब्रेरी गुणात्मक सिग्नल्स के लिए पूर्ण रहने वाले चयनात्मक गुणांकों (coefficients) के उपसमूह की गणना करती है।

परिमित समूह (Finite Groups): इर्रड्यूसिबल रिप्रेजेंटेशन (irreps) के क्रोनेकर उत्पाद तालिका पर ब्रेडथ-फर्स्ट सर्च का लाभ उठाते हुए, लाइब्रेरी $O(|G|^2)$ के बजाय $O(|G|)$ गुणांकों का चयन करती है।
प्लेनर रोटेशन (डिस्क): चयनात्मक डिस्क बिस्पेक्ट्रम को लागू करता है, जो जेनेरिकिटी स्थितियों के तहत पूर्णता बनाए रखते हुए गुणांकों को $O(m^3)$ से घटाकर $O(m)$ कर देता है।
गोलाकार रोटेशन (S² पर SO(3)): लेखक एक नवीन अगमेंटेड चयनात्मक बिस्पेक्ट्रम (augmented selective bispectrum) पेश करते हैं।
- वे $\Theta(L^2)$ आकार का एक इनवेरिएंट $\Phi_{sel}$ निर्मित करते हैं (जो $\Theta(L^3)$ से कम है)।
- यह निर्माण लो-डिग्री के लिए "सीड" (seed) ब्लॉक और उच्च डिग्री के लिए "बूटस्ट्रैप" (bootstrap) ब्लॉक्स का उपयोग करता है।
- यह सुनिश्चित करने के लिए कि वास्तविक सिग्नल्स पर पूर्णता बनी रहे (जहाँ पैरिटी बाधाओं के कारण मानक स्केलर बिस्पेक्ट्रम रैंक-डेफिशिएंट हो सकता है), वे बिस्पेक्ट्रल एंट्रीज को CG-पावर स्कैलर्स (प्रोजेक्टेड टेंसर उत्पादों के वर्ग नॉर्म्स) के साथ अगमेंट करते हैं।
- इसके परिणामस्वरूप $\Theta(L^2)$ आकार का एक इनवेरिएंट प्राप्त होता है जो अनुभवजन्य रूप से पूर्ण है।

2. लाइब्रेरी डिज़ाइन और कार्यान्वयन

लाइब्रेरी सात समूह/डोमेन जोड़ों (जैसे, $C_n$ पर $C_n$ , $S^2$ पर $SO(3)$, ऑक्टाहेड्रल ग्रुप) के लिए एक समान API प्रदान करती है।

डिफरिएबिलिटी (Differentiability): सभी मॉड्यूल पूरी तरह से डिफरिएबल हैं, जिससे एंड-टू-एंड ट्रेनिंग संभव है।
दक्षता (Efficiency): क्लेब्सश-गोर्डन (Clebsch-Gordan) मैट्रिसेस और कर्नेल्स का प्री-कंप्यूटेशन GPU पर सब-मिलीसेकंड फॉरवर्ड पासेस सुनिश्चित करता है।
इनवर्जन (Inversion): लाइब्रेरी बिस्पेक्ट्रम से सिग्नल पुनर्निर्माण (ग्रुप एक्शन तक) का समर्थन करती है, जो पूर्णता के प्रमाण के रूप में कार्य करता है।

3. प्रयोगात्मक मूल्यांकन

लेखक तीन बेंचमार्क पर लाइब्रेरी का मूल्यांकन करते हैं, जिसमें बिस्पेक्ट्रल पूलिंग की तुलना norm pooling, gated pooling, Fourier-ELU pooling, max pooling और डेटा-ऑगमेंटेड नॉन-इक्विवेरिएंट बेसलाइन्स से की जाती है:

PatchCamelyon (PCam): $C_8$ सिमेट्री के तहत 2D हिस्टोपैथोलॉजी वर्गीकरण।
OrganMNIST3D: काइरल ऑक्टाहेड्रल ग्रुप $O$ के तहत 3D ऑर्गन वर्गीकरण।
Spherical MNIST: स्फेयर पर $SO(3)$ रोटेशन के तहत डिजिट क्लासिफिकेशन।

मुख्य परिणाम

कम्प्यूटेशनल प्रदर्शन

गति: NVIDIA H100 GPU पर चयनात्मक फॉरवर्ड पासेज सब-मिलीसेकंड हैं (उदाहरण के लिए, $L=16$ बैंड-लिमिट के साथ $SO(3)$ के लिए 0.48 ms)।
कमी: चयनात्मकता गुणांकों की संख्या को $512\times$ तक कम कर देती है (जैसे, $|G|=1024$ के लिए) और गोलाकार जटिलता को $O(L^3)$ से घटाकर $\Theta(L^2)$ कर देती है।

अनुभवजन्य पूर्णता (Spherical MNIST)

पुनर्निर्माण (Reconstruction): अगमेंटेड चयनात्मक इनवेरिएंट $\Phi_{sel}$ रोटेशन तक सिग्नल को कम अवशेषों ( $\sim 10^{-3}$ ) के साथ सफलतापूर्वक पुनर्निर्मित करता है, जो पूर्णता का अनुभवजन्य प्रमाण प्रदान करता है।
इनवेरिएंस (Invariance): मॉडल लगभग सटीक $SO(3) $इनवेरिएंस ($ \sigma_{rot} \sim 10^{-4}$) प्राप्त करता है, जबकि मानक CNN अनदेखे रोटेशन के तहत विफल हो जाते हैं।
पूर्णता बनाम क्षमता (Completeness vs. Capacity): पावर स्पेक्ट्रम (अपूर्ण इनवेरिएंट) बिस्पेक्ट्रम मॉडल के पैरामीटर काउंट (95%) से मेल खाने के लिए स्केल करने के बावजूद $\sim 78\%$ सटीकता पर स्थिर हो जाता है, जो पुष्टि करता है कि प्रदर्शन का अंतर अपूर्णता के कारण है, न कि मॉडल क्षमता के कारण।

डेटा दक्षता

लो-डेटा रिजीम (Low-Data Regime): तीनों बेंचमार्क में, बिस्पेक्ट्रल पूलिंग लेयर तब अन्य विकल्पों की तुलना में लगातार बेहतर प्रदर्शन करती है जब प्रशिक्षण डेटा कम (जैसे, डेटासेट का 1%) होता है।
- PCam (1% डेटा) पर, बिस्पेक्ट्रम ने NormReLU के 0.873 के मुकाबले 0.912 AUC प्राप्त किया।
- OrganMNIST3D (5% डेटा) पर, बिस्पेक्ट्रम ने max pooling के 18.9% के मुकाबले 33.2% सटीकता प्राप्त की।
हाई-कैपेसिटी रिजीम: जैसे-जैसे मॉडल क्षमता और डेटा का आकार बढ़ता है, पूर्ण इनवेरिएंट का लाभ कम होता जाता है, और अपूर्ण विधियाँ (जैसे max pooling) बिस्पेक्ट्रल प्रदर्शन के बराबर या उससे अधिक हो सकती हैं।

महत्व और दावे

यह पेपर G-bispectra के सैद्धांतिक आकर्षण और आधुनिक डीप लर्निंग में उनकी व्यावहारिक उपयोगिता के बीच के अंतर को पाटने का दावा करता है।

व्यावहारिक तैनाती: एक एकीकृत, डिफरिएबल और कुशल लाइब्रेरी प्रदान करके, लेखक चयनात्मक G-bispectra को किसी भी इक्विवेरिएंट आर्किटेक्चर के लिए "ड्रॉप-इन" लेयर्स के रूप में सुलभ बनाते हैं।
सैद्धांतिक योगदान: गोले पर अगमेंटेड चय적인 SO(3) इनवेरिएंट का परिचय एक महत्वपूर्ण सैद्धांतिक कदम है, जो गोलाकार बिस्पेक्ट्रा की जटिलता को $\Theta(L^2)$ तक कम करता है और पूर्णता को अनुभवजन्य रूप से प्रदर्शित करता है।
इंडक्टिव बायस (Inductive Bias): परिणाम बताते हैं कि पूर्ण इनवेरिएंट, अपूर्ण वाले की तुलना में, कम-डेटा, मध्यम-क्षमता वाले रिजीम में एक मजबूत इंडक्टिव बायस प्रदान करते हैं, जो प्रभावी रूप से गायब प्रशिक्षण उदाहरणों का विकल्प बनते हैं।

लेखक गोलाकार निर्माण के सैद्धांतिक स्तर के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि अनुभवजन्य पुनर्निर्माण पूर्णता का सुझाव देता है, लेकिन एक औपचारिक प्रमाण अभी भी शेष है। वे यह भी स्वीकार करते हैं कि उच्च क्षमता पर, सरल, अपूर्ण पूलिंग रणनीतियों की तुलना में पूर्ण इनवेरिएंट की कम्प्यूटेशनल ओवरहेड का औचित्य नहीं हो सकता है।