🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

यह शोध पत्र REViT को प्रस्तुत करता है, जो एक नवीन डिस्क्रीट रोटो-रिफ्लेक्शन इक्विवैरिएंट विज़न ट्रांसफार्मर है जो रोटेशनल, फ्लिप और पोजीशनल सिमिट्रीज़ को प्रभावी ढंग से संरक्षित करने के लिए कन्वोल्यूशनल अटेंशन को शामिल करता है, जो मौजूदा इक्विवैरिएंट न्यूरल नेटवर्क दृष्टिकोणों की तुलना में इमेज क्लासिफिकेशन में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिल्ली की तस्वीर देख रहे हैं। यदि आप फोटो को 90 डिग्री घुमाते हैं, इसे उल्टा कर देते हैं, या इसे तिरछा कर देते हैं, तो भी आप जानते हैं कि यह वही बिल्ली है। हालाँकि, अधिकांश मानक कंप्यूटर विज़न मॉडल (जो इमेज रिकग्निशन के पीछे के "दिमाग" हैं) उन लोगों की तरह हैं जिन्होंने कभी किनारे से बिल्ली नहीं देखी है; वे तस्वीर के ओरिएंटेशन (झुकाव) बदलने पर भ्रमित हो जाते हैं। उन्हें लग सकता है कि एक तिरछी बिल्ली कोई पूरी तरह से अलग जानवर है।

इसे ठीक करने के लिए, वैज्ञानिक "इक्विवैरिएंट" (equivariant) मॉडल बनाते हैं। इन्हें एक ऐसे मॉडल के रूप में सोचें जिसमें समानता (symmetry) की अंतर्निहित समझ होती है। यदि आप इनपुट को घुमाते हैं, तो मॉडल की आंतरिक "सोचने की प्रक्रिया" भी उसके साथ घूम जाती है, जिससे अंतिम उत्तर सुसंगत बना रहता है।

यह पेपर REViT (रोटो-रिफ्लेक्शन इक्विवैरिएंट कनवल्शनल विजन ट्रांसफॉर्मर) नामक एक नया मॉडल पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. पुराने तरीके के साथ समस्या

पहले, रोटेशन (घुमाव) को समझने के लिए शोधकर्ता दो मुख्य उपकरणों का उपयोग करते थे:

कनवल्शनल न्यूरल नेटवर्क (CNNs): ये एक छवि को स्कैन करने वाली छोटी टॉर्च के ग्रिड की तरह हैं। ये पैटर्न देखने में अच्छे हैं लेकिन काफी कठोर हो सकते हैं।
विज़न ट्रांसफॉर्मर्स (ViTs): ये उन जासूसों की तरह हैं जो पूरी तस्वीर को एक साथ देखते हैं और विभिन्न हिस्सों के बीच संबंध जोड़ते हैं। ये बहुत शक्तिशाली हैं लेकिन आमतौर पर रोटेशन के मामले में संघर्ष करते हैं, जब तक कि आप उनमें बहुत सारे जटिल "पोजीशन टैग्स" (जैसे हर पिक्सेल के लिए GPS निर्देशांक) न जोड़ दें जो उन्हें बताते हैं कि चीजें कहाँ हैं।

रोटेशन-अवेयर बनाने के लिए पुराना तरीका एक जासूस को हर मोड़ के लिए एक विशाल, जटिल मानचित्र देकर घुमाव सिखाने जैसा था। यह काम करता था, लेकिन यह धीमा और गणनात्मक रूप से महंगा था।

2. REViT समाधान: एक नए प्रकार का "लिफ्ट"

लेखकों ने एक रोटेशन-अवेयर ट्रांसफॉर्मर बनाने का एक सरल और अधिक सुंदर तरीका निकाला है। उन्होंने उन जटिल "पोजीशन टैग्स" की आवश्यकता को पूरी तरह से हटा दिया है।

इसके बजाय, वे एक "लिफ्टिंग लेयर" (Lifting Layer) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि एक शहर का एक सपाट, 2D मानचित्र है। अब, कल्पना कीजिए कि आप उस मानचित्र को एक 3D टावर में "लिफ्ट" करते हैं। निचला तल वह मानचित्र है जैसा वह है। ऊपर के तल उसी मानचित्र के अन्य संस्करण हैं, जो 45 डिग्री, 90 डिग्री, 135 डिग्री, इत्यादि घुमाए गए हैं।
यह कैसे काम करता है: REViT मॉडल एक छवि लेता है और तुरंत उस छवि के घुमावदार संस्करणों का यह 3D "टावर" बना देता है। यह केवल छवि को नहीं देखता; यह छवि और उसके सभी संभावित रोटेशन को एक साथ देखता है।

3. "ग्रुप कनवल्शनल सेल्फ-अटेंशन"

एक बार जब छवि इस 3D टावर में "लिफ्ट" हो जाती है, तो मॉडल एक विशेष प्रकार के अटेंशन मैकेनिज्म का उपयोग करता है जिसे ग्रुप कनवल्शनल सेल्फ-अटेंशन (G-CSA) कहा जाता है।

उपमा: एक सामान्य ट्रांसफॉर्मर में, "जासूस" छवि के विभिन्न हिस्सों को देखते हैं कि वे एक-दूसरे से कैसे संबंधित हैं। REViT में, जासूस इस 3D टावर को देख रहे हैं। वे देख सकते हैं कि मूल छवि में एक "बिल्ली का कान" 90-डिग्री घुमाई गई छवि में "बिल्ली के कान" से कैसे संबंधित है, वह भी एक साथ।
क्योंकि वे सभी रोटेशन को एक साथ देखते हैं, मॉडल स्वाभाविक रूप से सीख जाता है कि "यह एक बिल्ली है, चाहे इसे किसी भी तरह से घुमाया गया हो।" उन्हें यह बताने की आवश्यकता नहीं है कि "यह ऊपर है" या "यह नीचे है" क्योंकि 3D संरचना यह काम उनके लिए संभाल लेती है।

4. उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने तीन अलग-अलग "गेम्स" (डेटासेट्स) पर इस नए मॉडल का परीक्षण किया:

रोटेटेड MNIST: घुमाए गए हस्तलिखित नंबरों को पहचानना।
PatchCamelyon: मेडिकल टिश्यू सैंपल्स में ट्यूमर कोशिकाओं की पहचान करना (जो किसी भी ओरिएंटेशन में हो सकती हैं)।
CIFAR-10 और ImageNet: कारों, कुत्तों और हवाई जहाजों जैसे रोजमर्रा के ऑब्जेक्ट्स को पहचानना।

परिणाम:

बेहतर सटीकता: REViT ने रोटेशन-अवेयर मॉडल्स के पिछले सर्वश्रेष्ठ तरीकों को पछाड़ दिया। इसने परीक्षणों में अधिक प्रश्न सही किए।
सरल और तेज़: भले ही यह अधिक सटीक था, इसने पुराने, अधिक जटिल तरीकों की तुलना में कम कंप्यूटर "स्टेप्स" (पैरामीटर्स) और कम मेमोरी का उपयोग किया।
स्केलेबिलिटी (Scalability): उन्होंने दिखाया कि यह मॉडल ImageNet जैसे विशाल और जटिल डेटासेट्स को भी संभाल सकता है, जिससे यह साबित होता है कि यह केवल छोटे प्रयोगों के लिए खिलौना नहीं है, बल्कि वास्तविक दुनिया के उपयोग के लिए एक मजबूत उपकरण है।

5. कमी (सीमाएं)

पेपर एक कमी के बारे में ईमानदार है: चूंकि मॉडल को एक साथ कई घुमावदार अवस्थाओं में छवि को प्रोसेस करना पड़ता है (वह 3D टावर), इसलिए इसे एक मानक मॉडल (जिसे रोटेशन की परवाह नहीं है) की तुलना में अधिक कंप्यूटिंग पावर और मेमोरी की आवश्यकता होती है। यह एक टीम के काम करने जैसा है जो मिलकर काम करती है; वे काम को बेहतर ढंग से पूरा करते हैं, लेकिन आपको पूरी टीम के लिए अधिक ऑफिस स्पेस और कॉफी की आवश्यकता होती है।

सारांश

संक्षेप में, REViT एक नए प्रकार का AI है जो बिना जटिल निर्देशों के हर कोण से छवियों को समझता है। छवि को रोटेशन के 3D स्पेस में "लिफ्ट" करके और एक विशेष अटेंशन मैकेनिज्म का उपयोग करके, यह पिछले तरीकों की तुलना में अधिक सटीक और कुशलता से वस्तुओं को पहचानता है, जो इसे मेडिकल इमेजिंग या रोबोटिक्स जैसे कार्यों के लिए एक मजबूत विकल्प बनाता है जहाँ ओरिएंटेशन मायने रखता है।

तकनीकी सारांश: REViT – रोटो-रिफ्लेक्शन इक्विवेरिएंट कनवल्शनल विजन ट्रांसफॉर्मर

समस्या विवरण
जबकि इक्विवेरिएंट न्यूरल नेटवर्क ने उन कार्यों के लिए प्रभावशीलता सिद्ध की है जिनमें घूर्णन (rotation) और परावर्तन (reflection) समरूपता की आवश्यकता होती है (जैसे, आणविक विश्लेषण, मेडिकल पैथोलॉजी और रोबोटिक्स), विजन ट्रांसफॉर्मर्स (ViTs) में उनका अनुप्रयोग चुनौतीपूर्ण बना हुआ है। पारंपरिक ViTs स्थानिक संरचना को बनाए रखने के लिए अत्यधिक रूप से एब्सोल्यूट या रिलेटिव पोजीशनल एनकोडिंग पर निर्भर करते हैं, जो ग्रुप इक्विवेरेंस (group equivariance) के कार्यान्वयन को जटिल बनाता है। रिलेटिव पोजीशन एनकोडिंग (RPE) के साथ ग्रुप सेल्फ-अटेंशन (G-SA) जैसे पिछले प्रयास, जो जटिल मॉडिफिकेशन और महत्वपूर्ण कम्प्यूटेशनल ओवरहेड की मांग करते हैं, इक्विवेरेंस को बाधित करते हैं क्योंकि वे निश्चित निर्देशांकों (coordinates) को अद्वितीय वेक्टर प्रदान करते हैं। इसके अलावा, मौजूदा शोध मुख्य रूप से कनवल्शनल न्यूरल नेटवर्क्स (G-CNNs) पर केंद्रित रहा है, जिससे ट्रांसफॉर्मर्स के वैश्विक संदर्भ मॉडलिंग (global context modeling) क्षमताओं का लाभ उठाने में एक अंतराल रह गया है।

कार्यप्रणाली
लेखक REViT (रोटो-रिफ्लेक्शन इक्विवेरिएंट कनवल्शनल विजन ट्रांसफॉर्मर) का प्रस्ताव करते हैं, जो एक डिस्क्रीट रोटो-रिफ्लेक्शन ग्रुप इक्विवेरिएंट आर्किटेक्चर है जो स्पष्ट पोजीशनल एनकोडिंग की आवश्यकता को समाप्त करता है। मुख्य कार्यप्रणाली में दो प्राथमिक नवाचार शामिल हैं:

कनवल्शनल पैच एम्बेडिंग और लिफ्टिंग:
लीनियर पैच एम्बेडिंग के बजाय, REViT एक लिफ्टिंग लेयर का उपयोग करता है जो 2D इनपुट इमेज $f: \mathbb{Z}^2 \to \mathbb{R}^C$ को एक डिस्क्रीट ग्रुप स्पेस $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ पर परिभाषित फीचर मैप में बदल देता है। यह रोटेशनल कनवल्शन्स के माध्यम से किया जाता है जहाँ इनपुट को डिस्क्रीट रोटेशन ग्रुप $C_N$ (जैसे, $p4, p8$ ) के तत्वों के अनुरूप रोटेटेड फिल्टर्स के सेट के साथ कनवॉल्व किया जाता है। यह डेटा को यूक्लिडियन स्पेस से पोजीशन-ओरिएंटेशन स्पेस ( $\mathbb{R}^2 \times S^1$ ) में ऊपर उठाता है, जो स्वाभाविक रूप से बिना किसी लर्नबल पोजीशनल पैरामीटर के स्थानिक और ओरिएंटेशनल जानकारी को एनकोड करता है।
ग्रुप कनवल्शनल सेल्फ-अटेंशन (G-CSA):
मानक सेल्फ-अटेंशन मैकेनिज्म को ग्रुप कनवल्शनल सेल्फ-अटेंशन (G-CSA) द्वारा प्रतिस्थापित किया गया है। इस मॉड्यूल में, क्वेरी (Query), की (Key), और वैल्यू (Value) प्रोजेक्शन को लीनियर प्रोजेक्शन के बजाय ग्रुप-इक्विवेरिएंट कनवल्शन्स का उपयोग करके कंप्यूट किया जाता है। अटेंशन मैकेनिज्म स्थानिक आयामों और ग्रुप आयाम (ओरिएंटेशन) दोनों पर कार्य करता है। अटेंशन वेट्स को लिफ्टेड फीचर स्पेस में क्वेरीज और कीज़ के डॉट प्रोडक्ट के आधार पर गणना की जाती है, जिससे यह सुनिश्चित होता है कि ऑपरेशन ग्रुप एक्शन्स (रोटेशन और रिफ्लेक्शन) के प्रति इक्विवेरिएंट बना रहे। कनवोल्यूशन में निहित सापेक्ष स्थानिक संबंधों और कनवोलशनल प्रोजेक्शन का उपयोग करके, REViT प्रत्येक अटेंशन हेड के लिए रिलेटिव पोजीशन एनकोडिंग की गणना करने की प्रति-लेयर जटिलता के बिना शिफ्ट और रोटेशन इक्विवेरेंस प्राप्त करता है।

मुख्य योगदान

डिस्क्रीट ग्रुप कनवल्शनल सेल्फ-अटेंशन (G-CSA): पेपर पोजीशन एनकोडिंग पर निर्भर किए बिना ट्रांसफॉर्मर्स में रोटो-रिफ्लेक्शन ( $E(2,N)$ ) इक्विवेरेंस प्राप्त करने के लिए एक मैकेनिज्म के रूप में G-CSA पेश करता है।
REViT का कार्यान्वयन: लेखक $p4\text{-CSA}$ और $p8\text{-CSA}$ के माध्यम से विभिन्न डिस्क्रीट रोटो-ट्रांसलेशन ($pN $) और रोटो-रिफ्लेक्शन ($ pNm$) ग्रुप कॉन्फ़िगरेशन के माध्यम से REViT ब्लॉक्स को लागू करते हैं।
स्केलेबिलिटी: यह कार्य प्रदर्शित करता है कि REViT को ImageNet-1k जैसे बड़े पैमाने के डेटासेट पर स्केल किया जा सकता है, जो डाउनस्ट्रीम इक्विवेरिएंट कार्यों के लिए एक संभावित बैकबोन के रूप में कार्य करता है।

प्रायोगिक परिणाम
लेखकों ने तीन डेटासेट्स पर REViT का मूल्यांकन किया: रोटेटेड MNIST, पैचकैमलीटन (PatchCamelyon), और CIFAR-10, और इसे ImageNet-1k तक स्केल किया।

G-SA+RPE के विरुद्ध प्रदर्शन: रोटेटेड MNIST और पैचकैमलीटन पर, REViT मॉडल (विशेष रूप से $p4\text{-CSA}$ और $p8\text{-CSA}$ ) रिलेटिव पोजीशन एनकोडिंग से समृद्ध ग्रुप सेल्फ-अटेंशन मॉडल्स (G-SA+RPE) के बराबर या उनसे बेहतर प्रदर्शन करते हैं। महत्वपूर्ण रूप से, REViT ने काफी कम पैरामीटर्स और कम कम्प्यूटेशनल जटिलता (कम मल्टीप्लिकेशन-एडिशन ऑपरेशंस और कम मेमोरी फुटप्रिंट) के साथ यह उपलब्धि हासिल की।
G-CNNs के विरुद्ध प्रदर्शन: REViT ने सभी डेटासेट्स और सिमेट्री ग्रुप्स में संबंधित ग्रुप इक्विवेरेंट CNN (G-CNN) बेसलाइन्स को लगातार पछाड़ दिया। विशेष रूप से, पैचकैमलीटन पर, REViT ने उच्च-क्रम की सिमेट्री G-CNN वेरिएंट्स की तुलना में कम पैरामीटर्स का उपयोग करते हुए उच्च सटीकता प्राप्त की।
ImageNet स्केलिंग: ImageNet-1k पर, एक $p4m$ -इक्विवेरिएंट REViT ने 79.27% की टॉप-1 सटीकता प्राप्त की, जो ऑग्मेंटेशन के साथ प्रशिक्षित वैनिला ViT (72.08%) और एक इक्विवेरिएंट ResNet बेसलाइन (77.37%) दोनों से बेहतर है।
इक्विवेरेंस एरर: लिफ्टिंग और G-CSA लेयर्स के बाद मॉडल्स ने लगभग शून्य इक्विवेरेंस एरर दिखाया, जिसमें रोटेशन के दौरान इंटरपोलेशन आर्टिफैक्ट्स के कारण उच्च-क्रम के समूहों (जैसे, $p8$ ) में मामूली त्रुटियां देखी गईं।

महत्व और दावे
पेपर का दावा है कि REViT मौजूदा तरीकों की तुलना में विजन ट्रांसफॉर्मर्स में डिस्क्रीट रोटो-रफ्लेक्शन इक्वरीविएंस प्राप्त करने के लिए एक सरल और अधिक कुशल मार्ग प्रदान करता है। स्पष्ट पोजीशनल एनकोडिंग पर निर्भरता को हटाकर और कनवोलशनल सेल्फ-अटेंशन का लाभ उठाकर, लेखक यह प्रदर्शित करते हैं कि सख्त सिमेट्री बाधाओं का पालन करते हुए ट्रांसफॉर्मर्स की ग्लोबल कॉन्टेक्स्ट मॉडलिंग शक्तियों को बनाए रखना संभव है। परिणाम बताते हैं कि G-CSA मॉडल के आकार या जटिलता में महत्वपूर्ण वृद्धि किए बिना ग्रुप इक्विवेरेंट क्लासिफिकेशन प्रदर्शन में सुधार करता है। लेखक REViT को चिकित्सा इमेजिंग और ओरिएंटेड ऑब्जेक्ट डिटेक्शन जैसे कार्यों के लिए एक व्यवहार्य, स्केलेबल बैकबोन के रूप में प्रस्तुत करते हैं जहाँ ओरिएंटेशन महत्वपूर्ण है, हालांकि वे यह भी स्वीकार करते हैं कि कम्प्यूटेशनल लागत अभी भी सिमेट्री ग्रुप की कार्डिनैलिटी के साथ स्केल होती है, जो लेटेंसी-सेंसिटिव अनुप्रयोगों के लिए एक चुनौती है।