🤖 machine learning

Latent Equivariant Operators for Robust Object Recognition: Promise and Challenges

यह शोध पत्र प्रदर्शित करता है कि लेटेंट स्पेस में इक्विवेरिएंट ऑपरेटर्स सीखने वाले न्यूरल नेटवर्क, रोटेटेड MNIST जैसे सरल डेटासेट पर आउट-ऑफ-डिस्ट्रीब्यूशन सिमेट्रिक ट्रांसफॉर्मेशन के लिए प्रभावी ढंग से सामान्यीकरण (जनरलाइज) कर सकते हैं, जबकि साथ ही यह अधिक जटिल डेटा के लिए इस दृष्टिकोण को स्केल करने में शामिल महत्वपूर्ण चुनौतियों को भी रेखांकित करता है।

मूल लेखक: Minh Dinh, Stéphane Deny

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Dinh, Stéphane Deny

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Latent Equivariant Operators for Robust Object Recognition" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "पोज़" (Pose) की समस्या

कल्पना कीजिए कि आप एक बच्चे को बिल्ली को पहचानना सिखा रहे हैं। आप उसे बैठी हुई, खड़ी हुई और चलती हुई बिल्लियों की तस्वीरें दिखाते हैं। वह इसे पूरी तरह सीख जाता है। लेकिन फिर, आप उसे एक ऐसी बिल्ली दिखाते हैं जो हैंडस्टैंड कर रही है या एक ऐसी बिल्ली जो सपने में उलटी तैर रही है। बच्चा भ्रमित हो सकता है और कह सकता है, "यह बिल्ली नहीं है!"

वर्तमान AI (डीप लर्निंग) के साथ बिल्कुल यही होता है। वे उन चीजों को पहचानने में अद्भुत हैं जो बिल्कुल वैसी ही दिखती हैं जैसी उन्हें ट्रेनिंग के दौरान दिखाई गई थीं। लेकिन अगर आप किसी इमेज को घुमाते (rotate), छोटा करते (shrink), या किसी अजीब जगह पर ले जाते हैं, तो AI अक्सर घबरा जाता है और विफल हो जाता है। यह ऐसा है जैसे AI के पास उन चीजों के लिए एक "ब्लाइंड स्पॉट" (अंधा कोना) हो जिन्हें उसने पहले कभी नहीं देखा है।

पुराने समाधान (और वे क्यों विफल हुए)

पेपर इन दो पुराने तरीकों पर चर्चा करता है, जिनमें दोनों की अपनी कमियां हैं:

"कठोर नियम पुस्तिका" (Rigid Rulebook) वाला दृष्टिकोण: आप AI को बताते हैं, "मुझे पता है कि बिल्लियाँ कैसे हिलती हैं। यदि आप एक बिल्ली को 90 डिग्री घुमा हुआ देखते हैं, तो इस विशिष्ट गणितीय नियम को लागू करें।"
- खामी: यह तभी काम करता है जब आप नियम पहले से जानते हों। क्या होगा अगर बिल्ली कोई अजीब, अज्ञात डांस कर रही हो? कठोर नियम पुस्तिका विफल हो जाती है।
"सब कुछ दिखाने" (Show Everything) वाला दृष्टिकोण: आप AI को हर संभव पोज़, आकार और स्थान में बिल्लियों की हजारों तस्वीरें दिखाकर प्रशिक्षित करते हैं।
- खामी: आप AI को हर संभव पोज़ नहीं दिखा सकते। यह किसी को ड्राइविंग सिखाने जैसा है जैसे कि उसे हर उस संभावित ट्रैफिक दुर्घटना को दिखाना जो हो सकती थी। यह असंभव है।

नया समाधान: "मेंटल जिम" (Mental Gym)

लेखक Latent Equivariant Operators का उपयोग करके एक चतुर नया तरीका प्रस्तावित करते हैं। आइए इसे एक उपमा से समझते हैं।

कल्पना कीजिए कि AI केवल तस्वीर को नहीं देखता; उसके दिमाग के अंदर एक मेंटल जिम (latent space) है।

एनकोडर (The Translator): जब AI एक तस्वीर देखता है, तो वह उसे इस मेंटल जिम के अंदर एक विशेष कोड ("लेटेंट रिप्रेजेंटेशन") में बदल देता है।
ऑपरेटर (The Gym Equipment): जिम के अंदर, एक मशीन (ऑपरेटर) होती है जो इस कोड को घुमा सकती है या खिसका सकती है।
- जादू: AI सीखता है कि यदि आप जिम के अंदर कोड को खिसकाते हैं, तो यह वास्तविक दुनिया में तस्वीर को खिसकाने के समान है।
सीखने की प्रक्रिया: नियमों को बताए जाने के बजाय, AI को कुछ उदाहरण दिखाए जाते हैं। वह सीखता है: "हे, जब मैं इस कोड ब्लॉक को दाईं ओर खिसकाता हूँ, तो यह दिखता है जैसे तस्वीर दाईं ओर चली गई हो।" वह गति और कोड के बीच के संबंध को सीखता है।

यह समस्या को कैसे हल करता है: "एक्सट्रपलेशन" (Extrapolation) की ट्रिक

यह सबसे शानदार हिस्सा है। आमतौर पर, यदि आप एक बच्चे को 10 तक गिनती सिखाते हैं, तो उसे 11 तक गिनने में संघर्ष करना पड़ सकता है। लेकिन यह AI अलग है।

क्योंकि AI ने केवल तस्वीरों को रटा नहीं है, बल्कि गति के तंत्र (mechanism) को सीखा है (जिम के उपकरण), इसलिए यह एक्सट्रपलेशन कर सकता है।

उपमा: कल्पना कीजिए कि आप एक रोबोट को एक कदम, दो कदम और तीन कदम चलकर चलना सिखाते हैं।
- पुराना AI: "मैं 1, 2 और 3 जानता हूँ। मुझे 4 नहीं पता। मैं रुक जाऊँगा।"
- यह नया AI: "मैं कदम उठाने की अवधारणा समझता हूँ। यदि 1 कदम यहाँ है, और 2 कदम वहाँ है, तो 4 कदम यहाँ होने चाहिए।"

पेपर दिखाता है कि भले ही उन्होंने AI को केवल छोटी रोटेशन (जैसे 36 डिग्री) पर प्रशिक्षित किया हो, फिर भी यह AI 180 डिग्री घूमी हुई वस्तुओं को सफलतापूर्वक पहचान सकता है, जिसे उसने पहले कभी नहीं देखा था। यह पैटर्न को समझ लेता है और बाकी का "अनुमान" लगा लेता है।

"के-नियरएस्ट नेबर" (K-Nearest Neighbor) जासूस

पेपर में एक और ट्रिक का उल्लेख है जब AI को यह नहीं पता होता कि वस्तु को कैसे घुमाया गया है।

उपमा: कल्पना कीजिए कि आपको जंगल में एक जूता मिलता है, लेकिन आप नहीं जानते कि वह किसके पैर का है या वह किस दिशा में इशारा कर रहा है।
AI के पास उनकी एकदम सीधी स्थिति में जूतों की एक "रेफरेंस लाइब्रेरी" है।
यह अपने दिमाग में (जिम के उपकरणों का उपयोग करके) रहस्यमयी जूते को घुमाने की कोशिश करता है जब तक कि वह लाइब्रेरी के जूते से मेल न खा जाए। एक बार जब उसे मैच मिल जाता है, तो वह जान जाता है, "आह, यह जूता 45 डिग्री घूम गया था!" और फिर वह इमेज को ठीक करके उसकी पहचान करता है।

परिणाम: उन्होंने क्या पाया?

शोधकर्ताओं ने हाथ से लिखे नंबरों (MNIST) पर परीक्षण किया जिन्हें घुमाया गया था और इधर-उधर ले जाया गया था।

Standard AI: जब नंबरों को ट्रेनिंग रेंज से बाहर ले जाया गया, तो इसकी सटीकता गिर गई (जैसे कार दीवार से टकरा गई हो)।
यह नया AI: इसकी सटीकता ऊँची और स्थिर रही, यहाँ तक कि उन गतिविधियों के लिए भी जिन्हें इसने पहले कभी नहीं देखा था। यह मजबूत (robust) था।

उन्होंने यह भी पाया कि AI इन "गति नियमों" को बिना किसी स्पष्ट प्रोग्रामिंग के खुद सीख सकता है, जो एक बड़ी प्रगति है।

पकड़ (The "Tiny Paper" Reality Check)

पेपर अपनी सीमाओं के बारे में ईमानदार है।

उपमा: यह एक आदर्श खिलौना कार बनाने जैसा है जो एक चिकनी, सपाट मेज पर त्रुटिहीन चलती है। लेकिन हमने अभी तक इसे ऊबड़-खाबड़ पहाड़ी सड़क पर टेस्ट नहीं किया है।
वर्तमान परीक्षण सरल, शोर वाले (noisy) नंबरों पर थे। हमें अभी तक नहीं पता कि क्या यह "मेंटल जिम" सेल्फ-ड्राइविंग कारों जैसी जटिल, वास्तविक दुनिया की छवियों के लिए काम करेगा जो बारिश वाले शहर में नेविगेट कर रही हों।
अभी भी सवाल हैं कि इसे बड़े पैमाने पर कैसे बढ़ाया जाए और AI के मस्तिष्क में ये "जिम मशीनें" वास्तव में कहाँ स्थित होनी चाहिए।

सारांश

यह पेपर AI को गति और परिवर्तन (movement and transformation) को समझने का एक तरीका पेश करता है, जो केवल खिलाड़ियों को रटने के बजाय खेल के नियमों को सीखने पर आधारित है। यह AI को उन स्थितियों में भी सामान्य (generalize) करने की अनुमति देता है जिन्हें उसने पहले कभी नहीं देखा है, जिससे यह वस्तुओं को पहचानने में अधिक मजबूत और मानव जैसा बनाता है, भले ही वे अजीब और अप्रत्याशित चीजें कर रही हों।

यहाँ ICLR 2026 के GRaM वर्कशॉप में प्रस्तुत शोध पत्र "Latent Equivariant Operators for Robust Object Recognition: Promise and Challenges" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल, मानक बेंचमार्क पर मानव-स्तर या उससे बेहतर प्रदर्शन करने के बावजूद, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिदृश्यों में महत्वपूर्ण भंगुरता (brittleness) प्रदर्शित करते हैं। विशेष रूप से, वे उन वस्तुओं को पहचानने में संघर्ष करते हैं जो समूह-सममित रूपांतरणों (जैसे कि असामान्य पोज़, स्केल, या स्थिति) से गुजरी हैं, जो प्रशिक्षण के दौरान नहीं देखे गए थे।

मौजूदा समाधानों की सीमाएँ हैं:

इक्विवैरिएंट न्यूरल नेटवर्क (CNNs): ये मजबूती का सैद्धांतिक आश्वासन प्रदान करते हैं लेकिन इनके लिए रूपांतरण समूह (जैसे सटीक चक्रीय क्रम, विशिष्ट प्रतिनिधित्व मैट्रिक्स) के पूर्व-निर्धारित गणितीय ज्ञान की आवश्यकता होती है। यह उनकी प्रयोज्यता को सीमित करता है जब रूपांतरण संरचना अज्ञात या जटिल हो।
डेटा ऑग्मेंटेशन (Data Augmentation): इसके लिए परीक्षण के समय अपेक्षित संपूर्ण रेंज में रूपांतरणों के समान वितरण (uniform sampling) की आवश्यकता होती है। यह अक्सर अव्यवहारिक है जब केवल सीमित रेंज के उदाहरण उपलब्ध हों।
लेटेंट इक्विवैरिएंट ऑपरेटर्स (Latent Equivariant Operators): एक आशाजनक विकल्प जो डेटा उदाहरणों से लेटेंट स्पेस में ऑपरेटर्स को सीखता है। हालाँकि, पिछले कार्यों ने पूरी तरह से यह प्रदर्शित नहीं किया है कि वे बिना किसी स्पष्ट पैरामीटर विनिर्देश के एक्सट्रपलेशन (अनदेखे रूपांतरण परिमाणों तक सामान्यीकरण) करने या रूपांतरणों के संयोजन (combinations) को संभालने में सक्षम हैं।

2. कार्यप्रणाली (Methodology)

लेखक डेटा से सीधे इक्विवैरियंस सीखने के लिए लेटेंट इक्विवैरिएंट ऑपरेटर्स का उपयोग करने वाले एक ढांचे का प्रस्ताव करते हैं, जो परीक्षण के समय रूपांतरण मापदंडों को जाने बिना मजबूत वर्गीकरण को सक्षम बनाता है।

A. आर्किटेक्चर (Architecture)

एनकोडर (Encoder): एक सरल लीनियर लेयर (या संयुक्त रूपांतरणों के लिए स्टैक्ड लीनियर लेयर्स) इनपुट इमेज को लेटेंट प्रतिनिधित्व $Z$ में मैप करती है।
लेटेंट ऑपरेटर ( $\phi$ ): लेटेंट स्पेस पर कार्य करने वाला एक शिफ्ट ऑपरेटर।
- पूर्व-निर्धारित (Pre-defined): रूपांतरण समूह के ज्ञात क्रम (जैसे $36^\circ$ रोटेशन) के आधार पर एक ब्लॉक-डायगोनल शिफ्ट मैट्रिक्स के रूप में निर्मित।
- सीखा हुआ (Learned): ऑर्थोगोनैलिटी सुनिश्चित करने के लिए एक रैंडम मैट्रिक्स के QR डिकंपोजिशन के माध्यम से प्रारंभ किया गया और एनकोडर के साथ संयुक्त रूप से अनुकूलित किया गया। ऑपरेटर का आकार लेटेंट डाइमेंशनलिटी (70) के बराबर है, जो रूपांतरण क्रम की ऊपरी सीमा के रूप में कार्य करता है।
क्लासिफायर (Classifier): लेटेंट प्रतिनिधित्व को इनपुट के रूप में लेने वाला एक टू-लेयर MLP।

B. प्रशिक्षण रणनीति (Training Strategy)

मॉडल को ऑगमेंटेड व्यूज़ पर एक कंसिस्टेंसी ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है:

डेटा जनरेशन: एक इनपुट $x$ के लिए, दो व्यूज़ $T^{k_1}$ और $T^{k_2}$ का उपयोग करके बनाए जाते हैं (जो प्रशिक्षण रेंज से रैंडमली लिए गए हैं)।
कैनोनिकलाइजेशन (Canonicalization): एनकोडर इन व्यूज़ को लेटेंट स्पेस में मैप करता है, और "कैनोनिकल" पोज़ में वापस लाने के लिए इनवर्स शिफ्ट ऑपरेटर्स ( $\phi^{-k_1}, \phi^{-k_2}$ ) लागू किए जाते हैं।
लॉस फंक्शन (Loss Function):
- रिप्रेजेंटेशन कंसिस्टेंसी ( $L_{reg}$ ): दोनों व्यूज़ के कैनोनिकलाइज्ड एम्बेडिंग्स के बीच की दूरी को कम करता है ( $\|Z_1 - Z_2\|^2$ )। यह ऑपरेटर को रूपांतरण को सही ढंग से "उल्टा" करने के लिए मजबूर करता है।
- क्लासिफिकेशन लॉस ( $L_{CE}$ ): कैनोनिकलाइज्ड एम्बेडिंग पर क्रॉस-एन्ट्रॉपी लॉस।
- पीरियडिसिटी लॉस ( $L_{op}$ ): (वैकल्पिक) यह प्रोत्साहित करता है कि सीखा गया ऑपरेटर $\phi^N \approx I$ (आइडेंटिटी) को संतुष्ट करे, जिससे ग्रुप स्ट्रक्चर लागू होता है।

C. इन्फरेंस रणनीति (पोज़ एस्टीमेशन) (Inference Strategy - Pose Estimation)

चूंकि परीक्षण के समय रूपांतरण लेबल उपलब्ध नहीं होते हैं, इसलिए सिस्टम एक K-नेरेस्ट नेबर (k-NN) दृष्टिकोण का उपयोग करता है:

ज्ञात रूपांतरण इंडेक्स वाले वैलिडेशन डेटा से एक रेफरेंस डेटाबेस बनाया जाता है।
टेस्ट इनपुट के लिए, संभावित कैनोनिकल एम्बेडिंग्स उत्पन्न करने के लिए मॉडल संभावित इनवर्स ऑपरेटर्स $\{\phi^{-\ell}\}$ का एक सेट लागू करता है।
वह कैंडिडेट जिसका एम्बेडिंग, रेफरेंस डेटाबेस के सबसे करीब (यूक्लिडियन दूरी) है, उसे चुना जाता है।
चयनित कैनोनिकल एम्बेडिंग को क्लासिफायर को पास किया जाता है।

3. प्रमुख योगदान (Key Contributions)

एक्सट्रपलेशन का प्रदर्शन: यह पेपर सिद्ध करता है कि लेटेंट इक्विवैरिएंट ऑपरेटर्स अनदेखी रूपांतरण तीव्रता (unseen transformation magnitudes) के साथ इनपुट को वर्गीकृत करने में सफलतापूर्वक सक्षम हैं (जैसे, $\pm 36^\circ$ से $72^\circ$ पर प्रशिक्षण, $\pm 180^\circ$ पर परीक्षण)।
कंपाउंड ट्रांसफॉर्मेशन को संभालना: यह विधि रूपांतरणों के संयोजन (जैसे क्षैतिज और ऊर्ध्वाधर शिफ्ट का एक साथ होना) को स्टैकिंग ऑपरेटर्स के माध्यम से संभालने के लिए सामान्यीकृत होती है, बिना सभी संभावित संयोजनों पर प्रशिक्षण की आवश्यकता के (कॉम्बिनेटोरियल एक्सप्लोजन से बचते हुए)।
सीखे गए ऑपरेटर्स (Learnable Operators): लेखक दिखाते हैं कि ऑपरेटर्स को हार्ड-कोडेड करने की आवश्यकता नहीं है; वे प्रभावी इक्विवैरिएंट संरचनाओं को रिकवर कर सकते हैं, भले ही ग्रुप ऑर्डर का स्पष्ट ज्ञान न हो।
पैरामीटर-फ्री इन्फरेंस: सिस्टम को इन्फरेंस के समय रूपांतरण पैरामीटर जानने की आवश्यकता नहीं होती है, यह k-NN के माध्यम से लेटेंट स्पेस कैनोनिकलाइजेशन पर निर्भर करता है।

4. परिणाम (Results)

प्रयोग MNIST अंकों पर किए गए, जिनमें सिंथेटिक नॉइज़ बैकग्राउंड था और जिन्हें डिस्क्रीट रोटेशन और ट्रांसलेशन के अधीन किया गया था।

बेसलाइन प्रदर्शन: बिना ऑपरेटर के मानक CNNs एक "बेल-शेप्ड" सटीकता वक्र (accuracy curve) दिखाते थे, जो प्रशिक्षण रेंज के भीतर चरम पर पहुँचता था और अनदेखे रूपांतरणों के लिए तेजी से गिरकर लगभग रैंडम स्तर पर आ जाता था।
ऑपरेटर-आधारित प्रदर्शन:
- स्थिरता (Stability): पूर्व-निर्धारित और सीखे गए दोनों ऑपरेटर्स वाले मॉडल्स ने पूरे रूपांतरण रेंज में, अनदेखी डिग्री सहित, फ्लैट और उच्च सटीकता (ट्रांसलेशन के लिए लगभग 95%, रोटेशन के लिए 85-90%) बनाए रखी।
- सीखा हुआ बनाम फिक्स्ड: सीखे गए ऑपरेटर्स ने पूर्व-निर्धारित वाले के समान प्रदर्शन किया, जिसमें थोड़ा अधिक वेरिएंस देखा गया, जो यह सिद्ध करता है कि इक्विवैरियंस को डेटा से सीखा जा सकता है।
- कंपाउंड ट्रांसफॉर्मेशन: क्षैतिज/ऊर्ध्वाधर शिफ्ट के संयुक्त हीटमैप्स ने दिखाया कि ऑपरेटर-आधारित मॉडल अनदेखे संयोजनों के लिए अच्छी तरह से सामान्यीकृत हुए, जबकि बेसलाइन मॉडल प्रशिक्षण क्रॉस के बाहर पूरी तरह विफल रहे।
एब्लेशन स्टडीज (Ablation Studies):
- k-NN संवेदनशीलता: प्रदर्शन बड़े रेफरेंस सेट्स ( $N$ ) के साथ सुधरा और मध्यम पड़ोस के आकार ( $k=10$ ) पर चरम पर पहुँचा।
- ग्राउंड ट्रुथ बनाम इन्फरेंस: ग्राउंड-ट्रुथ रूपांतरण इंडेक्स का उपयोग करने से ऑटोमैटिक k-NN इन्फरेंस की तुलना में थोड़ी अधिक सटीकता मिली, लेकिन अंतर बहुत कम था, जो पोज़ एस्टीमेशन तंत्र की मजबूती की पुष्टि करता है।

5. महत्व और भविष्य की चुनौतियाँ (Significance and Future Challenges)

महत्व:
यह कार्य सैद्धांतिक इक्विवैरिएंट नेटवर्क और व्यावहारिक, डेटा-संचालित मजबूती के बीच के अंतर को पाटता है। यह मानव जैसी वस्तु पहचान (human-like object recognition) की ओर एक मार्ग सुझाता है, जहाँ मस्तिष्क स्पष्ट ज्यामितीय पूर्व-ज्ञान के बिना नवीन पोज़ में वस्तुओं को पहचानने के लिए रोटेशन और ट्रांसलेशन का मानसिक सिमुलेशन कर सकता है। यह एक ऐसा समाधान प्रदान करता है जो व्यापक डेटा ऑग्मेंटेशन पर निर्भर नहीं है।

चुनौतियाँ और भविष्य का कार्य:

स्केलेबिलिटी (Scalability): वर्तमान विधि रूपांतरण उम्मीदवारों पर व्यापक k-NN खोज पर निर्भर करती है, जो कम्प्यूटेशनल रूप से महंगी ( $O(N \cdot M)$ ) है और उच्च-आयामी निरंतर (continuous) स्थानों या जटिल 3D रूपांतरणों तक स्केल नहीं करती है।
सैद्धांतिक गारंटी: वर्तमान में ऐसा कोई सैद्धांतिक प्रमाण नहीं है जो यह सुनिश्चित करे कि सीखे गए ऑपरेटर्स प्रशिक्षण रेंज से परे भी इक्विवैरिएंट रहते हैं; अनुभवजन्य परिणाम अत्यधिक एक्सट्रपलेशन पर मामूली गिरावट दिखाते हैं।
आर्किटेक्चर डेप्थ (Architecture Depth): यह स्पष्ट नहीं है कि 2D एफाइन ट्रांसफॉर्मेशन के लिए उपयोग किए गए सरल लीनियर लेयर्स की तुलना में जटिल, नॉन-लीनियर ट्रांसफॉर्मेशन (जैसे डेप्थ-वाइज 3D रोटेशन) को संभालने के लिए कितने लेयर्स की आवश्यकता होगी।
जटिल डेटासेट: इस पद्धति को सिंथेटिक MNIST से परे प्राकृतिक छवियों और अधिक जटिल डेटासेट्स पर सत्यापन की आवश्यकता है।

निष्कर्षतः, यह पेपर स्थापित करता है कि लेटेंट इक्विवैरिएंट ऑपरेटर्स आउट-ऑफ-डिस्ट्रीब्यूशन ऑब्जेक्ट रिकग्निशन प्राप्त करने के लिए एक शक्तिशाली उपकरण हैं, जो सीमित डेटा से सीखे गए रूपांतरणों को एक्सट्रपलेट और कंपोज़ करने में सक्षम हैं, बशर्ते भविष्य के संस्करणों में इन्फरेंस-टाइम सर्च लागत को प्रबंधित किया जा सके।