📊 statistics

Data Augmentation: A Fourier Analysis Perspective

यह शोध पत्र फूरियर विश्लेषण और प्रतिनिधित्व सिद्धांत (representation theory) का उपयोग करते हुए एक सैद्धांतिक ढांचा स्थापित करता है ताकि यह प्रदर्शित किया जा सके कि आंशिक डेटा संवर्धन (partial data augmentation), पूर्ण संवर्धन के समान ही मिनिमैक्स सांख्यिकीय दरों (minimax statistical rates) को प्राप्त करता है, जबकि यह भी सिद्ध करता है कि सटीक समरूपता प्रवर्तन (exact symmetry enforcement) के लिए अनिवार्य रूप से संपूर्ण समूह पर औसत निकालना आवश्यक है।

मूल लेखक: Behrooz Tahmasebi, Melanie Weber, Stefanie Jegelka

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Behrooz Tahmasebi, Melanie Weber, Stefanie Jegelka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Data Augmentation: A Fourier Analysis Perspective" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

मुख्य समस्या: "बहुत सारी कॉपियाँ" वाली दुविधा

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानने के लिए सिखा रहे हैं। आप जानते हैं कि बिल्ली चाहे बाईं ओर देख रही हो, दाईं ओर, ऊपर या नीचे, वह बिल्ली ही रहती है। इसे सीखने में मदद करने के लिए, आप Data Augmentation का उपयोग करते हैं। इसका अर्थ है कि आप बिल्ली की एक फोटो लेते हैं और उसके कई घुमाए हुए (rotated) या पलटे हुए (flipped) संस्करण बनाते हैं ताकि रोबोट उसे देख सके।

Full Augmentation (पूर्ण ऑग्मेंटेशन): यदि आप पूरी तरह से सटीक होना चाहते हैं, तो आप बिल्ली को हर संभव कोण पर घुमाते हैं (जैसे 0.001 डिग्री, 0.002 डिग्री, आदि)। यह लाखों कॉपियाँ बना देता है।
समस्या: यह गणनात्मक रूप से बहुत महंगा (computationally expensive) है। यह ऐसा है जैसे पढ़ने सीखने के लिए लाइब्रेरी ऑफ कांग्रेस की हर एक किताब को पढ़ने की कोशिश करना। इसमें बहुत अधिक समय और मेमोरी लगती है।
व्यावहारिक समाधान: इसके बजाय, आप कुछ चुनिंदा रैंडम रोटेशन चुनते हैं (मान लीजिए 10 अलग-अलग कोण)। इसे Partial Augmentation (आंशिक ऑग्मेंटेशन) कहा जाता है। यह तेज़ और सस्ता है।

बड़ा सवाल: क्या केवल 10 रैंडम रोटेशन चुनना रोबोट को उतना ही अच्छा सिखाता है जितना कि हर संभव रोटेशन दिखाना? या क्या रोबॉट महत्वपूर्ण सबक छोड़ देता है क्योंकि उसने हर कोण नहीं देखा?

शोध पत्र का उत्तर: "पर्याप्त अच्छा" वास्तव में "परफेक्ट" है

लेखकों, बेहरूज़ तमासेबी, मेलानी वेबर और स्टेफ़नी जेगेलका ने इस प्रश्न का उत्तर देने के लिए उन्नत गणित (विशेष रूप से फूरियर विश्लेषण और ग्रुप थ्योरी) का उपयोग किया। उनका मुख्य निष्कर्ष आश्चर्यजनक है:

हाँ, आंशिक ऑग्मेंटेशन (partial augmentation) सांख्यिकीय रूप से पूर्ण ऑग्मेंटेशन जितना ही अच्छा है।

पैटर्न सीखने के लिए आपको हर एक सममिति (symmetry) को देखने की आवश्यकता नहीं है। आपको केवल सममिति के एक छोटे से रैंडम सैंपल की आवश्यकता है जिससे वही सांख्यिकीय लाभ मिलता है।

उपमा: "शोर भरा कमरा" और "औसत आवाज़"

यह समझने के लिए कि यह क्यों काम करता है, एक कमरे की कल्पना करें जो लोगों (जिसे "ग्रुप" कहा जाता है) से भरा है जो एक संख्या के बारे में अलग-अलग राय चिल्ला रहे हैं।

सत्य (The Truth): कमरे में मौजूद हर व्यक्ति की औसत राय सही उत्तर है (यह Full Augmentation है)।
शोर (The Noise): व्यक्तिगत लोग शोर भरे और पक्षपाती हो सकते हैं।

यदि आप सत्य को खोजना चाहते हैं, तो आपको हर किसी को सुनने की आवश्यकता नहीं है। यदि आप केवल कुछ लोगों को रैंडम तरीके से चुनते हैं और उनके उत्तरों का औसत निकालते हैं, तो आप सत्य के बहुत करीब पहुँच जाते हैं। आप जितने अधिक लोगों को चुनेंगे, आप सत्य के उतने ही करीब होंगे।

शोध पत्र सिद्ध करता है कि मशीन लर्निंग में, उन सममितियों से उत्पन्न होने वाला "शोर" जिन्हें आपने नहीं चुना, बहुत जल्दी समाप्त (cancel out) हो जाता है। एक बार जब आप कुछ नमूने (विशेष रूप से, एक संख्या जो समस्या की जटिलता से संबंधित है, न कि ग्रुप के कुल आकार से) चुन लेते हैं, तो त्रुटि नगण्य हो जाती है।

तीन प्रमुख अंतर्दृष्टि (सीखने के "चरण")

यह शोध पत्र ऑग्मेंटेशन के लाभों को तीन अलग-अलग स्तरों में विभाजित करता है, जैसे कि एक सीढ़ी चढ़ना:

1. सांख्यिकीय इष्टतमता (पहला चरण - Statistical Optimality)

यह क्या है: सर्वोत्तम संभव भविष्यवाणी सटीकता प्राप्त करना।
निष्कर्ष: आप इस चरण तक बहुत जल्दी पहुँच जाते हैं। आपको केवल रूपांतरणों (transformations) के एक छोटे समूह की आवश्यकता होती है।
गणित: यदि आपकी समस्या में एक निश्चित जटिलता है (मान लीजिए $r$ ) और सममिति उस जटिलता को $r_{inv}$ तक कम कर देती है, तो आपको लगभग $r / r_{inv}$ नमूनों की आवश्यकता होती है।
उपमा: यह जानने के लिए कि चावल नमकीन हैं या नहीं, आपको बर्तन के हर दाने को चखने की आवश्यकता नहीं है। एक चम्मच काफी है।

2. समान पुन: प्रयोज्यता (दूसरा चरण - Uniform Reusability)

यह क्या है: एक ही रैंडम रूपांतरण सेट का उपयोग कई अलग-अलग कार्यों या डेटासेट के लिए करना।
निष्कर्ष: आप एक बार रैंडम रूपांतरणों का एक सेट चुन सकते हैं और इसे सब कुछ के लिए पुन: उपयोग कर सकते हैं। यह अभी भी अच्छी तरह से काम करता है।
लागत: इसके लिए पहले चरण की तुलना में थोड़े अधिक नमूनों की आवश्यकता होती है, लेकिन केवल एक मामूली "लॉगारिदमिक" कारक (एक बहुत ही धीरे बढ़ने वाली संख्या) द्वारा।
उपमा: आप अपने कैमरे के लिए एक एकल "फ़िल्टर" बनाते हैं जो बिल्लियों, कुत्तों और कारों की तस्वीरों के लिए काम करता है। आपको प्रत्येक जानवर के लिए एक नए फ़िल्टर की आवश्यकता नहीं है।

3. सटीक अपरिवर्तनीयता (शीर्ष चरण — एक असंभव सपना - Exact Invariance)

यह क्या है: मॉडल को पूरी तरह से सममित बनाना, यानी सममिति के संबंध में शून्य त्रुटि के साथ।
निष्कर्ष: आंशिक ऑग्मेंटेशन के साथ यह असंभव है।
असंभवता का परिणाम: यदि आप मॉडल को पूरी तरह से अपरिवर्तनीय (invariant) बनाना चाहते हैं (यानी, यह सुनिश्चित करना कि यह हर सममिति के साथ बिना किसी अनुमान के समान व्यवहार करता है), तो आपको पूरे ग्रुप का उपयोग करना ही होगा। आप इसे एक सबसेट (subset) के साथ नहीं कर सकते।
उपमा: यदि आप सीधी रेखाओं का उपयोग करके एक पूर्ण गोल वृत्त बनाना चाहते हैं, तो आपको अनंत रेखाओं की आवश्यकता होगी। यदि आप केवल 10 रेखाओं का उपयोग करते हैं, तो आपको एक 'डेकागन' (10-भुज आकृति) प्राप्त होता है। यह गोल दिखता है, और अधिकांश उद्देश्यों के लिए यह गोल है। लेकिन यह गणितीय रूप से एक पूर्ण वृत्त नहीं है। शोध पत्र सिद्ध करता है कि "पूर्ण सममिति" (perfect symmetry) के लिए डेटा ऑग्मेंटेशन के माध्यम से पूरे ग्रुप की आवश्यकता होती है।

यह क्यों महत्वपूर्ण है

दक्षता (Efficiency): हमें हर संभव सममिति की गणना करने की चिंता छोड़ देनी चाहिए। रैंडम सैंपलिंग सुरक्षित और प्रभावी है।
पुन: प्रयोज्यता (Reusability): हम रूपांतरणों का एक सेट पहले से तैयार कर सकते हैं और इसे विभिन्न परियोजनाओं में पुन: उपयोग कर सकते हैं, जिससे कंप्यूटिंग शक्ति की भारी बचत होती है।
स्पष्टता (Clarity): यह "पर्याप्त अच्छा" (अनुमानित सममिति) और "परफेक्ट" (सटीक सममिति) के बीच एक स्पष्ट रेखा खींचता है। लगभग सभी व्यावहारिक मशीन लर्निंग कार्यों के लिए, "पर्याप्त अच्छा" ही हमारी आवश्यकता है, और इसे प्राप्त करना बहुत सस्ता है।

एक वाक्य में सारांश

अपने डेटा के पैटर्न सीखने के लिए आपको अपने डेटा के हर संभव संस्करण को देखने की आवश्यकता नहीं है; रूपांतरणों का एक छोटा, रैंडम सैंपल पूरे सेट जितना ही सांख्यिकीय रूप से शक्तिशाली है, हालांकि यह कभी भी पूर्ण गणितीय सममिति प्राप्त नहीं कर सकता।

तकनीकी सारांश: डेटा ऑग्मेंटेशन: एक फूरियर विश्लेषण परिप्रेक्ष्य

1. समस्या का विवरण और प्रेरणा
डेटा ऑग्मेंटेशन (Data augmentation) एक मॉडल-अज्ञेय (model-agnostic) तकनीक है जिसका उपयोग सीखने की समस्याओं में ज्ञात सममिति (symmetries) का लाभ उठाने के लिए किया जाता है, जिसमें इनपुट स्पेस पर कार्य करने वाले एक सममिति समूह $G$ के अनुसार प्रशिक्षण नमूनों को रूपांतरित किया जाता है। जबकि पूर्ण समूह-आकार का ऑग्मेंटेशन सटीक अपरिवर्तनीयता (exact invariance) को लागू कर सकता है और सामान्यीकरण (generalization) में सुधार कर सकता है, यह तब कम्प्यूटेशनल रूप से अव्यवहार्य हो जाता है जब समूह $G$ बड़ा हो (जैसे कि आयाम के साथ तेजी से बढ़ने वाले परम्यूटेशन या साइन-फ्लिप समूह)। फलस्वरूप, अभ्यासकर्ता केवल एक उपसमुच्चय $S \subset G$ का उपयोग करते हुए आंशिक डेटा ऑग्मेंटेशन (partial data augmentation) का सहारा लेते हैं।

इस शोध पत्र द्वारा संबोधित केंद्रीय प्रश्न यह है कि क्या आंशिक डेटा ऑग्मेंटेशन पूर्ण ऑग्मेंटेशन के समान सांख्यिकीय लाभ (विशेष रूप से, मिनिमैक्स-इष्टतम नमूना जटिलता और सामान्यीकरण दर) प्राप्त कर सकता है। लेखक सांख्यिकीय दक्षता, कम्प्यूटेशनल लागत, और सममिति प्रवर्तन की डिग्री (अनुमानित बनाम सटीक) के बीच के व्यापार-बंद (trade-offs) को समझना चाहते हैं।

2. कार्यप्रणाली और ढांचा
लेखक समूहों पर फूरियर विश्लेषण (Fourier analysis on groups) और परिमित समूहों के प्रतिनिधित्व सिद्धांत (representation theory of finite groups) पर आधारित एक सैद्धांतिक ढांचे को विकसित करते हैं। वे शास्त्रीय सांख्यिकीय शिक्षण कार्यों—घनत्व अनुमान (density estimation) और पर्यवेक्षित प्रतिगमन (supervised regression)—का उपयोग करते हुए परिमित-आयामी प्रोजेक्शन अनुमानकों (finite-dimensional projection estimators) पर ध्यान केंद्रित करते हैं।

सेटअप: मान लीजिए $\mathcal{F} \subset L^2(X, \mu)$ एक परिमित-आयामी फलन स्थान है जिसका आयाम $r$ है, और यह समूह $G$ के क्रिया के तहत बंद है। $G$ -अपरिवर्तनीय (invariant) फलनों का उपस्थान $\mathcal{F}_G$ है, जिसका आयाम $r_{\text{inv}}$ है।
प्रोजेक्शन अनुमानक: ये अनुमानक अनुभवजन्य क्षणों (empirical moments) को $\mathcal{F}$ पर प्रोजेक्ट करते हैं। लेखक नोट करते हैं कि रैखिक प्रोजेक्शन अनुमानकों के लिए, डेटासेट को एक उपसमुच्चय $S$ के साथ ऑगमेंट करना, अनऑगमेंटेड अनुमानक पर एक उपसमुच्चय-औसत ऑपरेटर $\Pi_S$ लागू करने के समान है।
प्रतिनिधित्व सिद्धांत (Representation Theory): विश्लेषण $\mathcal{F}$ पर $G$ के प्रतिनिधित्व को अपरिवर्तनीय घटकों (irreducible components) में विघटन का लाभ उठाता है। पूर्ण समूह औसत ( $\Pi_G$ ) $\mathcal{F}_G$ पर एक ऑर्थोगोनल प्रोजेक्टर के रूप में कार्य करता है, जो सभी गैर-तुच्छ अपरिवर्तनीय घटकों को समाप्त कर देता है। आंशिक औसत ( $\Pi_S$ ) इस प्रोजेक्शन का अनुमान लगाता है।

3. मुख्य योगदान और परिणाम

यह शोध पत्र आंशिक डेटा ऑग्मेंटेशन के संबंध में तीन मुख्य सैद्धांतिक परिणाम स्थापित करता है:

A. आंशिक ऑग्मेंटेशन की सांख्यिकीय इष्टतमता (Theorem 4.1)
लेखक सिद्ध करते हैं कि बेतरतीब ढंग से चुने गए उपसमुच्चय $S \subseteq G$ का उपयोग करने वाला आंशिक डेटा ऑग्मेंटेशन, एक अनुमान त्रुटि के साथ पूर्ण ऑग्मेंटेशन के समान मिनिमैक्स-इष्टतम नमूना जटिलता प्राप्त करता है।

परिणाम: एक प्रोजेक्शन अनुमानक के लिए अपेक्षित अतिरिक्त $L^2$ त्रुटि इस प्रकार है:
$\mathbb{E}[\|\hat{f}_S - \Pi_{\mathcal{F}_G} f^\star\|^2] \leq C \left( \frac{r_{\text{inv}}}{n} + \frac{r}{n|S|} \right)$
जहाँ $n$ नमूना आकार है।
निहितार्थ: पद $r_{\text{inv}}/n$ अपरिवर्तनीय उपस्थान के भीतर इष्टतम अनुमान त्रुटि (जो पूर्ण ऑग्मेंटेशन द्वारा प्राप्त होती है) को दर्शाता है। पद $r/(n|S|)$ केवल एक उपसमुच्चय का उपयोग करने के कारण होने वाली त्रुटि को दर्शाता है। सांख्यिकीय इष्टतमता तब प्राप्त होती है जब $|S| \gtrsim r/r_{\text{inv}}$ हो। महत्वपूर्ण रूप से, यह सीमा केवल अपरिवर्तनीय आयाम $r_{\text{inv}}$ और परिवेशी आयाम $r$ पर निर्भर करती है, न कि समूह के आकार $|G|$ पर। अतः, बड़े या अनंत समूहों के लिए भी, एक छोटा यादृच्छिक उपसमुच्चय सांख्यिकीय इष्टतमता के लिए पर्याप्त है।

B. यूनिफॉर्म और पुन: प्रयोज्य आंशिक ऑग्मेंटेशन (Theorems 4.2 and 4.3)
लेखक यह जांचते हैं कि क्या एक ही यादृच्छिक रूप से चुना गया ऑग्मेंटेशन सेट $S$ कई कार्यों या अनुमानकों के बीच पुन: उपयोग किया जा सकता है, जबकि यूनिफॉर्म सामान्यीकरण गारंटी बनी रहे।

परिणाम: एक एकल यादृच्छिक उपसमुच्चय $S$ , पूरे फलन वर्ग $\mathcal{F}$ पर पूर्ण ऑग्मेंटेशन का उच्च प्रायिकता के साथ एक यूनिफॉर्म अनुमान प्रदान करता है। पुन: उपयोग के लिए आवश्यक आकार है:
$|S| \gtrsim \frac{r}{r_{\text{inv}}} \log\left(\min\{r, |G|\}\right)$
निहितार्थ: एक एकल ऑग्मेंटेशन सेट को पुन: उपयोग करने की लागत केवल एक हल्का लॉगरिदमिक कारक $\log(\min\{r, |G|\})$ है। यह उन व्यावहारिक पाइपलाइनों को न्यायसंगत बनाता है जहाँ एक निश्चित ऑग्मेंटेशन सेट को विभिन्न मॉडलों या कार्यों में लागू किया जाता है।

C. आंशिक ऑग्मेंटेशन के माध्यम से सटीक अपरिवर्तनीयता की असंभवता (Theorem 4.5)
लेखक सटीक सममिति प्रवर्तन के संबंध में एक पूरक असंभवता परिणाम स्थापित करते हैं।

परिणाम: यदि परिकल्पना स्थान (hypothesis space) $\mathcal{F}$ पर्याप्त अभिव्यंजक है (विशेष रूप से, यदि इसमें $G$ के सभी अपरिवर्तनीय सममिति मोड शामिल हैं), तो डेटा ऑग्मेंटेशन के माध्यम से सटीक $G$ -अपरिवर्तनीयता लागू करने के लिए पूरे समूह पर औसत निकालना आवश्यक है। कोई भी सख्त उपसमुच्चय $S \subsetneq G$ सटीक अपरिवर्तनीयता की गारंटी नहीं दे सकता।
निहितार्थ: अनुमानित बनाम सटीक सममिति प्रवर्तन के बीच एक स्पष्ट विभाजन है। जबकि आंशिक ऑग्मेंटेशन सांख्यिकीय इष्टतमता (अनुमानित अपरिवर्तनीयता) के लिए पर्याप्त है, सटीक अपरिवर्तनीयता बड़े समूहों के लिए ऑग्मेंटेशन के माध्यम से कम्प्यूटेशनल रूप से अव्यवहार्य है।

4. शासन (Regimes) की व्याख्या
यह शोध पत्र उपसमुच्चय $|S|$ के आकार के आधार पर आंशिक ऑग्मेंटेशन के तीन शासन (regimes) की पहचान करता है:

सांख्यिकीय इंटरपोलेशन (Statistical Interpolation): छोटे $|S|$ के लिए, जोखिम साधारण दर ( $r/n$ ) और अपरिवर्तनीय दर ( $r_{\text{inv}}/n$ ) के बीच इंटरपोलेट करता है।
सांख्यिकीय इष्टतमता (Statistical Optimality): जब $|S| \gtrsim r/r_{\text{inv}}$ हो, तो अनुमानक पूर्ण ऑग्मेंटेशन के समकक्ष मिनिमैक्स-इष्टतम दर प्राप्त करता है।
यूनिफॉर्म पुन: प्रयोज्यता (Uniform Reusability): जब $|S| \gtrsim \frac{r}{r_{\text{inv}}} \log(\min\{r, |G|\})$ हो, तो ऑग्मेंटेशन सेट को फलन वर्ग पर यूनिफॉर्म रूप से पुन: उपयोग किया जा सकता है।
सटीक अपरिवर्तनीयता (Exact Invariance): यदि प्रतिनिधित्व पूर्ण है, तो इसके लिए $|S| = |G|$ (पूर्ण ऑग्मेंटेशन) की आवश्यकता होती है।

5. महत्व और निष्कर्ष
यह शोध पत्र सममिति के तहत डेटा ऑग्मेंटेशन के लिए एक एकीकृत सैद्धांतिक परिप्रेक्ष्य प्रदान करता है। यह समझाता है कि आंशिक ऑग्मेंटेशन अनुभवजन्य रूप से क्यों सफल है: यह पूर्ण ऑग्मेंटेशन के सांख्यिकीय लाभों (मिनिमैक्स इष्टतमता) को बनाए रखता है, जबकि कम्प्यूटेशनल लागत काफी कम हो जाती है, क्योंकि आवश्यक उपसमुच्चय का आकार समूह के आकार से स्वतंत्र है।

लेखक एक मौलिक व्यापार-बंद (trade-off) को रेखांकित करते हैं: अनुमानित सममिति (जो सांख्यिकीय इष्टतमता के लिए पर्याप्त है) कम्प्यूटेशनल रूप से स्केलेबल है और छोटे यादृच्छिक उपसमुत्तों के साथ प्राप्त की जा सकती है, जबकि सटीक सममिति (जो ऑग्मेंटेशन के माध्यम से लागू की जाती है) बड़े समूहों के लिए कम्प्यूटेशनल रूप से निषेधात्मक है। यह सामान्य सममिति समूहों के साथ सीखने में सांख्यिकीय इष्टतमता और कम्प्यूटेशनल स्केलेबिलिटी के बीच सामंजस्य से संबंधित हालिया प्रश्नों पर प्रकाश डालता है।

परिणाम घनत्व अनुमान और प्रतिगमन में प्रोजेक्शन अनुमानकों के लिए प्राप्त किए गए हैं, जिसमें बाइनरी क्लासिफिकेशन (प्लग-इन क्लासिफायर के माध्यम से) के विस्तार और अनंत-आयामी परिकल्पना वर्गों पर चर्चा शामिल है। यह कार्य इस बात पर बल देता है कि कई व्यावहारिक उद्देश्यों के लिए, आंशिक डेटा ऑग्मेंटेशन के माध्यम से अनुमानित सममिति प्रवर्तन, पूर्ण समूह औसत के एक सैद्धांतिक रूप से सुदृढ़ और कम्प्यूटेशनल रूप से कुशल विकल्प के रूप में कार्य करता है।