🤖 machine learning

Learning from Synthetic Data via Provenance-Based Input Gradient Guidance

यह शोध पत्र एक ऐसा लर्निंग फ्रेमवर्क प्रस्तावित करता है जो इनपुट ग्रेडिएंट्स को निर्देशित करने के लिए सिंथेटिक डेटा से प्रोवेनेंस (provenance) जानकारी का लाभ उठाता है, जिससे गैर-लक्ष्य क्षेत्रों (non-target regions) पर निर्भरता को कम किया जा सके और लक्षित वस्तुओं पर केंद्रित भेदभावपूर्ण प्रतिनिधित्व (discriminative representations) सीखने की मॉडल की क्षमता को बढ़ाया जा सके।

मूल लेखक: Koshiro Nagano, Ryo Fujii, Ryo Hachiuma, Fumiaki Sato, Taiki Sekii, Hideo Saito

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Koshiro Nagano, Ryo Fujii, Ryo Hachiuma, Fumiaki Sato, Taiki Sekii, Hideo Saito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक लामा (Lama) पहचानना सिखाने की कोशिश कर रहे हैं।

पुराने दिनों में, आपको अलग-अलग खेतों में, अलग-अलग रोशनी में, और अलग-अलग बैकग्राउंड में लामा की हजारों असली तस्वीरें लेनी पड़तीं। यह महंगा, धीमा और कभी-कभी असंभव होता है।

इसलिए, वैज्ञानिकों ने सिंथेटिक डेटा (Synthetic Data) का उपयोग करना शुरू किया। वे कंप्यूटर का उपयोग करके तस्वीरों को "मिक्स एंड मैच" करते हैं या लामा की नई तस्वीरें बनाने के लिए AI का उपयोग करते हैं। यह एक शेफ की तरह है जो लामा की एक फोटो लेता है, लामा को बाहर निकालता है, और उसे समुद्र तट, शहर या जंगल की फोटो पर चिपका देता है। इससे एक विशाल, विविध डेटासेट बनता है जिससे रोबोट सीखता है।

समस्या: रोबोट विचलित हो जाता है
यहाँ एक पेंच है: जब आप इन तस्वीरों को मिलाते हैं, तो रोबोट भ्रमित हो जाता है।

यदि आप एक लामा को समुद्र तट पर चिपकाते हैं, तो रोबोट सीख सकता है: "ओह! लामा हमेशा समुद्र तट पर होते हैं!"
यदि आप एक लामा को पक्षी के पास रखते हैं, तो रोबोट सोच सकता है: "लामा केवल पक्षियों के पास ही पाए जाते हैं।"

रोबोट वास्तव में एक लामा कैसा दिखता है, यह नहीं सीख रहा है; वह बैकग्राउंड या फोटो-एडिटिंग सॉफ्टवेयर द्वारा बनाए गए अजीब आर्टिफैक्ट्स (artifacts) को सीख रहा है। यह एक ऐसे छात्र की तरह है जो गणित सीखने के बजाय उत्तर कुंजी (answer key) के फॉन्ट स्टाइल को रट लेता है।

समाधान: "सोर्स मैप" (Provenance)
यह पेपर रोबोट को सिखाने का एक शानदार नया तरीका प्रस्तावित करता है।

जब कंप्यूटर वह नकली फोटो (वह "सिंथेटिक डेटा") बनाता है, तो वह एक गुप्त सोर्स मैप (Source Map) (जिसे प्रोवेनेंस इंफॉर्मेशन कहा जाता है) रखता है। यह मैप जानता है कि कौन से पिक्सेल मूल लामा फोटो से आए हैं और कौन से पिक्सेल समुद्र तट या पक्षी की फोटो से आए हैं।

लामा की फोटो के पिक्सेल: "यह असली चीज़ है।"
समुद्र तट/पक्षी के पिक्सेल: "यह केवल बैकग्राउंड शोर (noise) है।"

जादुई ट्रिक: ग्रेडिएंट गाइडेंस (Gradient Guidance)
लेखक एक नियम पेश करते हैं जिसे इनपुट ग्रेडिएंट गाइडेंस (Input Gradient Guidance) कहा जाता है। इसे एक सख्त शिक्षक के रूप में सोचें जो रोबोट के कंधे के ऊपर खड़ा होकर उसकी पढ़ाई पर नज़र रख रहा है।

रोबोट तस्वीर को देखता है।
शिक्षक सोर्स मैप की जाँच करता है।
शिक्षक कहता है: "हे! तुम समुद्र तट की रेत पर ध्यान दे रहे हो। रुको! रेत लामा नहीं है। रेत को अनदेखा करो। केवल उन पिक्सेल्स को देखो जो लामा की फोटो से आए हैं।"

तकनीकी रूप से, वे इसे "ग्रेडिएंट्स" (वे हिस्से जो रोबोट के निर्णय को प्रभावित कर रहे हैं) की गणना करके करते हैं। यदि रोबोट "लामा" का अनुमान लगाने के लिए "बीच पिक्सेल्स" का उपयोग करने की कोशिश करता है, तो शिक्षक इस व्यवहार को दंडित करने के लिए एक पेनल्टी (लॉस फंक्शन) लागू करता है।

उपमा: "हाइलाइटर" विधि
कल्पना कीजिए कि आप एक किताब से परीक्षा की तैयारी कर रहे हैं जहाँ लेखक ने महत्वपूर्ण शब्दों को पीले रंग से हाइलाइट किया है और उबाऊ बैकग्राउंड टेक्स्ट को सफेद रंग में रखा है।

पुराना तरीका: छात्र पूरी पन्ने को पढ़ता है, उबाऊ टेक्स्ट से भ्रमित हो जाता है, और गलती से बैकग्राउंड से कोई रैंडम तथ्य भी रट सकता है।
इस पेपर का तरीका: छात्र को केवल पीले रंग से हाइलाइट किए गए हिस्सों को पढ़ने के लिए मजबूर किया जाता है। यदि वे सफेद हिस्सों पर ध्यान केंद्रित करने की कोशिश करते हैं, तो उन्हें एक सौम्य "नहीं" मिलता है।

रोबोट को केवल उन हिस्सों पर ध्यान केंद्रित करने के लिए मजबूर करके जिनमें वास्तव में वस्तु मौजूद है (यानी "टारगेट रीजन"), रोबोट यह सीख जाता है कि वह वस्तु वास्तव में क्या है, चाहे बैकग्राउंड कुछ भी हो।

यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने तीन अलग-अलग चीजों पर इसका परीक्षण किया:

पक्षियों को ढूँढना: यह सुनिश्चित करना कि रोबोट पक्षी को ढूँढे, न कि उस पेड़ को जिस पर वह बैठा है।
एक्शन (क्रियाओं) को पहचानना: एक व्यक्ति के गोल्फ खेलने के वीडियो को देखना और यह सुनिश्चित करना कि रोबोट उनके स्विंग पर ध्यान दे, न कि गोल्फ कोर्स या बैकग्राउंड में मौजूद अन्य लोगों पर।
इमेज क्लासिफिकेशन: लैंडबर्ड (जमीन पर रहने वाले पक्षी) और वॉटरबर्ड (पानी के पक्षी) के बीच अंतर करना, भले ही बैकग्राउंड रोबोट को धोखा देने की कोशिश करे।

परिणाम
रोबोट बहुत स्मार्ट हो गया। उसने बैकग्राउंड के आधार पर "चीटिंग" वाले अनुमान लगाना बंद कर दिया। उसने चीज़ को खुद देखना सीख लिया।

संक्षेप में:
यह पेपर AI को सिखाता है कि कंप्यूटर-जनरेटेड इमेज के "नकली" हिस्सों को कैसे अनदेखा किया जाए और केवल "असली" हिस्सों पर कैसे ध्यान केंद्रित किया जाए। यह एक गुप्त मैप (प्रोवेनेंस) का उपयोग करता है ताकि AI को ठीक से पता चल सके कि कहाँ देखना है, जिससे उसे बुरी आदतें सीखने से रोका जा सके और वास्तविक दुनिया में इसे बहुत अधिक मजबूत बनाया जा सके।

यहाँ शोध पत्र "Learning from Synthetic Data via Provenance-Based Input Gradient Guidance" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि सिंथेटिक डेटा (डेटा मिक्सिंग, सिम्युलेटर या जनरेटिव मॉडल्स के माध्यम से उत्पन्न) प्रशिक्षण डेटा की विविधता बढ़ाने और संग्रह लागत को कम करने के लिए प्रभावी है, मौजूदा विधियाँ एक महत्वपूर्ण सीमा से ग्रस्त हैं: वे मॉडल को यह स्पष्ट रूप से नहीं सिखाती हैं कि कौन से इनपुट क्षेत्र लक्षित वस्तु (target object) के लिए प्रासंगिक हैं।

अप्रत्यक्ष मजबूती (Indirect Robustness): वर्तमान सिंथेटिक लर्निंग विधियाँ (जैसे Mixup, CutMix, Diffusion-आधारित ऑग्मेंटेशन) केवल इनपुट वितरण को विविध बनाकर अप्रत्यक्ष रूप से मजबूती में सुधार करती हैं।
भ्रामक सहसंबंध (Spurious Correlations): क्योंकि मॉडल को गैर-लक्ष्य क्षेत्रों (non-target regions) को अनदेखा करने के लिए स्पष्ट रूप से निर्देशित नहीं किया जाता है, इसलिए यह अक्सर संश्लेषण पूर्वाग्रहों (synthesis biases), आर्टिफैक्ट्स या बैकग्राउंड सह-उपस्थिति (जैसे किसी विशिष्ट बैकग्राउंड को पक्षी वर्ग के साथ जोड़ना) के कारण होने वाले भ्रामक सहसंबंधों को सीख लेता है।
अंतराल (The Gap): यद्यपि संश्लेषण प्रक्रिया स्वाभाविक रूप से प्रत्येक पिक्सेल की "प्रोवेनेंस" (provenance - उत्पत्ति का स्रोत) को जानती है (अर्थात, छवि का कौन सा हिस्सा लक्षित वस्तु से आया है और कौन सा बैकग्राउंड या अन्य वस्तु से आया है), यह जानकारी मानक प्रशिक्षण के दौरान हटा दी जाती है। मॉडल को केवल अंतिम वर्गीकरण लेबल से लक्षित क्षेत्रों का अनुमान लगाने के लिए छोड़ दिया जाता है, जिससे अप्रासंगिक विशेषताओं पर निर्भरता बढ़ जाती है।

2. कार्यप्रणाली (Methodology)

लेखक एक लर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो प्रोवेनेंस जानकारी (सिंथेसिस प्रक्रिया के दौरान उत्पन्न मेटाडेटा जो प्रत्येक इनपुट तत्व की उत्पत्ति को दर्शाता है) का उपयोग एक सहायक पर्यवेक्षी संकेत (auxiliary supervisory signal) के रूप में करता है। यह इनपुट ग्रेडिएंट गाइडेंस (Input Gradient Guidance) के माध्यम से प्राप्त किया जाता है।

मुख्य घटक (Core Components)

प्रोवेनेंस निष्कर्षण (Provenance Extraction):
- डेटा संश्लेषण के दौरान, एक मास्क $M$ बनाया जाता है जो लक्षित क्षेत्रों (लक्षित वस्तु से उत्पन्न) और गैर-लक्षित क्षेत्रों (बैकग्राउंड, अन्य वस्तुएं, या सिंथेटिक आर्टिफैक्ट्स) के बीच अंतर करता है।
- इमेज मिक्सिंग (जैसे CutMix): मास्क $M$ स्वयं बाइनरी मिक्सिंग मास्क है।
- स्केलेटन मिक्सिंग (Skeleton Mixing): एक स्पैटियो-टेम्पोरल मास्क यह दर्शाता है कि कौन से स्केलेटन जॉइंट्स किस इनपुट सीक्वेंस से उत्पन्न होते हैं।
- इमेज जनरेशन (जैसे Diffusion): मूल और संपादित (edited) छवि के बीच एक 'डिफरेंस इमेज' की गणना की जाती है। महत्वपूर्ण अंतर वाले क्षेत्र (संपादित क्षेत्र) को गैर-लक्ष्य ( $I=0$ ) के रूप में चिह्नित किया जाता है, जबकि अपरिवर्तित क्षेत्रों को लक्ष्य ( $I=1$ ) के रूप में चिह्नित किया जाता है।
इनपुट ग्रेडिएंट गाइडेंस (इनपुट ग्रेडिएंट गाइडेंस, $L_{PG}$ ):
- यह विधि इनपुट ग्रेडिएंट्स ( $\nabla_{\tilde{x}} f_y(\tilde{x})$ ) को प्रोवेनेंस मास्क के आधार पर विघटित (decompose) करती है।
- उद्देश्य: गैर-लक्षित क्षेत्रों में ग्रेडिएंट्स को दबाना ताकि मॉडल भविष्यवाणी के लिए उन पर निर्भर न रहे।
- सॉफ्ट लेबल्स (मिक्सिंग विधियों के लिए): छवि A और B को मिलाने वाले सिंथेटिक नमूने के लिए, लॉस उन क्षेत्रों में ग्रेडिएंट्स को दंडित करता है जहाँ छवि B के क्षेत्र में क्लास A दिखाई देती है, और इसके विपरीत।
  $L_{PG} = \| (\mathbf{1}-M) \odot \nabla_{\tilde{x}} f_A(\tilde{x}) + M \odot \nabla_{\tilde{x}} f_B(\tilde{x}) \|_2^2$
- हार्ड लेबल्स (जेनरेशन विधियों के लिए): एक एकल लेबल वाली संपादित छवि के लिए, लॉस संपादित (गैर-लक्ष्य) क्षेत्रों में ग्रेडिएंट्स को दंडित करता है।
  $L_{PG} = \| (\mathbf{1}-M) \odot \nabla_{\tilde{x}} f_y(\tilde{x}) \|_2^2$
- कुल लॉस (Total Loss): $L_{total} = L_{cls} + \alpha L_{PG}$ , जहाँ $\alpha$ रेगुलाइजेशन स्ट्रेंथ को नियंत्रित करता है।

3. प्रमुख योगदान (Key Contributions)

प्रोवेनेंस-गाइडेड फ्रेमवर्क: यह शोध पत्र एक नया फ्रेमवर्क पेश करता है जो सिंथेटिक डेटा की अंतर्निहित "स्रोत" जानकारी का लाभ उठाकर मॉडल को लक्षित क्षेत्रों पर ध्यान केंद्रित करने और गैर-लक्षित क्षेत्रों को अनदेखा करने के लिए स्पष्ट रूप से निर्देशित करता है।
इनपुट ग्रेडिएंट गाइडेंस: मैन्युअल एनोटेशन की आवश्यकता वाले इंडायरेक्ट रेगुलाइजेशन या अटेंशन मैकेनिज्मों पर निर्भर पूर्व कार्यों के विपरीत, यह विधि अप्रासंगिक क्षेत्रों में इनपुट ग्रेडिएंट्स को सीधे दबाने के लिए एक डिफरेंशिएबल लॉस फंक्शन का उपयोग करती है।
मोडैलिटी और मेथड एग्नोस्टिक (Modality and Method Agnosticism): यह दृष्टिकोण विभिन्न सिंथेटिक डेटा जनरेशन तकनीकों के लिए लागू करने योग्य है, जिनमें शामिल हैं:
- इमेज मिक्सिंग (CutMix, ResizeMix)।
- स्केलेटन सीक्वेंस मिक्सिंग।
- जनरेटिव इमेज एडिटिंग (Diffusion मॉडल्स)।
एनोटेशन-फ्री (Annotation-Free): प्रोवेनेंस मास्क स्वचालित रूप से संश्लेषण प्रक्रिया से प्राप्त किए जाते हैं, जिसके लिए किसी अतिरिक्त मानवीय लेबलिंग की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन अलग-अलग कार्यों और मोडैलिटीज में किया गया:

वीकली सुपरवाइज्ड ऑब्जेक्ट लोकलाइजेशन (CUB-200-2011):
- कार्य: केवल इमेज-लेवल लेबल्स का उपयोग करके बाउंडिंग बॉक्स का अनुमान लगाना।
- परिणाम: इस विधि को CutMix के साथ एकीकृत करने से Mean MaxBoxAccV2, 62.3% (बेसलाइन) से बढ़कर 65.1% (VGG16) और 91.5% से 92.1% (SAT/Transformer) हो गया।
- विज़ुअलाइज़ेशन: Grad-CAM विज़ुअलाइज़ेशन ने दिखाया कि प्रस्तावित विधि ने बैकग्राउंड/सिंथेटिक क्षेत्रों पर अटेंशन को सफलतापूर्वक दबा दिया, और पूरी तरह से पक्षी पर ध्यान केंद्रित किया।
वीकली सुपरवाइज्ड स्पैटियो-टेम्पोरल एक्शन लोकलाइजेशन (UCF101-24):
- कार्य: स्केलेटन सीक्वेंस का उपयोग करके वीडियो में क्रियाओं (actions) को लोकलाइज़ करना।
- परिणाम: स्केलेटन सीक्वेंस पर BatchMix का उपयोग करने पर, विधि ने एवरेज प्रिसिजन (AP) को 38.0% (मिक्सिंग बेसलाइन) से बढ़ाकर 39.7% कर दिया।
- महत्व: इसने स्पैटियो-टेम्पोरल डोमेन में प्रभावशीलता प्रदर्शित की, यह सुनिश्चित करते हुए कि मॉडल स्टेटिक बैकग्राउंड जॉइंट्स के बजाय एक्शन-प्रासंगिक स्केलेटन पार्ट्स पर ध्यान दे।
इमेज क्लासिफिकेशन (CUB, iWildCam, Waterbirds):
- कार्य: फाइन-ग्रेंड क्लासिफिकेशन और डोमेन शिफ्ट/स्प्यूरियस कोरिलेशन के खिलाफ मजबूती।
- परिणाम: जब इसे ALIA (एक डिफ्यूजन-आधारित ऑग्मेंटेशन विधि) पर लागू किया गया, तो प्रस्तावित विधि ने Waterbirds डेटासेट (जो मजबूत बैकग्राउंड कोरिलेशन के लिए जाना जाता है) पर सटीकता को काफी बढ़ा दिया, जिससे सटीकता 71.4% से बढ़कर 80.7% हो गई। यह स्प्यूरियस बैकग्राउंड कोरिलेशन को दबाने की इसकी क्षमता की पुष्टि करता है।
दक्षता और मजबूती (Efficiency & Robustness):
- हाइपरपैरामीटर ट्यूनिंग: विधि ने हाइपरपैरामीटर ट्यूनिंग दक्षता में कोई गिरावट नहीं की।
- मास्क प्रिसिजन: विधि तब भी मजबूत रही जब प्रोवेनेंस मास्क थोड़ा अपूर्ण था (जैसे, डाइलेशन/इरोशन के माध्यम से), जिसमें मध्यम त्रुटियों के साथ प्रदर्शन में गिरावट 1% से कम रही।

5. महत्व (Significance)

यह कार्य सिंथेटिक डेटा लर्निंग की एक मौलिक खामी को संबोधित करता है: मॉडल की यह निर्भरता कि वह अप्रत्यक्ष रूप से सीखे कि क्या प्रासंगिक है। प्रोवेनेंस जानकारी का उपयोग करके इनपुट ग्रेडिएंट्स को प्रतिबंधित करके, लेखक मॉडल को सक्षम बनाते हैं:

सीधे डिस्क्रिमिनेटिव फीचर्स सीखने में: न कि केवल अप्रत्यक्ष डेटा ऑग्मेंटेशन प्रभावों पर निर्भर रहने के बजाय।
स्प्यूरियस कोरिलेशन को कम करने में: जो सिंथेटिक आर्टिफैक्ट्स या बैकग्राउंड बायस के कारण होते हैं, जो वास्तविक दुनिया के परिदृश्यों (जैसे स्वायत्त ड्राइविंग, रोबोटिक्स) में मजबूत AI तैनात करने के लिए महत्वपूर्ण है।
विभिन्न मोडैलिटीज में सामान्यीकरण (Generalize) करने में: यह सिद्ध करता कि "डेटा कहाँ से आया है" को जानना, प्रतिनिधित्व सीखने (representation learning) में सुधार के लिए एक सार्वभौमिक पर्यवेक्षी संकेत है, चाहे डेटा मिक्स किया गया हो, सिम्युलेट किया गया हो, या जनरेट किया गया हो।

संक्षेप में, यह शोध पत्र सिंथेटिक डेटा को केवल वॉल्यूम के स्रोत से बदलकर स्ट्रक्चरल सुपरविजन (structural supervision) के स्रोत में परिवर्तित करता है, जिससे बिना किसी अतिरिक्त एनोटेशन लागत के मॉडल की मजबूती और लोकलाइजेशन सटीकता में उल्लेखनीय वृद्धि होती है।