💻 computer science

GRASP: Guided Residual Adapters with Sample-wise Partitioning

यह शोध पत्र GRASP का प्रस्ताव करता है, जो एक गैर-आक्रामक (non-invasive) विधि है जो कंडिशनिंग स्पेस को विभाजित करती है और लॉन्ग-टेल टेक्स्ट-टू-इमेज फ्लो मैचिंग में ग्रेडिएंट्स को संरेखित करने के लिए ग्रुप-विशिष्ट रेसिडुअल एडेप्टर्स का उपयोग करती है, जिससे टेल-क्लास फिडेलिटी और विविधता में महत्वपूर्ण सुधार होता है और साथ ही सिंथेटिक डेटा को डाउनस्ट्रीम वर्गीकरण कार्यों में वास्तविक-डेटा प्रदर्शन के समान सक्षम बनाया जाता है।

मूल लेखक: Felix Nützel, Mischa Dombrowski, Bernhard Kainz

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Felix Nützel, Mischa Dombrowski, Bernhard Kainz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ को व्यंजनों का एक विशाल मेनू बनाना सिखा रहे हैं। अधिकांश समय, उनसे केवल लोकप्रिय क्लासिक्स जैसे "स्पैगेटी" या "स्टेक" (हेड क्लासेस) बनाने के लिए कहा जाता है। लेकिन कभी-कभी, उनसे बहुत दुर्लभ, विशिष्ट व्यंजन जैसे "एक विशिष्ट प्रकार के दुर्लभ मशरूम सूप" (टेल क्लासेस) बनाने के लिए कहा जाता है।

क्योंकि शेफ लोकप्रिय व्यंजनों का अभ्यास हजारों बार करता है और दुर्लभ व्यंजन का अभ्यास केवल एक बार करता है, इसलिए वे क्लासिक्स में बहुत माहिर हो जाते हैं लेकिन दुर्लभ व्यंजनों में बहुत खराब। जब उनसे दुर्लभ सूप बनाने के लिए कहा जाता है, तो वे शायद सादा पानी या स्पैगेटी और मशरूम का एक अजीब मिश्रण परोस देते हैं। वे दुर्लभ कार्य पर "कोलैप्स" (विफल) हो गए हैं क्योंकि लोकप्रिय व्यंजनों के लिए मिलने वाला ट्रेनिंग सिग्नल दुर्लभ व्यंजनों के सिग्नल को दबा देता है।

यह पेपर इस समस्या को ठीक करने के लिए GRASP (गाइडेड रेसिडुअल एडेप्टर्स विद सैंपल-वाइज पार्टीशनिंग) नामक एक समाधान पेश करता है, जो AI इमेज जनरेटर्स के लिए, विशेष रूप से मेडिकल इमेजिंग जैसे क्षेत्रों में जहाँ दुर्लभ बीमारियाँ आम हैं लेकिन सीखना कठिन है, काम आता है।

GRASP कैसे काम करता है, इसे सरल उपमाओं का उपयोग करके यहाँ समझाया गया है:

1. समस्या: "भीड़भाड़ वाली कक्षा"

मानक AI ट्रेनिंग में, सभी "छात्र" (AI का आंतरिक गणित) एक ही बड़े क्लासरूम में होते हैं। जब शिक्षक (ट्रेनिंग एल्गोरिदम) फीडबैक देता है, तो लोकप्रिय व्यंजनों (स्पैगेटी) के लिए फीडबैक इतना तेज़ और बार-बार आता है कि वह दुर्लभ व्यंजनों के धीमे फुसफुसाहट वाले फीडबैक को दबा देता है। AI दुर्लभ व्यंजनों को अनदेखा करना सीख जाता है क्योंकि गणित शोर (noise) से भ्रमित हो जाता है।

2. समाधान: "विशेष अध्ययन समूह बनाना"

सभी को एक ही बड़े कमरे में रखने के बजाय, GRASP विशेष अध्ययन समूहों (जिन्हें 'एक्सपर्ट्स' कहा जाता है) का एक सिस्टम बनाता है।

मैप (स्टैटिक पार्टीशनिंग): ट्रेनिंग शुरू होने से पहले, शोधकर्ता एक मैप बनाते हैं। वे AI से यह नहीं पूछते कि किसे कहाँ जाना है (जो कि मुश्किल हो सकता है यदि AI लोकप्रिय विषयों की ओर झुका हुआ हो), बल्कि वे एक सरल, पहले से बने नियम का उपयोग करते हैं: "यदि अनुरोध किसी दुर्लभ बीमारी के बारे में है, तो ग्रुप A में जाएँ। यदि यह किसी सामान्य बीमारी के बारे में है, तो ग्रुप B में जाएँ। यदि यह किसी स्वस्थ व्यक्ति के बारे में है, तो ग्रुप C में जाएँ।"
- उपमा: एक लाइब्रेरी के बारे में सोचें जहाँ किताबों को स्पाइन पर लगे एक सरल, पहले से छपे लेबल के आधार पर छाँटा जाता है। आपको यह तय करने के लिए बुद्धिमान लाइब्रेरियन की आवश्यकता नहीं है कि किताब कहाँ जाएगी; आप बस लेबल का पालन करते हैं। यह सुनिश्चित करता है कि भले ही लाइब्रेरी में कोई दुर्लभ किताब केवल एक बार आई हो, वह हमेशा उसी विशिष्ट शेल्फ पर जाएगी।
विशेषज्ञ (रेसिडुअल एडेप्टर्स): प्रत्येक अध्ययन समूह के भीतर, एक छोटा, विशिष्ट सहायक (एक एडॉप्टर) होता है जो केवल उस विशिष्ट समूह के विवरणों को सीखता है।
- उपमा: कल्पना करें कि मुख्य शेफ अभी भी वहीं है, लेकिन अब उनके पास "दुर्लभ मशरूम" स्टेशन के लिए एक सू-शेफ (sous-chef) है और "स्वस्थ सलाद" स्टेशन के लिए दूसरा है। "दुर्लभ मशरूम" वाला सू-शेफ केवल मशरूम के बारे में मिलने वाले फीडबैक को सुनता है। वे स्पैगेटी के बारे में हजारों लोगों के चिल्लाने से भ्रमित नहीं होते।

3. यह "सीखने के लिए छाँटने" से बेहतर क्यों है

कुछ पिछले तरीकों ने AI को यह सिखाने की कोशिश की कि छात्रों को समूहों में कैसे छाँटा जाए।

दोष: यदि AI ही यह तय करने वाला है कि कौन कहाँ जाएगा, तो वह स्वाभाविक रूप से दुर्लभ छात्रों को "लोकप्रिय" समूह में भेज देगा क्योंकि "लोकप्रिय" समूह बहुत अधिक प्रभावशाली और हावी होता है। AI बहुमत को खुश करने के लिए दुर्लभ छात्रों को अनदेखा करना सीख जाता है।
GRASP का समाधान: GRASP एक निश्चित, पूर्व-निर्मित नियम (मैप) का उपयोग करता है। यह दुर्लभ छात्रों को उनके अपने समूह में जाने के लिए मजबूर करता है, जिससे यह गारंटी मिलती है कि उन्हें ध्यान मिले। यह एक शिक्षक की तरह है जो कहता है, "चाहे कुछ भी हो, ये तीन छात्र इस विशिष्ट मेज पर बैठेंगे," जिससे यह सुनिश्चित होता है कि वे भीड़ में खो न जाएं।

4. परिणाम: क्या हुआ?

शोधकर्ताओं ने इनका परीक्षण मेडिकल एक्स-रे छवियों (जहाँ दुर्लभ बीमारियाँ "टेल" हैं) और सामान्य छवियों (जैसे ImageNet) पर किया।

बेहतर दुर्लभ छवियां: AI ने दुर्लभ बीमारियों की बहुत बेहतर छवियां बनाना शुरू कर दिया। धुंधले बकवास के बजाय, छवियां वास्तविक और विविध दिखने लगीं।
लोकप्रिय के लिए कोई नुकसान नहीं: सामान्य बीमारियों की छवियां खराब नहीं हुईं; वे वैसी ही अच्छी बनी रहीं।
डाउनस्ट्रीम सफलता: जब उन्होंने इन AI-जनित छवियों का उपयोग कंप्यूटर को बीमारियों का निदान करने के लिए प्रशिक्षित करने हेतु किया, तो कंप्यूटर दुर्लभ बीमारियों को पहचानने में बहुत बेहतर हो गया। वास्तव में, वह उन दुर्लभ स्थितियों को सही ढंग से पहचान सका जिन्हें वह पहले पूरी तरह से पहचानने में विफल रहा था।

5. "नॉन-इनवेसिव" जादू

GRASP का सबसे शानदार हिस्सा यह है कि यह AI के सीखने के मूलभूत नियमों (ऑब्जेक्टिव) या यह छवियों को कैसे चुनता है (सैंपलर) को नहीं बदलता है। यह केवल यह बदलता है कि कौन किस फीडबैक को सुनता है।

उपमा: यह कक्षा में विशिष्ट छात्रों को नॉइज़-कैंसलिंग हेडफ़ोन लगाने जैसा है। शिक्षक अभी भी पूरे कमरे में बोलता है, लेकिन "दुर्ध्य बीमारी" समूह के छात्र केवल वही फुसफुसाहट सुनते हैं जो उनके लिए है, जबकि "लोकप्रिय" समूह ऊँची आवाज़ों को सुनता है।

संक्षेप में: GRASP AI को दुर्लभ चीजों को अनदेखा करने से रोकता है क्योंकि वह उन्हें सरल, पूर्व-निर्मित नियमों का उपयोग करके उनके समर्पित लर्निंग टीम में भेज देता है। यह सुनिश्चित करता है कि सबसे दुर्लभ स्थितियों को भी सीखने के लिए आवश्यक ध्यान मिले, बिना सामान्य चीजों को खराब किए।

तकनीकी सारांश: GRASP – सैंपल-वाइज पार्टीशनिंग के साथ गाइडेड रेसिडुअल एडेप्टर्स

समस्या विवरण (Problem Statement)

टेक्स्ट-टू-इमेज फ्लो मैचिंग ट्रांसफॉर्मर लॉन्ग-टेल डिस्ट्रीब्यूशन (long-tail distributions) में गंभीर प्रदर्शन गिरावट प्रदर्शित करते हैं, विशेष रूप से मेडिकल इमेजिंग जैसे डोमेन में जहाँ दुर्लभ पैथोलॉजी (rare pathologies) वास्तविक दुनिया के परिदृश्यों में हावी होती हैं। जबकि मॉडल सामान्य "हेड" (head) क्लासेस पर अच्छा प्रदर्शन करते हैं, वे "टेल" (tail) क्लासेस पर मोड कोलैप्स (mode collapse) का शिकार होते हैं, जिससे कम फिडेलिटी और सीमित विविधता वाली छवियां उत्पन्न होती हैं। लेखक इसके मूल कारण को एक ऑप्टिमाइज़ेशन-स्तर की विकृति (optimization-level pathology) के रूप में पहचानते हैं: फाइन-ट्यूनिंग के दौरान, हेड और टेल क्लासेस के लिए ग्रेडिएंट अपडेट्स न केवल परिमाण (norm) बल्कि दिशा (direction) में भी बेमेल होते हैं। ये ग्रेडिएंट्स पैरामीटर स्तर पर विनाशकारी रूप से औसत (average destructively) हो जाते हैं, जिससे मॉडल बार-बार आने वाली क्लासेस को प्राथमिकता देता है और दुर्लभ क्लासेस के रिप्रजेंटेशन को कोलैप्स कर देता है। मौजूदा हस्तक्षेप, जैसे कि पोस्ट-हॉक सैंपलिंग रणनीतियाँ या ट्रेनिंग-टाइम लॉस मॉडिफिकेशन, इस विशिष्ट ग्रेडिएंट मिसअलाइनमेंट को संबोधित करने में विफल रहते हैं, जो अक्सर अंतर्निहित वितरण को बदले बिना या जनरेटिव ऑब्जेक्टिव को इस तरह से संशोधित किए बिना छोड़ देते हैं जो सीधे ऑप्टिमाइज़ेशन विफलता को लक्षित नहीं करता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र GRASP (Guided Residual Adapters with Sample-wise Partitioning) का प्रस्ताव करता है, जो एक गैर-आक्रामक (non-invasive) आर्किटेक्चरल हस्तक्षेप है जिसे फ्लो-मैचिंग ऑब्जेक्टिव या सैंपलिंग प्रक्रिया को बदले बिना ग्रेडिएंट अलाइनमेंट में सुधार करने के लिए डिज़ाइन किया गया है।

1. कंडीशनिंग के माध्यम से सैंपल-वाइज पार्टीशनिंग (Sample-wise Partitioning via Conditioning)

एक गेटिंग नेटवर्क सीखने के बजाय (जिसमें हेड-क्लास ग्रेडिएंट्स द्वारा हावी होने का जोखिम होता है), GRASP कंडीशनिंग स्पेस का एक स्थिर, नियतात्मक विभाजन (static, deterministic partition) नियोजित करता है।

सैद्धांतिक आधार: कंडीशनल फ्लो मैचिंग में, कंडीशन वैल्यूज संभाव्यता पथों (probability paths) के विशिष्ट सेट को इंडेक्स करती हैं। लेखक तर्क देते हैं कि कंडीशनिंग वेक्टर के साथ विभाजन करना ग्रेडिएंट अलाइनमेंट के प्रॉक्सी के रूप में कार्य करने के लिए संरचनात्मक रूप से सही फैक्टराइजेशन है।
कार्यान्वयन: एक स्टैटिक रूटिंग फंक्शन $\pi: \mathcal{C} \to \{1, \dots, K\}$ $π : C \to {1, \dots, K}$ प्रत्येक सैंपल को उसके कंडीशन के आधार पर $K$ $K$ विशेषज्ञों (experts) में से एक को असाइन करता है।
- मेडिकल संदर्भ (MIMIC-CXR-LT): सैंपल्स को सिमेंटिक समूहों (Head, Medium, Tail) में विभाजित किया जाता है और आगे एक डोमेन-विशिष्ट प्रायर (Healthy बनाम Pathological) द्वारा विभाजित किया जाता है, जिसके परिणामस्वरूप चार विशेषज्ञ प्राप्त होते हैं।
- सामान्य संदर्भ (ImageNet-LT): पार्टीशनिंग फ्रोजन टेक्स्ट एनकोडर पर टेक्स्ट-एम्बेडिंग क्लस्टरिंग (bisecting K-means) के माध्यम से की जाती है, जिसमें डोमेन-विशिष्ट प्रायर शामिल नहीं होते।
मजबूती (Robustness): यह विधि पूर्ण सेमेंटिक सेपरेशन के बजाय "कोर्स" (coarse) प्रायर (जैसे, फ्रीक्वेंसी बिन्स या वैनिला क्लस्टरिंग) पर निर्भर करती है। लक्ष्य यह सुनिश्चित करना है कि औसतन, एक विशेषज्ञ के भीतर के सैंपल अन्य विशेषज्ञों की तुलना में अधिक सजातीय (homogeneous) ग्रेडिएंट डायनेमिक्स साझा करें।

2. गाइडेड रेसिडुअल एडेप्टर्स (Guided Residual Adapters)

एक बार सैंपल्स को रूट करने के बाद, आर्किटेक्चर फ्रोजन प्री-ट्रेंड बैकबोन (Flux) के फीडफॉरवर्ड लेयर्स में डाले गए ग्रुप-विशिष्ट रेसिडुअल एडेप्टर्स का उपयोग करता है।

तंत्र (Mechanism): एक सैंपल $x_i$ के लिए जिसे विशेषज्ञ $k = \pi(c_i)$ को रूट किया गया है, लेयर आउटपुट $h_{l+1} = F_l(h_l) + A_{k,l}(h_l)$ है, जहाँ $F_l$ साझा बेस ट्रांसफॉर्मेशन है और $A_{k,l}$ विशेषज्ञ-विशिष्ट एडेप्टर है।
ग्रेडिएंट आइसोलेशन (Gradient Isolation): एडेप्टर $k$ के भीतर के पैरामीटर्स केवल उस विशेषज्ञ को असाइन किए गए सैंपल्स द्वारा अपडेट किए जाते हैं। यह ग्रुप-विशिष्ट ग्रेडिएंट्स को अलग करता है, जिससे हेड-क्लास अपडेट्स से होने वाले विनाशकारी हस्तक्षेप को रोका जा जा सकता है, जबकि साझा बैकबोन ट्रांसफर करने योग्य संरचना को संचित करने की अनुमति देता है।
डिज़ाइन: एडेप्टर्स हल्के दो-परत वाले ट्रांसफॉर्मेशन हैं। LoRA के विपरीत, वे सख्त डाइमेंशनलिटी रिडक्शन लागू नहीं करते हैं, जिससे बड़े डोमेन गैप्स के बीच फाइन-ट्यूनिंग को स्थिर करने के लिए व्यापक एडेप्टर्स ( $d' \approx d$ या $d' > d$ ) की अनुमति मिलती है।

मुख्य योगदान (Key Contributions)

फ्लो-मैचिंग में ग्रेडिएंट कंसिस्टेंसी का स्थानांतरण: लेखकों ने लॉन्ग-टेल लैंग्वेज मॉडलिंग (Dong et al.) से ग्रेडिएंट-कंसिस्टेंसी ऑब्जेक्टिव को टेक्स्ट-टू-इमेज फ्लो मैचिंग में अनुकूलित किया है। महत्वपूर्ण रूप से, वे सीखे गए गेटिंग मैकेनिज्म को एक नियतात्मक, कंडीशनिंग-ड्रिवन पार्टीशन से बदलते हैं। उनका तर्क है कि कंडीशनल फ्लो मैचिंग में, कंडीशनिंग स्वाभाविक रूप से संभाव्यता पथ की ज्यामिति को इंडेक्स करती है, जिससे स्टैटिक पार्टीशनिंग एक जेनेरिक ह्यूरिस्टिक के बजाय एक संरचनात्मक रूप से सही फैक्टराइजेशन बन जाती है।
गैर-आक्रामक और कंपोजेबल डिज़ाइन: GRASP फ्लो-मैचिंग लॉस और सैंपलर को अपरिवर्तित छोड़ देता है, यह केवल यह संशोधित करता है कि कौन से पैरामीटर्स किन ग्रेडिएंट्स को अवशोषित करते हैं। यह इसे ऑर्थोगोनल हस्तक्षेपों के साथ कंपोज करने योग्य बनाता है। लेखक प्रदर्शित करते हैं कि इन्फरेंस के समय सेल्फ-गाइडेड माइनॉरिटी सैंपलिंग के साथ GRASP को मिलाने से अकेले किसी भी अन्य विधि की तुलना में बेहतर परिणाम मिलते हैं।
ग्रेडिएंट प्रॉक्सी के रूप में कंडीशनिंग का अनुभवजन्य सत्यापन: एब्लेशन स्टडीज और ग्रेडिएंट विश्लेषण के माध्यम से, पेपर यह सत्यापित करता है कि कंडीशनिंग होमोजेनिटी विशेषज्ञ-वार ग्रेडिएंट कंसिस्टेंसी के साथ मजबूती से सह-संबंधित है, जो पुष्टि करता है कि स्टैटिक पार्टिशन शोर वाले प्रायर के बावजूद आदर्श ग्रेडिएंट ग्रुपिंग को प्रभावी ढंग से अनुमानित करते हैं।

परिणाम (Results)

विधि का मूल्यांकन MIMIC-CXR-LT (मेडिकल चेस्ट एक्स-रे), NIH-CXR-LT (डाउनस्ट्रीम क्लासिफिकेशन), और ImageNet-LT (जनरल लॉन्ग-टेल जनरेशन) पर किया गया।

इमेज जनरेशन क्वालिटी और विविधता:
- MIMIC-CXR-LT पर, GRASP ने फुल फाइन-ट्यूनिंग की तुलना में समग्र FID को 80% तक कम किया और टेल-क्लास कवरेज को 44% तक बढ़ा दिया।
- इसने स्टेट-ऑफ-द-आर्ट बेसलाइन्स, जिनमें फुल फाइन-ट्यूनिंग, जेनेरिक एडेप्टर्स और सीखे गए-रूटिंग Mixture-of-Experts (MoE) वेरिएंट जैसे MoCLE शामिल हैं, को पीछे छोड़ दिया।
- गुणात्मक विश्लेषण ने दिखाया कि GRASP उन दुर्लभ पैथोलॉजी (जैसे न्यूमोपेरिटोनियम) के लिए क्लास-विशिष्ट विशेषताओं को पुनः प्राप्त किया जिन्हें बेसलाइन्स स्मूथ आउट या कोलैप्स कर देती हैं।
डाउनस्ट्रीम क्लासिफिकेशन:
- जब GRASP द्वारा उत्पन्न सिंथेटिक छवियों का उपयोग NIH-CXR-LT पर DenseNet-121 क्लासिफायर को प्रशिक्षित करने के लिए किया गया, तो मॉडल ने मैक्रो F1 स्कोर प्राप्त किया जो वास्तविक डेटा ट्रेनिंग के बराबर था।
- महत्वपूर्ण रूप से, GRASP ने 13 में से 9 क्लासेस पर नॉन-जीरो F1 स्कोर प्राप्त किया, जबकि फुल फाइन-ट्यूनिंग केवल 3 क्लासेस पर ही ऐसा करने में सक्षम था।
सामान्यीकरण (Generalization): ImageNet-LT पर परिणामों ने पुष्टि की कि यह तंत्र मेडिकल इंडक्टिव बायस तक सीमित नहीं है और ब्रॉड लॉन्ग-टेल जनरेशन टास्क में सामान्यीकृत होता है।

महत्व और दावे (Significance and Claims)

पेपर GRASP को एक नियंत्रित ऑग्मेंटेशन और विश्लेषण टूल के रूप में प्रस्तुत करता है, और स्पष्ट रूप से कहता है कि सिंथेटिक इमेज क्लिनिकली ग्राउंडेड कोहॉर्ट्स या विशेषज्ञ समीक्षा का विकल्प नहीं हैं। लेखक इस बात पर जोर देते हैं कि यदि उत्पत्ति (provenance) और सत्यापन के बिना उपयोग किया जाए, तो सिंथेटिक डेटा पूर्वाग्रहों को संरक्षित या बढ़ा सकता है।

प्राथमिक दावा यह है कि स्टैटिक रूटिंग ही डिफॉल्ट विकल्प है जब भी कंडीशनिंग पर भले ही मोटे तौर पर प्रायर उपलब्ध हों (जो मेडिकल इमेजिंग में एक सामान्य मामला है)। सीखे गए गेटिंग के विपरीत, जो अत्यधिक लॉन्ग-टेल शासन के कारण हेड-क्लास प्रभुत्व से विफल हो जाता है, स्टैटिक पार्टीशनिंग यह गारंटी देती है कि प्रत्येक टेल सैंपल अपने असाइन किए गए विशेषज्ञ को अपडेट करता है। यह कोर जनरेटिव ऑब्जेक्टिव को बदले बिना ऑप्टिमाइज़ेशन-लेवल पैथोलॉजी को कम करने के लिए एक स्थिर, कुशल और गैर-आक्रामक तंत्र प्रदान करता है।