💻 computer science

SAM+D: Parameter-Efficient Dimensional Lifting of SAM-Family Models via Depth-Routed LoRA and Depth Shifting

यह शोध पत्र SAM+D प्रस्तुत करता है, जो एक पैरामीटर-कुशल ढांचा (framework) है जो डेप्थ-रूटेड LoRA और डेप्थ शिफ्ट मॉड्यूल को एकीकृत करके 2D SAM-परिवार के मॉडलों को 3D और 4D वॉल्यूमेट्रिक सेगमेंटेशन कार्यों के लिए अनुकूलित करता है, जिससे पूर्व-प्रशिक्षित भारों (pre-trained weights) को सुरक्षित रखते हुए न्यूनतम परिवर्तनीय पैरामीटर्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।

मूल लेखक: Yu Song, Hao Sun, Shiyu Teng, Ikuko Nishikawa, Yen-wei Chen

प्रकाशित 2026-08-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Song, Hao Sun, Shiyu Teng, Ikuko Nishikawa, Yen-wei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखा रहे हैं। वर्षों से, सबसे अच्छे रोबोट सपाट, दो-आयामी (2D) चित्रों को देखने में विशेषज्ञ रहे हैं, जैसे कि बिल्ली की एक तस्वीर या किसी शहर का नक्शा। वे इसमें अविश्वसनीय रूप से कुशल हैं, जिन्हें आकृतियों और सीमाओं को तुरंत पहचानने के लिए अरबों छवियों पर प्रशिक्षित किया गया है। लेकिन वास्तविक दुनिया सपाट नहीं है; यह गहरी है। इसमें मोटाई, परतें और बीतता हुआ समय होता है। जब डॉक्टर मानव शरीर के 3D स्कैन को देखते हैं या जीवविज्ञानी सूक्ष्मदर्शी के नीचे कोशिकाओं को समय के साथ चलते हुए देखते हैं, तो वे केवल एक सपाट तस्वीर नहीं देख रहे होते; वे छवियों के एक ढेर को, यानी एक वॉल्यूम (volume) को देख रहे होते हैं।

समस्या यह है कि ये सपाट-छवि विशेषज्ञ 3D वस्तु को देखते समय भ्रमित हो जाते हैं। यदि आप एक ऐसे रोबोट से एक 3D ट्यूमर को समझने के लिए कहते हैं जो केवल फोटो पर प्रशिक्षित है, तो वह ट्यूमर के प्रत्येक स्लाइस (slice) को एक-एक करके देखने की कोशिश कर सकता है, जैसे कि यह समझे बिना कि पन्ने आपस में जुड़े हुए हैं कि वे एक किताब के पन्ने हैं। वह इस बात को मिस कर देता है कि वह वस्तु अंतरिक्ष (space) में कैसे मौजूद है। इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर शून्य से पूरी तरह से नए, विशाल रोबतों का निर्माण करते हैं, जिसमें भारी मात्रा में डेटा और कंप्यूटिंग शक्ति लगती है। लेकिन क्या होगा यदि हम अपने मौजूदा सपाट-इमेज विशेषज्ञ को 3D चश्मा और थोड़ा सा प्रशिक्षण दे सकें, बिना उसके पूरे मस्तिष्क को फिर से बनाए? यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है: हम एक ऐसे मॉडल को कैसे लें जो 2D जानता है और उसे 3D (और यहाँ तक कि 4D, जो 3D प्लस समय है) समझने के लिए कैसे सिखाएं, बिना दोबारा शुरुआत किए?

यहाँ आता है SAM+D, एक चतुर नया फ्रेमवर्क जो इन "सपाट" विजन मॉडल्स के लिए एक जादुई एडॉप्टर की तरह काम करता है। लेखक, यू सोंग और उनकी टीम, प्रसिद्ध सेगमेंट एनीथिंग मॉडल (SAM) और उसके वीडियो-कुशल रिश्तेदार, SAM2 को एक आयाम ऊपर उठाने चाहते थे। SAM को एक मास्टर पेंटर के रूप में सोचें जो एक फोटो में बिल्ली की रूपरेखा को पूरी तरह से ट्रेस कर सकता है। SAM+D वह उपकरण है जो उस पेंटर को अचानक एक बिल्ली की 3D मूर्ति बनाने या बिल्ली के दौड़ने की फिल्म बनाने की अनुमति देता है, बिना यह दोबारा सीखे कि ब्रश कैसे पकड़ना है।

SAM+D का असली रहस्य यह है कि यह मॉडल के भारी, पूर्व-प्रशिक्षित मस्तिष्क को नहीं छूता है। इसके बजाय, यह मॉडल की सोचने की प्रक्रिया के हर स्तर में दो छोटे, हल्के "गैजेट्स" डाल देता है। ये गैजेट्स इतने छोटे हैं कि टीम को 3D संस्करण के लिए केवल 2.8% और 4D संस्करण के लिए 3.7% पैरामीटर्स को ही प्रशिक्षित करना पड़ा। यह एक कार के इंजन को बदलने के बजाय उसमें दो छोटे टर्बोचार्जर जोड़ने जैसा है।

पहला गैजेट डेप्थ-रूटेड LoRA (DRLoRA) कहलाता है। कल्पना कीजिए कि आप ब्रेड के एक लोफ (loaf) को देख रहे हैं। ऊपरी स्लाइस की ऊपरी परत (crust) अलग है, बीच का नरम हिस्सा अलग है, और निचली परत अलग है। एक मानक AI हर स्लाइस के साथ एक जैसा व्यवहार करने की कोशिश कर सकता है। DRLoRA एक स्मार्ट गाइड की तरह है जिसे पता है कि आप वास्तव में किस स्लाइस को देख रहे हैं। इसमें विशेषज्ञों की एक छोटी टीम (जिन्हें "LoRA एक्सपर्ट्स" कहा जाता है) और एक राउटर है जो कहता है, "हे, हम क्रस्ट (ऊपरी परत) देख रहे हैं, इसलिए एक्सपर्ट A को इसे संभालना चाहिए," या "हम बीच में हैं, इसलिए एक्सपर्ट B को कार्यभार संभालना चाहिए।" यह मॉडल को गहराई (depth) के आधार पर अपनी समझ को अनुकूलित करने की अनुमति देता है, जिससे वॉल्यूम के विभिन्न हिस्सों की अनूठी विशेषताओं को पकड़ा जा सके।

दूसरा गैजेट डेप्थ शिफ्ट मॉड्यूल (DSM) है। यह और भी शानदार है क्योंकि इसके लिए कंप्यूटर की शक्ति का कोई अतिरिक्त खर्च नहीं होता। कल्पना कीजिए कि लोगों की एक पंक्ति एक नोट पास कर रही है। आमतौर पर, व्यक्ति 1 केवल व्यक्ति 2 से बात करता है, और व्यक्ति 2 केवल व्यक्ति 3 से बात करता है। लेकिन एक 3D वॉल्यूम में, ऊपर वाला स्लाइस और नीचे वाला स्लाइस भी पड़ोसी होते हैं। DSM एक जादुई फुसफुसाहट करने वाले की तरह कार्य करता है जो एक स्लाइस को अपनी सोच शुरू करने से पहले अपने ठीक ऊपर और ठीक नीचे वाले स्लाइस से कुछ विशेषताएं "उधार" लेने की अनुमति देता है। यह सूचना के एक छोटे से हिस्से को स्लाइस के बीच बगल में स्थानांतरित (shift) करता है। यह अतिरिक्त गणितीय गणनाओं के बिना तुरंत होता है, जिससे मॉडल यह समझ पाता है कि वस्तु एक स्लाइस से दूसरे स्लाइस तक सुचारू रूप से जारी रहती है।

टीम ने इस जादु적인 एडॉप्टर का परीक्षण दो बहुत अलग दुनियाओं में किया। पहले, उन्होंने इसका उपयोग मेडिकल CT स्कैन्स (किडनी, अग्न्याशय, लिवर और कोलन के 3D चित्र) पर किया। उन्होंने मॉडल को छवि पर केवल एक बिंदु (एक "पॉइंट प्रॉम्प्ट") दिया ताकि यह कह सके कि "यहाँ से शुरू करें," और SAM+D ने सफलतापूर्वक पूरे 3D अंग की रूपरेखा तैयार की। इसने उन अन्य तरीकों के समान या उनसे बेहतर प्रदर्शन किया जिन्हें बहुत अधिक प्रशिक्षण और डेटा की आवश्यकता थी, और वह भी बहुत कम कंप्यूटिंग शक्ति का उपयोग करते हुए।

दूसरा, वे इसे सेल ट्रैकिंग (4D, जो 3D स्थान प्लस समय है) की सूक्ष्म दुनिया में ले गए। यहाँ, उन्होंने समय के साथ कोशिकाओं के विभाजन और गति को देखा। SAM2 (वीडियो संस्करण) पर इसी एडॉप्टर का उपयोग करके, वे समय और स्थान के माध्यम से कोशिकाओं को ट्रैक कर सके, कोशिका विभाजन और नई कोशिकाओं के प्रकट होने को भी संभाल सके, और यह सब एक ही सिंगल-पॉइंट प्रॉम्प्ट के साथ हुआ। परिणामों ने दिखाया कि मॉडल कोशिकाओं को केवल प्रत्येक फ्रेम को अलग से देखने की तुलना में बहुत बेहतर तरीके से ट्रैक कर सकता है।

यह शोध पत्र स्पष्ट है कि यह क्या नहीं करता है। यह दावा नहीं करता कि यह अभी हर संभव 3D कार्य के लिए एक पूर्ण, सार्वभौमिक समाधान है, और यह नोट करता है कि इसका परीक्षण अभी तक SAM के नवीनतम "टेक्स्ट-प्रॉम्प्टेड" संस्करण (SAM3) पर नहीं किया गया है। हालाँकि, परिणाम ठोस हैं: इन दो हल्के मॉड्यूल का उपयोग करके, टीम ने 2D मॉडलों को 3D और 4D में सफलतापूर्वक उन्नत किया, यह सिद्ध करते हुए कि गहरे, गतिशील संसार को समझने के लिए आपको अपने पुराने, बुद्धिमान मॉडलों को फेंकने की आवश्यकता नहीं है। आपको बस उन्हें सही चश्मा देने की आवश्यकता है।

तकनीकी सारांश: SAM+D

समस्या विवरण
विज़न के लिए मौजूदा फाउंडेशन मॉडल, जैसे कि सेगमेंट एनीथिंग मॉडल (SAM) और इसका वीडियो विस्तार SAM2, मूल रूप से 2D छवियों या 2D+T (वीडियो) अनुक्रमों के लिए डिज़ाइन किए गए हैं। जबकि ये मॉडल 2D डोमेन में मजबूत ज़ीरो-शॉट क्षमताओं का प्रदर्शन करते हैं, इनमें 3D मेडिकल इमेजिंग (जैसे, CT स्कैन) और 4D स्पैटियोटेम्पोरल कार्यों (जैसे, 3D टाइम-लैप्स माइक्रोस्कोपी) के लिए आवश्यक वास्तविक वॉल्यूमेट्रिक समझ की कमी है। इन मॉडलों को वॉल्यूमेट्रिक डेटा के अनुकूल बनाने के वर्तमान दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

स्लाइस-दर-स्लाइस प्रोसेसिंग: 3D वॉल्यूम को स्वतंत्र 2D स्लाइस के रूप में मानना इंटर-स्लाइस संदर्भ (inter-slice context) की अनदेखी करता है, जिससे ओवरलैपिंग संरचनाओं के बीच अंतर करने में विफलता होती है।
भारी रिट्रेनिंग: पूर्ण 3D आर्किटेक्चर या वे विधियाँ जो SAM/SAM2 को 3D घटकों के साथ फिर से बनाती हैं, उन्हें विशाल एनोटेटेड डेटासेट की आवश्यकता होती है और वे मूल्यवान 2D प्री-ट्रेन्ड प्रायर्स (priors) को त्याग देती हैं।
अकुशल अनुकूलन: मौजूदा एडॉप्टर विधियाँ अक्सर पूरे वॉल्यूम पर समान रूपांतरण लागू करती हैं, यह अनदेखा करते हुए कि विभिन्न शारीरिक क्षेत्रों (जैसे, सीमाओं बनाम आंतरिक भाग) को अलग-अलग अनुकूलन की आवश्यकता होती है। इसके अलावा, क्रॉस-स्लाइस निर्भरता को मॉडल करने के लिए आमतौर पर 3D कनवल्शन या अटेंशन मैकेनिज्म की आवश्यकता होती है, जो पर्याप्त पैरामीटर और कंप्यूटेशनल लागत जोड़ते हैं।
एकीकरण का अभाव: अधिकांश विधियाँ एक ही बेस मॉडल (या तो SAM या SAM2) और एक ही डाइमेंशनलिटी को लक्षित करती हैं, जिनमें दोनों को क्रमशः 3D और 4D तक उठाने के लिए एकीकृत आर्किटेक्चर का अभाव है।

कार्यप्रणाली: SAM+D
लेखक SAM+D का प्रस्ताव करते हैं, जो एक पैरामीटर-कुशल फ्रेमवर्क है जो 3D और 4D डेटा को संभालने के लिए फ्रीज़्ड 2D फाउंडेशन मॉडलों को एक स्थानिक आयाम (spatial dimension) ऊपर "लिफ्ट" करता है। मुख्य नवाचार प्री-ट्रेन्ड एनकोडर के प्रत्येक फ्रीज़्ड ट्रांसफॉर्मर ब्लॉक में दो हल्के, मॉडल-अग्नोस्टिक मॉड्यूल डालने में निहित है, जिससे अधिकांश पैरामीटर फ्रीज़्ड रहते हैं।

डेप्थ-रूटेड LoRA (DRLoRA):
- तंत्र: एक एकल LoRA एडॉप्टर को समान रूप से लागू करने के बजाय, DRLoRA प्रत्येक ट्रांसफॉर्मर ब्लॉक के प्रति प्रत्येक ब्लॉक में कई समानांतर LoRA विशेषज्ञों ( $E$ ) को बनाए रखता है।
- रूटिंग: एक हल्का राउटर स्लाइस के नॉर्मलाइज्ड डेप्थ पोजीशन ( $z = d/D_s$ ) को इन विशेषज्ञों के ऊपर एक सॉफ्टमैक्स डिस्ट्रीब्यूशन में मैप करता है।
- कार्य: यह मॉडल को डेप्थ-डिपेंडेंट अनुकूलन सीखने की अनुमति देता है। उदाहरण के लिए, अंग की सीमाओं के पास के फीचर्स को होमोजेनियस इंटीरियर क्षेत्रों की तुलना में अलग लो-रैंक अपडेट प्राप्त हो सकते हैं। राउटर केवल डेप्थ पोजीशन पर आधारित है, जो कंटेंट-आधारित मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) विधियों के लिए आवश्यक सहायक लोड-बैलेंसिंग लॉस की आवश्यकता को समाप्त करता है।
- इंजेक्शन: DRLoRA को सेल्फ-अटेंशन लेयर्स के क्वेरी ( $Q$ ) और वैल्यू ( $V$ ) प्रोजेक्शन पर लागू किया जाता है, जिससे कीज़ ( $K$ ) को फ्रीज़्ड रखा जाता है ताकि प्री-ट्रेन्ड फीचर स्पेस सुरक्षित रहे।
डेप्थ शिफ्ट मॉड्यूल (DSM):
- तंत्र: वीडियो के लिए टेम्पोरल शिफ्ट मॉड्यूल (TSM) से प्रेरित, DSM को स्थानिक डेप्थ अक्ष के साथ फीचर चैनल्स को शिफ्ट करने के लिए पुनर्गठित किया गया है।
- संचालन: सेल्फ-अटेंशन से पहले, स्लाइस $i$ के कुछ अंश ( $\alpha$ ) को स्लाइस $i-1$ से आगे और स्लाइस $i+1$ से पीछे की ओर शिफ्ट किया जाता है। शेष चैनल्स अपरिवर्तित रहते हैं।
- दक्षता: इस ऑपरेशन में शून्य लर्नबल पैरामीटर्स और शून्य मल्टीप्लाई-एक्यूमुलेट (MAC) ऑपरेशन्स शामिल हैं। यह केवल नगण्य मेमोरी ट्रैफिक ओवरहेड (जो एनकोडर ब्लॉक लेटेंसी के ~1.7% के रूप में मापा गया है) उत्पन्न करता है।
- उद्देश्य: यह क्रॉस-स्लाइस फीचर एक्सचेंज को सक्षम बनाता है, जो 3D कनवल्शन या क्रॉस-स्लाइस अटेंशन की लागत के बिना वॉल्यूम-लेवल संदर्भ प्रदान करता है।

कार्यान्वयन सेटिंग्स

3D सेटिंग (SAM $\to$ 3D): DRLoRA और DSM को SAM के फ्रीज़्ड ViT-B एनकोडर में डाला जाता है। मॉडल एक सिंगल फॉरवर्ड पास में स्लाइस के रीसैंपल किए गए वॉल्यूम को प्रोसेस करता है। प्रॉम्प्ट के निकटता के आधार पर भविष्यवाणियों को मॉड्युलेट करने के लिए प्रॉम्प्ट एम्बेडिंग्स में एक लर्नेबल डेप्थ एम्बेडिंग जोड़ी जाती है।
4D सेटिंग (SAM2 $\to$ 3D+T): समान मॉड्यूल को SAM2 के फ्रीज़्ड Hiera एनकोडर में डाला जाता है। टेम्पोरल कंसिस्टेंसी को SAM2 के नेटिव मेमोरी आर्किटेक्चर द्वारा संभाला जाता है, जबकि DRLoRA/DSM स्थानिक डेप्थ को संभालते हैं। वॉल्यूमेट्रिक डेटा के लिए क्रॉस-अटेंशन को अनुकूलित करने के लिए मेमोरी अटेंशन मॉड्यूल में LoRA को अतिरिक्त रूप से इंजेक्ट किया जाता है।

प्रमुख योगदान

एकीकृत फ्रेमवर्क: SAM+D बेस आर्किटेक्चर को फिर से डिज़ाइन किए बिना दोनों (SAM (2D $\to$ 3D) और SAM2 (2D+T $\to$ 3D+T)) को उठाने वाला पहला तरीका है।
नवीन मॉड्यूल: स्पैटियली अडैप्टिव, डेप्थ-कंडीशंड लो-रैंक अपडेट के लिए DRLoRA और ज़ीरो-कॉस्ट क्रॉस-स्लाइस फीचर एक्सचेंज के लिए DSM का परिचय।
पैरामीटर दक्षता: यह विधि SAM के लिए केवल ~2.8% और SAM2 के लिए ~3.7% पैरामीटर्स को ट्यून करती है, जो मौजूदा एडॉप्टर-आधारित या पूर्ण रूप से फाइन-ट्यून किए गए दृष्टिकोणों की तुलना में काफी कम है।
सामान्यीकरण: दृष्टिकोण विभिन्न SAM-फैमिली आर्किटेक्चर, लक्षित डाइमेंशनलिटीज़ (3D, 4D) और डोमेन (मेडिकल CT, बायो-सीन सेल ट्रैकिंग) में सामान्यीकरण प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने सिंगल-पॉइंट प्रॉम्प्ट सेटिंग के तहत पांच बेंचमार्क पर SAM+D का मूल्यांकन किया:

3D मेडिकल सेगमेंटेशन: चार CT ट्यूमर सेगमेंटेशन डेटासेट्स (KiTS, Pancreas, LiTS, Colon) पर मूल्यांकन किया गया। SAM+D ने पूरी तरह से सुपरवाइज्ड 3D विधियों (जैसे, nnU-Net) और मौजूदा SAM-आधारित एडॉप्टर्स (जैसे, 3DSAM-adapter, Med-SA) की तुलना में प्रतिस्पर्धी या बेहतर परिणाम प्राप्त किए, बावजूद इसके कि इसने बहुत कम लर्नेबल पैरामीटर्स का उपयोग किया।
4D स्पैटियोटेम्पोरल सेगमेंटेशन: सेल ट्रैकिंग चैलेंज से Fluo-N3DH-SIM+ डेटासेट पर मूल्यांकन किया गया। SAM+D ने स्लाइस-आधारित SAM2 दृष्टिकोणों और अन्य ट्रैकिंग विधियों को पछाड़ दिया, यह प्रदर्शित करते हुए कि टेम्पोरल प्रोपेगेशन प्रारंभिक डिटेक्टर (Cellpose) से सेगमेंटेशन गुणवत्ता को परिष्कृत कर सकता है।
एब्लेशन स्टडीज: पुष्टि की गई कि दोनों DRLoRA और DSM पूरक लाभ (complementary gains) प्रदान करते हैं। डेप्थ-आधारित रूटिंग ने कंटेंट-आधारित MoE राउटर से बेहतर प्रदर्शन किया, और DSM ने पैरामीटर-रिच 3D अटेंशन या कनवल्शन एडॉप्टर्स की तुलना में बेहतर क्रॉस-स्लाइस संदर्भ प्रदान किया।

महत्व और दावे
पेपर का दावा है कि SAM+D एक व्यावहारिक और सामान्यीकरण योग्य रेसिपी प्रदान करता है जो प्री-ट्रेन्ड 2D फाउंडेशन मॉडलों को उच्च-आयामी कार्यों तक विस्तारित करती है। अतिरिक्त आयाम (डेप्थ) को रूटिंग और शिफ्टिंग के लिए एक विशिष्ट अक्ष के रूप में मानकर, यह विधि 2D प्रायर्स को छोड़े बिना या भारी कंप्यूटेशनल लागत उठाए बिना वॉल्यूमेट्रिक समझ प्राप्त करती है। लेखक नोट करते हैं कि हालांकि वर्तमान कार्य SAM और SAM2 पर केंद्रित है, "डाइमेंशनल लिफ्टिंग" का सिद्धांत (पैरामीटर-कुशल अनुकूलन के माध्यम से) स्वाभाविक रूप से अन्य आयामों (जैसे, समय को अतिरिक्त अक्ष के रूप में मानकर 2D इमेज मॉडल्स को वीडियो तक उठाना) तक विस्तारित हो सकता है। कार्य का दायरा विनम्र है, यह स्वीकार करते हुए कि इसने अभी तक SAM3 (टेक्स्ट-प्रॉम्प्टेड) का मूल्यांकन नहीं किया है और पूर्णतः स्वचालित 4D ट्रैकिंग के लिए अभी भी सेल डिवीजन घटनाओं के लिए बाहरी डिटेक्टर्स की आवश्यकता होती है।

इसी तरह के और पेपर