💻 computer science

Zero-Shot Personalization of Objects via Textual Inversion

यह शोध पत्र एक नवीन, प्रशिक्षण-मुक्त ढांचे का प्रस्ताव करता है जो डिफ्यूजन मॉडल्स में किसी भी वस्तु के तीव्र, ज़ीरो-शॉट वैयक्तिकरण (पर्सनलाइजेशन) को प्राप्त करने के लिए ऑब्जेक्ट-विशिष्ट टेक्स्टुअल इनवर्जन एम्बेडिंग्स की भविष्यवाणी करने हेतु एक सीखे हुए नेटवर्क का उपयोग करता है, जिससे उन मौजूदा विधियों की सीमाओं को दूर किया जा सके जो मुख्य रूप से मानव विषयों पर केंद्रित हैं।

मूल लेखक: Aniket Roy, Maitreya Suin, Rama Chellappa

प्रकाशित 2026-03-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aniket Roy, Maitreya Suin, Rama Chellappa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई आर्ट स्टूडियो (एक Diffusion Model) है जो आपके द्वारा बताए गए किसी भी चित्र को बना सकता है। यदि आप कहते हैं, "एक स्केटबोर्ड पर बिल्ली," तो वह एक सामान्य बिल्ली का चित्र बनाता है। लेकिन क्या होगा अगर आप चाहते हैं कि वह आपके विशेष रूप से आपके बिल्ली, मिस्टर विस्कर्स का चित्र बनाए जो स्केटबोर्ड पर हो?

वर्तमान में, यह जादुई स्टूडियो थोड़ा जिद्दी है। मिस्टर विस्कर्स कौन हैं, यह सिखाने के लिए, आपको आमतौर पर अपने स्टूडियो को अपने बिल्ली की तस्वीरों के साथ घंटों तक "ट्यूशन" देना पड़ता है, यानी हर नए विषय के लिए उसके दिमाग को फिर से प्रशिक्षित (retraining) करना पड़ता है। यह धीमा, महंगा और बहुत अधिक कंप्यूटिंग पावर की मांग करने वाला काम है।

यह पेपर इस स्टूडियो को किसी भी वस्तु (केवल बिल्लियों के लिए नहीं, बल्कि कुर्सियों, कारों या अजीब खिलौनों के लिए भी) के बारे में एक ही पल में सिखाने का एक नया, बिजली की तरह तेज़ तरीका पेश करता है, बिना किसी पुन: प्रशिक्षण (retraining) के।

इसे उन्होंने कैसे किया है, सरल उपमाओं (analogies) के माध्यम से यहाँ समझाया गया है:

1. समस्या: "धीमा ट्यूटर" बनाम "तत्काल अनुवादक"

पुराना तरीका (DreamBooth/Textual Inversion): कल्पना कीजिए कि आप एक शेफ को एक नया गुप्त नुस्खा सिखाना चाहते हैं। आपको शेफ के साथ 15 मिनट तक बैठना होगा, डिश को चखना होगा और उसमें सुधार करना होगा जब तक कि वह एकदम सही न हो जाए। यदि आप उन्हें एक अलग नुस्खा (एक नई वस्तु) सिखाना चाहते हैं, तो आपको उस 15 मिनट के सत्र को फिर से शुरू से करना होगा। यह सटीक है, लेकिन यह वास्तविक समय (real-time) के उपयोग के लिए बहुत धीमा है।
नया लक्ष्य: हम एक ऐसी प्रणाली चाहते हैं जहाँ आप शेफ को एक डिश की फोटो दें, और वे बिना चखे या सुधार किए तुरंत उस डिश का गुप्त नुस्खा जान लें। उन्हें बस फोटो देखने की ज़रूरत है और वे कह सकें, "आह, मैं इस स्वाद को पहचानता हूँ!"

2. समाधान: "यूनिवर्सल आईडी कार्ड"

शोधकर्ताओं ने इस समस्या को हल करने के लिए दो भागों वाली प्रणाली बनाई है:

भाग A: "कॉन्सेप्ट एक्सट्रैक्टर" (आईडी प्रिंटर)

मान लीजिए कि दुनिया की हर वस्तु के पास आर्ट स्टूडियो की भाषा के भीतर छिपा हुआ एक गुप्त "आईडी कार्ड" है। आमतौर पर, अपनी विशिष्ट बिल्ली के लिए इस आईडी कार्ड को खोजने के लिए, आपको एक जटिल खोज (optimization) चलानी पड़ती है जिसमें समय लगता है।

लेखकों ने एक स्मार्ट अनुवादक (एक MLP नेटवर्क) बनाया है।

यह कैसे काम करता है: आप अनुवादक को अपनी बिल्ली की एक फोटो दिखाते हैं। आईडी कार्ड खोजने के बजाय, अनुवादक इसे तुरंत अनुमानित (predict) कर लेता है। यह किसी का चेहरा देखकर तुरंत उसका नाम जान लेने जैसा है, बिना किसी डेटाबेस की जाँच किए।
चाल (The Trick): उन्होंने इस अनुवादक को हजारों अलग-अलग वस्तुओं (कुत्तों, कुर्सियों, कपों) पर प्रशिक्षित किया ताकि यह सीखा जा सके कि एक तस्वीर को टेक्स्ट "आईडी कार्ड" में कैसे बदला जाता है।
परिणाम: जब आप इसे एक नई वस्तु देते हैं (जिसे इसने पहले कभी नहीं देखा है), तो यह एक ही सेकंड के भीतर आईडी कार्ड का सही अनुमान लगा लेता है।

भाग B: "विशेषज्ञ स्टूडियो" (फाइन-ट्यून्ड कलाकार)

एक बार जब अनुवादक आर्ट स्टूडियो को "आईडी कार्ड" (टेक्स्ट टोकन) दे देता है, तो स्टूडियो को यह जानने की आवश्यकता होती है कि इसका उपयोग कैसे किया जाए।

सामान्य रूप से, स्टूडियो इन विशिष्ट आईडी कार्डों को संभालने के बारे में नहीं जानता।
शोधकर्ताओं ने स्टूडियो के "अटेंशन मैकेनिज्म" (वह हिस्सा जो टेक्स्ट को देखता है) में एक बार का अपग्रेड किया। उन्होंने स्टूडियो को सिखाया: "जब आप इस विशिष्ट आईडी कार्ड को देखें, तो सुनिश्चित करें कि ड्राइंग बिल्कुल वैसी ही दिखे जैसी वह वस्तु है।"
यह अपग्रेड प्रशिक्षण के दौरान केवल एक बार किया जाता है, हर बार उपयोग करते समय नहीं।

3. जादुई ट्रिक: ज़ीरो-शॉट पर्सनलाइजेशन (Zero-Shot Personalization)

अब, यहाँ जादू का क्षण आता है:

आप अपनी अद्वितीय वस्तु (जैसे, एक विशिष्ट लाल साइकिल) की फोटो अपलोड करते हैं।
आप प्रॉम्प्ट टाइप करते हैं: "[ID Card] की एक फोटो जो स्केटबोर्ड पर सवार है।"
अनुवादक आपकी फोटो को तुरंत गुप्त आईडी कोड में बदल देता है।
स्टूडियो उस कोड का उपयोग करके आपकी विशिष्ट साइकिल को स्केटबोर्ड पर बनाता है।

महत्वपूर्ण रूप से: यह एक ही फॉरवर्ड पास (forward pass) में होता है। इसमें लगभग 2 सेकंड लगते है।

पुराने तरीके: 15 से 40 मिनट (और वे केवल मनुष्यों या बहुत विशिष्ट चीजों के लिए ही अच्छे से काम करते हैं)।
यह तरीका: 2 सेकंड (और यह किसी भी चीज़ के लिए काम करता है)।

4. यह एक बड़ी बात क्यों है?

यह सार्वभौमिक (Universal) है: पिछले तरीके मनुष्यों के लिए बहुत अच्छे थे (जैसे खुद का वर्चुअल अवतार बनाना) लेकिन विशिष्ट वस्तुओं जैसे कि एक खास टोस्टर या एक अजीब पत्थर के साथ विफल हो जाते थे। यह तरीका किसी भी चीज़ के लिए काम करता है।
यह तत्काल है: आपको सुपरकंप्यूटर की आवश्यकता नहीं है या इंतज़ार करने की ज़रूरत नहीं है। यह वास्तविक समय के ऐप्स के लिए पर्याप्त तेज़ है।
यह उपयोगकर्ता के लिए "ट्रेनिंग-फ्री" है: भारी काम शोधकर्ताओं द्वारा सेटअप के दौरान किया गया था। एक उपयोगकर्ता के रूप में, आप बस एक फोटो अपलोड करते हैं और परिणाम प्राप्त करते हैं।

कमी (Failure Cases)

किसी भी नए जादू के ट्रिक की तरह, यह 100% समय में भी परफेक्ट नहीं है।

कभी-कभी, यदि वस्तु बहुत जटिल है या प्रॉम्प्ट भ्रमित करने वाला है, तो स्टूडियो पहचान को थोड़ा गलत कर सकता है (उदाहरण के लिए, यह सही आकार बना सकता है लेकिन गलत रंग, या वस्तु को पूरी तरह से छोड़ सकता है)।
इसे एक बहुत अच्छे अनुवादक की तरह समझें जो 95% भाषाओं को पूरी तरह से बोलता है लेकिन कभी-कभी बहुत ही दुर्लभ बोलियों में लड़खड़ा जाता है।

सारांश

लेखकों ने एक यूनिवर्सल ट्रांसलेटर बनाया है जो किसी भी वस्तु की फोटो को तुरंत एक "टेक्स्ट सीक्रेट कोड" में बदल सकता है। उन्होंने आर्ट स्टूडियो को इन कोडों को समझने के लिए प्रशिक्षित किया। अब, आप अपनी पसंदीदा मग की फोटो ले सकते हैं, AI को "अपने मग को चंद्रमा पर रखो" कह सकते हैं, और यह 2 सेकंड में होता है, जो बिल्कुल आपके मग जैसा दिखता है, बिना AI को पहले से फिर से प्रशिक्षित किए। यह हर नए छात्र के लिए एक ट्यूटर रखने बनाम एक ऐसे जीनियस के होने के बीच का अंतर है जो तुरंत किसी भी छात्र की जरूरतों को समझ सकता है।

यहाँ अनिकेत रॉय, मैत्रेय सुइन और रामा चेल्लाप्पा के शोध पत्र "Zero-Shot Personalization of Objects via Textual Inversion" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र किसी भी वस्तु के लिए केवल कुछ इनपुट उदाहरणों (few-shot) या एक एकल छवि का उपयोग करके, समय लेने वाले टेस्ट-टाइम ऑप्टिमाइज़ेशन (test-time optimization) की आवश्यकता के बिना, टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स को व्यक्तिगत बनाने (personalize करने) की चुनौती का समाधान करता है।

मौजूदा विधियों की सीमाएँ: वर्तमान अत्याधुनिक दृष्टिकोण जैसे DreamBooth और Custom Diffusion, प्रत्येक नए विषय के लिए पूरे मॉडल या विशिष्ट परतों को फाइन-ट्यून करने पर निर्भर करते हैं। यह प्रक्रिया कम्प्यूटेशनल रूप से महंगी है (प्रत्येक विषय के लिए 10-15 मिनट लेती है), इसके लिए अधिक मेमोरी की आवश्यकता होती है, और यह हाइपरपैरामीटर्स के प्रति संवेदनशील है, जिससे यह वास्तविक समय या संसाधन-सीमित अनुप्रयोगों के लिए अव्यावहारिक हो जाता है।
जीरो-शॉट विधियों की सीमाएँ: हालांकि जीरो-शॉट विधियाँ (जैसे PhotoMaker) मौजूद हैं, वे मुख्य रूप से मानव विषयों के लिए डिज़ाइन की गई हैं और पूर्व-प्रशिक्षित आइडेंटिटी एनकोडर पर निर्भर करती हैं। ये विधियाँ सामान्य वस्तुओं (जैसे कुर्सियाँ, कारें, जानवर) के लिए सामान्यीकरण करने में विफल रहती हैं क्योंकि वस्तुओं के पास एक एकीकृत पहचान डोमेन नहीं होता है और पहचान लेबल के साथ बड़े पैमाने पर, विविध ऑब्जेक्ट डेटासेट की कमी है।
लक्ष्य: लेखक एक सिंगल फॉरवर्ड पास (single forward pass) में किसी भी वस्तु श्रेणी के लिए जीरो-शॉट पर्सनलाइजेशन प्राप्त करने का लक्ष्य रखते हैं, जिससे प्रति-इन्स्टेंस ऑप्टिमाइज़ेशन की आवश्यकता समाप्त हो जाती है और विषय की निष्ठा (subject fidelity) तथा टेक्स्ट अलाइनमेंट बनी रहती है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा एक दो-चरणीय प्रशिक्षण रणनीति (two-stage training strategy) का उपयोग करता है जो टेक्स्टुअल इनवर्जन (जो अनुकूलन के माध्यम से अद्वितीय टोकन सीखता है) और कुशल अनुमान (inference) के बीच के अंतर को पाटता है।

A. मुख्य अवधारणा: सीखी गई टेक्स्टुअल इनवर्जन मैपिंग (Learned Textual Inversion Mapping)

हर नए इमेज के लिए टेस्ट-टाइम पर एक अद्वितीय टेक्स्टुअल टोकन को ऑप्टिमाइज़ करने के बजाय, लेखक इन टोकन को सीधे इनपुट इमेज से अनुमानित (predict) करने के लिए एक नेटवर्क को प्रशिक्षित करते हैं।

ग्राउंड-ट्रुथ जनरेशन: प्रशिक्षण के दौरान, वे विभिन्न ऑब्जेक्ट इमेजेस के लिए "ग्राउंड-ट्रुथ" टेक्स्टुअल इनवर्जन एम्बेडिंग ( $v^*$ ) उत्पन्न करने के लिए मानक टेस्ट-टाइम ऑप्टिमाइज़ेशन (जैसे Textual Inversion) का उपयोग करते हैं।
कॉन्सेप्ट एक्सट्रैक्शन नेटवर्क (MLP): वे एक हल्का 3-लेयर मल्टी-लेयर परसेप्ट्रॉन (MLP) ( $f_\theta$ $f_{θ}$ ) प्रशिक्षित करते हैं जो इनपुट इमेज (और एक टेक्स्ट टेम्पलेट) से उसके संगत टेक्स्टुअल इनवर्जन एम्बेडिंग तक एक सीधा मैपिंग सीखता है।
- इनपुट: MLP, संयोजित (concatenated) CLIP इमेज और टेक्स्ट एम्बेडिंग को लेता है।
- रेसिडुअल लर्निंग (Residual Learning): प्रशिक्षण को स्थिर करने के लिए, MLP एम्बेडिंग को शून्य से प्रेडिक्ट नहीं करता है। इसके बजाय, यह एक निश्चित इनिशियलाइज़ेशन टोकन (जैसे "object" शब्द का एम्बेडिंग) के सापेक्ष डेल्टा (अंतर) को प्रेडिक्ट करता है।
- आउटपुट: एक प्रेडिक्टेड टोकन $v^*_{test}$ जो इनपुट इमेज में वस्तु के लिए एक अद्वितीय पहचानकर्ता के रूप में कार्य करता है।

B. डिफ्यूजन मॉडल फाइन-ट्यूनिंग (Diffusion Model Fine-Tuning)

चूंकि प्रेडिक्टेड टोकन मानक टेक्स्टुअल इनवर्जन द्वारा उपयोग किए जाने वाले ऑप्टिमाइज़्ड टोकन से भिन्न होते हैं, इसलिए डिफ्यूजन मॉडल को इन नई प्रस्तुतियों को समझने के लिए अनुकूलित किया जाना चाहिए।

क्रॉस-अटेंशन फाइन-ट्यूनिंग: लेखक केवल प्री-ट्रेन्ड लेटेंट डिफ्यूजन मॉडल (LDM) के क्रॉस-अटेंशन लेयर्स को फाइन-ट्यून करते हैं।
प्रशिक्षण डेटा: इस चरण में उस प्रशिक्षण डेटासेट का उपयोग किया जाता है जहाँ "टेक्स्ट प्रॉम्प्ट" को फ्रोजन MLP द्वारा उत्पन्न प्रेडिक्टेड टेक्स्टुअल इनवर्जन टोकन्स द्वारा बदल दिया जाता है।
लक्षक: यह डिफ्यूजन मॉडल के अटेंशन मैकेनिज्म को प्रेडिक्टेड टोकन्स के साथ संरेखित (align) करता है, जिससे मॉडल इन प्रेडिक्टेड आइडेंटिफायर्स के आधार पर उच्च-निष्ठा वाली छवियां उत्पन्न करने में सक्षम होता है।

C. अनुमान (Inference - Zero-Shot)

अनुमान के दौरान, प्रक्रिया एक सिंगल फॉरवर पास है:

एक इमेज ( $I_{test}$ ) और एक टेक्स्ट प्रॉम्प्ट ( $p$ ) इनपुट करें।
MLP टेक्स्टुअल इनवर्जन टोकन प्रेडिक्ट करता है: $v^*_{test} = f_\theta(I_{test})$ ।
टोकन $v^*_{test}$ को प्रॉम्प्ट एम्बेडिंग $p$ के साथ संयोजित किया जाता है।
फाइन-ट्यून किया गया डिफ्यूजन मॉडल व्यक्तिगत इमेज जेनरेट करता है: $I_{edit} = \epsilon_\theta(v^*_{test}, p)$ ।

3. प्रमुख योगदान (Key Contributions)

पहला जनरल-पर्पस जीरो-शॉट फ्रेमवर्क: लेखकों के ज्ञान के अनुसार, यह डिफ्यूजन मॉडल्स के भीतर जेनेरिक ऑब्जेक्ट्स (केवल मानव नहीं) के लिए पहला कार्य है जिसने ट्रेनिंग-फ्री, सिंगल-पास पर्सनलाइजेशन हासिल किया है।
दोहरी-चरण प्रशिक्षण रणनीति: एक नवीन दृष्टिकोण जो (1) इमेजेस से टेक्स्टुअल इनवर्जन टोकन्स तक मैपिंग सीखने और (2) डिफ्यूजन मॉडल के क्रॉस-अटेंशन को इन प्रेडिक्टेड टोकन्स को स्वीकार करने के लिए फाइन-ट्यून करने को जोड़ता है।
दक्षता (Efficiency): यह विधि टेस्ट-टाइम ऑप्टिमाइज़ेशन की आवश्यकता को समाप्त करती है, जिससे अनुमान का समय घंटों/मिनटों से घटकर सेकंडों में आ जाता है।
स्केलेबिलिटी: टेक्स्टुअल इनवर्जन टोकन्स को यूनिवर्सल आइडेंटिफायर्स के रूप में मानकर, यह विधि विशिष्ट ऑब्जेक्ट डेटासेट्स की आवश्यकता के बिना ऑब्जेक्ट्स की एक विस्तृत श्रृंखला का समर्थन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Custom101 और DreamBooth डेटासेट्स पर किया गया, जिसमें DreamBooth, Custom Diffusion, Textual Inversion, Re-Imagen और ELITE जैसे SOTA तरीकों के साथ तुलना की गई।

मात्रात्मक मेट्रिक्स (Quantitative Metrics):
- सब्जेक्ट फिडेलिटी (Subject Fidelity): DINO और CLIP-I द्वारा मापा गया। प्रस्तावित विधि DreamBooth (DINO 0.670) जैसे फाइन-ट्यूनिंग तरीकों के मुकाबले प्रतिस्पर्धी स्कोर प्राप्त करती है, जो अन्य जीरो-शॉट बेसलाइन्स (जैसे Re-Imagen 0.600) से काफी बेहतर है।
- टेक्स्ट अलाइनमेंट (Text Alignment): CLIP-T द्वारा मापा गया। विधि टेक्स्ट प्रॉम्प्ट के साथ मजबूत अलाइनमेंट बनाए रखती है।
- गति (Speed): यह विधि Textual Inversion की तुलना में ~1200x तेज़ है और DreamBooth की तुलना में काफी तेज़ है। Textual Inversion के 2400 सेकंड की तुलना में अनुमान में लगभग 2 सेकंड लगते हैं।
मानवीय मूल्यांकन (Human Evaluation):
- 1,500 परीक्षणों के साथ Amazon Mechanical Turk पर आयोजित किया गया।
- प्रस्तावित विधि अन्य जीरो-शॉट बेसलाइन्स की तुलना में 60% मामलों में पसंद की गई, जो बेहतर विजुअल क्वालिटी और आइडेंटिटी प्रिजर्वेशन प्रदर्शित करती है।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि हुई कि रेसिडुअल लर्निंग (डेल्टा प्रेडिक्ट करना) और केवल क्रॉस-अटेंशन लेयर्स को फाइन-ट्यून करना स्थिरता और प्रदर्शन के लिए महत्वपूर्ण है।

5. महत्व और प्रभाव (Significance and Impact)

पर्सनलाइजेशन का लोकतंत्रीकरण: फाइन-ट्यूनिंग की कम्प्यूटेशनल बाधा को हटाकर, यह विधि उच्च-गुणवत्ता वाले, व्यक्तिगत इमेज जनरेशन को मानक हार्डवेयर पर वास्तविक समय के अनुप्रयोगों (जैसे AR/VR, ई-कॉमर्स वर्चुअल ट्राई-ऑन) के लिए सुलभ बनाती है।
सामान्यीकरण (Generalization): यह "जेनेरिक ऑब्जेक्ट" की समस्या को हल करता है, पर्सनलाइजेशन को मनुष्यों से आगे बढ़ाकर किसी भी ऑब्जेक्ट श्रेणी तक विस्तारित करता है, जो पहले एक प्रमुख सीमा थी।
भविष्य का अनुसंधान: यह कार्य ट्रेनिंग-फ्री कस्टमाइजेशन के लिए एक नया प्रतिमान स्थापित करता है, जो यह सुझाव देता है कि सीखा गया मैपिंग एम्बेडिंग स्पेस को महंगे ऑप्टिमाइज़ेशन लूप्स की जगह दे सकता है, जो अधिक वर्सटाइल और समावेशी इमेज जनरेशन टूल्स का मार्ग प्रशस्त करता है।

संक्षेप में, यह शोध पत्र डिफ्यूजन मॉडल पर्सनलाइजेशन में दक्षता और सामान्यीकरण के लिए एक बड़ी सफलता प्रस्तुत करता है, जो पुनरावृत्त (iterative) ऑप्टिमाइज़ेशन को एक सीखे गए, सिंगल-पास प्रेडिक्शन नेटवर्क से सफलतापूर्वक बदल देता है, जबकि उच्च विजुअल फिडेलिटी बनाए रखता है।