Ancient Painting Garment Inpainting via Garment Structure Guidance and Garment Region-Reweighted Flow Matching
यह शोध पत्र प्राचीन चित्रों में वस्त्रों के संरचनात्मक और बनावट संबंधी क्षरण को संबोधित करने के लिए फैशन लोरा (Fashion LoRA) मार्गदर्शन और गारमेंट रीजन-रीवेटेड फ्लो मैचिंग (Garment Region-Reweighted Flow Matching) को संयोजित करने वाले एक दो-चरणीय ढांचे का प्रस्ताव करता है, जो बहाली की गुणवत्ता में महत्वपूर्ण सुधार करता है और सांस्कृतिक विरासत संरक्षण के लिए ऑडिट करने योग्य, संरचना-बद्ध डिजिटल विकल्प प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास एकमात्र सुराग सौ साल पुराना एक फटा हुआ, धुंधला सा चित्र है। यह उन कला विशेषज्ञों (आर्ट रिस्टोरर्स) की दैनिक वास्तविकता है जो प्राचीन पेंटिंग्स पर काम करते हैं। सदियों से, वे कागज या रेशम जिस पर ये उत्कृष्ट कृतियाँ बनाई गई हैं, वे भंगुर हो जाते हैं, स्याही फीकी पड़ जाती है, और वे नाजुक रेखाएं जो किसी व्यक्ति के कपड़ों—जैसे कि एक चोगे की तह या आस्तीन के घुमाव—को परिभाषित करती हैं, पूरी तरह से गायब हो सकती हैं। लक्ष्य केवल छेदों के ऊपर पेंट करना नहीं है; बल्कि यह पता लगाना है कि वे लुप्त रेखाएं वास्तव में कैसी दिखनी चाहिए थीं, बिना कोई नकली इतिहास गढ़े।
इसे करने के लिए, वैज्ञानिक "AI इनपेंटिंग" (AI inpainting) नामक कुछ उपयोग करते हैं। इसे छवियों के लिए एक सुपर-स्मार्ट 'ऑटो-कम्प्लीट' फीचर की तरह समझें। आप कंप्यूटर को एक तस्वीर दिखाते हैं जिसमें एक बड़ा काला धब्बा किसी हिस्से को ढक रहा है, और कंप्यूटर लाखों अन्य तस्वीरों के आधार पर अनुमान लगाता है कि उसके नीचे क्या है। लेकिन यहाँ एक पेंच है: मानक AI एक टूटी हुई पेड़ की शाखा या आकाश के एक हिस्से को भरने में तो माहिर है, लेकिन यह कपड़े के ड्रेपिंग (लटकने) और सिलवटों के विशिष्ट, जटिल नियमों को समझने में अक्सर भ्रमित हो जाता है। यह एक ऐसी शर्ट बना सकता है जो यथार्थवादी तो दिखती है लेकिन उस कालखंड के हिसाब से गलत आकार की होती है, या यह एक कॉलर की तीखी रेखाओं को एक धुंधले ढेर में बदल सकता है। यह शोध पत्र ठीक इसी समस्या को संबोधित करता है: AI को एक बेहतर "ऐतिहासिक फैशन जासूस" बनने के लिए कैसे सिखाया जाए जो प्राचीन कपड़ों की विशिष्ट संरचना का सम्मान करे।
शोधकर्ताओं ने, जो शीआन पॉलिटेक्निक यूनिवर्सिटी की एक टीम है, इन क्षतिग्रस्त प्राचीन परिधानों को ठीक करने के लिए एक चतुर दो-चरणीय रणनीति प्रस्तावित की है। उन्होंने महसूस किया कि पूरे चित्र को एक साथ ठीक करने की कोशिश करना बहुत अव्यवस्थित होगा, इसलिए उन्होंने इस समस्या को "आकार सीखना" और फिर "रंग भरना" में विभाजित कर दिया।
सबसे पहले, उन्होंने AI को आधुनिक कपड़ों का उपयोग करके फैशन संरचना का पाठ पढ़ाया। चूंकि प्राचीन पेंटिंग्स दुर्लभ हैं और अक्सर प्रशिक्षण के लिए बहुत अधिक क्षतिग्रस्त होती हैं, इसलिए उन्होंने आधुनिक ड्रेसेस और रोब्स (robes) की उच्च गुणवत्ता वाली तस्वीरों का उपयोग किया। उन्होंने इन तस्वीरों को केवल उनके बाहरी आकार (आउटलाइन) और सिलवटों की रेखाओं तक सीमित कर दिया—जैसे कि परिधान का एक कंकाल—और AI को एक विशेष "फैशन लोरा" (Fashion LoRA - AI मॉडल के लिए एक हल्का एड-ऑन) सिखाया कि कपड़ा कैसे व्यवहार करता है। यह AI को एक परिधान के बारेंे में यह सिखाने जैसा है कि आस्तीन कैसे लटकती है या स्कर्ट कैसे लहराती है, ताकि वह नया वाक्य लिखने से पहले कपड़ों की "व्याकरण" को समझ सके। यह चरण सुनिश्चित करता है कि AI समझता है कि एक सिलवट केवल एक यादृच्छिक वक्र (curve) नहीं है; यह भौतिकी और शैली के नियमों का पालन करती है।
अगले चरण में, उन्होंने सबसे कठिन हिस्से को संभाला: वास्तविक मरम्मत। जब एक AI आस्तीन की एक लंबी रेखा में एक छोटी, पतली दरार को भरने की कोशिश करता है, तो वह अक्सर उसे अनदेखा कर देता है क्योंकि शेष छवि की तुलना में वह दरार बहुत छोटी होती है। AI सोचता है, "ओह, यह छोटी सी रेखा ज्यादा मायने नहीं रखती," और बड़े, आसान हिस्सों पर ध्यान केंद्रित करता है। इसे ठीक करने के लिए, लेखकों ने एक नई विधि विकसित की जिसे "गारमेंट रीजन-रीवेटेड फ्लो मैचिंग" (Garment Region-Reweighted Flow Matching - GR-FM) कहा जाता है। कल्पना कीजिए कि आप एक परीक्षा की ग्रेडिंग कर रहे हैं। यदि एक छात्र एक बहुत ही महत्वपूर्ण गणित के सवाल को गलत करता है, लेकिन बाकी सब सही करता है, तो एक मानक शिक्षक शायद समग्र रूप से उसे उच्च अंक दे देगा। लेकिन यह नई विधि एक सख्त शिक्षक की तरह है जो कहता है, "रुको! वह एक छोटा सा सवाल सबसे महत्वपूर्ण हिस्सा है!" यह AI को क्षतिग्रस्त, गायब पिक्सेल पर अतिरिक्त ध्यान देने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वे पतली, नाजुक रेखाओं का पुनर्निर्माण उच्च सटीकता के साथ किया जाए।
टीम ने पांच अलग-अलग चीनी राजवंशों (तांग, सोंग, युआन, मिंग और किंग) के प्राचीन चित्रों के डेटासेट पर अपने तरीके का परीक्षण किया। उन्होंने अपने दो-चरणीय सिस्टम की तुलना LaMa और SDXL जैसे अन्य लोकप्रिय AI टूल्स के साथ की। परिणाम उत्साहजनक थे: उनके तरीके ने तीखे किनारे और बेहतर संरचनात्मक निरंतरता प्रदान की, विशेष रूप से कपड़े की उन कठिन-से-ठीक होने वाली संकीर्ण दरारों के लिए। वास्तव में, जब उन्होंने बहाल की गई छवियों की गुणवत्ता को मापा, तो उनके तरीके ने पिक्सेल सटीकता और संरचनात्मक समानता पर अन्य टूल्स की तुलना में उच्च स्कोर किया।
हालाँकि, लेखक इस बात का दावा करने में सावधान हैं कि उन्होंने इतिहास को "सुलझा लिया" है। वे इस बात पर जोर देते हैं कि उनका AI पेंटिंग के वास्तविक मूल रूप को नहीं जानता है; यह केवल एक "पुनर्स्थापित उम्मीदवार" (restoration candidate) प्रदान करता है। यह उस स्केच की तरह है कि क्या वहां हो सकता था, जो उपलब्ध सुरागों के आधार पर बनाया गया है। सिस्टम को "ऑडिटेबल" (auditable) बनाने के लिए डिज़ाइन किया गया है, जिसका अर्थ है कि यह केवल उन्हीं हिस्सों को बदलता है जो क्षतिग्रस्त के रूप में चिह्नित हैं, बाकी प्राचीन पेंटिंग को अछूता छोड़ देता है। यह संग्रहालयों और इतिहासकारों के लिए अत्यंत महत्वपूर्ण है, जिन्हें यह जानने की आवश्यकता होती है कि क्या मूल है और क्या कंप्यूटर का सबसे अच्छा अनुमान है।
अंत में, यह शोध पत्र सुझाव देता है कि "फैशन सेंस" प्रशिक्षण चरण को "अत्यधिक-केंद्रित ध्यान" मरम्मत चरण के साथ जोड़कर, हम डिजिटल उपकरण बना सकते हैं जो हमें प्राचीन कला को अधिक स्पष्ट रूप से देखने में मदद कर सकें। यह मानव विशेषज्ञों की जगह नहीं लेता है; इसके बजाय, यह उन्हें एक शक्तिशाली, पता लगाने योग्य सहायक देता है जो उन्हें इतिहास की टूटी हुई रेखाओं को, एक बार में एक मोड़ (fold) के साथ, फिर से जोड़ने का सुझाव दे सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।