💻 computer science

AC3S: Adaptive Conditioning for 3D-Aware Synthetic Data Generation

यह शोध पत्र AC3S प्रस्तुत करता है, जो एक डिफ्यूजन-आधारित फ्रेमवर्क है जो ओवर-कंडीशनिंग आर्टिफ़ेक्ट्स को रोकने के लिए एक सेल्फ-सुपरवाइज्ड विजुअल प्रॉम्प्ट मॉड्यूलेटर और 3D-अवेयर प्रॉम्प्ट कंपोजिशन के लिए एक मल्टी-एजेंट विजन लैंग्वेज मॉडल को संयोजित करता है, जिससे सटीक 3D संरचनात्मक संरेखण के साथ उच्च-गुणवत्ता वाले, फोटो-रियलिस्टिक सिंथेटिक डेटासेट के स्केलेबल उत्पादन को सक्षम बनाया जा सके।

मूल लेखक: Eric Ji, Qiran Hu, Wufei Ma, Sarthak Jain, Yingying Li, Minh N. Do, Yaoyao Liu

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Ji, Qiran Hu, Wufei Ma, Sarthak Jain, Yingying Li, Minh N. Do, Yaoyao Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को किसी विशिष्ट वस्तु, जैसे कि एक कुर्सी, की एक विशिष्ट कोण से एकदम सटीक तस्वीर बनाने के लिए सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट आकार और स्थिति को बिल्कुल सही तरीके से प्राप्त करे (3D संरचना), लेकिन आप यह भी चाहते हैं कि अंतिम पेंटिंग एक वास्तविक फोटोग्राफ की तरह दिखे, न कि एक धुंधली या बेजान ड्राइंग की तरह।

यह शोध पत्र, AC3S, इन "परफेक्ट" सिंथेटिक छवियों को उत्पन्न करने में मदद करने का एक नया तरीका पेश करता है। यह उस समस्या को हल करता है जहाँ पिछले तरीके या तो बहुत सख्त थे, जिससे चित्र नकली लगते थे, या बहुत ढीले थे, जिससे वस्तुएं गलत जगह पर तैरती हुई लगती थीं।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं के माध्यम से:

1. समस्या: "अति-नियंत्रित" निर्देशक (The "Over-Controlling" Director)

कल्पना कीजिए कि एक फिल्म निर्देशक अभिनेताओं की स्थिति को बिल्कुल सही पाने के लिए इतना जुनूनी है कि वह उन्हें पुतलों की तरह खड़े होने के लिए मजबूर करता है। दृश्य ज्यामितीय रूप से तो सटीक है, लेकिन अभिनेता कठोर दिखते हैं, पृष्ठभूमि धुंधली है, और पूरी चीज़ नकली लगती है।

AI इमेज जनरेशन की दुनिया में, ऐसा तब होता है जब आप ControlNet (एक टूल जो AI को एक स्केच या एज मैप का पालन करने के लिए मजबूर करता है) का उपयोग करते हैं। AI "स्केच" (3D आकार) का इतनी सख्ती से पालन करता है कि वह वास्तविक बनावट, रोशनी और पृष्ठभूमि को चित्रित करना भूल जाता है। परिणाम एक ऐसी छवि होती है जिसमें सही आकार तो होता है लेकिन वह एक निम्न-गुणवत्ता वाले कार्टून जैसी दिखती है।

2. समाधान: "एडेप्टिव डिमर स्विच" (The "Adaptive Dimmer Switch")

लेखकों ने एक विजुअल प्रॉम्प्ट मॉड्यूलेटर (Visual Prompt Modulator) बनाया है, जो उस नियंत्रित निर्देशक के लिए एक स्मार्ट डिमर स्विच की तरह काम करता है।

यह कैसे काम करता है: AI को हर समय स्केच का 100% पालन करने के लिए मजबूर करने के बजाय, यह "मॉड्यूलेटर" चित्र को बनते समय देखता है। यह पूछता है, "क्या AI आकार बनाए रखने में संघर्ष कर रहा है? या क्या यह बहुत कठोर हो रहा है?"
जादू: यह स्वचालित रूप से "कंट्रोल" को ऊपर या नीचे करता है। यदि AI अपने आप अच्छा काम कर रहा है, तो मॉड्यूलेटर कंट्रोल को कम कर देता है, जिससे AI वास्तविक विवरण (जैसे फर की बनावट या धूप) जोड़ने की अनुमति देता है। यदि AI आकार से भटकने लगता है, तो यह उसे वापस लाने के लिए कंट्रोल को बस इतना ही बढ़ाता है जितना आवश्यक हो।
परिणाम: AI को दोनों का सर्वश्रेष्ठ मिलता है: वस्तु बिल्कुल सही मुद्रा (pose) में होती है, लेकिन छवि एक उच्च-गुणवत्ता वाली फोटोग्राफ की तरह दिखती है।

3. "स्मार्ट सहायकों" की टीम (Multi-Agent VLM)

एक अच्छी छवि उत्पन्न करने के लिए एक अच्छे विवरण (टेक्स्ट प्रॉम्प्ट) की आवश्यकता होती है। यदि आप AI को "एक कुर्सी" कहते हैं, तो वह एक अजीब कमरे में कुर्सी बना सकता है। यदि आप उसे "एक धूप वाले लिविंग रूम में लकड़ी की कुर्सी" कहते हैं, तो यह बेहतर है।

पिछले तरीके अक्सर सामान्य विवरणों का उपयोग करते थे या ऐसे विवरणों का उपयोग करते थे जो 3D आकार से मेल नहीं खाते थे (उदाहरण के लिए, 3D आकार बगल से कुर्सी दिखाता है, लेकिन टेक्स्ट कहता है "कुर्सी के कुशन का क्लोज-अप")।

लेखकों ने एक मल्टी-एजेंट सिस्टम बनाया है, जो विशेषज्ञों की एक टीम की तरह है जो एकदम सही विवरण लिखने के लिए मिलकर काम करती है:

एजेंट 1 (द स्पॉटर): 3D मॉडल और एक वास्तविक फोटो को देखता है ताकि यह पहचान सके कि वस्तु वास्तव में क्या है।
एजेंट 2 (द स्टाइलिस्ट): "शैली" (genre) तय करता है (जैसे, क्या यह एक वाइल्डलाइफ फोटो है? या एक स्टूडियो शॉट?)।
एजेंट 3 (द जियोमीटर): सटीक कोण और मुद्रा का पता लगाने के लिए 3D मॉडल को देखता है।
एजेंट 4 (द डेकोरेटर): वास्तविक रंगों और पृष्ठभूमि के विवरणों को चुनने के लिए वास्तविक फोटो को देखता है।
लेखक (The Writers): दो अन्य एजेंट इस सभी जानकारी को लेते हैं और एक "पॉजिटिव प्रॉम्प्ट" (क्या शामिल करना है) और एक "नेगेटिव प्रॉम्प्ट" (किन चीजों से बचना है) लिखते हैं।

यह सुनिश्चित करता है कि टेक्स्ट विवरण उस 3D आकार से पूरी तरह मेल खाता हो जिसे AI बनाने की कोशिश कर रहा है, जिससे AI भ्रमित होने या अजीब विवरणों की कल्पना (hallucinate) करने से बच जाता है।

4. "सेल्फ-टीचर" (मानव की आवश्यकता नहीं)

सबसे दिलचस्प हिस्सा यह है कि उन्होंने "डिमर स्विच" (मॉड्यूलेटर) को काम करना कैसे सिखाया। आमतौर पर, आपको हजारों छवियों को देखने और यह कहने के लिए मनुष्यों की आवश्यकता होती है कि, "यह बहुत कठोर है, कंट्रोल कम करो।"

इसके बजाय, लेखकों ने एक सेल्फ-सुपरवाइज्ड ट्रिक का उपयोग किया:

उन्होंने विभिन्न स्तरों के नियंत्रण (0% से 100% तक) का उपयोग करके कई छवियां उत्पन्न कीं।
उन्होंने एक कंप्यूटर एल्गोरिदम का उपयोग करके इन छवियों को दो समूहों में विभाजित किया: "वे छवियां जो 3D आकार जैसी दिखती हैं" और "वे जो नहीं दिखतीं।"
उन्होंने उस "टिपिंग पॉइंट" (निर्णायक बिंदु) को खोजा जहाँ छवि अचानक आकार जैसी दिखने लगती है।
उन्होंने इस टिपिंग पॉइंट का उपयोग मॉड्यूलेटर को यह सिखाने के लिए एक "गोल्ड स्टैंडर्ड" के रूप में किया कि बिना किसी मानवीय हस्तक्षेप के स्वचालित रूप से कंट्रोल को कैसे समायोजित किया जाए।

5. परिणाम: दस लाख परफेक्ट फोटोज

डिमर स्विच (कठोरता को ठीक करने के लिए) और सहायकों की टीम (विवरणों को ठीक करने के लिए) को मिलाकर, लेखकों ने एक पाइपलाइन बनाई जिसने दस लाख उच्च-गुणवत्ता वाली सिंथेटिक छवियां उत्पन्न कीं।

उन्होंने अन्य AI मॉडलों को इन छवियों पर प्रशिक्षित करके इसका परीक्षण किया ताकि वे वस्तुओं को पहचान सकें और उनकी 3D मुद्रा का अनुमान लगा सकें। परिणामों ने दिखाया कि:

छवियां बहुत अधिक वास्तविक दिखती थीं (बेहतर गुणवत्ता स्कोर)।
इन छवियों पर प्रशिक्षित AI मॉडल वास्तविक दुनिया के कार्यों (जैसे कुर्सी या कार की पहचान करना) में पुराने तरीकों से बनी छवियों की तुलना में बेहतर प्रदर्शन करते हैं।

संक्षेप में: AC3S एक ऐसा सिस्टम है जो AI को ऐसे 3D ऑब्जेक्ट्स बनाना सिखाता है जो वास्तविक दिखते हैं, ऐसा करने के लिए कि AI को ब्लूप्रिंट का कितनी सख्ती से पालन करना है इसे नियंत्रित करने के लिए एक "स्मार्ट डिमर" और उसे सटीक निर्देश देने के लिए "लेखकों की एक टीम" दी जाती है।

तकनीकी सारांश: AC3S – 3D-सचेत सिंथेटिक डेटा जनरेशन के लिए एडेप्टिव कंडिशनिंग

समस्या विवरण

सिंथेटिक डेटा जनरेशन कंप्यूटर विज़न डेटासेट को स्केल करने के लिए एक महत्वपूर्ण उपकरण बन गया है, जिसमें डिफ्यूजन मॉडल अभूतपूर्व फोटोरियलिज्म (photorealism) प्रदान करते हैं। हालाँकि, एक महत्वपूर्ण बाधा बनी हुई है: इमेज रियलिज्म से समझौता किए बिना सटीक 3D संरचनात्मक और पोज़ निरंतरता (pose consistency) को लागू करना। मौजूदा दृष्टिकोण, जैसे कि 3D-DST, विजुअल प्रॉम्प्ट्स (जैसे कि CAD रेंडर्स से प्राप्त एज मैप्स) का उपयोग करके कंट्रोलनेट (ControlNet) का उपयोग करते हैं। हालांकि यह ज्यामितीय संरेखण (geometric alignment) के लिए प्रभावी है, लेकिन इन विधियों में अक्सर ओवर-कंडीशनिंग (over-conditioning) की समस्या होती है। यह धुंधले बैकग्राउंड, सरल ऑब्जेक्ट टेक्सचर और असंगत दृश्यों के रूप में प्रकट होता है, क्योंकि मजबूत विजुअल कंडिशनिंग प्री-ट्रेंड डिफ्यूजन मॉडल की जेनेरेटिव अभिव्यक्ति को दबा देती है। इसके अलावा, इन ज्यामितीय बाधाओं के साथ संरेखित होने वाले अर्थपूर्ण टेक्स्ट प्रॉम्प्ट्स बनाना चुनौतीपूर्ण बना हुआ है; टेम्पलेट-आधारित प्रॉम्प्ट्स में विवरण की कमी होती है, जबकि वास्तविक छवियों से प्राप्त कैप्शन सिंथेटिक विजुअल प्रॉम्प्ट्स के साथ संघर्ष करते हैं।

कार्यप्रणाली (Methodology)

लेखक AC3S का प्रस्ताव करते हैं, जो एक डिफ्यूजन-आधारित फ्रेमवर्क है जिसे दो प्राथमिक एडेप्टिव घटकों के माध्यम से 3D संरचनात्मक संरेखण और फोटोरियलिज्म के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है: एक विजुअल प्रॉम्प्ट मॉड्यूलेटर (Visual Prompt Modulator) और एक मल्टी-एजेंट विजन लैंग्वेज मॉडल (VLM) प्रॉम्प्ट जनरेटर।

1. विजुअल प्रॉम्प्ट एक्सट्रैक्शन

3D-DST के अनुसरण में, पाइपलाइन रैंडम कैमरा पैरामीटर्स का उपयोग करके 3D CAD मॉडल्स (ShapeNet, Objaverse, और OmniObject3D से प्राप्त) को रेंडर करती है ताकि $I_{render}$ उत्पन्न किया जा सके। एक Canny एज डिटेक्टर एक स्पार्स एज मैप ( $I_{prompt}$ ) निकालता है ताकि कंट्रोलनेट के लिए विजुअल इनपुट के रूप में उपयोग किया जा सके।

2. एडेप्टिव विजुअल प्रॉम्प्ट मॉड्यूलेटर

ओवर-कंडीशनिंग को संबोधित करने के लिए, लेखक एक सेल्फ-सुपरवाइज्ड मॉड्यूलेटर पेश करते हैं जो कंट्रोलनेट कंडिशनिंग की शक्ति को गतिशील रूप से समायोजित करता है।

तंत्र (Mechanism): कंट्रोलनेट फीचर्स ( $\mathcal{F}(I_{prompt}; \theta)$ ) को सीधे डिफ्यूजन मॉडल के U-Net में इंजेक्ट करने के बजाय, सिस्टम एक कंडिशनिंग स्केल $\lambda$ का अनुमान लगाता है। अंतिम फीचर इंजेक्शन $\hat{f} = f + \lambda \cdot \mathcal{F}(I_{prompt}; \theta)$ के रूप में कंप्यूट किया जाता है।
प्रशिक्षण रणनीति (Training Strategy): मॉड्यूलेटर एक हल्का तीन-परत वाला MLP है जिसे सेल्फ-सुपरविजन के माध्यम से प्रशिक्षित किया जाता है। लेखक देखते हैं कि $\lambda$ के एक निश्चित थ्रेशोल्ड से नीचे के मान 3D संरचना को लागू करने में विफल रहते हैं, जबकि थ्रेशोल्ड से ऊपर के मान संरचना लागू करते हैं लेकिन इमेज क्वालिटी को खराब कर देते हैं। वे "इष्टतम" $\lambda$ को उस सबसे छोटे मान के रूप में परिभाषित करते हैं जो संरचनात्मक संरेखण प्राप्त करता है (जो "जस्ट नोटिसेबल डिफरेंस" या JND के समान है)।
स्यूडो-लेबलिंग (Pseudo-Labeling): बिना मानव एनोटेशन के मॉड्यूलेटर को प्रशिक्षित करने के लिए, सिस्टम $\lambda$ के स्वीप (0.3 से 1.0) के माध्यम से इमेज का एक क्रम उत्पन्न करता है। इन इमेजेस को पिक्सेल-लेवल फीचर्स के आधार पर k-means (k=2) का उपयोग करके क्लस्टर किया जाता है ताकि "मिसअलाइन्ड" (misaligned) और "अलाइन्ड" (aligned) डिस्ट्रीब्यूशन के बीच अंतर किया जा सके। प्रशिक्षण के लिए "अलाइन्ड" क्लस्टर के भीतर सबसे छोटा $\lambda$ स्यूडो-लेबल के रूप में कार्य करता है।

3. मल्टी-एजेंट VLM टेक्स्ट प्रॉम्प्ट जनरेटर

टेक्स्ट और विजुअल प्रॉम्प्ट्स के बीच सिमेंटिक कंसिस्टेंसी सुनिश्चित करने के लिए, लेखक Qwen3-VL-23B-Instruct का उपयोग करके एक मल्टी-एजेंट फ्रेमवर्क का उपयोग करते हैं। सात विशिष्ट एजेंट प्रॉम्प्ट बनाने के लिए सहयोग करते हैं:

सब्जेक्ट आइडेंटिफायर (Subject Identifier): रेंडर के साथ रियल ImageNet रेफरेंस को क्रॉस-रेफरेंस करके सब्जेक्ट लेबल निर्धारित करता है।
जॉनर सेलेक्टर (Genre Selector): फोटोग्राफी जॉनर (जैसे वाइल्डलाइफ, मैक्रो) असाइन करता है।
पोज़ एक्सट्रैक्टर (Pose Extractor): पर्सपेक्टिव अलाइनमेंट सुनिश्चित करने के लिए रेंडर से कैमरा और सब्जेक्ट पोज़ का अनुमान लगाता है।
सीन कंपोजर (Scene Composer): रेफरेंस इमेज से विजुअल एट्रिब्यूट्स (रंग, टेक्सचर, बैकग्राउंड) निकालता है।
प्रॉम्प्ट सिंथेसाइज़र्स (Prompt Synthesizers): एजेंट 5, 6, और 7 पॉजिटिव प्रॉम्प्ट को असेंबल करते हैं, नेगेटिव प्रॉम्प्ट में शामिल होने वाले संरक्षित शब्दों (protected terms) की पहचान करते हैं, और क्रमशः नेगेटिव प्रॉम्प्ट का निर्माण करते हैं।
यह वर्कफ़्लो सुनिश्चित करता है कि टेक्स्टुअल गाइडेंस विजुअल प्रॉम्प्ट द्वारा लगाए गए ज्यामितीय प्रतिबंधों के साथ संघर्ष करने के बजाय उनका समर्थन करे।

4. डेटासेट फ़िल्टरिंग

उच्च गुणवत्ता वाले डेटा को सुनिश्चित करने के लिए, पाइपलाइन DreamSim, जो एक पर्सेप्चुअल सिमिलैरिटी मेट्रिक है, का उपयोग करके सैंपल्स को फ़िल्टर करती है। सिंथेटिक इमेजेस की तुलना उनके संबंधित रेंडर्स (कलर इनवेरिएंस सुनिश्चित करने के लिए ग्रेस्केल में परिवर्तित) से की जाती है ताकि पोज़ और सिमेंटिक अलाइनमेंट के आधार पर सर्वश्रेष्ठ सैंपल्स को रैंक और सेलेक्ट किया जा सके।

मुख्य योगदान

विजुअल प्रॉम्प्ट मॉड्यूलेटर: एक सेल्फ-सुपरवाइज्ड रणनीति जो कंट्रोलनेट आउटपुट को गतिशील रूप से कम करती है, जिससे ओवर-कंडीशनिंग को रोका जा जाता है और डिफ्यूजन मॉडल्स के जेनेरेटिव प्रायर को सुरक्षित रखा जाता है।
मल्टी-एजेंट VLM फ्रेमवर्क: विस्तृत, 3D-सचेत टेक्स्ट प्रॉम्प्ट्स को सिंथेसाइज करने के लिए एक नवीन प्रणाली जो विजुअल ज्योमेट्रिक कंट्रोल्स के साथ सिमेंटिक रूप से सुसंगत रहते हैं।
पूर्ण सिंथेटिक डेटासेट (AC3S): एक मिलियन इमेजेस का एक डेटासेट जो 1,000 ImageNet श्रेणियों में वितरित है, जिसमें 2D और 3D एनोटेशन (पोज़, क्लासिफिकेशन लेबल्स और मेटाडेटा) शामिल हैं।

प्रयोगात्मक परिणाम

लेखकों ने AC3S की गुणवत्ता और उपयोगिता को मान्य करने के लिए व्यापक प्रयोग किए:

इमेज क्वालिटी: प्रति क्लास 1,000 सिंथेटिक इमेजेस की तुलना ImageNet से करने वाले एक एब्लेशन अध्ययन में, पूर्ण AC3S पाइपलाइन ने 71.24 का Frechet Inception Distance (FID) स्कोर प्राप्त किया, जो 3D-DST बेसलाइन (87.19) की तुलना में 15.95 अंकों का महत्वपूर्ण सुधार है। मॉड्यूलेटर और टेक्स्ट जनरेटर ने क्रमशः 9.66 और 8.26 अंकों का सुधार किया।
क्लासिफिकेशन यूटिलिटी: AC3S डेटा पर प्री-ट्रेनिंग करने के बाद ImageNet पर फाइन-ट्यूनिंग करने पर, सभी आर्किटेक्चर के लिए उच्चतम टॉप-1 एक्यूरेसी प्राप्त हुई। विशेष रूप से, ConvNeXt-S और Swin-S में 2.6% का सुधार देखा गया, जबकि ResNet-18 में 0.99% का सुधार हुआ।
पोज़ एस्टीमेशन: AC3S पर प्री-ट्रेन और PASCAL3D+ पर फाइन-ट्यून करने पर, यह विधि 3D-DST से बेहतर प्रदर्शन करती है। "सोफा" श्रेणी के लिए, AC3S ने $\pi/18$ एरर थ्रेशोल्ड पर बेसलाइन की तुलना में 7.39% गेन प्रदान किया।
जीरो-शॉट परफॉरमेंस: केवल सिंथेटिक डेटा पर ट्रेनिंग करने (बिना रियल-वर्ल्ड फाइन-ट्यूनिंग के) से पता चला कि AC3S ऐसे मॉडल्स बनाता है जो 3D-DST डेटा पर प्रशिक्षित मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं, जो वास्तविक दुनिया के डेटा के साथ क्लोजर डिस्ट्रीब्यूशन मैच का सुझाव देता है।

महत्व

पेपर का दावा है कि AC3S सिंथेटिक डेटा जनरेशन में ज्यामितीय नियंत्रण और फोटोरियलिज्म के बीच के ट्रेड-ऑफ के लिए एक स्केलेबल समाधान प्रदान करता है। एडेप्टिव कंडिशनिंग पेश करके, फ्रेमवर्क सटीक 2D और 3D एनोटेशन के साथ उच्च-गुणवत्ता वाले डेटासेट बनाने में सक्षम बनाता है। लेखकों का कहना है कि यह दृष्टिकोण न केवल उत्पन्न छवियों की फिडेलिटी में सुधार करता है, बल्कि डाउनस्ट्रीम 2D और 3D कंप्यूटर विजन कार्यों के लिए सिंथेटिक डेटा की उपयोगिता को भी बढ़ाता है, जिससे महंगे वास्तविक दुनिया के डेटा संग्रह पर निर्भरता कम हो सकती है। यह कार्य नेशनल एआई रिसर्च रिसोर्स, AMD, NVIDIA और लैम्ब्डा के अनुदानों द्वारा समर्थित है, जो व्यापक एआई अनुसंधान समुदाय के लिए इसकी प्रासंगिकता को रेखांकित करता है।