NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection
NAU-QMUL टीम ने CT2 AI-जनरेटेड इमेज डिटेक्शन प्रतियोगिता के डिटेक्शन और सोर्स आइडेंटिफिकेशन दोनों कार्यों में पांचवां स्थान प्राप्त करने के लिए प्री-ट्रेंड BERT और CLIP एनकोडर्स के साथ क्रॉस-मोडल फ्यूजन और सूडो-लेबलिंग डेटा ऑग्मेंटेशन का लाभ उठाते हुए एक मल्टी-मोडल मल्टी-टास्क मॉडल प्रस्तावित किया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक ऐसी दुनिया में रहस्य सुलझाने की कोशिश कर रहे हैं जहाँ कला मानव हाथों और सुपर-स्मार्ट रोबोटों, दोनों द्वारा बनाई जा सकती है। कुछ रोबोट (जैसे Stable Diffusion या DALL-E) शब्दों से चित्र बनाने में इतने कुशल हैं कि उनके और मानव द्वारा बनाई गई कला के बीच अंतर करना लगभग असंभव है।
यह शोध पत्र इस बात की कहानी है कि कैसे दो शोधकर्ताओं, Xiaoyu और Arkaitz ने इन AI कलाकारों को पकड़ने और यह पता लगाने के लिए कि किस विशेष रोबोट ने वह चित्र बनाया है, एक डिजिटल डिटेक्टिव टीम बनाई।
यहाँ उनके समाधान का सरल विवरण दिया गया है:
1. समस्या: कला का "अनकैनी वैली" (Uncanny Valley)
अतीत में, यदि आप जिराफ का चित्र देखते थे, तो आप बता सकते थे कि उसे इंसान ने बनाया है या कंप्यूटर ने। लेकिन अब, AI एक जिराफ के बारे में कहानी लिख सकता है और तुरंत उसका एक सटीक चित्र बना सकता है।
- कार्य A ("क्या यह असली है?" परीक्षण): क्या आप बता सकते हैं कि एक चित्र मानव द्वारा बनाया गया है या रोबोट द्वारा?
- कार्य B ("किसने किया?" परीक्षण): यदि वह रोबोट द्वारा बनाया गया था, तो वह कौन सा विशिष्ट रोबोट था? क्या वह "Midjourney" था, "DALL-E" था, या "Stable Diffusion" था?
2. समाधान: एक दो-मस्तिष्क वाली डिटेक्टिव टीम
शोधकर्ताओं ने केवल एक उपकरण नहीं बनाया; उन्होंने दो विशिष्ट "मस्तिष्क" वाला एक सिस्टम बनाया जो एक जासूसी जोड़ी की तरह मिलकर काम करते हैं।
- मस्तिष्क 1 (पाठक - BERT): यह हिस्सा टेक्स्ट (पाठ) पढ़ने में विशेषज्ञ है। यह चित्र का वर्णन करने वाले कैप्शन (कहानी) को देखता है। यह संदर्भ, व्याकरण और शब्दों के अर्थ को समझता है।
- मस्तिष्क 2 (द्रष्टा - CLIP): यह हिस्सा चित्रों को देखने में विशेषज्ञ है। यह पिक्सेल, रंगों और आकारों का विश्लेषण करता है ताकि दृश्य विवरणों को देख सके।
जादुई ट्रिक (क्रॉस-मोडल फ्यूजन):
आमतौर पर, ये दोनों मस्तिष्क अलग-अलग काम करते हैं। लेकिन यह सिस्टम उन्हें हाथ मिलाने के लिए मजबूर करता है। यह पाठक द्वारा समझी गई कहानी को लेता है और उसकी द्रष्टा द्वारा देखी गई तस्वीर के साथ तुलना करता है।
- उपमा: कल्पना कीजिए कि एक मानव कलाकार "उदास जोकर" का चित्र बनाता है। पाठक "उदास" शब्द देखता है, और द्रष्टा मुस्कुराता हुआ चेहरा देखता है। वे पूरी तरह मेल खाते हैं।
- AI की पहचान: कभी-कभी, एक AI "उदास जोकर" का चित्र बना सकता है लेकिन जोकर की छह उंगलियां हो सकती हैं या बैकग्राउंड अजीब तरह से धुंधला हो सकता है। पाठक कहता है, "कहानी समझ में आती है," लेकिन द्रष्टा कहता है, "रुको, विवरण गलत हैं!" दोनों की राय को मिलाकर, यह सिस्टम केवल चित्र को देखने या केवल टेक्स्ट को पढ़ने की तुलना में AI को कहीं बेहतर तरीके से पकड़ लेता है।
3. प्रशिक्षण: गलतियों से सीखना (स्यूडो-लेबलिंग / Pseudo-Labeling)
एक जासूस को प्रशिक्षित करने के लिए बहुत सारे अभ्यास मामलों की आवश्यकता होती है। शोधकर्ताओं के पास अपने मॉडल को पूरी तरह से प्रशिक्षित करने के लिए पर्याप्त "ज्ञात" नकली चित्र नहीं थे। इसलिए, उन्होंने Pseudo-Labeling नामक एक चतुर ट्रिक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आप एक छात्र को जालसाजी पहचानने के लिए सिखा रहे हैं। आप उसे 100 असली पेंटिंग्स और 100 नकली पेंटिंग्स देते हैं। लेकिन आपके पास 1,000 पेंटिंग्स का एक बॉक्स भी है जहाँ आप नहीं जानते कि कौन सी नकली हैं।
- रणनीति: आप अपने छात्र को उन 1,000 अज्ञात पेंटिंग्स पर अनुमान लगाने देते हैं। यदि छात्र 90% निश्चित है कि एक पेंटिंग नकली है, तो आप कहते हैं, "ठीक है, मुझे तुम पर भरोसा है। चलो इसे एक पुष्ट नकली के रूप में मानते हैं और इसे प्रशिक्षण ढेर में जोड़ते हैं।"
- परिणाम: इसने मॉडल को बहुत अधिक अतिरिक्त अभ्यास डेटा दिया, जिससे यह बहुत अधिक तेज हो गया।
4. दो-चरणीय निर्णय (मल्टी-टास्क लॉस)
सिस्टम को एक साथ दो सवालों के जवाब देने होते हैं, लेकिन वह उन्हें एक स्मार्ट क्रम में करता है:
- पहला सवाल: "क्या यह AI है या मानव?" (हाँ/नहीं)।
- दूसरा सवाल: "यदि यह AI है, तो कौन सा?" (रोबोट A, रोबोट B, या रोबोट C?)।
सिस्टम को इस तरह डिज़ाइन किया गया है कि यह दूसरा सवाल तभी पूछने की कोशिश करता है जब यह पहले सवाल के उत्तर के रूप में "हाँ" के प्रति पहले से ही आश्वस्त होता है। यह ऊर्जा बचाता है और सिस्टम को वास्तविक मानव कला से भ्रमित होने से रोकता है।
5. परिणाम: दुनिया में टॉप 5
शोधकर्ताओं ने अपनी डिटेक्टिव टीम को CT2 नामक एक वैश्विक प्रतियोगिता में उतारा।
- कार्य A (असली बनाम नकली): वे दुनिया में 5वें स्थान पर रहे। वे 83% बार सही थे।
- कार्य B (कौन सा रोबोट?): वे यहाँ भी 5वें स्थान पर रहे। विशिष्ट रोबोट की पहचान करना बहुत कठिन है (जैसे केवल चित्र देखकर यह अनुमान लगाना कि किस ब्रांड के कैमरे ने फोटो ली है), इसलिए 48% सही होना वास्तव में एक बहुत अच्छा प्रदर्शन है।
6. कमी (सीमाएँ)
लेखक अपनी "Pseudo-Labeling" ट्रिक की खामियों के बारे में ईमानदार हैं।
- इको चैंबर (Echo Chamber): यदि छात्र जासूस एक कठिन मामले में गलती करता है और गलत उत्तर देता है, लेकिन वह उस गलत उत्तर के प्रति "आत्मविश्वासी" है, तो सिस्टम उस गलत उत्तर को प्रशिक्षण ढेर में जोड़ देता है। अब, सिस्टम उस गलती को तथ्य के रूप में सीखता है।
- आसान लक्ष्य: सिस्टम केवल तभी अपने अनुमानों पर भरोसा करता है जब वह बहुत आत्मविश्वासी होता है। इसका मतलब है कि यह मुख्य रूप से "आसान" मामलों पर अभ्यास करता है और वास्तव में कठिन, संदिग्ध मामलों के साथ संघर्ष कर सकता है।
सारांश
संक्षेप में, इन शोधकर्ताओं ने एक सुपर-डिटेक्टिव बनाया जो एक साथ कहानी पढ़ता है और चित्र को देखता है। अपने स्वयं के आत्मविश्वासी अनुमानों पर अधिक सीखने के लिए खुद पर भरोसा करके, उन्होंने एक ऐसा सिस्टम बनाया है जो वर्तमान में AI-जनरेटेड आर्ट को पहचानने और यह पता लगाने में दुनिया के सर्वश्रेष्ठ सिस्टमों में से एक है कि किस AI ने इसे बनाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।