🤖 machine learning

From Masks to Pixels and Meaning: A New Taxonomy, Benchmark, and Metrics for VLM Image Tampering

यह शोध पत्र एक पिक्सेल-आधारित (pixel-grounded), भाषा-जागरूक वर्गीकरण (language-aware taxonomy), प्रति-पिक्सेल मानचित्रों (per-pixel maps) के साथ एक नए बेंचमार्क और एक एकीकृत ढांचे को पेश करके मास्क-आधारित छेड़छाड़ का पता लगाने की सीमाओं को संबोधित करता है, जो सटीक स्थानीयकरण (precise localization), अर्थ संबंधी वर्गीकरण (semantic classification) और छवि संपादन के प्राकृतिक भाषा विवरण की दिशा में इस क्षेत्र को आगे बढ़ाता है।

मूल लेखक: Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Jing-Hao Xue, Hao Li, Salman Khan, Zhiqiang Shen

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Jing-Hao Xue, Hao Li, Salman Khan, Zhiqiang Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई तस्वीर बदली या छेड़छाड़ की गई है। अतीत में, AI जासूसों को प्रशिक्षित करने के लिए "गोल्ड स्टैंडर्ड" (मानक) यह था कि उन्हें एक स्टीकर (एक मास्क) दिया जाता और कहा जाता, "इस स्टीकर द्वारा ढका गया पूरा क्षेत्र नकली है। इसके बाहर का सब कुछ असली है।"

समस्या यह है कि वह स्टीकर अक्सर एक बहुत बड़ा झूठ होता है।

कभी-कभी, वह स्टीकर एक बहुत बड़े क्षेत्र को ढकता है, लेकिन उसके अंदर केवल एक छोटा सा हिस्सा बदला गया होता है (जैसे पेड़ की एक पत्ती का रंग बदलना)। स्टीकर का बाकी हिस्सा बिना छेड़छाड़ वाले, असली पिक्सल को कवर करता है। इसके विपरीत, कभी-कभी "नकली" हिस्सा स्टीकर के किनारे से बाहर निकल जाता है (जैसे कि एक अजीब छाया या रंग का फैलाव), लेकिन क्योंकि वह स्टीकर के बाहर है, AI उसे असली मान लेता है।

"PIXAR" नामक पेपर तर्क देता है कि हमें स्टीकरों का उपयोग करना बंद करना चाहिए और समुद्र के रेत के हर एक कण (पिक्सेल) को देखना शुरू करना चाहिए।

यहाँ उनके नए दृष्टिकोण का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. पुराना तरीका: "आलसी स्टीकर" विधि

कल्पना कीजिए कि एक शिक्षक छात्र के निबंध को ग्रेड दे रहा है। शिक्षक एक पैराग्राफ के चारों ओर एक बड़ा लाल घेरा बनाता है और कहता है, "यह पूरा पैराग्राफ गलत है।"

दोष: शायद उस पैराग्राफ में केवल एक वाक्य वास्तव में गलत था। छात्र को पूरे पैराग्राफ के लिए दंडित किया जाता है। या शायद छात्र ने अगले पैराग्राफ में कोई टाइपो (लिखने की गलती) की थी, लेकिन क्योंकि उसे घेरा नहीं गया था, शिक्षक उसे अनदेखा कर देता है।
AI के संदर्भ में: वर्तमान बेंचमार्क "मास्क" (लाल घेरे) का उपयोग करते हैं ताकि AI को बताया जा सके कि जालसाजी कहाँ हुई है। यह AI को भ्रमित करता है, जिससे वह झूठ के वास्तविक सबूत खोजने के बजाय आकृतियों का अनुमान लगाना सीख जाता है।

2. नया तरीका: "पिक्सेल-दर-पिक्सेल" जासूस

लेखकों ने एक नया बेंचमार्क बनाया है जिसे PIXAR (Pixel-grounded, Meaning, and Language-aware) कहा जाता है। एक बड़े स्टीकर के बजाय, वे AI को एक हाई-रिज़ॉल्यूशन डिफरेंस मैप देते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक कमरे की दो समान तस्वीरें हैं। आप एक सुपर-शक्तिशाली सूक्ष्मदर्शी (microscope) लेते हैं और पिक्सेल दर पिक्सेल उनकी तुलना करते हैं। आप केवल उन विशिष्ट पिक्सेल को हाइलाइट करते हैं जो बदले गए हैं।
परिणाम: यदि बिल्ली के फर का रंग 1% बदल गया है, तो AI उस छोटे से बदलाव को देख लेता है। यदि कोई छाया वस्तु के थोड़ा बाहर खिसक जाती है, तो भी AI उसे देख लेता है। अब बड़े, ढीले-ढाले आकारों के आधार पर अनुमान लगाने की ज़रूरत नहीं है।

3. PIXAR की तीन महाशक्तियाँ

यह पेपर AI को टेस्ट करने के तरीके में तीन प्रमुख अपग्रेड पेश करता है:

A. "सत्य का मानचित्र" (पिक्सेल-स्तर की सटीकता)

एक बाइनरी "नकली/असली" स्टैम्प के बजाय, PIXR एक सत्य का हीटमैप बनाता है।

उपमा: एक मौसम मानचित्र के बारे में सोचें। पुराने बेंचमार्क केवल कहते थे, "इस पूरे शहर में बारिश हो रही है।" PIXAR कहता है, "यहाँ बूंदाबांदी हो रही है, वहाँ मूसलाधार बारिश हो रही है, और वहाँ धूप खिली है।"
महत्व: यह AI को बदलाव के सटीक पदचिह्नों को सीखने की अनुमति देता है, भले ही वह सूक्ष्म (जैसे प्रतिबिंब में एक छोटा सा ग्लिच) क्यों न हो।

B. "अर्थ" की जाँच (सिमेंटिक समझ)

PIXAR केवल यह नहीं पूछता, "नकली क्या है?" बल्कि यह भी पूछता है, "क्या नकली है?"

उपमा: एक पुराना AI कह सकता है, "यहाँ एक नकली धब्बा है।" एक PIXAR-प्रशिक्षित AI कह सकता है, "तस्वीर में मौजूद कुत्ते को बिल्ली से बदल दिया गया है, और उसके फर का रंग बदल दिया गया है।"
महत्व: यह AI को केवल ज्यामिति (geometry) को ही नहीं, बल्कि छवि की कहानी को समझने के लिए मजबूर करता है।

C. "कहानीकार" (भाषा विवरण)

AI को अब जालसाजी की व्याख्या करने वाला एक वाक्य लिखने के लिए प्रशिक्षित किया जाता है।

उपमा: केवल संदिग्ध की ओर उंगली उठाने के बजाय, AI एक पुलिस रिपोर्ट लिखता है: "संदिग्ध ने ड्राइववे से कार को हटाया और एक साइकिल जोड़ दी।"
महत्व: यह AI के निर्णय को पारदर्शी और मनुष्यों के लिए सत्यापित करने में आसान बनाता है।

4. "गुणवत्ता नियंत्रण" फैक्ट्री

इस नए बेंचमार्क को बनाने के लिए, लेखकों ने केवल यादृच्छिक (random) तस्वीरें नहीं लीं। उन्होंने एक कठोर फैक्ट्री लाइन बनाई:

जेनरेशन (निर्माण): उन्होंने "नकली" चित्र बनाने के लिए दुनिया के बेहतरीन AI इमेज जनरेटर्स (जैसे Qwen, Gemini, और Flux) का उपयोग किया।
"बाउंसर" (फिडेलिटी चेक): उन्होंने AI और मानव विशेषज्ञों का उपयोग करके उन नकली छवियों को बाहर निकाल दिया जो स्पष्ट रूप से नकली या टूटी हुई दिख रही थीं। उन्होंने केवल उन्हीं को रखा जो इतनी वास्तविक थीं कि इंसान भी अंतर नहीं बता सकते थे।
"सूक्ष्मदर्शी" (लेबलिंग): उन्होंने सटीक "सत्य मानचित्र" (Truth Map) बनाने के लिए वास्तविक और नकली छवि के बीच के सटीक अंतर की गणना की।

5. परिणाम: यह सब कुछ कैसे बदल देता है

जब उन्होंने इस नए, सख्त PIXAR बेंचमार्क पर पुराने AI डिटेक्टरों का परीक्षण किया, तो परिणाम चौंकाने वाले थे:

पुराना समूह: कई शीर्ष-स्तरीय डिटेक्टर बुरी तरह विफल रहे। वे "ओवर-स्कोरिंग" कर रहे थे (यह सोचकर कि वे अच्छे हैं क्योंकि उन्होंने सही आकार का अनुमान लगाया था) लेकिन "अंडर-स्कोरिंग" (जालसाजी के वास्तविक सूक्ष्म विवरणों को मिस कर रहे थे) कर रहे थे।
नया समूह: PIXAR पर प्रशिक्षित मॉडल बहुत अधिक सटीक थे। वे "माइक्रो-एडिट्स" (छोटे बदलाव) और "ऑफ-मास्क" त्रुटियों (अपेक्षित क्षेत्र के बाहर के बदलाव) को पकड़ सकते थे जिन्हें अन्य चूक गए थे।

निष्कर्ष

यह पेपर एक चेतावनी है। यह कहता है: "धुंधले स्टीकरों के साथ AI को प्रशिक्षित करना बंद करें। उन्हें हाई-डेफिनिशन सत्य के साथ प्रशिक्षित करना शुरू करें।"

मास्क (खुरदरे अनुमानों) से पिक्सेल (सटीक साक्ष्य) और अर्थ (कहानी को समझना) की ओर बढ़कर, PIXAR पकड़े जाने वाले डिजिटल झूठ के लिए एक नया, बहुत कठिन और बहुत अधिक यथार्थवादी मानक स्थापित करता है। यह उस जासूस के बीच का अंतर है जो केवल अंदाज़ा लगाता है कि अपराध कहाँ हुआ और वह जो पीछे छोड़े गए सटीक फिंगरप्रिंट की ओर इशारा कर सकता है।

यहाँ शोध पत्र "From Masks to Pixels and Meaning: A New Taxonomy, Benchmark, and Metrics for VLM Image Tampering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इमेज टैम्परिंग (छवि हेरफेर) का पता लगाने के मौजूदा बेंचमार्क में एक गंभीर खामी की पहचान करता है, विशेष रूप से विजन-लैंग्वेज मॉडल्स (VLMs) और जनरेटिव AI से संबंधित।

"मास्क" का मिसअलाइनमेंट (The "Mask" Misalignment): वर्तमान बेंचमार्क ग्राउंड ट्रुथ के रूप में मोटे ऑब्जेक्ट मास्क (coarse object masks) पर निर्भर करते हैं। यह मान लेता है कि संपादन (edits) पूर्व-निर्धारित क्षेत्र तक ही सीमित हैं और उस मास्क के भीतर के सभी पिक्सेल समान रूप से संशोधित हैं।
संपादन की वास्तविकता (Reality of Edits): जनरेटिव संपादन न तो स्थानिक (spatially) रूप से और न ही मेट्रिक रूप से एकसमान होते हैं।
- मास्क में फॉल्स पॉजिटिव (False Positives in Masks): मास्क के भीतर कई पिक्सेल अछूते रहते हैं या केवल मामूली रूप से संशोधित होते हैं।
- मास्क के बाहर फॉल्स नेगेटिव (False Negatives outside Masks): सूक्ष्म लेकिन महत्वपूर्ण आर्टिफ़ेक्ट्स (जैसे, रीलाइटिंग हेलो, कलर ब्लीडिंग, सीम रिमूवल) अक्सर मास्क की सीमाओं के बाहर भी फैल जाते हैं।
परिणाम: केवल मास्क-आधारित मूल्यांकन अन-एडिटेड पिक्सेल को टैम्पर किए गए साक्ष्य के साथ मिला देता है और मास्क के बाहर के आर्टिफ़ेक्ट्स की अनदेखी करता है। यह डिटेक्टर ट्रेनिंग को विकृत करता है, मॉडल्स को मोटे आकारों (coarse shapes) पर ओवरफिट होने के लिए पुरस्कृत करता है, और सूक्ष्म संपादन (micro-edits) या ऑफ-मास्क परिवर्तनों का पता लगाने में विफल रहता है।

2. कार्यप्रणाली: PIXAR फ्रेमवर्क (Methodology: The PIXAR Framework)

लेखक PIXAR प्रस्तावित करते हैं, जो एक नया प्रतिमान (paradigm) है जो इमेज टैम्परिंग डिटेक्शन को एक पिक्सेल-ग्राउंडेड, मीनिंग, और लैंग्वेज-अवेयर टास्क के रूप में पुनर्गठित करता है।

A. बेंचमार्क निर्माण (PIXAR)

इस डेटासेट में 380K से अधिक ट्रेनिंग पेयर्स और एक संतुलित 40K टेस्ट सेट शामिल है।

जेनरेशन पाइपलाइन:
- स्रोत (Source): COCO से वास्तविक छवियां।
- मॉडल्स: 8 विविध एडिटिंग रणनीतियों (Replace, Remove, Splice, Inpaint, Attribute, Colorization, आदि) का उपयोग किया गया है, जिन्हें अत्याधुनिक ओपन/क्लोज्ड-सोर्स मॉडल्स (Flux.2, Gemini 2.5/3, GPT-image-1.5, Qwen-Image, Seedream 4.5) के माध्यम से कार्यान्वित किया गया है।
- क्वालिटी कंट्रोल: एक कठोर 4-चरणीय पाइपलाइन उच्च निष्ठा (high fidelity) सुनिश्चित करती है:
  1. इमेज जेनरेशन: विविध हेरफेर प्रकार और आकार (छोटा/मध्यम/बड़ा) और जटिलता (सिंगल/मल्टी-ऑब्जेक्ट)।
  2. प्रभावशीलता जांच (Effectiveness Checks): यह लगभग शून्य संपादन, अनपेक्षित ग्लोबल रीपेंटिंग, और सिमेंटिक मिसमैच को फ़िल्टर करता है। इसमें अंतर (differencing) करने से पहले जेनरेट की गई छवियों को ओरिजिनल के साथ संरेखित करने के लिए ग्लोबल रेक्टिफिकेशन (RANSAC होमोग्राफी का उपयोग करके) शामिल है।
  3. फिडेलिटी असेसमेंट: Qwen3 (VLM) द्वारा स्वचालित स्कोरिंग के बाद मानव विशेषज्ञ समीक्षा (रियलिज्म स्कोर $\ge$ 4/5)।
  4. लेबल निर्माण:
    - पिक्सेल लेबल्स: मास्क के बजाय, वे एक प्रति-पिक्सेल डिफरेंस मैप ( $D$ ) की गणना करते हैं और एक ट्यूनेबल थ्रेशोल्ड $\tau$ लागू करके एक बाइनरी सुपरविजन सिग्नल ( $M_\tau$ ) बनाते हैं। छोटा $\tau$ माइक्रो-एडिट्स को कैप्चर करता है; बड़ा $\tau$ हाई-कॉन्फिडेंस सिमेंटिक बदलावों को कैप्चर करता है।
    - सिमेंटिक लेबल्स: टैम्पर किए गए ऑब्जेक्ट के क्लास का मैनुअल एनोटेशन।
    - विश्वसनीयता जांच (Reliability Checks): पिक्सेल-सिमेंटिक विसंगतियों (जैसे, पिक्सेल परिवर्तन और सिमेंटिक इरादे के बीच कम ओवरलैप) और स्थानिक रूप से बिखरे हुए लेबल्स (शोर) को फ़िल्टर करना।
ट्रेनिंग फ्रेमवर्क: प्रस्तावित डिटेक्टर एक मल्टी-टास्क VLM आर्किटेक्चर (LISA/SIDA पर आधारित) है जो आउटपुट देता है:
1. पिक्सेल-वाइज टैम्पर लॉजिट्स: एक सेगमेंटेशन मैप ( $S$ ) जो टैम्पर किए गए पिक्सेल की भविष्यवाणी करता है।
2. सिमेंटिक क्लासिफिकेशन: टैम्पर किए गए ऑब्जेक्ट क्लास की पहचान करने वाले मल्टी-लेबल लॉजिट्स ( $z$ )।
3. नेचुरल लैंग्वेज डिस्क्रिप्शन: विशिष्ट आर्टिफ़ेक्ट का वर्णन करने वाला टेक्स्ट जेनरेशन।

लॉस फंक्शन्स (Loss Functions):

पिक्सेल-वाइज BCE और DICE लॉस: सटीक लोकलाइजेशन के लिए थ्रेशोल्डेड डिफरेंस मैप $M_\tau$ द्वारा सुपरवाइज्ड।
मल्टी-लेबल सिमेंटिक लॉस: ऑब्जेक्ट क्लासिफिकेशन के लिए क्रॉस-एन्ट्रॉपी।
ग्लोबल डिटेक्शन लॉस: CLS टोकन के माध्यम से बाइनरी क्लासिफिकेशन (रियल बनाम टैम्परड)।
टेक्स्ट जेनरेशन लॉस: टैम्परिंग का वर्णन करने के लिए कॉज़ल लैंग्वेज मॉडलिंग लॉस।
कुल उद्देश्य (Total Objective): सभी लॉस का एक भारित योग ( $L_{total}$ )।

3. मुख्य योगदान (Key Contributions)

वर्गीकरण और पुनर्गठन (Taxonomy & Reformulation): मास्क-आधारित बेंचमार्क के मिसअलाइनमेंट को उजागर करने वाला और पिक्सेल-लेवल डिफरेंस मैप्स और सिमेंटिक सुपरविजन का उपयोग करके टैम्परिंग को पुनर्परिभाषित करने वाला पहला शोध।
PIXAR बेंचमार्क: एक बड़े पैमाने का, उच्च-फिडेलिटी डेटासेट जिसमें शामिल हैं:
- 8 विविध हेरफेर प्रकार।
- डिफरेंस मैप्स (मास्क नहीं) से प्राप्त पिक्सेल-लेवल ग्राउंड ट्रुथ।
- सिमेंटिक क्लास लेबल्स और नेचुरल लैंग्वेज डिस्क्रिप्शन।
- उच्च दृश्य यथार्थवाद और लेबल सटीकता सुनिश्चित करने के लिए कठोर फ़िल्टरिंग।
नए मूल्यांकन मेट्रिक्स और फ्रेमवर्क:
- यह पिक्सेल-लेवल करेक्टनेस (Recall, F1, IoU, g-IoU) के साथ-साथ सिमेंटिक अंडरस्टैंडिंग (Top-1/5 Accuracy) और लैंग्वेज डिस्क्रिप्शन को मापने वाले मेट्रिक्स पेश करता है।
- यह प्रदर्शित करता है कि मौजूदा मजबूत डिटेक्टर मास्क-ओनली मेट्रिक्स के तहत महत्वपूर्ण रूप से विफल हो जाते हैं जब उन्हें वास्तविक पिक्सेल-लेवल सिग्नल के विरुद्ध आंका जाता है।

4. परिणाम (Results)

PIXAR टेस्ट सेट पर व्यापक प्रयोग किए गए:

बेहतर लोकलाइजेशन: प्रस्तावित PIXAR-7B/13B मॉडल्स बेसलाइन्स (LISA, SIDA, FakeShield) को काफी पीछे छोड़ देते हैं।
- IoU सुधार: PIXAR-7B ने 18.1% का IoU प्राप्त किया, जो FakeShield (9.3%) और SIDA (11.8%) के प्रदर्शन को लगभग दोगुना कर देता है।
- सिमेंटिक एक्यूरेसी: Top-1 सिमेंटिक एक्यूरेसी बेसलाइन्स के ~27% से सुधरकर 36.2% (PIXAR-7B) हो गई।
सामान्यीकरण (Generalization): मॉडल मजबूत क्रॉस-फ्रेमवर्क जनरलाइजेशन प्रदर्शित करता है, जो मुख्य रूप से Qwen-Image डेटा पर प्रशिक्षित होने के बावजूद, अनदेखे मॉडल्स (जैसे, GPT-Image-1.5, Gemini 3) द्वारा जेनरेट की गई छवियों पर अच्छा प्रदर्शन करता है।
एब्लेशन स्टडीज (Ablation Studies):
- थ्रेशोल्ड ( $\tau$ ): कम ट्रेनिंग थ्रेशोल्ड ( $\tau=0.05$ ) उच्च थ्रेशोल्ड की तुलना में बेहतर प्रदर्शन देते हैं, जो माइक्रो-एडिट संवेदनशीलता की आवश्यकता की पुष्टि करते हैं।
- लॉस वेट्स: इष्टतम संतुलन $\lambda_{sem}=0.5$ और $\lambda_{text}=3.0$ पर पाया गया।
यूजर स्टडी: मानव प्रतिभागियों ने कम डिटेक्शन दर (Recall ~17.4%) और कम लोकलाइजेशन सटीकता (IoU ~10.7%) दिखाई, जो पुष्टि करता है कि PIXAR में मौजूद इमेज अत्यधिक यथार्थवादी और चुनौतीपूर्ण हैं, यहाँ तक कि मनुष्यों के लिए भी।

5. महत्व (Significance)

पैराडाइम शिफ्ट: क्षेत्र को "कोर्स रीजन डिटेक्शन" से "पिक्सेल-प्रिसाइज, मीनिंग-अवेयर फोरेंसिक्स" की ओर ले जाता है।
यथार्थवाद: मास्क के बजाय पिक्सेल-डिफरेंस मैप्स का उपयोग करके, बेंचमार्क जनरेटिव आर्टिफ़ेक्ट्स की भौतिक वास्तविकता (सूक्ष्म ऑफ-मास्क ट्रेसेस सहित) के साथ संरेखित होता है।
मानकीकरण: भविष्य के अनुसंधान के लिए एक कठोर मानक स्थापित करता है, जिसके लिए मॉडल्स को न केवल टैम्परिंग का पता लगाना होगा, बल्कि यह भी समझना होगा कि क्या बदला गया है और उसे वर्णित भी करना होगा, जिससे लो-लेवल सिग्नल प्रोसेसिंग और हाई-लेवल सिमेंटिक अंडरस्टैंडिंग के बीच के अंतर को पाटा जा सके।
संसाधन: यह समुदाय को अगली पीढ़ी के डीपफेक डिटेक्टरों को विकसित करने के लिए एक उच्च-गुणवत्ता वाला, विविध और चुनौतीपूर्ण डेटासेट (PIXAR) प्रदान करता है।

कोड और डेटा उपलब्धता: शोध पत्र में उल्लेख है कि कोड और बेंचमार्क डेटा https://github.com/VILA-Lab/PIXAR पर उपलब्ध है।