💻 computer science

Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering

यह शोध पत्र "काउंटरफीट आन्सर्स" (Counterfeit Answers) नामक एक नवीन प्रतिकूल हमले के परिदृश्य को प्रस्तुत करता है जो दस्तावेज़ की सामग्री को दृश्य रूप से अदृश्य तरीकों से गढ़ता है ताकि OCR-मुक्त डॉक्यूमेंट विजुअल क्वेश्चन अनस्वियरिंग मॉडल्स को विशिष्ट या गलत उत्तर उत्पन्न करने के लिए हेरफेर किया जा सके, जो Pix2Struct और Donut जैसे अत्याधुनिक सिस्टम की महत्वपूर्ण कमजोरियों को प्रदर्शित करता है।

मूल लेखक: Marco Pintore, Maura Pintor, Dimosthenis Karatzas, Battista Biggio

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marco Pintore, Maura Pintor, Dimosthenis Karatzas, Battista Biggio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही समझदार, स्वचालित रोबोट सहायक है जिसका काम इनवॉइस (बीजक), रसीदें और अनुबंधों को पढ़ना है। आप उससे सवाल पूछते हैं जैसे, "मुझे कितना भुगतान करना है?" या "इनवॉइस नंबर क्या है?" और वह दस्तावेज़ की छवि को देखकर आपको उत्तर देता है। इस तकनीक को डॉक्यूमेंट विजुअल क्वेश्चन आंसरिंग (DocVQA) कहा जाता है।

यह शोध पत्र एक सुरक्षा रिपोर्ट है जो कहती है: "इस रोबोट को अदृश्य जादू के करतबों से आसानी से बेवकूफ बनाया जा सकता है।"

यहाँ शोधकर्ताओं द्वारा की गई खोजों का एक सरल विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. सेटअप: रोबोट और दस्तावेज़

DocVQA मॉडल को एक सुपर-फास्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो किसी दस्तावेज़ को पढ़ सकता है और उसके बारे में तुरंत सवालों के जवाब दे सकता है।

पुराना तरीका: लाइब्रेरियन पहले एक स्कैनर (OCR) का उपयोग करके कागज की तस्वीर को टाइप किए गए टेक्स्ट में बदलता, फिर उस टेक्स्ट को पढ़ता।
नया तरीका (इस शोध का केंद्र): लाइब्रेरियन सीधे कागज की तस्वीर को देखता है, उसके लेआउट, फोंट और नंबरों को एक साथ समझता है, बिना उसे पहले "टाइप करने" की आवश्यकता के। यह अधिक तेज़ और स्मार्ट है।

2. समस्या: "अदृश्य स्याही" का करतब

शोधकर्ताओं ने पाया कि आप इस समझदार लाइब्रेरियन को दस्तावेज़ की छवि में सूक्ष्म, लगभग अदृश्य बदलाव करके बेवकूफ बना सकते हैं।

उदाहरण: कल्पना कीजिए कि आपके पास एक रसीद है। आप एक जादुई मार्कर से कागज के कोने में एक सिंगल पिक्सेल (रंग का एक छोटा सा बिंदु) बदल देते हैं। आपकी मानवीय आंखों के लिए, रसीद बिल्कुल वैयक्तिक रूप से समान दिखती है। लेकिन रोबोट के लिए, वह छोटा सा बदलाव एक तेज़ सायरन की तरह है जो चिल्लाता है, "कुल कीमत को अनदेखा करो! अब कुल राशि $0.00 है!"
परिणाम: रोबोट आत्मविश्वास के साथ आपको गलत उत्तर देता है, भले ही दस्तावेज़ मानवीय दृष्टि में अपरिवर्तित दिखाई दे।

3. दो तरीके जिनसे उन्होंने इसे किया

शोधकर्ताओं ने रोबोट को "बेवकूफ बनाने" के दो तरीकों का परीक्षण किया:

"फुल-डॉक्यूमेंट" (पूरे दस्तावेज़ का) करतब: उन्होंने पूरे पेज पर सूक्ष्म, अदृश्य बदलाव बिखेर दिए। यह पूरे रसीद पर अदृश्य पाउडर छिड़कने जैसा है जो रोबोट के दिमाग को भ्रमित कर देता है।
"पैच" (टुकड़े का) करतब: उन्होंने दस्तावेज़ के केवल एक कोने में (जैसे नीचे दाएं कोने में) एक छोटा सा, अदृश्य "स्टिकर" (पैच) रखा। आश्चर्यजनक रूप से, यह छोटा सा स्टिकर ही रोबोट को कुल राशि भूलने या इनवॉइस आईडी को बदलने के लिए पर्याप्त था।

4. करतबों के तीन प्रकार

शोधकर्ताओं ने दिखाया कि वे रोबोट को तीन विशिष्ट तरीकों से बेवकूफ बना सकते हैं:

"विशिष्ट झूठ" (Targeted Single): उन्होंने रोबोट को केवल एक सवाल के लिए एक विशिष्ट गलत उत्तर देने के लिए मजबूर किया। उदाहरण: रोबोट को यह कहने के लिए मजबूर करना कि कुल राशि $0.00 है जबकि वास्तव में वह$ 128 है।
"सामूहिक भ्रम" (Targeted Multi): उन्होंने एक साथ कई सवालों के बारे में रोबोट को झूठ बोलने के लिए प्रेरित करने की कोशिश की। उदाहरण: कुल राशि, तारीख और इनवॉइस नंबर तीनों को एक ही समय में बदलना। वे पाया कि यह करना कठिन है; रोबोट भ्रमित तो होता है, लेकिन एक साथ सभी चीजों के बारे में पूरी तरह से झूठ बोलना मुश्किल है।
"उत्तर देने से इनकार" (Denial of Answer): उन्हें इस बात से फर्क नहीं पड़ा कि गलत उत्तर क्या है; वे बस चाहते थे कि रोबोट पूरी तरह विफल हो जाए। उदाहरण: रोबोट को हर सवाल के लिए "मुझे नहीं पता" या "पुनः प्रयास करें" कहने के लिए मजबूर करना। यह हासिल करना बहुत आसान था।

5. "व्हाइट-बॉक्स" का रहस्य

शोधकर्ता स्वीकार करते हैं कि उनके प्रयोग में उन्हें बहुत बड़ा लाभ मिला। वे जानते थे कि रोबोट का मस्तिष्क वास्तव में कैसे बना है (इसका कोड, इसकी सेटिंग्स और यह छवियों को कैसे प्रोसेस करता है)।

उदाहरण: यह एक जादूगर के अपने दोस्त पर जादू दिखाने जैसा है, जो एक हेडसेट पहने हुए है जो उसे ठीक से बताता है कि जादूगर कौन सा कार्ड चुनने वाला है।
यह क्यों मायने रखता है: इस अनुचित लाभ के बावजूद, तथ्य यह है कि वे सिस्टम को इतनी आसानी से तोड़ सके, यह साबित करता है कि सिस्टम नाजुक है। यदि कोई हैकर बिना राज जाने भी ऐसा कर सकता है, तो वह भविष्य में इसे करने का तरीका ढूंढ लेगा (हालांकि यह कठिन है)।

6. वास्तविक दुनिया का खतरा

यह शोध पत्र चेतावनी देता है कि यदि हम AI एजेंटों (रोबोटों) को स्वचालित रूप से पैसे या कानूनी दस्तावेजों को संभालने की अनुमति देते हैं, तो ये "अदृश्य स्याही" वाले करतब खतरनाक हो सकते हैं।

परिदृश्य: एक बुरा व्यक्ति एक ऐसा इनवॉइस भेज सकता है जिसमें एक छोटा, अदृश्य पैच हो। एक स्वचालित बैंकिंग प्रणाली इसे पढ़ती है, धोखा खा जाती है, और वास्तविक राशि के बजाय $0.00 का भुगतान करने की अनुमति देती है, या एक फर्जी लेनदेन को मंजूरी दे देती है।

सारांश

यह शोध पत्र यह नहीं कहता कि यह तकनीक बेकार है। इसके बजाय, यह एक "चेतावनी लेबल" है। यह कहता है: "हमने दस्तावेज़ पढ़ने के लिए एक बहुत ही स्मार्ट रोबोट बनाया है, लेकिन हमें अभी पता चला है कि धूल का एक छोटा सा, अदृश्य कण इसे पूरी तरह से गलत उत्तर देने के लिए मजबूर कर सकता है।"

शोधकर्ताओं ने अपने "जादुई करतबों" (कोड) को जारी किया है ताकि अन्य वैज्ञानिक इनका अध्ययन कर सकें और भविष्य में इन प्रणालियों की रक्षा के लिए मजबूत ढाल बना सकें।

तकनीकी सारांश: काउंटरफीट आंसर्स: OCR-फ्री डॉक्यूमेंट विजुअल क्वेश्चन अनswering के विरुद्ध एडवरसैरियल फोर्जरी

समस्या विवरण

डॉक्यूमेंट विजुअल क्वेश्चन अनswering (DocVQA) सिस्टम, विशेष रूप से जो OCR-मुक्त एंड-टू-एंड आर्किटेक्चर का उपयोग करते हैं, दस्तावेज़ छवियों पर तर्क करने के लिए शक्तिशाली उपकरण के रूप में उभरे हैं। ये मॉडल पारंपरिक ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) पाइपलाइनों से जुड़ी कम्प्यूटेशनल लागत और त्रुटि प्रसार (error propagation) को दरकिनार करते हुए, कच्चे (raw) इमेज और प्राकृतिक भाषा के प्रश्नों को प्रोसेस करते हैं। हालाँकि, डीप लर्निंग (DL) मॉडलों की एडवरसैरियल परटर्बेशन (adversarial perturbations)—जो कि वांछित व्यवहारों को ट्रिगर करने वाले सूक्ष्म इनपुट हेरफेर हैं—के प्रति संवेदनशीलता की गहन जांच नहीं की गई है।

यह शोध पत्र एक महत्वपूर्ण सुरक्षा अंतराल की पहचान करता है: "दस्तावेज़ जालसाजी" (document forgery) के माध्यम से एडवरसैरियल हमलों की क्षमता। मानक इमेज क्लासिफिकेशन हमलों के विपरीत, DocVQA हमले जटिल दस्तावेज़ लेआउट से प्राप्त विशिष्ट अर्थपूर्ण आउटपुट (उत्तरों) को मैनिपुलेट करने का लक्ष्य रखते हैं। लेखक तर्क देते हैं कि यहाँ तक कि दृष्टिगत रूप से अदृश्य परटर्बेशन भी हमलावरों को विशिष्ट गलत उत्तर (जैसे, किसी इनवॉइस पर वित्तीय योग को बदलना) उत्पन्न करने या व्यवस्थित मॉडल विफलता का कारण बनने की अनुमति दे सकते हैं। स्वचालित पाइपलाइनों में, जैसे कि एजेंट पेमेंट्स प्रोटोकॉल (AP2) जैसे प्रोटोकॉल द्वारा सक्षम किए गए, ये कमजोरियां सीधे मौद्रिक हानि या अनधिकृत लेनदेन का कारण बन सकती हैं।

कार्यप्रणाली

थ्रेट मॉडल (Threat Model)

लेखक एक व्हाइट-बॉक्स थ्रेट मॉडल को औपचारिक रूप देते हैं जहाँ हमलावर के पास लक्षित DocVQA सिस्टम का पूर्ण ज्ञान होता है, जिसमें इसकी आर्किटेक्चर, प्रीप्रोसेसिंग पाइपलाइन, पैरामीटर्स और ग्रेडिएंट्स शामिल हैं। हमलावर के पास मूल दस्तावेज़ इमेज $x$ और ग्राउंड-ट्रुथ उत्तर $y$ तक पहुँच होती है, लेकिन प्रश्न $q$ स्थिर (fixed) है (उदाहरण के लिए, एक सिस्टम प्रॉम्प्ट)। हमलावर का लक्ष्य एक विचलित दस्तावेज़ $x' = x + \delta$ उत्पन्न करना है जो मॉडल को एक मैनिपुलेटेड उत्तर $y^*$ आउटपुट करने के लिए मजबूर करे।

यह हमला निम्नलिखित बाधाओं के तहत संचालित होता है:

इनपुट स्पेस मैनिपुलेशन: परटर्बेशन किसी भी मॉडल-विशिष्ट प्रीप्रोसेसिंग से पहले दस्तावेज़ इमेज के कच्चे पिक्सेल मानों पर सीधे लागू किए जाते हैं।
अदृश्यता (Imperceptibility): परटर्बेशन $\delta$ को एक $\ell_\infty$ नॉर्म ( $\|\delta\|_\infty \leq \epsilon$ ) द्वारा सीमित किया गया है ताकि यह दृश्य रूप से सूक्ष्म बना रहे।
परिदृश्य (Scenarios): फ्रेमवर्क तीन हमले के परिदृश्यों का समर्थन करता है:
1. टारगेटेड सिंगल-QA: एक विशिष्ट गलत उत्तर के लिए मजबूर करना।
2. टारगेटेड मल्टी-QA: एक साथ कई विशिष्ट गलत उत्तरों के लिए मजबूर करना।
3. डिनायल ऑफ आंसर (DoA): एक दस्तावेज़ के सभी प्रश्नों के लिए सामान्य रूप से गलत उत्तर उत्पन्न करना (उपलब्धता उल्लंघन)।

हमला फॉर्मूलेशन और ऑप्टिमाइज़ेशन

लेखक परटर्बेशन को अनुकूलित करने के लिए प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) का उपयोग करते हैं। ऑब्जेक्टिव फंक्शन मॉडल के आउटपुट और एक लक्षित उत्तर $y^*$ (लक्षित हमलों के लिए) के बीच के लॉस को कम करता है या ग्राउंड-ट्रुथ के विरुद्ध लॉस को अधिकतम करता है (अनटारगेटेड DoA हमलों के लिए)।

एक प्रमुख तकनीकी योगदान मॉडल-विशिष्ट प्रीप्रोसेसिंग को संभालना है। चूंकि Pix2Struct और Donut जैसे DocVQA मॉडल अद्वितीय, अक्सर नॉन-डिफरेंशिएबल प्रीप्रोसेसिंग चरणों (जैसे, पैच एक्सट्रैक्शन, विशिष्ट नॉर्मलाइजेशन, प्रश्न रेंडरिंग) का उपयोग करते हैं, लेखकों ने इन पाइपलाइनों को पूरी तरह से डिफरेंशिएबल कम्प्यूटेशनल ग्राफ बनाने के लिए रिवर्स-इंजीनियर किया है। यह ग्रेडिएंट्स को मॉडल आउटपुट से वापस कच्चे इनपुट इमेज तक बहने की अनुमति देता है, जिससे एंड-टू-एंड ऑप्टिमाइज़ेशन संभव होता है।

दो अलग-अलग लॉस फंक्शन्स का उपयोग किया गया था:

स्टैंडर्ड फाइन-ट्यूनिंग लॉस: वह नेगेटिव लॉग-लाइक्लीहुड जिसका उपयोग मूल मॉडल ट्रेनिंग में किया जाता है।
कस्टम लॉजिट लॉस: Donut मॉडल पर हमले की प्रभावकारिता में सुधार के लिए विशेष रूप से डिज़ाइन किया गया एक नया लॉस फंक्शन। यह केवल उन टारगेट टोकन को दंडित करता है जो वर्तमान में अधिकतम लॉजिट नहीं हैं, जिससे अनुकूलन को उन टोकन को "बाहर लाने" में मार्गदर्शन मिलता है जो पहले से सही नहीं हैं, बिना मौजूदा सही टोकन को बाधित किए।

प्रयोगात्मक सेटअप

अध्ययन दो अत्याधुनिक OCR-फ्री मॉडलों पर हमलों का मूल्यांकन करता है:

Pix2Struct: एक विजन-लैंग्वेज ट्रांसफार्मर जो प्रश्न को इमेज पर एक विजुअल हेडर के रूप में रेंडर करता है।
Donut: एक ट्रांसफार्मर-आधारित मॉडल जो प्रश्न को टेक्स्ट प्रॉम्प्ट के रूप में स्वीकार करता है।

प्रयोग PFL-DocVQA डेटासेट पर किए गए, जिसमें 1,000 अद्वितीय इनवॉइस दस्तावेज़ों का एक उपसमुच्चय (subset) शामिल था, जिनमें से प्रत्येक के साथ 5 संबद्ध प्रश्न-उत्तर जोड़े थे। लेखकों ने फुल-डॉक्यूमेंट हमलों (संपूर्ण इमेज को विचलित करना) और पैच-बेस्ड हमलों (एक स्थानीय क्षेत्र, जैसे कि नीचे-दाएं कोने में 15% का वर्ग, को विचलित करना) दोनों का परीक्षण किया।

मुख्य परिणाम

अटैक सक्सेस रेट (ASR)

टारगेटेड सिंगल-QA: हमले अत्यधिक प्रभावी थे। फुल-डॉक्यूमेंट हमलों के लिए, ASR Pix2Struct के लिए लगभग 100% और Donut के लिए 80% से थोड़ा कम तक पहुँच गया। पैच हमले भी Pix2Struct के लिए सफल रहे (~100% ASR) लेकिन Donut के लिए काफी कम प्रभावी रहे (<20% ASR)।
टारगेटेड मल्टी-QA: जैसे-जैसे अनुकूलित प्रश्नों की संख्या ( $B$ ) बढ़ी, ASR कम होता गया, जो कई बाधाओं को एक साथ संतुष्ट करने की बढ़ती कठिनाई को दर्शाता है। Pix2Struct ने छोटे $B$ के लिए उच्च ASR बनाए रखा, जबकि Donut का प्रदर्शन तेजी से गिरा, जो $B=2$ पर शून्य के करीब पहुँच गया।
डिनायल ऑफ आंसर (DoA): अनटारगेटेड हमलों ने मॉडल के प्रदर्शन को कम करने में अत्यधिक प्रभावशीलता दिखाई। यहाँ तक कि एकल ऑप्टिमाइज़ेशन स्टेप ( $K=1$ ) के साथ भी, मॉडल बाधित हो गए। DoA के लिए ASR $B=1$ के लिए उच्च बना रहा लेकिन जैसे-जैसे अधिक प्रश्नों को लक्षित किया गया, यह कम होता गया, हालांकि Donet के लिए गिरावट लक्षित परिदृश्य की तुलना में कम गंभीर थी।

कोलेटरल डैमेज (CDMG) और ANLS

कोलेटरल डैमेज: टारगेटेड सिंगल-QA हमलों के लिए, CDMG कम रहा, जो दर्शाता है कि उसी दस्तावेज़ पर गैर-लक्षित उत्तर काफी हद तक सही रहे। हालाँकि, मल्टी-QA और DoA परिदृश्यों में, CDMG अपेक्षित रूप से बढ़ा, विशेष रूप रूप से DoA के मामले में जहाँ लक्ष्य वैश्विक व्यवधान है।
ANLS स्कोर: एवरेज नॉर्मलाइज्ड लेवेनश्टीन सिमिलरिटी (ANLS) मेट्रिक्स ने हमले की गतिशीलता की पुष्टि की। लक्षित हमलों में, ANLS-B (टारगेटेड उत्तरों के साथ समानता) बढ़ गया, जबकि ANLS-C (गैर-लक्षित उत्तरों के लिए ग्राउंड-ट्रुथ के साथ समानता) उच्च बना रहा। DoA हमलों में, ANLS-B (ग्राउंड-ट्रुथ के साथ समानता) काफी कम हो गया, जो सही आउटपुट के क्षरण की पुष्टि करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह OCR-फ्री DocVQA सिस्टम की एडवरसैरियल भेद्यता का विश्लेषण करने वाला पहला थ्रेट मॉडल प्रस्तुत करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि:

एंड-टू-एंड भेद्यता: वर्तमान DocVQA सिस्टम एडवरसैरियल फोर्जरी के प्रति संवेदनशील हैं जहाँ छोटे, स्थानीयकृत या पूर्ण-दस्तावेज़ परटर्बेशन विशिष्ट, अर्थपूर्ण रूप से गलत उत्तर उत्पन्न कर सकते हैं।
वास्तविक दुनिया का प्रभाव: ये हमले केवल सैद्धांतिक नहीं हैं; इन्हें वित्तीय डेटा (जैसे, इनवॉइस टोटल) को मैनिपुलेट करने या स्वचालित दस्तावेज़ प्रसंस्करण पाइपलाइनों में 'डिनायल-ऑफ-सर्विस' स्थितियों को ट्रिगर करने के लिए तैयार किया जा सकता है।
मॉडल संवेदनशीलता: विभिन्न आर्किटेक्चर अलग-अलग स्तर की मजबूती प्रदर्शित करते हैं। पाया गया कि Pix2Struct, Donut की तुलना में पैच हमलों के प्रति अधिक संवेदनशील है, जबकि Donut मल्टी-टारगेट ऑप्टिमाइज़ेशन के साथ अधिक संघर्ष करता है।
रक्षा के लिए आह्वान: निष्कर्ष दस्तावेज़ मोडैलिटी के अनुकूल एडवरसैरियल ट्रेनिंग, विसंगत इनपुट का पता लगाने और प्रीप्रोसेसिंग पाइपलाइनों को मजबूत करने सहित मजबूत रक्षा की महत्वपूर्ण आवश्यकता को रेखांकित करते हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि उनका अध्ययन व्हाइट-बॉक्स सेटिंग (हमला करने की क्षमता की ऊपरी सीमा) मानता है, फिर भी परिणाम ऐसे हमलों की प्रभावकारिता की एक स्पष्ट ऊपरी सीमा स्थापित करते है, जो समुदाय को इन कमजोरियों के वास्तविक दुनिया में शोषण होने से पहले सिद्धांतिक शमन (mitigations) विकसित करने का आग्रह करते हैं।