Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

यहाँ शोध पत्र "Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के दस्तावेज़ प्रश्नोत्तर (QA) के लिए लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) की तैनाती एक गंभीर सुरक्षा चुनौती का सामना कर रही है: गतिशील, उपयोगकर्ता-निर्धारित नीति संरक्षण (dynamic, user-defined policy preservation)। स्थिर सामाजिक मानदंडों के विपरीत, ये नीतियां विशिष्ट बाधाएं हैं (जैसे, "मध्य पूर्व क्षेत्र के राजस्व का खुलासा न करें") जो यह निर्धारित करती हैं कि संदर्भ के आधार पर कौन सी जानकारी प्रकट की जा सकती है।

शोध पत्र एक "रीजनिंग-प्रेरित सुरक्षा अंतराल" (Reasoning-Induced Safety Gap) की पहचान करता है:

• क्रॉस-मोडल रिसाव (Cross-Modal Leakage): जब मॉडल ऐसे प्रश्नों का उत्तर देते हैं जिनमें विषम मोडालिटीज़ (heterogeneous modalities) के बीच सूचना को संश्लेषित करने की आवश्यकता होती है (जैसे, एक पाई चार्ट से प्रतिशत को कुल राजस्व आंकड़े के साथ जोड़कर एक संरक्षित मान की गणना करना), तो वे नीतियों का पालन करने में विफल रहते हैं।
• अंतर्निहित बनाम स्पष्ट विफलता (Implicit vs. Explicit Failure): जबकि मॉडल डेटा को रोकने के स्पष्ट अनुरोधों का अनुपालन कर सकते हैं, वे अक्सर संवेदनशील जानकारी लीक कर देते हैं जब डेटा को जटिल तर्क (reasoning) या कई दस्तावेज़ अनुभागों में समूहीकृत (aggregate) करके निकाला जाना आवश्यक होता है।
• OCR विरोधाभास (The OCR Paradox): मॉडल को कच्चे चित्रों (raw images) के बजाय OCR-निकाले गए टेक्स्ट के रूप में प्रदान करने से धारणात्मक स्पष्टता (perceptual clarity) में सुधार होता है, लेकिन यह अनजाने में रिसाव को सुगम बनाता है क्योंकि यह संख्यात्मक तर्क और मान निष्कर्षण को आसान बना देता है, जिससे सुरक्षा बाधाओं को बायपास करना सरल हो जाता है।

2. कार्यप्रणाली: Doc-PP बेंचमार्क (Methodology: Doc-PP Benchmark)

इन मुद्दों का व्यवस्थित मूल्यांकन और समाधान करने के लिए, लेखक Doc-PP पेश करते हैं, जो वास्तविक दुनिया के PDF दस्तावेजों (वित्तीय रिपोर्ट, उद्योग रिपोर्ट, आदि) से निर्मित एक नया बेंचमार्क है।

A. डेटासेट निर्माण पाइपलाइन (Dataset Construction Pipeline)

निर्माण प्रक्रिया तीन चरणों में चलती है (जैसा कि पेपर के चित्र 2 में दर्शाया गया है):

1. नीति निर्माण (Policy Construction):
   • लक्ष्य पीढ़ी (Target Generation): एक LLM उन गोपनीय लक्ष्यों ($t$) की पहचान करता है जिन्हें प्रकट नहीं किया जाना चाहिए (जैसे, विशिष्ट राजस्व आंकड़े, रणनीतिक रोडमैप)।
   • साक्ष्य निष्कर्षण (Evidence Extraction): प्रत्येक लक्ष्य के लिए, सिस्टम ग्राउंड-ट्रुथ साक्ष्य ($v$) निकालता है जिसमें पेज नंबर, साक्ष्य प्रकार (टेक्स्ट, टेबल, चार्ट) और शब्दशः उद्धरण शामिल हैं।
   • फिल्टरिंग (Filtering): एक चेकलिस्ट-आधारित सत्यापन सुनिश्चित करता है कि लक्ष्य ठोस (grounded) हैं, विशिष्ट रूप से पहचान योग्य हैं, और स्वाभाविक रूप से मान को लीक नहीं करते हैं। इसने कैंडिडेट सेट को 838 से घटाकर 635 उच्च-गुणवत्ता वाले लक्ष्यों तक कम कर दिया।
2. प्रश्न निर्माण (Query Construction):
   • स्पष्ट प्रश्न (Explicit Queries): प्रतिबंधित लक्ष्य के बारे में सीधे प्रश्न पूछना (जैसे, "$t$ के विवरण क्या हैं?")।
   • अंतर्निहित प्रश्न (Implicit Queries): सारांश-शैली के प्रश्न इस तरह डिज़ाइन किए गए हैं कि एक निष्ठावान उत्तर देने के लिए संरक्षित मान $v$ का खुलासा करना अनिवार्य हो जाता है (जैसे, "क्षेत्रीय प्रदर्शन का सारांश दें, जिसमें विशिष्ट आंकड़े शामिल हों")।
3. मूल्यांकन ढांचा (Evaluation Framework):
   • रिसाव (Leakage): बाइनरी चेक कि क्या मॉडल का आउटपुट गोपनीय मान $v$ को शामिल करता है।
   • निष्ठा (Faithfulness): इसे एक कंटेंट-कवरेज चेकलिस्ट के माध्यम से मापा जाता है। यह सुनिश्चित करता है कि मॉडल (संरक्षित मान को छोड़कर) उपयोगी जानकारी प्रदान करता है, बिना किसी मतिभ्रम (hallucination) या आवश्यक गैर-संवेदनशील तथ्यों को छोड़े।
   • इनपुट (Inputs): बेंचमार्क दो इनपुट मोडालिटीज़ का परीक्षण करता है: $D_{img}$ (कच्चे दस्तावेज़ चित्र) और $D_{ocr}$ (OCR-पार्स किया गया टेक्स्ट + चित्र)।

B. प्रस्तावित शमन: DVA फ्रेमवर्क (Proposed Mitigation: DVA Framework)

पहचानी गई कमजोरियों को दूर करने के लिए, लेखक DVA (Decompose–Verify–Aggregation) नामक एक स्ट्रक्चरल इन्फरेंस फ्रेमवर्क प्रस्तावित करते हैं:

1. डिकंपोज़ (Decompose): मॉडल एक संभावित उत्तर को परमाणु सूचना तत्वों (atomic information elements - व्यक्तिगत तथ्य/दावे) में तोड़ता है।
2. वेरिफाई (Verify): प्रत्येक परमाणु तत्व की व्यक्तिगत रूप से उपयोगकर्ता-निर्धारित नीति के विरुद्ध जांच की जाती है। नीति का उल्लंघन करने वाले तत्वों को अमान्य घोषित कर दिया जाता है।
3. एग्रीगेट (Aggregate): केवल वैध तत्वों को ही अंतिम प्रतिक्रिया में संश्लेषित किया जाता है।

• मुख्य नवाचार: यह तर्क प्रक्रिया (reasoning process) को नीति सत्यापन से अलग करता है, जिससे यह रोका जा सके कि संवेदनशील मान जटिल वाक्यों के भीतर छिपे हुए न रह जाएं।

3. मुख्य परिणाम (Key Results)

पेपर छह अत्याधुनिक LVLMs (GPT-5.2, Gemini-3, Qwen3-VL सहित) का Doc-PP बेंचमार्क पर मूल्यांकन करता है।

• व्यवस्थित रीजनिंग गैप (Systemic Reasoning Gap): मॉडल स्पष्ट प्रश्नों (Explicit Queries) की तुलना में अंतर्निहित प्रश्नों (Implicit Queries) पर काफी अधिक रिसाव दर प्रदर्शित करते हैं। जब डेटा को संश्लेषित करने के लिए तर्क (reasoning) की आवश्यकता होती है (जैसे, चार्ट से अनुपात की गणना करना), तो सुरक्षा बाधाएं ढह जाती हैं।
• OCR विरोधाभास की पुष्टि (The OCR Paradox Confirmed): OCR इनपुट का उपयोग करने वाले मॉडलों ने कच्चे चित्रों की तुलना में उच्च रिसाव दर दिखाई। उदाहरण के लिए, GPT-5.2 का अंतर्निहित प्रश्नों पर रिसाव 25.7% (इमेज) से बढ़कर 25.8% (OCR) हो गया, लेकिन अन्य मॉडलों ने अधिक नाटकीय वृद्धि दिखाई, जो दर्शाता है कि टेक्स्ट की सुलभता विजुअल-आधारित सुरक्षा फिल्टर को बायपास करने में मदद करती है।
• साक्ष्य प्रकार का प्रभाव (Evidence Type Impact): रिसाव क्रॉस-मोडालिटी परिदृश्यों (जैसे, चार्ट + टेक्स्ट) में सबसे अधिक होता है। विषम स्रोतों को एकीकृत करने की जटिलता मौजूदा सुरक्षा तंत्रों को चकमा देने में सक्षम प्रतीत होती है।
• दस्तावेज़ प्रकार सहसंबंध (Document Type Correlation): उच्च टेक्स्ट घनत्व वाले दस्तावेजों (बिजनेस/फाइनेंशियल रिपोर्ट) में दृश्य-प्रधान दस्तावेजों की तुलना में उच्च रिसाव दर (84.6% तक) देखी गई, जिससे पता चलता है कि टेक्स्ट संरक्षित विजुअल मानों को निकालने के लिए एक "गाइड" के रूप में कार्य करता है।
• शमन प्रभावकारिता (Mitigation Efficacy):
  • चेन-ऑफ-थॉट (CoT) और पोस्ट-हॉक रिवीजन (Post-Hoc Revision) जैसे मानक बचाव महत्वपूर्ण रूप से रिसाव को कम करने में विफल रहे (अक्सर >50% बना रहा)।
  • DVA ने बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन किया, जिससे रिसाव दर लगभग आधी हो गई (उदाहरण के लिए, Gemini-3-Flash का रिसाव 64.6% से घटकर 30.5% हो गया)। इसने सफलतापूर्वक उन लीक्स को रोका जिन्हें CoT मिस कर गया था, क्योंकि इसने परमाणु स्तर पर तथ्यों को सत्यापित किया।

4. मुख्य योगदान (Key Contributions)

1. Doc-PP बेंचमार्क: मल्टीमॉडल दस्तावेज़ QA में उपयोगकर्ता-निर्धारित नीति संरक्षण का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया पहला बेंचमार्क, जो केवल टेक्स्ट-ओनली या अंतर्निहित सामाजिक मानदंडों के अध्ययन से आगे बढ़ता है।
2. सुरक्षा अंतराल की खोज: रीजनिंग-प्रेरित सुरक्षा अंतराल और OCR विरोधाभास की पहचान, जो यह उजागर करता है कि बेहतर मल्टीमॉडल समझ और टेक्स्ट निष्कर्षण विरोधाभासी रूप से सुरक्षा को कम कर सकते हैं।
3. DVA फ्रेमवर्क: एक नवीन, हल्का स्ट्रक्चरल इन्फरेंस मेथड जो प्रभावी रूप से तर्क (reasoning) को नीति सत्यापन से अलग करता है, जो सुरक्षित दस्तावेज़ समझ के लिए एक मजबूत आधार प्रदान करता है।
4. व्यापक मूल्यांकन: विविध दस्तावेज़ प्रकारों और इनपुट मोडालिटीज़ में चेकलिस्ट-आधारित निष्ठा मेट्रिक्स और लीकेज डिटेक्शन का उपयोग करते हुए एक कठोर मूल्यांकन ढांचा।

5. महत्व (Significance)

यह कार्य एंटरप्राइज और कानूनी क्षेत्रों में LVLMs के सुरक्षित परिनियोजन के लिए महत्वपूर्ण है जहाँ सशर्त सूचना प्रकटीकरण (conditional information disclosure) अनिवार्य है। यह प्रदर्शित करता है कि वर्तमान सुरक्षा संरेखण (safety alignment) तकनीकें जटिल, मल्टीमॉडल तर्क कार्यों के लिए अपर्याप्त हैं। एक व्यावहारिक पथ प्रदान करके, यह पेपर यह सिद्ध करता कि भविष्य के सुरक्षा अनुसंधान को समग्र प्रतिक्रिया पीढ़ी (holistic response generation) के बजाय विशिष्ट, परमाणु सत्यापन (granular, atomic verification) पर ध्यान केंद्रित करना चाहिए।