🤖 AI

Securing Multimodal AI through Internal Information Decomposition

यह शोध पत्र फ्लोगार्ड (FlowGuard) का प्रस्ताव करता है, जो एक हल्का इन्फ्रेंस-टाइम फ्रेमवर्क है जो 'पार्शियल इंफॉर्मेशन डिकम्पोजिशन' (Partial Information Decomposition) से प्रेरित 'फ्लोवेक्टर्स' (FlowVectors) के माध्यम से आंतरिक क्रॉस-मोडल निरंतरता की निगरानी करके प्रतिकूल हमलों (adversarial attacks) का पता लगाकर मल्टीमॉडल एआई को सुरक्षित करता है, जिससे न्यूनतम विलंबता (latency) और उपयोगिता हानि के साथ हमले की सफलता दर में महत्वपूर्ण कमी आती है।

मूल लेखक: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

प्रकाशित 2026-07-27

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जो कैमरे के माध्यम से दुनिया को देख सकता है और माइक्रोफ़ोन के माध्यम से आपसे बात कर सकता है। यह रोबोट एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" (Multimodal Large Language Model) है, जो एक सुपर-स्मार्ट एआई है जो चित्रों और शब्दों को मिलाकर यह समझता है कि क्या हो रहा है। लेकिन पेचीदा हिस्सा यह है कि सिर्फ इसलिए कि रोबोट एक हानिरहित तस्वीर देखता है और एक हानिरहित वाक्य सुनता है, इसका मतलब यह नहीं है कि उनका संयोजन सुरक्षित है। यह वैसा ही है जैसे आप एक शेफ को केक की एक तस्वीर और केक की रेसिपी दें, लेकिन फिर उसके कान में एक गुप्त कोड फुसफुसा दें जो उसे जहर मिलाने के लिए कहे। तस्वीर ठीक दिखती है, रेसिपी ठीक दिखती है, लेकिन अंतिम व्यंजन खतरनाक होता है। यह वह नया प्रकार का खतरा है जिसके बारे में शोधकर्ता चिंतित हैं: हैकर्स जो अपनी बुरी मंशा को एक छवि और एक टेक्स्ट के बीच विभाजित कर देते हैं ताकि दोनों में से कोई भी अकेला संदिग्ध न दिखे, लेकिन मिलकर वे एआई को कुछ हानिकारक करने के लिए धोखा दे सकें।

इन चालाक चालों को पकड़ने के लिए, वैज्ञानिक आमतौर पर चित्र या टेक्स्ट की अलग-अलग जांच करते हैं, जैसे कि एक सुरक्षा गार्ड बैग और व्यक्ति के आईडी की एक-एक करके जांच करता है। लेकिन यह पेपर सुझाव देता है कि केवल इनपुट्स को देखने के बजाय, हमें यह देखना चाहिए कि रोबोट का दिमाग उनके बारे में कैसे सोचता है। मूल विचार यह है कि जब एक रोबोट सामान्य रूप से काम कर रहा होता है, तो चित्र और टेक्स्ट एक-दूसरे के साथ सहमत होते हैं और रोबोट को एक स्पष्ट, आत्मविश्वासी निर्णय लेने में मदद करते हैं। यदि कोई हैकर रोबोट को धोखा देने की कोशिश करता है, तो वह आंतरिक सहमति टूट जाती है। रोबोट का दिमाग भ्रमित हो जाता है, या चित्र और टेक्स्ट एक-दूसरे के विपरीत दिशा में खींचने लगते हैं, भले ही अंतिम उत्तर सुचारू दिखाई दे। यह पेपर एक नया सुरक्षा तंत्र प्रस्तावित करता है जिसे FlowGuard कहा जाता है जो एक "विचार जासूस" (thought detective) के रूप में कार्य करता है, जो यह देखने के लिए रोबोट की आंतरिक तर्क प्रक्रिया पर नज़र रखता है कि चित्र और टेक्स्ट एक-दूसरे से लड़ रहे हैं या अजीब व्यवहार कर रहे हैं, बजाय इसके कि केवल सतह-स्तर के शब्दों या पिक्सेल की जांच की जाए।

FlowGuard की कहानी: "थॉट फ्रैक्चर" को पकड़ना

इस पेपर के पीछे के शोधकर्ताओं ने, जेह्योक योन (Jehyeok Yeon) और सहयोगियों के नेतृत्व में, यह देखा कि ये एआई मॉडल कैसे काम करते हैं। जब आप एक मॉडल को एक सामान्य छवि और एक सामान्य प्रश्न देते हैं, तो चित्र को देखने वाला मस्तिष्क का हिस्सा और टेक्स्ट को पढ़ने वाला हिस्सा आमतौर पर बहुत अच्छे से तालमेल बिठाते हैं। वे जानकारी साझा करते हैं, इस पर सहमत होते हैं कि क्या महत्वपूर्ण है, और अंतिम उत्तर स्थिर और निश्चित महसूस होता है। यह दो दोस्तों द्वारा मिलकर एक रेत का महल बनाने जैसा है; वे दोनों जानते हैं कि महल कैसा दिखना चाहिए, और उनका संयुक्त प्रयास महल को अधिक मजबूत और विस्तृत बनाता है।

हालाँकि, जब एक हमलावर मॉडल को "जेलब्रेक" करने की कोशिश करता है—यानी, एक चित्र या टेक्स्ट में बुरी निर्देश छिपाकर मॉडल को उसके सुरक्षा नियमों को अनदेखा करने के लिए मजबूर करना—तो सामंजस्य टूट जाता है। पेपर सुझाव देता है कि भले ही हमलावर मॉडल को धोखा देने के लिए चित्र और टेक्स्ट को व्यक्तिगत रूप से निर्दोष दिखाने में सक्षम हो, लेकिन जिस क्षण मॉडल उन्हें मिलाने की कोशिश करता है, कुछ गलत हो जाता है। आंतरिक तर्क "विखंडित" (fractured) हो जाता है। चित्र एक चीज़ चिल्ला रहा हो सकता है जबकि टेक्स्ट दूसरी चीज़ फुसफुसा रहा हो, या संयोजन एक भ्रमित करने वाला ढेर बना सकता है जिसे मॉडल का दिमाग सुचारू रूप से हल नहीं कर पाता।

इसे पकड़ने के लिए, टीम ने FlowGuard बनाया। FlowGuard को दरवाजे पर खड़े गार्ड के रूप में नहीं, बल्कि रोबोट के मस्तिष्क के भीतर बैठे एक अनुवादक के रूप में सोचें। यह केवल अंतिम उत्तर को नहीं देखता; यह रोबोट की निर्णय लेने की प्रक्रिया के बिल्कुल पहले सेकंड पर नज़र डालता है। यह तीन त्वरित प्रश्न पूछता है:

रोबोट क्या कहेगा यदि वह केवल चित्र को देखे?
रोबोट क्या कहेगा यदि वह केवल टेक्स्ट को पढ़े?
वह क्या कहता है जब वह दोनों को एक साथ देखता है?

फिर, यह इन तीन उत्तरों की तुलना करता है। एक सुरक्षित स्थिति में, "दोनों" वाला उत्तर अन्य दो का एक सुखद मिश्रण होना चाहिए, जैसे लाल और पीले रंग के पेंट का एक सुचारू मिश्रण नारंगी रंग बनाता है। लेकिन एक हमले में, "दोनों" वाला उत्तर अचानक एक अजीब रंग का हो सकता है, या लाल और पीला पेंट आपस में मिलने से मना कर सकता है। FlowGuard इस "मिश्रण" को कुछ फैंसी गणित का उपयोग करके मापता है (जो 'पार्शियल इंफॉर्मेशन डिकम्पोजिशन' नामक अवधारणा से प्रेरित है) ताकि एक FlowVector बनाया जा सके। यह एक छोटा, चार-नंबर वाला कोड है जो बताता है कि चित्र और टेक्स्ट वास्तव में कैसे परस्पर क्रिया कर रहे हैं।

रेडंडेंसी (Redundancy): क्या चित्र और टेक्स्ट सहमत हैं? (उच्च रेडंडेंसी का अर्थ है कि वे एक ही पृष्ठ पर हैं)।
यूनिकनेस (Uniqueness): क्या उनमें से कोई एक बातचीत पर हावी हो रहा है? (यदि चित्र चिल्ला रहा है और टेक्स्ट चुप है, तो यह उच्च विजुअल यूनिकनेस है)।
सिनर्जी (Synergy): क्या उन्हें मिलाने से उत्तर अधिक स्पष्ट होता है, या यह इसे अधिक भ्रमित करता है? (अच्छी सिनर्जी का अर्थ है कि संपूर्ण अपने हिस्सों के योग से बड़ा है; बुरी सिनर्जी का अर्थ है कि संयोजन अराजकता पैदा करता है)।

टीम ने FlowGuard को केवल "अच्छे" उदाहरणों का उपयोग करके प्रशिक्षित किया—हजारों सामान्य चित्र और प्रश्न जहाँ रोबोट पूरी तरह से व्यवहार कर रहा था। उन्होंने एक एआई डिटेक्टर (एक आइसोलेशन फॉरेस्ट) को यह पहचानने के लिए प्रशिक्षित किया कि "सामान्य" प्रवाह कैसा दिखता है। क्योंकि उन्होंने इसे केवल अच्छे व्यवहार पर प्रशिक्षित किया था, इसलिए डिटेक्टर जानता है कि जो कुछ भी सामान्य पैटर्न से थोड़ा भी "अलग" दिखता है, वह संदिग्ध है। यह एक सुरक्षा प्रणाली को एक सामान्य घर की आवाज़ पहचानने के लिए सिखाने जैसा है; यदि कोई खिड़की टूटती है या फर्श का तख्ता अजीब तरह से चरमराता है, तो अलार्म बज जाता है, भले ही घुसपैठिया वेश बदलकर आया हो।

उन्होंने क्या पाया

परिणाम आश्चर्यजनक रूप से प्रभावी थे। शोधकर्ताओं ने FlowGuard का परीक्षण विविध प्रकार के हमलों के खिलाफ किया, जिसमें वे हमले शामिल थे जहाँ हैकर्स ने ASCII आर्ट में बुरे शब्द छिपाए, अदृश्य पिक्सेल परिवर्तनों के साथ छवियों को बदला, या एक निर्देश को चित्र और वाक्य के बीच विभाजित किया।

बिना किसी बचाव के, ये मॉडल अविश्वसनीय रूप से असुरक्षित थे। कुछ सबसे चालाक हमलों में, मॉडल 90% से अधिक बार विफल रहे, और खुशी-खुशी हानिकारक सामग्री उत्पन्न करते रहे। लेकिन जब FlowGuard चालू किया गया, तो इसने इन हमलों की सफलता दर को घटाकर 15% से कम कर दिया। कई मामलों में, इसने लगभग हर एक प्रयास को पकड़ लिया, जिससे विफलता दर एकल अंक (क्रॉस-मोडल हमलों के लिए लगभग 6% से 9%) तक आ गई।

सबसे दिलचस्प बात यह है कि FlowGuard ने केवल बुरे लोगों को ही नहीं रोका; इसने अनजाने में अच्छे लोगों को भी नहीं रोका। शोधकर्ताओं ने यह जांचा कि क्या FlowGuard चिड़चिड़ा होकर सामान्य प्रश्नों को देने से मना कर देगा। उन्होंने पाया कि इसने सुरक्षित इनपुट पर केवल 2.4% बार गलती की, जो अन्य सुरक्षा विधियों की तुलना में बहुत बेहतर है जो अक्सर सुरक्षित रहने के लिए हानिरहित प्रश्नों को भी ब्लॉक कर देती हैं। इसके अलावा, यह बहुत तेज़ था। जबकि कुछ अन्य सुरक्षा जाँचों को जटिल इमेज पुनर्निर्माण चलाने में कई सेकंड लग जाते हैं, FlowGuard ने लगभग 1.3 सेकंड में अपना काम कर दिया, जिससे यह वास्तविक समय के उपयोग के लिए व्यावहारिक बन गया।

पेपर ने यह भी दिखाया कि यह ट्रिक विभिन्न प्रकार के रोबोटों पर काम करती है, 4 बिलियन "मस्तिष्क कोशिकाओं" वाले छोटे रोबोटों से लेकर 70 बिलियन वाले विशाल रोबोटों तक। यह एक API के माध्यम से एक्सेस किए गए मॉडल पर भी काम करता है (जहाँ आप पूरे मस्तिष्क को नहीं देख सकते, केवल शीर्ष अनुमान देख सकते हैं), जो यह सिद्ध करता है कि "फ्रैक्चर थॉट" सिग्नल इन मॉडलों के काम करने का एक मौलिक हिस्सा है, न कि केवल किसी विशिष्ट डिज़ाइन की गड़बड़ी।

निचोड़

यह पेपर सुझाव देता है कि मल्टीमॉडल एआई को सुरक्षित करने का सबसे अच्छा तरीका इनपुट्स के चारों ओर ऊँची दीवारें बनाना नहीं है, बल्कि यह सुनना है कि एआई कैसे सोचता है। यह देखते हुए कि चित्र और टेक्स्ट कब एक-दूसरे के साथ अच्छा व्यवहार करना बंद कर देते हैं, FlowGuard एक हैकर की चाल को रोबोट के अपना वाक्य पूरा करने से पहले ही पकड़ सकता है। यह एक हल्का, तेज़ और आश्चर्यजनक रूप से मजबूत तरीका है जो इन शक्तिशाली उपकरणों को सुरक्षित रखता है, जो यह सुझाव देता है कि सुरक्षा की कुंजी मशीन के मन के आंतरिक सामंजस्य पर ध्यान देने में हो सकती है।

तकनीकी सारांश: आंतरिक सूचना अपघटन के माध्यम से मल्टीमॉडल AI को सुरक्षित करना

समस्या विवरण

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) उन नवीन हमले वाले सतहों (attack surfaces) को पेश करते हैं जो यूनिमोडल सिस्टम में अनुपस्थित होते हैं। हमलावर इरादों को विभिन्न मोडैलिटीज (टेक्स्ट और इमेज) में इस तरह वितरित कर सकते हैं कि व्यक्तिगत इनपुट सुरक्षित और आंतरिक रूप से सुसंगत दिखाई देते हैं, फिर भी उनका संयोजन असुरक्षित व्यवहार को प्रेरित करता है। यह "कंपोजिशनल" विफलता मोड पारंपरिक सुरक्षा रक्षाओं को अप्रभावी बना देता है। मौजूदा दृष्टिकोण कच्चे इनपुट को शुद्ध करने, उत्पन्न आउटपुट को सत्यापित करने, या स्केलर कॉन्फिडेंस मेट्रिक्स (जैसे, संभावना, एंट्रॉपी, पर्प्लेक्सिटी) की निगरानी करने पर ध्यान केंद्रित करते हैं। हालाँकि, ये विधियाँ तब विफल हो जाती हैं जब टेक्स्ट-ओनली और विजन-ओनली रीजनिंग प्रत्येक स्वयं में सुसंगत दिखती है, लेकिन उनका संलयन (fusion) आत्मविश्वासी लेकिन कंपोजिशनल रूप से गलत व्यवहार उत्पन्न करता है। मुख्य चुनौती इन विफलताओं का पता लगाने की है, बिना अंतर्निहित मॉडल को संशोधित किए या एडवरसेरियल सुपरविजन पर निर्भर हुए, विशेष रूपकर तब जब हमले अनदेखे या ज़ीरो-शॉट हों।

कार्यप्रणाली: फ्लोगार्ड (FlowGuard)

लेखक फ्लोगार्ड प्रस्तावित करते हैं, जो मल्टीमॉडल रीजनिंग की आंतरिक स्थिरता की निगरानी करके हानिकारक इनपुट का पता लगाने वाला एक हल्का, इन्फरेंस-टाइम फ्रेमवर्क है। सतही स्तर के इनपुट या आउटपुट के निरीक्षण के बजाय, फ्लोगार्ड यूनिमोडल और मल्टीमॉडल प्रेडिक्टिव डिस्ट्रीब्यूशन के बीच की अंतःक्रिया का विश्लेषण करता है।

मुख्य तंत्र

फ्लोगार्ड तीन अलग-अलग कंडीशनिंग कॉन्फ़िगरेशन के तहत लक्षित MLLM की जांच करके कार्य करता है:

टेक्स्ट-ओनली: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
विजन-ओनली: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (एक निश्चित न्यूट्रल प्रॉम्प्ट का उपयोग करके)
संयुक्त मल्टीमॉडल: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

सिस्टम पहले-टोकन प्रेडिक्टिव डिस्ट्रीब्यूशन ( $P^{(1)}$ ) पर ध्यान केंद्रित करता है, जो ऑटोरेग्रेसिव प्रवर्धन से पहले मॉडल की प्रारंभिक निर्णय अवस्था को कैप्चर करता है।

फ्लोवेक्टर्स (FlowVectors) और पार्शियल इंफॉर्मेशन डिकंपोजिशन (PID)

पार्शियल इंफॉर्मेशन डिकंपोजिशन (PID) से प्रेरित होकर, फ्लोगार्ड एक 4-आयामी फ्लोवेक्टर $\phi(x) = (U_v, U_t, R, S)$ प्राप्त करता है जो यह मात्रा निर्धारित करता है कि टेक्स्ट और विजन से सूचना कैसे ओवरलैप, डाइवर्ज और फ्यूजन के तहत स्थिर होती है:

विशिष्टता (Uniqueness - $U_v, U_t$ ): दिशात्मक कुलबैक-लीब्लर (KL) डाइवर्जेंस के माध्यम से मापा गया।
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : कैप्चर करता है कि फ्यूज्ड पोस्टीरियर, टेक्स्ट-ओनली प्रायर से कितना विचलित होता है (विजुअल डोमिनेंस)।
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : कैप्चर करता है कि विजन-ओनली प्रायर से विचलन (टेक्स्ट डोमिनेंस)।
- महत्व: एडवरसेरियल मैनिपुलेशन अक्सर मोडैलिटी प्रभाव के संतुलन को तोड़ देता है, जिससे असममित डाइवर्जेंस सिग्नल मिलते हैं।
रिडंडेंसी (Redundancy - $R$ ): $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ के रूप में मापा गया, जहाँ JSD जेन्सन-शैनन डाइवर्जेंस है।
- महत्व: यूनिमोडल प्रायर्स के बीच सिमेंटिक अलाइनमेंट को कैप्चर करता है। बेनिन इनपुट संरेखित संरचनाएं प्रेरित करते हैं; एडवरसेरियल प्रॉम्प्ट्स संघर्षरत इरादे पेश करते हैं, जिससे रिडंडेंसी कम हो जाती है।
सिनर्जी (Synergy - $S$ ): एंट्रॉपी रिडक्शन के रूप में मापा गया: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ ।
- महत्व: यह दर्शाता है कि क्या फ्यूजन अनिश्चितता को कम करता है (रचनात्मक एकीकरण, $S > 0$ ) या इसे बढ़ाता है (अस्थिर अंतःक्रिया, $S < 0$ )।

रक्षा उद्देश्य

फ्लोगार्ड सुरक्षा पहचान को एक वन-क्लास क्लासिफिकेशन समस्या के रूप में फ्रेम करता है। एक आइसोलेशन फॉरेस्ट (Isolation Forest) को केवल बेनिन डेटा (जैसे, VQAv2 वैलिडेशन सेट) से प्राप्त फ्लोवेक्टर्स पर प्रशिक्षित किया जाता है। मॉडल "संरेखित" मल्टीमॉडल सूचना प्रवाह के सघन क्षेत्र को सीखता है। एडवरसेरियल इनपुट, जो असामान्य क्रॉस-मोडल इंटरैक्शन (जैसे, खंडित प्रवाह, नकारात्मक सिनर्जी, या अत्यधिक मोडैलिटी डोमिनेंस) प्रदर्शित करते हैं, इस स्पेस में आउटलेयर्स के रूप में दिखाई देते हैं।

एक्सेस आवश्यकताएं: फ्लोगार्ड को केवल अगले-टोकन प्रोबेबिलिटी डिस्ट्रीब्यूशन (या API मॉडल्स के लिए पर्याप्त बड़े टॉप- $k$ लॉगप्रब टेल) तक पहुंच की आवश्यकता होती है। इसके लिए मॉडल वेट्स, ग्रेडिएंट्स, या हिडन एक्टिवेशन्स की आवश्यकता नहीं है।

मुख्य योगदान

प्रोसेस-लेवल मल्टीमॉडल सुरक्षा: यह पेपर MLLM सुरक्षा को टेक्स्ट-ओनली, विजन-ओनली और जॉइंट प्रेडिक्टिव डिस्ट्रीब्यूशन के बीच निरंतरता पर ध्यान केंद्रित करके पुनर्व्याख्या करता है, जो सीधे मल्टीमॉडल फ्यूजन विफलताओं को लक्षित करता है न कि सतही सामग्री को।
फ्लोवेक्टर्स (FlowVectors): सूचना-सैद्धांतिक विशेषताओं (रिडंडेंसी, यूनिकनेस, सिनर्जी) के कॉम्पैक्ट फीचर्स का परिचय, जो इन्फरेंस टाइम पर मल्टीमॉडल रीजनिंग के आंतरिक सूचना प्रवाह को कैप्चर करते हैं।
ज़ीरो-शॉट अटैक डिटेक्शन: बेनिन मल्टीमॉडल व्यवहार को वन-क्लास क्लासिफिकेशन के माध्यम से मॉडल करना विविध, अनदेखे जेलब्रेक्स के लिए एक मजबूत पहचान सक्षम करता है, जो एडवरसेरियल ट्रेनिंग या जेनेरेटिव वेरिफिकेशन के बिना काम करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई MLLM आर्किटेक्चर (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) और बेंचमार्क (MM-SafetyBench, VLSafe, VLSU) में फ्लोगार्ड का मूल्यांकन किया, जिसमें टेक्स्ट-ओनली, विजन-ओनली और क्रॉस-मोडल हमले शामिल थे।

अटैक सक्सेस रेट (ASR) में कमी: फ्लोगार्ड ने लगातार अनदेखे हमलों पर ASR को असुरक्षित स्थिति में $>90\%$ से घटाकर $<15\%$ कर दिया। उदाहरण के लिए, LLaVA-1.5-7B पर, इसने यूनिवर्सल मास्टर की (UMK) के लिए ASR को 96.0% से 8.7% और कलर-बेस्ड सब्स्टीट्यूशन साइफर (CBSC) के लिए 94.8% से 9.1% तक कम कर दिया।
उपयोगिता संरक्षण (Utility Preservation): फ्रेमवर्क ने बेनिन यूटिलिटी को बेसलाइन प्रदर्शन के 2.4% के भीतर बनाए रखा। इसने बेनिन लेकिन सिमेंटिक रूप से जटिल क्वेरीज़ (MOSSBench) पर 2.4% का फॉल्स पॉजिटिव रेट (FPR) प्राप्त किया, जो पर्प्लेक्सिटी-आधारित (11.2% FPR) और कॉन्फिडेंस-आधारित (14.5% FPR) डिटेक्टरों से काफी बेहतर प्रदर्शन करता है।
दक्षता: फ्लोगार्ड प्रति सैंपल लगभग 1.3 सेकंड का विलंबता (latency) संचालित करता है (तीन फॉरवर्ड पास सहित), जो मिररचेक (MirrorCheck) और सीडर (CIDER) जैसे डिफ्यूजन-आधारित सत्यापन विधियों की तुलना में 6 $\times$ तक की गति प्रदान करता है।
मजबूती: विधि ने 4B से 70B पैरामीटर्स तक के मॉडल स्केल और आंशिक-डिस्ट्रीब्यूशन एक्सेस (GPT-4.1-mini के साथ टॉप- $k$ लॉगप्रब्स) में मजबूती प्रदर्शित की, जहाँ इसने 10.4% का औसत ASR बनाए रखा।
एब्लेशन स्टडीज (Ablation Studies):
- सिनर्जी ( $S$ ): सिनर्जी फीचर को हटाने से प्रदर्शन में सबसे बड़ी गिरावट आई, जो यह दर्शाता है कि मल्टीमॉडल अनिश्चितता में कमी के विचलन पहचान के लिए एक प्राथमिक सिग्नल हैं।
- डिकोडिंग स्टेप्स: केवल पहले डिकोडिंग स्टेप ( $k=1$ ) की निगरानी करना संतृप्ति (saturation) के लिए पर्याप्त था; $k$ बढ़ाने से रैखिक विलंबता लागत के सापेक्ष नगण्य लाभ हुआ।
- क्लासिफायर का चुनाव: आइसोलेशन फॉरेस्ट ने अनदेखे हमलों पर सुपरवाइज्ड MLP की तुलना में बेहतर प्रदर्शन किया, जिससे विशिष्ट परिवर्तन पैटर्न पर ओवरफिटिंग से बचा जा सका।

महत्व और दावे

पेपर का दावा है कि क्रॉस-मोडल निरंतरता की निगरानी करना मल्टीमॉडल रीजनिंग के लिए एक कुशल और प्रभावी रक्षा प्रदान करता है, जो उन सुरक्षा मानदंडों की मौलिक सीमा को संबोधित करता है जो फ्लोएंसी और कॉन्फिडेंस के बजाय संरचना पर जोर देते हैं।

सामान्यीकरण (Generalizability): सूचना प्रवाह की संरचनात्मक निरंतरता पर भरोसा करके, फ्लोगार्ड एक अटैक-अग्नोस्टिक रक्षा प्रदान करता है जो विभिन्न आर्किटेक्चर और अनदेखे हमला रणनीतियों में सामान्यीकृत होता है।
पूरकता (Complementarity): लेखक फ्लोगार्ड को इनपुट प्यूरिफिकेशन और आउटपुट वेरिफिकेशन विधियों के पूरक परत के रूप में देखते हैं, जो एक ऐसा मॉडल-इंटरनल सिग्नल प्रदान करता है जो उन विफलताओं का पता लगाता है जिन्हें सतही जाँच मिस कर देती है।
स्केलेबिलिटी (Scalability): यह फ्रेमवर्क हल्का है, जिसके लिए कोई मॉडल रिट्रेनिंग या ग्रेडिएंट एक्सेस की आवश्यकता नहीं है, जिससे यह वास्तविक दुनिया के सिस्टम में तैनाती के लिए उपयुक्त है जहाँ मॉडल वेट्स मालिकाना (proprietary) या अप्राप्य हो सकते हैं।

लेखक नोट करते हैं कि जबकि फ्लोगार्ड क्रॉस-मोडल और विजुअल हमलों के खिलाफ अत्यधिक प्रभावी है, यह टेक्स्ट-ओनली हमलों पर थोड़ा अधिक अवशिष्ट (residual) ASR (लगभग 13–14%) दिखाता है, जो सुझाव देता है कि व्यापक सुरक्षा के लिए टेक्स्ट-विशिष्ट रक्षा के साथ संयोजन आवश्यक हो सकता है। वे यह भी स्वीकार करते हैं कि डिटेक्शन मैकेनिज्म को प्रकाशित करने से एडेप्टिव हमलावरों को सूचित किया जा सकता है, और विसंगति-आधारित दृष्टिकोण दुर्लभ लेकिन वैध इनपुट को फ्लैग करने का जोखिम उठाते हैं, जिसके लिए संदर्भ डेटासेट्स के सावधानीपूर्वक क्यूरेशन और संवेदनशील अनुप्रयोगों में फॉल्स पॉजिटिव के ऑडिट की आवश्यकता होती है।