💻 computer science

Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models

यह शोध पत्र एक नवीन हमले की विधि प्रस्तुत करता है जो एक विशिष्ट लॉस फंक्शन को अनुकूलित करके चित्र उत्पन्न करती है, जिससे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में संख्यात्मक अस्थिरता (न्यूमेरिकल इंस्टेबिलिटी) उत्पन्न होती है, जिसके परिणामस्वरूप पारंपरिक एडवरसेरियल परटर्बेशन्स से भिन्न, अत्याधुनिक मॉडल्स और डेटासेट्स के प्रदर्शन में महत्वपूर्ण गिरावट आती है।

मूल लेखक: Wai Tuck Wong, Jun Sun, Arunesh Sinha

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wai Tuck Wong, Jun Sun, Arunesh Sinha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: "फुसफुसाता हुआ भूत" (The Whispering Ghost) हमला

कल्प_िए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल, या LVLM) है जो एक तस्वीर देख सकता है और उसके बारे में सवालों के जवाब दे सकता है। आप सोच सकते हैं कि इस रोबोट को चकमा देने का एकमात्र तरीका उसे बिल्ली की ऐसी तस्वीर दिखाना है जो कुत्ते जैसी दिखती हो, या फोटो पर कोई अजीब सा निशान बना देना है जिससे उसकी आँखें भ्रमित हो जाएं।

इस शोध पत्र ने इस रोबोट को तोड़ने का एक बिल्कुल नया तरीका खोजा है। रोबोट क्या देख रहा है उसे बदलने के बजाय, शोधकर्ताओं ने यह बदला कि रोबोट कैसे सोचता है।

उन्होंने पाया कि कंप्यूटर के मस्तिष्क के भीतर के नंबरों में बहुत सूक्ष्म, अदृश्य बदलाव करके, वे रोबोट को बेतहाशा 'हैलुसिनेशन' (hallucination) करने के लिए मजबूर कर सकते हैं, जिससे वह ऐसे जवाब देता है जिनका कोई अर्थ नहीं होता, भले ही तस्वीर इंसान को बिल्कुल वैसी ही दिखाई दे रही हो।

उपमा: "धुंधला कैलकुलेटर" (The Fuzzy Calculator)

इसे समझने के लिए, कल्पना कीजिए कि रोबोट का मस्तिष्क गणित करने वाली अकाउंटेंट्स की एक विशाल टीम है।

शॉर्ट-कट (हाफ-प्रिसिजन/Half-Precision): समय और मेमोरी बचाने के लिए, ये अकाउंटेंट अनंत सटीकता (infinite precision) का उपयोग नहीं करते हैं। वे नंबरों को राउंड ऑफ (round off) कर देते हैं। "3.14159265..." कहने के बजाय, वे कहते हैं "3.14"। इसे हाफ-प्रिसिजन कहा जाता है। यह एक ऐसे रूलर (पैमाने) का उपयोग करने जैसा है जिसमें बारीक मिलीमीटर लाइनों के बजाय केवल बड़े निशान हों। आमतौर पर, यह ठीक रहता है।
राउंडिंग एरर (Rounding Error): कभी-कभी, जब आप इन राउंड किए गए हजारों नंबरों को जोड़ते हैं, तो छोटी गलतियाँ जमा होती जाती हैं। यह एक लंबी यात्रा के हर कदम को राउंड ऑफ करने जैसा है; अंत तक, आप शायद मीलों दूर भटक सकते हैं।
हमला (The Attack): शोधकर्ताओं ने महसूस किया कि यदि वे शुरुआती नंबरों को बिल्कुल सही तरीके से थोड़ा सा हिला सकें, तो वे अकाउंटेंट्स को सबसे खराब राउंडिंग गलतियाँ करने के लिए मजबूर कर सकते हैं। वे इमेज को नहीं बदल रहे हैं; वे इमेज के पीछे के गणित को बदल रहे हैं।

"डोमिनो इफेक्ट" (The Domino Effect)

यह शोध पत्र इस अस्थिरता के दो स्तरों का वर्णन करता है:

स्तर 1: रूलर (कार्यान्वयन स्तर/Implementation Level): यह ऊपर बताया गया राउंडिंग एरर है। यह थोड़े से टेढ़े रूलर का उपयोग करने जैसा है।
स्तर 2: एम्पलीफायर (कार्यात्मक स्तर/Functional Level): यह वह जगह है जहाँ मामला डरावना हो जाता है। रोबोट का मस्तिष्क इस तरह डिज़ाइन किया गया है कि छोटे बदलाव बड़े बदलावों में बदल सकते हैं।
- उपमा: कल्पना कीजिए कि एक माइक्रोफोन है जो थोड़ा अधिक संवेदनशील है। यदि आप इसमें धीरे से "हेलो" फुसफुसाते हैं, तो यह फीडबैक दे सकता है और चिल्लाने लग सकता है। शोधकर्ताओं ने एक विशिष्ट "हेलो" (एक छोटा पिक्सेल परिवर्तन) फुसफुसाने का तरीका खोजा जो रोबोट को बकवास चिल्लाने के लिए मजबूर कर देता है।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने कई प्रसिद्ध AI मॉडल्स (जैसे LLaVA और Idefics) पर मानक डेटासेट्स (जैसे Flickr30k और VQAv2) का उपयोग करके परीक्षण किया।

परिणाम चौंकाने वाले थे:

इनपुट: उन्होंने बैंगनी रंग के तौलिए पर धूप सेंकती एक लड़की की तस्वीर ली। एक इंसान के लिए, "हमला किया गया" (attacked) चित्र मूल चित्र के समान ही दिखता था।
आउटपुट (साफ/Clean): AI ने सही ढंग से कहा, "एक महिला जिसने बैंगनी रंग का स्कार्फ पहना है, लकड़ी की सतह पर लेटी है।"
आउटपुट (हमला किया गया/Attacked): AI ने उसी तस्वीर को देखा और कहा, "बैंगनी शर्ट वाला आदमी दूसरे आदमी से लड़ रहा है।"

उन्होंने कई सवालों के साथ ऐसा किया:

प्रश्न: "यह कौन सा शहर है?" -> उत्तर: "बर्नाबी (Burnaby)।"
हमला किया गया उत्तर: "न्यूार्क (Newark)।" (पूरी तरह से गलत शहर)।
प्रश्न: "प्लेट पर क्या है?" -> उत्तर: "केक।"
हमला किया गया उत्तर: "सब्जियों के साथ स्टेक (Steak)।"

यह "एडवर्सरियल हमलों" (Adversarial Attacks) से अलग क्यों है?

आमतौर पर, जब हम AI को "हैक" करने की बात करते हैं, तो हम एडवर्सरियल हमलों के बारे में सोचते हैं।

एडवर्सरियल अटैक: एक स्टॉप साइन पर स्टिकर लगाने जैसा है जो एक सेल्फ-ड्राइविंग कार को यह सोचने पर मजबूर कर देता है कि वह स्पीड लिमिट साइन है। आप AI की पैटर्न पहचान को धोखा देने के लिए विजुअल पैटर्न को बदल रहे हैं।
न्यूमेरिकल इंस्टेबिलिटी (यह शोध पत्र): एक स्पीकर में एक विशिष्ट फ्रीक्वेंसी फुसफुसाने जैसा है जो एम्पलीफायर का फ्यूज उड़ा देती है। आप चित्र के पैटर्न को नहीं बदल रहे हैं; आप कंप्यूटर के अंदर के मैथ इंजन का फायदा उठा रहे हैं। AI चित्र से "भ्रमित" नहीं है; उसका आंतरिक गणित बस टूट रहा है।

"छिपी हुई लागत" (The Hidden Cost)

यह शोध पत्र इसे एक "छिपी हुई लागत" कहता है क्योंकि:

यह अदृश्य है: आप हमले को देख नहीं सकते। इमेज एकदम परफेक्ट दिखती है।
यह सार्वभौमिक (Universal) है: यह अलग-अलग मॉडल्स, अलग-अलग साइज और अलग-अलग कार्यों पर काम करता है।
इसे ठीक करना कठिन है: आप केवल AI को इसे अनदेखा करने के लिए "ट्रेन" नहीं कर सकते, क्योंकि समस्या ट्रेनिंग डेटा में नहीं है; यह कंप्यूटर द्वारा गणित करने के मौलिक तरीके में है (फ्लोटिंग-पॉइंट अरिथमेटिक)।

निष्कर्ष (The Takeaway)

यह शोध एक चेतावनी है। हम ऐसे AI सिस्टम बना रहे हैं जो अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन वे पैसा और गति बचाने के लिए "धुंधले गणित" (half-precision) की नींव पर चल रहे हैं।

लेखक कह रहे हैं: "हमने पाया है कि हम केवल गणित को बदलकर इन शक्तिशाली रोबोटों को भ्रमित (hallucinate) कर सकते हैं, न कि तस्वीर को बदलकर। यह एक नया प्रकार की कमजोरी है जिसे हमें समझना और ठीक करना होगा, इससे पहले कि हम इन रोबोटों को कार चलाने या अस्पतालों को संभालने दें।"

यह खोजने जैसा है कि एक बहुत मजबूत पुल भारी ट्रकों के कारण नहीं गिरता, बल्कि एक विशिष्ट, सूक्ष्म कंपन के कारण गिरता है जो स्टील को तब तक कंपन कराता है जब तक कि वह टूट न जाए।

यहाँ शोध पत्र "Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs), विशेष रूप से लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) में एक नवीन और पूर्व में अनछुए विफलता मोड (failure mode) को संबोधित करता है। जहाँ पारंपरिक एडवरसैरियल अटैक्स (adversarial attacks) कार्य-विशिष्ट लॉस (जैसे गलत वर्गीकरण) को अधिकतम करने या प्रत्यक्ष रूप से दिखने वाले शोर (noise) को पेश करने पर ध्यान केंद्रित करते हैं, यह कार्य न्यूमेरिकल इंस्टेबिलिटी (संख्यात्मक अस्थिरता) को गिरावट के एक विशिष्ट वेक्टर के रूप में जांचता है।

मुख्य मुद्दा: आधुनिक LVLMs मेमोरी उपयोग और इन्फरेंस गति को अनुकूलित करने के लिए अक्सर हाफ-प्रिसिजन (float16) अंकगणित का उपयोग करते हैं। यह IEEE 754 फ्लोटिंग-पॉइंट मानक के अंतर्निहित राउंडिंग एरर्स (rounding errors) को पेश करता है।
परिकल्पना (Hypothesis): लेखक यह तर्क देते हैं कि इनपुट छवियों को सावधानीपूर्वक संशोधित करके, वे मॉडल के कम्प्यूटेशनल ग्राफ के भीतर राउंडिंग एरर्स की एक श्रृंखला (cascade) उत्पन्न कर सकते हैं और स्थानीय संख्यात्मक संवेदनशीलता (local numerical sensitivities) को बढ़ा सकते हैं। इससे डाउनस्ट्रीम कार्यों (कैप्शनिंग, VQA) में महत्वपूर्ण प्रदर्शन गिरावट आती है, भले ही इनपुट परिवर्तन मनुष्यों के लिए अदृश्य हो और पारंपरिक एडवरसैरियल पैटर्न का पालन न करता हो।
अंतर: मानक एडवरसैरियल परटर्बेशन के विपरीत, जो सिमेंटिक निर्णय सीमा (semantic decision boundary) को लक्षित करते हैं, यह दृष्टिकोण मॉडल की इम्प्लीमेंटेशन-लेवल प्रिसिजन और फंक्शनल सेंसिटिविटी को लक्षित करता है, जिससे ऐसे एरर उत्पन्न होते हैं जिन्हें केवल डेटा टाइप प्रिसिजन बढ़ाकर (जैसे float32 में स्विच करके) हल नहीं किया जा सकता, क्योंकि अस्थिरता मॉडल की आंतरिक फंक्शनल डायनेमिक्स में भी निहित है।

2. कार्यप्रणाली (Methodology)

लेखक "न्यूमेरिकली अनस्टेबल" इनपुट बनाने के लिए एक व्हाइट-बॉक्स, ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन फ्रेमवर्क का प्रस्ताव करते हैं।

A. समस्या का निरूपण (Problem Formulation)

लक्ष्य एक परटर्बेशन $\delta$ (जो $\epsilon$ द्वारा सीमित है) को इनपुट इमेज $X_I$ में जोड़ना है ताकि मॉडल $M$ में न्यूमेरिकल एरर को अधिकतम किया जा सके। इनपुट $X' = (X_I + \delta, X_P)$ है, जहाँ $X_P$ टेक्स्ट प्रॉम्प्ट है।

B. प्रॉक्सी लॉस फंक्शन (The Proxy Loss Function)

हर ऑपरेशन के लिए अनंत-प्रिसिजन ग्राउंड ट्रुथ की गणना करना कम्प्यूटेशनल रूप से कठिन है। इसके बजाय, लेखक फ्लोटिंग-पॉइंट राउंडिंग के तहत फॉरवर्ड एरर बाउंड (Lemma 3.1) के आधार पर एक प्रॉक्सी लॉस व्युत्पन्न करते हैं।

सैद्धांतिक आधार: लेम्मा बताता है कि एब्सोल्यूट फॉरवर्ड एरर, इनपुट के परिमाण ( $\|x\|$ ) और आउटपुट के परिमाण ( $\|f(x)\|$ ) के समानुपाती पदों द्वारा सीमित होता है।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव: न्यूमेरिकल एरर को अधिकतम करने के लिए, लेखक पूरे नेटवर्क में इंटरमीडिएट एक्टिवेशन्स के परिमाण को अधिकतम करने का प्रस्ताव करते हैं। प्रॉक्सी लॉस को इस प्रकार परिभाषित किया गया है:
$\mathcal{L}_{proxy} = \sum_{k \in [1, K]} |\hat{\theta}_k(X_I + \delta)_D|$
जहाँ $\hat{\theta}_k$ सीमित प्रिसिजन $D$ का उपयोग करके कम्प्यूटेशनल ग्राफ में $k$ -वें प्राथमिक ऑपरेशन का आउटपुट है।
तंत्र (Mechanism): इंटरमीडिएट वैल्यूज को बड़ा बनाकर, राउंडिंग एरर्स (जो परिमाण के साथ स्केल होते हैं) को बढ़ाया जाता है। इसके अलावा, इन मैग्नीट्यूड्स को अधिकतम करना अप्रत्यक्ष रूप से पूर्ववर्ती फंक्शन्स के आउटपुट में बड़े बदलाव लाता है, जिससे मॉडल की फंक्शनल सेंसिटिविटी (लोकल लिप्सचिट्ज़ कांस्टेंट) का लाभ उठाया जाता है।

C. कार्यान्वयन विवरण (Implementation Details)

इस लॉस को ऑप्टिमाइज़ करने में나 चुनौतियाँ हैं, जैसे वैनिशिंग ग्रेडिएंट्स और ऑप्टिमाइज़ेशन प्रक्रिया के दौरान प्रिसिजन लॉस। लेखक विशिष्ट तकनीकों का उपयोग करते हैं:

मिक्स्ड प्रिसिजन (Mixed Precision): अपडेट के दौरान ऑप्टिमाइज़र द्वारा प्रिसिजन खोने से बचने के लिए परटर्बेशन $\delta$ और संचित लॉस को float64 में स्टोर किया जाता है, जबकि मॉडल का फॉरवर्ड पास float16 में रहता है।
ग्रेडिएंट स्केलिंग (Gradient Scaling): छोटे ग्रेडिएंट मैग्नीट्यूड को संभालने के लिए, अपडेट नियम फास्ट ग्रेडिएंट साइन मेथड (FGSM) की नकल करता है लेकिन कच्चे मान के बजाय ग्रेडिएंट के साइन का उपयोग करता है:
$\delta'_{i+1} = \delta'_i + \alpha \cdot \text{sign}(\nabla_{\delta'} \mathcal{L}_{proxy})$
यह सुनिश्चित करता है कि जब ग्रेडिएंट्स संख्यात्मक रूप से बहुत छोटे हों, तब भी अपडेट स्थिर रहे।

3. मुख्य योगदान (Key Contributions)

नवीन विफलता मोड की पहचान: पेपर "इंड्यूस्ड न्यूमेरिकल इंस्टेबिलिटी" को एक विशिष्ट विफलता वेक्टर के रूप में पहचानता है जो पारंपरिक एडवरसैरियल अटैक्स के लंबवत (orthogonal) है। यह प्रदर्शित करता है कि मॉडल्स को केवल सिमेंटिक हेरफेर से नहीं, बल्कि फ्लोटिंग-पॉइंट अंकगणित की सीमाओं का फायदा उठाकर तोड़ा जा सकता है।
प्रॉक्सी लॉस फ्रेमवर्क: लेखक बिना किसी ग्राउंड-ट्रुथ लेबल या टास्क-विशिष्ट लॉस फंक्शन के इन अस्थिरताओं को प्रेरित करने के लिए एक कुशल, ग्रेडिएंट-आधारित विधि पेश करते हैं।
व्यापक मूल्यांकन: इस पद्धति को विभिन्न आकार और आर्किटेक्चर के अत्याधुनिक LVLMs (LLaVA-v1.5-7B, Idefics3-8B, SmolVLM-2B, Janus-Pro-1B) और मानक बेंचमार्क (MSCOCO, Flickr30k, TextVQA, VQAv2, POPE) पर मान्य किया गया है।
प्रिसिजन संवेदनशीलता का विश्लेषण: अध्ययन से पता चलता है कि हालांकि प्रिसिजन बढ़ाना (float16 $\to$ float32) मामूली सुधार प्रदान करता है, यह गिरावट को पूरी तरह से कम नहीं करता है, जिससे पता चलता है कि अस्थिरता केवल डेटा टाइप प्रिसिजन से नहीं, बल्कि मॉडल की आंतरिक फंक्शनल डायनेमिक्स में भी निहित है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों से पता चलता है कि प्रस्तावित विधि (NUM) रैंडम नॉइज़ (RAND), गॉसियन नॉइज़ (GAUS) और कोई नॉइज़ नहीं (NONE) जैसे बेसलाइन्स की तुलना में काफी खराब प्रदर्शन गिरावट का कारण बनती है।

प्रदर्शन में गिरावट:
- Idefics3-8B के साथ MSCOCO डेटासेट पर, CIDEr-D स्कोर 0.664 (क्लीन) से गिरकर 0.273 (NUM) हो गया, जो कि ~59% की गिरावट है।
- इसके विपरीत, गॉसियन नॉइज़ बेसलाइन्स ने न्यूनतम गिरावट दिखाई (उदाहरण के लिए, SmolVLM2 के लिए VQAv2 में केवल ~5% की गिरावट)।
सिमेंटिक ड्रिफ्ट (Semantic Drift):
- गुणात्मक उदाहरण (चित्र 4, 6, 7, 8) दिखाते हैं कि जबकि परटर्बड इमेज क्लीन इमेज के समान दिखती हैं, मॉडल के आउटपुट अर्थहीन (nonsensical) हो जाते हैं (जैसे, "टाइल वॉल" को "ग्लास" के रूप में पहचानना, या "तौलिये के साथ लड़की" को "एक आदमी लड़ रहा है" के रूप में पहचानना)।
- Sentence-BERT विश्लेषण: लेक्सिकल विविधताओं के प्रति अधिक मजबूत होने के कारण, SBERT का उपयोग करके सिमेंटिक समानता को मापने पर, NUM परटर्बेशन लगातार सबसे कम समानता स्कोर देता है, जो एक गहरे सिमेंटिक ब्रेकडाउन की पुष्टि करता है, न कि केवल सतही स्तर के शोर की।
प्रिसिजन स्वतंत्रता (Precision Independence): bfloat16, float16 और float32 मॉडल्स के बीच परटर्बेशन को ट्रांसफर करने वाले प्रयोगों ने दिखाया कि हालांकि float32 बेहतर प्रदर्शन करता है, गिरावट सभी प्रिसिजन में बनी रहती है, जो पुष्टि करता है कि अस्थिरता केवल लो-बिट रिप्रजेंटेशन का परिणाम नहीं है बल्कि मॉडल की आंतरिक फंक्शनल डायनेमिक्स का भी हिस्सा है।

5. महत्व और निहितार्थ (Significance and Implications)

दक्षता की छिपी लागत (Hidden Costs of Efficiency): यह पेपर LVLMs को तैनात करने में एक महत्वपूर्ण ट्रेड-ऑफ को उजागर करता है। दक्षता के लिए हाफ-प्रिसिजन (float16) का उपयोग करने का उद्योग मानक एक छिपी हुई भेद्यता (vulnerability) बनाता है जिसका उपयोग विनाशकारी विफलता (catastrophic failure) का कारण बनने के लिए किया जा सकता है।
एडवरसैरियल परटर्बेशन से परे: यह कार्य वर्तमान मजबूती मूल्यांकन (robustness evaluation) के प्रति दृष्टिकोण को चुनौती देता है। मानक एडवरसैरियल डिफेंस (जैसे FGSM/PGD के विरुद्ध एडवरसैरियल ट्रेनिंग) न्यूमेरिकल इंस्टेबिलिटी से सुरक्षा प्रदान नहीं कर सकते, क्योंकि हमला तंत्र मौलिक रूप से भिन्न है (यह निर्णय सीमाओं के बजाय अंकगणितीय संचय को लक्षित करता है)।
भविwi दिशाएँ: लेखक इस मुद्दे को कम करने के लिए नए दृष्टिकोणों का सुझाव देते हैं, जिसमें संभावित रूप से लिप्सचिट्ज़-प्रतिबंधित आर्किटेक्चर (हालांकि इसे डीप मॉडल्स के लिए कठिन बताया गया है) या नवीन डिटेक्शन मैकेनिज्म शामिल हैं। यह उन सुरक्षा-महत्वपूर्ण अनुप्रयोगों में मॉडल विश्वसनीयता के पुनर्मूल्यांकन का आह्वान करता है जहाँ "साइलेंट" न्यूमेरिकल फेलियर के गंभीर परिणाम हो सकते हैं।

संक्षेप में, यह पेपर आधुनिक MLLMs में एक मौलिक नाजुकता को उजागर करता है जहाँ वे अनुकूलन (optimizations) जिनका उपयोग उन्हें कुशल बनाने के लिए किया जाता है (लो-प्रिसिजन अंकगणित), उन्हें सावधानीपूर्वक तैयार किए गए, अदृश्य इनपुट परटर्बेशन के माध्यम से भारी प्रदर्शन पतन (performance collapse) उत्पन्न करने के लिए हथियार बनाया जा सकता है।