Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "عدم الاستقرار العددي المستحث: التكاليف الخفية في النماذج اللغوية الكبيرة متعددة الوسائط."

1. بيان المشكلة

تتناول الورقة نمط فشل جديد وغير مستكشف مسبقاً في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، وتحديداً نماذج الرؤية واللغة الكبيرة (LVLMs). بينما تركز الهجمات العدائية التقليدية على تعظيم خسارة المهمة المحددة (مثل الخطأ في التصنيف) أو إدخال ضجيج محسوس، يبحث هذا العمل في عدم الاستقرار العددي كمتجه منفصل للتدهور.

• المشكلة الجوهرية: تستخدم نماذج LVLMs الحديثة غالباً حسابات الدقة النصفية (float16) لتحسين استخدام الذاكرة وسرعة الاستدلال. وهذا يؤدي إلى أخطاء تقريب متأصلة في معيار IEEE 754 للحوسبة بنقطة عائمة.
• الفرضية: يفترض المؤلفون أنه من خلال تعديل الصور المدخلة بعناية، يمكن استحثاث سلسلة من أخطاء التقريب وتضخيم الحساسيات العددية المحلية داخل الرسم البياني الحسابي للنموذج. يؤدي هذا إلى تدهور كبير في الأداء في المهام اللاحقة (مثل الوصف النصي للصور، والإجابة على الأسئلة المرئية - VQA) حتى عندما يكون الاضطراب في المدخلات غير محسوس للبشر ولا يتبع الأنماط العدائية التقليدية.
• التمييز: بخلاف الاضطرابات العدائية القياسية التي تستهدف الحدود الدلالية للقرار، يستهدف هذا النهج الدقة على مستوى التنفيذ والحساسية الوظيفية للنموذج، مما يسبب أخطاء لا يمكن حلها ببساطة عن طريق زيادة دقة نوع البيانات (مثل الانتقال إلى float32)، لأن عدم الاستقرار متجذر أيضاً في ديناميكيات الوظيفة الداخلية للنموذج.

2. المنهجية

يقترح المؤلفون إطار عمل للتحسين يعتمد على "الصندوق الأبيض" (white-box) والتدرج (gradient-based) لإنشاء مدخلات "غير مستقرة عددياً".

أ. صياغة المشكلة

الهدف هو إيجاد اضطراب $\delta$ (مقيد بـ $\epsilon$) يُضاف إلى صورة المدخل $X_I$ بحيث يتم تعظيم الخطأ العددي في النموذج $M$. المدخل هو $X' = (X_I + \delta, X_P)$، حيث $X_P$ هو النص الموجه (prompt).

ب. دالة خسارة الوكيل (Proxy Loss Function)

إن حساب الخطأ الأمامي للمطلق لكل عملية بدقة لانهائية أمر غير ممكن حسابياً. بدلاً من ذلك، اشتق المؤلفون خسارة وكيل بناءً على "التمهيدية 3.1" (الحد الأمامي للخطأ تحت تقريب النقطة العائمة).

• الأساس النظري: تنص التمهيدية على أن الخطأ الأمامي المطلق محكوم بحدود تتناسب مع مقدار المدخل ($\|x\|$) ومقدار المخرج ($\|f(x)\|$).
• هدف التحسين: لتعظيم الخطأ العددي، يقترح المؤلفون تعظيم مقدار التنشيطات الوسيطة (intermediate activations) طوال الشبكة. تُعرف خسارة الوكيل كما يلي:
  $$\mathcal{L}_{proxy} = \sum_{k \in [1, K]} |\hat{\theta}_k(X_I + \delta)_D|$$
  حيث تمثل $\hat{\theta}_k$ مخرج العملية الأساسية رقم $k$ في الرسم البياني الحسابي باستخدام دقة محدودة $D$.
• الآلية: من خلال إجبار القيم الوسيطة على أن تكون كبيرة، يتم تضخيم أخطاء التقريب (التي تتناسب طردياً مع المقدار). علاوة على ذلك، فإن تعظيم هذه المقادير يدفع ضمنياً إلى تغييرات كبيرة في مخرجات الدوال السابقة، مستغلاً الحساسية الوظيفية للنموذج (ثوابت ليبشيتز المحلية).

ج. تفاصيل التنفيذ

يطرح تحسين هذه الخسارة تحديات، مثل تلاشي التدرجات وفقدان الدقة أثناء عملية التحسين نفسها. يستخدم المؤلفون تقنيات محددة:

1. الدقة المختلطة: يتم تخزين الاضطراب $\delta$ والخسارة المتراكمة في صيغة float64 لمنع المحسن من فقدان الدقة أثناء التحديثات، بينما تظل عملية التمرير الأمامي للنموذج في صيغة float16.
2. تدرج القياس (Gradient Scaling): للتعامل مع مقادير التدرجات الصغيرة، تحاكي قاعدة التحديث طريقة إشارة التدرج السريع (FGSM) ولكنها تستخدم إشارة التدرج بدلاً من القيمة الخام:
   $$\delta'_{i+1} = \delta'_i + \alpha \cdot \text{sign}(\nabla_{\delta'} \mathcal{L}_{proxy})$$
   يضمن هذا استقرار التحديثات حتى عندما تكون التدرجات صغيرة جداً من الناحية العددية.

3. المساهمات الرئيسية

1. تحديد نمط فشل جديد: تحدد الورقة "عدم الاستقرار العددي المستحث" كمتجه فشل متميز ومتعامد مع الهجمات العدائية التقليدية. وتثبت أن النماذج يمكن كسرها ليس عبر التلاعب الدلالي، بل عبر استغلال قيود حسابات النقطة العائمة.
2. إطار عمل خسارة الوكيل: يقدم المؤلفون طريقة فعالة حسابياً تعتمد على التدرج لإحداث حالات عدم الاستقرار هذه دون الحاجة إلى تسميات (labels) خاصة بالمهام أو دوال خسارة مرتبطة بمهمة معينة.
3. التقييم الشامل: تم التحقق من صحة الطريقة عبر نماذج LVLMs رائدة ذات أحجام وبنيات متنوعة (LLaVA-v1.5-7B, Idefics3-8B, SmolVLM-2B, Janus-Pro-1B) وعلى معايير قياسية (MSCOCO, Flickr30k, TextVQA, VQAv2, POPE).
4. تحليل حساسية الدقة: تكشف الدراسة أنه رغم أن زيادة الدقة (من float16 إلى float32) تقدم تحسناً طفيفاً، إلا أنها لا تعالج التدهور بشكل كامل، مما يشير إلى أن الضعف ينبع من كل من حدود الدقة والديناميكيات الوظيفية التضخمية داخل الشبكة.

4. النتائج التجريبية

تظهر التجارب أن الطريقة المقترحة (NUM) تسبب تدهوراً في الأداء أسوأ بكثير مقارنة بالنماذج المرجعية مثل الضجيج العشوائي (RAND)، والضجيج الغاوسي (GAUS)، وعدم وجود ضجيج (NONE).

• هبوط الأداء:
  • في نموذج Idefics3-8B مع مجموعة بيانات MSCOCO، انخفضت درجة CIDEr-D من 0.664 (نظيف) إلى 0.273 (NUM)، أي بتدهور قدره ~59%.
  • في المقابل، أظهرت نماذج الضجيج الغاوسي تدهوراً طفيفاً (على سبيل المثال، انخفاض بنسبة ~5% فقط في VQAv2 لنموذج SmolVLM2).
• الانزياح الدلالي (Semantic Drift):
  • تظهر الأمثلة النوعية (الأشكال 4، 6، 7، 8) أنه بينما تبدو الصور المضطربة مطابقة للصور النظيفة، تصبح مخرجات النموذج غير منطقية دلالياً (على سبيل المثال، تحديد "جدار من البلاط" على أنه "زجاج"، أو "فتاة مع منشفة" على أنها "رجل يقاتل").
  • تحليل Sentence-BERT: باستخدام SBERT لقياس التشابه الدلالي (وهو أكثر قوة تجاه الاختلافات اللفظية من CIDEr-D)، حقق اضطراب NUM باستمرار أدنى درجات التشابه، مما يؤكد حدوث انهيار دلالي عميق وليس مجرد ضجيج سطحي.
• استقلالية الدقة: أظهرت تجارب نقل الاضطرابات عبر نماذج bfloat16 وfloat16 وfloat32 أنه رغم أداء float32 بشكل أفضل قليلاً، إلا أن التدهور استمر عبر جميع مستويات الدقة، مما يؤكد أن عدم الاستقرار ليس مجرد وظيفة لتمثيل البتات المنخفضة، بل هو نتاج الديناميكيات الوظيفية الداخلية للنموذج.

5. الأهمية والآثار المترتبة

• التكاليف الخفية للكفاءة: تسلط الورقة الضوء على مقايضة حرجة في نشر نماذج LVLMs. إن المعيار الصناعي لاستخدام الدقة النصفية (float16) من أجل الكفاءة يخلق ثغرة أمنية خفية يمكن استغلالها للتسبب في فشل كارثي.
• ما وراء الاضطرابات العدائية: يتحدى هذا العمل النموذج الحالي لتقييم المتانة. قد لا تحمي الدفاعات العدائية القياسية (مثل التدريب العدائي ضد FGSM/PGD) من عدم الاستقرار العددي، لأن آلية الهجوم مختلفة جوهرياً (تستهدف التراكم الحسابي بدلاً من حدود القرار).
• الاتجاهات المستقبلية: يقترح المؤلفون أن التخفيف من هذه المشكلة يتطلب نهجاً جديداً، قد يشمل بنيات مقيدة بمعامل ليبشيتز (رغم الإشارة إلى صعوبة ذلك في النماذج العميقة) أو آليات كشف مبتكرة للإجهاد العددي. إن هذا العمل يدعو لإعادة تقييم موثوقية النماذج في التطبيقات الحرجة للسلامة حيث يمكن أن تؤدي "الفشل الرقمي الصامت" إلى عواقب وخيمة.