🤖 AI

Securing Multimodal AI through Internal Information Decomposition

تقترح الورقة البحثية FlowGuard، وهو إطار عمل خفيف الوزن يعمل أثناء مرحلة الاستدلال لتأمين الذكاء الاصطناعي متعدد الوسائط من خلال اكتشاف الهجمات العدائية عبر مراقبة الاتساق الداخلي بين الوسائط باستخدام متجهات تدفق (FlowVectors) مستوحاة من تحليل تفكيك المعلومات الجزئية، مما يحقق انخفاضات كبيرة في معدلات نجاح الهجمات مع حد أدنى من التأخير وفقدان المنفعة.

المؤلفون الأصليون: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

نُشر 2026-07-27

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء روبوت يمكنه رؤية العالم من خلال كاميرا والتحدث إليك عبر ميكروفون. هذا الروبوت هو "نموذج لغوي كبير متعدد الوسائط"، وهو ذكاء اصطناعي فائق الذكاء يجمع بين الصور والكلمات لفهم ما يحدث. لكن الجزء الصعب والمراوغ هنا هو أنه ليس بالضرورة أن يكون مجرد رؤية الروبوت لصورة غير ضارة وجملة غير ضارة يعني أن "الجمع" بينهما آمن. الأمر يشبه أن تقدم لطاهٍ صورة لكعكة ووصفة لتحضير الكعكة، ولكنك تهمس في أذنه بشفرة سرية تخبره بإضافة سم. تبدو الصورة جيدة، وتبدو الوصفة جيدة، لكن الطبق النهائي خطير. هذا هو النوع الجديد من الخطر الذي يخشاه الباحثون: المتسللون الذين يقسمون نواياهم السيئة بين صورة ونص بحيث لا يبدو أي منهما مريبًا بمفرده، ولكن عند دمجهما معًا، يخدعون الذكاء الاصطناعي للقيام بشيء ضار.

لاكتشاف هذه الحيل الماكرة، يحاول العلماء عادةً فحص الصورة أو النص بشكل منفصل، مثل حارس أمن يفحص حقيبة وهوية شخص واحدًا تلو الآخر. لكن هذه الورقة البحثية تقترح طريقة أذكى: بدلاً من مجرد النظر إلى المدخلات، يجب علينا مراقبة كيف "يفكر" عقل الروبوت بشأنها. الفكرة الجوهرية هي أنه عندما يعمل الروبوت بشكل طبيعي، فإن الصورة والنص يجب أن يتوافقا مع بعضهما البعض ويساعدا الروبوت على اتخاذ قرار واضح وواثق. إذا كان هناك متسلل يحاول خداع الروبوت، فإن هذا التوافق الداخلي ينهار. يصاب عقل الروبوت بالارتباك، أو يبدأ النص والصورة في سحب الروبوت في اتجاهات متضاربة، حتى لو بدا الرد النهائي سلسًا. تقترح الورقة نظام سلامة جديدًا يسمى FlowGuard، والذي يعمل كـ "محقق للأفكار"، حيث يراقب عملية الاستنتاج الداخلي للروبوت ليكتشف ما إذا كانت الصورة والنص يتصارعان أو يتصرفان بغرابة، بدلاً من مجرد فحص الكلمات أو البكسلات السطحية.

قصة FlowGuard: الإمساك بـ "كسر التفكير"

لاحظ الباحثون وراء هذه الورقة، بقيادة جيهيوك يون وزملائه، شيئًا رائعًا حول كيفية عمل هذه النماذج للذكاء الاصطناعي. عندما تعطي النموذج صورة عادية وسؤالاً عادياً، فإن الجزء من الدماغ الذي ينظر إلى الصورة والجزء الذي يقرأ النص عادة ما ينسجمان بشكل رائع؛ فهما يتشاركان المعلومات، ويتفقان على ما هو مهم، ويبدو الرد النهائي مستقرًا ومؤكدًا. إنه يشبه صديقين يبنيان قلعة رملية معًا؛ كلاهما يعرف كيف يجب أن تبدو القلعة، وجهدهما المشترك يجعل القلعة أقوى وأكثر تفصيلًا.

ومع ذلك، عندما يحاول مهاجم "اختراق" النموذج (أي إجباره على تجاهل قواعد السلامة الخاصة به عن طريق إخفاء تعليمات سيئة في صورة أو نص)، يختل هذا الانسجام. تشير الورقة إلى أنه حتى لو كان المهاجم ذكيًا بما يكفي لجعل الصورة والنص يبدوان بريئين بمفردهما، فإنه في اللحظة التي يحاول فيها النموذج دمجهما، يحدث خطأ ما. المنطق الداخلي يتعرض لـ "الكسر". قد تصرخ الصورة بشيء بينما يهمس النص بشيء آخر، أو قد يخلق الجمع بينهما فوضى مربكة لا يستطيع عقل النموذج حلها بسلاسة.

وللكشف عن ذلك، بنى الفريق FlowGuard. فكر في FlowGuard ليس كحارس عند الباب، بل كمترجم يجلس داخل عقل الروبوت مباشرة. هو لا ينظر فقط إلى الإجابة النهائية؛ بل يلقي نظرة خاطفة على اللحظة الأولى من عملية اتخاذ القرار لدى الروبوت. إنه يطرح ثلاثة أسئلة سريعة:

ماذا سيقول الروبوت إذا نظر إلى الصورة فقط؟
ماذا سيقول إذا قرأ النص فقط؟
ماذا سيقول عندما ينظر إلى كليهما معًا؟

ثم يقوم بمقارنة هذه الإجابات الثلاث. في الحالة الآمنة، يجب أن تكون إجابة "كلاهما" مزيجًا سعيدًا من الإجابتين الأخريين، مثل مزيج سلس من الطلاء الأحمر والأصفر لإنتاج اللون البرتقالي. ولكن في حالة الهجوم، قد تتحول إجابة "كلاهما" فجأة إلى لون غريب، أو قد يرفض الطلاء الأحمر والأصفر الاختلاط تمامًا. يقيس FlowGuard هذا "الخلط" باستخدام بعض الرياضيات المتقدمة (مستوحاة من مفهوم يسمى تفكيك المعلومات الجزئية) لإنشاء FlowVector. وهو عبارة عن رمز صغير مكون من أربعة أرقام يصف بالضبط كيفية تفاعل الصورة والنص:

التكرار (Redundancy): هل تتفق الصورة والنص؟ (التكرار العالي يعني أنهما على نفس الصفحة).
التفرد (Uniqueness): هل يهيمن أحدهما على المحادثة؟ (إذا كانت الصورة تصرخ والنص صامت، فهذا تفرد بصري عالٍ).
التآزر (Synergy): هل يجعل الجمع بينهما الإجابة أكثر وضوحًا، أم يجعلها أكثر ارتباكًا؟ (التآزر الجيد يعني أن الكل أكبر من مجموع أجزائه؛ التآزر السيئ يعني أن الجمع يخلق فوضى).

قام الفريق بتدريب FlowGuard باستخدام الأمثلة "الجيدة" فقط—آلاف الصور والأسئلة العادية حيث تصرف الروبوت بشكل مثالي. لقد علموا كاشف ذكاء اصطناعي (الغابة المعزولة - Isolation Forest) التعرف على شكل "التدفق الطبيعي". ولأنهم دربوه على السلوك الجيد فقط، فإن الكاشف يعرف أن أي شيء يبدو "غير طبيعي" ولو قليلاً عن النمط المعتاد هو أمر مريب. إنه يشبه تعليم نظام أمني التعرف على صوت منزل طبيعي؛ فإذا انكسرت نافذة أو أصدرت الأرضية صوتًا غريبًا بطريقة غير معتادة، ينطلق الإنذار، حتى لو كان المتسلل يرتدي تنكرًا.

ما وجدوه

كانت النتائج فعالة بشكل مفاجئ. اختبر الباحثون FlowGuard ضد مجموعة واسعة من الهجمات، بما في ذلك الهجمات التي أخفى فيها المتسللون كلمات سيئة في فن الـ ASCII، أو غيروا الصور بكسلات غير مرئية، أو قسموا تعليمات سيئة عبر صورة وجملة.

بدون أي دفاع، كانت هذه النماذج معرضة للخطر بشكل لا يصدق. في بعض الهجمات الأكثر دهاءً، فشلت النماذج في أكثر من 90% من الحالات، حيث أنتجت محتوى ضارًا بكل سرور. ولكن عند تشغيل FlowGuard، خفض نسبة نجاح هذه الهجمات إلى أقل من 15%. وفي كثير من الحالات، كشف كل المحاولات تقريبًا، مما خفض معدل الفشل إلى خانة الآحاد (حوالي 6% إلى 9% للهجمات عبر الوسائط).

الأمر الرائع حقًا هو أن FlowGuard لم يكتفِ فقط بإيقاف الأشرار؛ بل لم يمنع "الأخيار" أيضًا. تحقق الباحثون مما إذا كان FlowGuard سيصبح "متذمرًا" ويرفض الإجابة على الأسئلة العادية. ووجدوا أنه أخطأ في حوالي 2.4% فقط من المدخلات الآمنة، وهو أمر أفضل بكثير من طرق السلامة الأخرى التي غالبًا ما تحظر الأسئلة غير الضارة لمجرد الأمان. بالإضافة إلى ذلك، كان سريعًا للغاية. فبينما استغرقت بعض فحوصات السلامة الأخرى عدة ثوانٍ لتشغيل عمليات إعادة بناء معقدة للصور، قام FlowGuard بعمله في حوالي 1.3 ثانية، مما يجعله عمليًا للاستخدام في الوقت الفعلي.

كما أظهرت الورقة أن هذه الحيلة تعمل على أنواع مختلفة من الروبوتات، من تلك الصغيرة التي تمتلك 4 مليارات "خلية دماغية" إلى الضخمة التي تمتلك 70 مليارًا. حتى أنه عمل على نموذج يتم الوصول إليه عبر واجهة برمجة التطبيقات (API) (حيث لا يمكنك رؤية الدماغ بالكامل، بل فقط التوقعات العليا)، مما يثبت أن إشارة "كسر التفكير" هي جزء أساسي من كيفية عمل هذه النماذج، وليست مجرد خلل في تصميم معين.

الخلاصة

تشير هذه الورقة إلى أن أفضل طريقة لحماية الذكاء الاصطناعي متعدد الوسائط ليست ببناء جدران أعلى حول المدخلات، بل بالاستماع إلى كيفية تفكير الذكاء الاصطناعي. من خلال مراقبة اللحظة التي يتوقف فيها النص والصورة عن التناغم معًا، يمكن لـ FlowGuard رصد خدعة المتسلل قبل أن ينهي الروبوت جملته. إنه وسيلة خفيفة وسريعة وقوية بشكل مدهش للحفاظ على سلامة هذه الأدوات القوية، مما يشير إلى أن مفتاح الأمن قد يكمن في الانتباه إلى التناغم الداخلي لعقل الآلة.

ملخص تقني: تأمين الذكاء الاصطناعي متعدد الوسائط عبر تفكيك المعلومات الداخلية

بيان المشكلة

تُقدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) أسطح هجوم جديدة غائبة في الأنظمة أحادية الوسائط. يمكن للمهاجمين توزيع النوايا الخبيثة عبر الوسائط (النص والصورة) بحيث تبدو المدخلات الفردية حميدة ومتسقة داخلياً، ومع ذلك يؤدي دمجها إلى سلوك غير آمن. نمط الفشل "التركيبي" هذا يجعل دفاعات السلامة التقليدية غير فعالة. تركز النهج الحالية على تطهير المدخلات الخام، أو التحقق من المخرجات المولدة، أو مراقبة مقاييس الثقة القياسية (مثل الاحتمالية، أو الإنتروبيا، أو الحيرة). ومع ذلك، غالباً ما تفشل هذه الأساليب عندما يبدو الاستدلال النصي فقط والاستدلال البصري فقط متسقين، بينما ينتج عن دمجهما سلوك واثق ولكنه غير متسق تركيبياً. التحدي الجوه lack هو اكتشاف حالات الفشل هذه دون تعديل النموذج الأساسي أو الاعتماد على الإشراف العدائي، خاصة عندما تكون الهجمات غير مرئية أو في حالة "الصفر المعرفة" (zero-shot).

المنهجية: FlowGuard

يقترح المؤلفون FlowGuard، وهو إطار عمل خفيف الوزن يعمل وقت الاستدلال لاكتشاف المدخلات الضارة من خلال مراقبة الاتساق الداخلي للاستدلال متعدد الوسائط. بدلاً من فحص المدخلات أو المخرات السطحية، يقوم FlowGuard بتحليل التفاعل بين التوزيعات التنبؤية أحادية الوسائط ومتعددة الوسائط.

الآلية الجوهرية

يعمل FlowGuard عن طريق استقصاء النموذج المستهدف (MLLM) تحت ثلاث تكوينات شرطية متميزة:

نص فقط: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
رؤية فقط: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (باستخدام مطالبة محايدة ثابتة)
مشترك متعدد الوسائط: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

يركز النظام على توزيع التنبؤ للرمز الأول ( $P^{(1)}$ )، والذي يلتقط حالة القرار الأولية للنموذج قبل التضخيم التكراري (autoregressive).

ناقلات التدفق (FlowVectors) وتفكيك المعلومات الجزئي (PID)

مستوحى من تفكيك المعلومات الجزئي (PID)، يشتق FlowGuard ناقل تدفق رباعي الأبعاد $\phi(x) = (U_v, U_t, R, S)$ يحدد كيفية تداخل وتنافر واستقرار المعلومات من النص والرؤية تحت الدمج:

التفرد ( $U_v, U_t$ ): يُقاس عبر تباعد كولباك - ليبلر (KL) الاتجاهي.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : يلتقط مدى ابتعاد التوزيع اللاحق المدمج عن المسند النصي فقط (هيمنة بصرية).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : يلتقط الابتعاد عن المسند البصري فقط (هيمنة نصية).
- الأهمية: غالباً ما تكسر التلاعبات العدائية التوازن في تأثير الوسائط، مما يؤدي إلى إشارات تباعد غير متماثلة.
التكرار ( $R$ ): يُقاس كـ $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ ، حيث $JSD$ $J S D$ هو تباعد جينسن - شانون.
- الأهمية: يلتقط المحاذاة الدلالية للمسندات أحادية الوسائط. المدخلات الحميدة تسبب هياكل متوافقة؛ أما المطالبات العدائية فتُدخل نوايا متضاربة، مما يقلل التكرار.
التآزر ( $S$ ): يُقاس عبر تقليل الإنتروبيا: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- الأهمية: يشير إلى ما إذا كان الدمج يقلل من عدم اليقين (تكامل بناء، $S > 0$ ) أو يضخمها (تفاعل غير مستقر، $S < 0$ ).

هدف الدفاع

يؤطر FlowGuard اكتشاف السلامة كمسألة تصنيف الفئة الواحدة (one-class classification). يتم تدريب "غابة العزل" (Isolation Forest) حصرياً على ناقلات التدفق المستمدة من البيانات الحميدة (مثل مجموعة تحقق VQAv2). يتعلم النموذج المنطقة المدمجة لتدفق المعلومات "المحاذية". المدخلات العدائية، التي تظهر تفاعلات عبر وسائط غير طبيعية (مثل التدفق المتصدع، أو التآزر السلبي، أو هيمنة الوسائط القصوى)، تظهر كقيم متطرفة في هذا الفضاء.

متطلبات الوصول: يتطلب FlowGuard الوصول فقط إلى توزيع احتمالية الرمز التالي (أو ذيل لوغاريتمي كبير بما يكفي لـ top- $k$ لنماذج API). لا يتطلب الوصول إلى أوزان النموذج، أو التدرجات، أو التنشيطات المخفية.

المساهمات الرئيسية

سلامة العملية متعددة الوسائط: تعيد الورقة تعريف سلامة MLLM من خلال التركيز على الاتساق بين التوزيعات التنبؤية النصية فقط، والبصرية فقط، والمشتركة، مستهدفة مباشرة فشل الدمج متعدد الوسائط بدلاً من المحتوى السطحي.
ناقلات التدفق (FlowVectors): تقديم ميزات معلوماتية مكثفة (التكرار، التفرد، التآزر) تلتقط تدفق المعلومات الداخلي للاستدلال متعدد الوسائط في وقت الاستدلال.
اكتشاف الهجمات في حالة الصفر المعرفة (Zero-Shot): إثبات أن نمذجة السلوك متعدد الوسائط الحميد عبر تصنيف الفئة الواحدة يتيح اكتشافاً قوياً لمختلف عمليات الاختراق (jailbreaks) غير المرئية دون تدريب عدائي أو تحقق توليدي.

النتائج التجريبية

قيم المؤلفون FlowGuard عبر عدة بنيات لـ MLLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) ومعايير اختبار (MM-SafetyBench, VLSafe, VLSU) تغطي الهجمات النصية فقط، والبصرية فقط، والهجمات عبر الوسائط.

تقليل معدل نجاح الهجوم (ASR): قلل FlowGuard باستمرار معدل ASR من $>90\%$ (بدون حماية) إلى $<15\%$ في الهجمات غير المرئية. على سبيل المثال، في LLaVA-1.5-7B، قلل ASR لـ Universal Master Key (UMK) من 96.0% إلى 8.7% و CBSC من 94.8% إلى 9.1%.
الحفاظ على المنفعة (Utility): حافظ الإطار على منفعة حميدة ضمن 2.4% من أداء الخط المرجعي. حقق معدل خطأ إيجابي (FPR) بنسبة 2.4% في الاستعلامات المعقدة دلالياً (MOSSBench)، متفوقاً بشكل كبير على الكواشف القائمة على الحيرة (11.2% FPR) والكواشف القائمة على الثقة (14.5% FPR).
الكفاءة: يعمل FlowGuard بتأخير قدره حوالي 1.3 ثانية لكل عينة (بما في ذلك ثلاث تمريرات أمامية)، مما يوفر تسريعاً يصل إلى 6 أضعاف مقارنة بطرق التحقق القائمة على الانتشار مثل MirrorCheck و CIDER.
القوة: أظهرت الطريقة قوة عبر أحجام نماذج مختلفة (من 4B إلى 70B بارامتر) ومع الوصول إلى التوزيع الجزئي (GPT-4.1-mini مع top- $k$ logprobs)، حيث حافظت على متوسط ASR قدره 10.4%.
دراسات الاستئصال (Ablation Studies):
- التآزر ( $S$ ): أدى إزالة ميزة التآزر إلى أكبر انخفاض في الأداء، مما يشير إلى أن الانحرافات في تقليل عدم اليقين متعدد الوسائط هي إشارة رئيسية للاكتشاف.
- خطوات فك التشفير: كانت مراقبة خطوة فك التشفير الأولى فقط ( $k=1$ ) كافية للوصول إلى حالة التشبع؛ حيث لم تؤدِ زيادة $k$ إلى مكاسب تذكر مقابل تكاليف التأخير الخطي.
- اختيار المصنف: تفوقت "غابة العزل" (Isolation Forest) على شبكات MLP الخاضعة للإشراف في الهجمات غير المرئية، متجنبة الإفراط في التخصيص لأنماط الاضطراب المحددة.

الأهمية والادعاءات

تدعي الورقة أن مراقبة الاتساق عبر الوسائط يوفر دفاعاً فعالاً وفعالاً للاستدلال متعدد الوسائط، مما يعالج قصوراً جوهرياً في معايير السلامة السابقة التي تركز على الطلاقة والثقة بدلاً من بنية التكامل متعدد الوسائط.

العمومية: من خلال الاعتماد على الاتساق الهيكلي لتدفق المعلومات بدلاً من أنماط هجوم محددة، يوفر FlowGuard دفاعاً غير مرتبط بنوع الهجوم ويتعمم عبر البنيات واستراتيجيات الاختراق غير المرئية.
التكامل: يضع المؤلفون FlowGuard كطبقة مكملة لطرق تنقية المدخلات والتحقق من المخرجات الحالية، حيث يوفر إشارة داخلية للنموذج تكتشف حالات الفشل في التكامل متعدد الوسائط التي تغفل عنها الفحوصات السطحية.
القابلية للتوسع: الإطار خفيف الوزن، ولا يتطلب إعادة تدريب النموذج أو الوصول إلى التدرجات، مما يجعله مناسباً للنشر في الأنظمة الواقعية حيث قد تكون أوزان النموذج مملوكة أو غير متاحة.

يشير المؤلفون إلى أنه بينما يعد FlowGuard فعالاً للغاية ضد الهجمات عبر الوسائط والبصرية، فإنه يظهر ASR متبقي أعلى قليلاً في الهجمات النصية فقط (حوالي 13–14%)، مما يشير إلى أن الجمع مع دفاعات خاصة بالنصوص قد يكون ضرورياً لحماية شاملة. كما يقرون بأن نشر آليات الكشف قد يزود المهاجمين المتكيفين بمعلومات، وأن النهج القائم على كشف الشذوذ ينطوي على خطر تصنيف مدخلات شرعية نادرة كمدخلات ضارة، مما يستلزم تدقيقاً دقيقاً لمجموعات البيانات المرجعية ومراجعة النتائج الإيجابية الخاطئة في التطبيقات الحساسة.