ملخص تقني: CloudWeb – اختطاف الاسترجاع الجوي في أنظمة التوليد المعزز بالاسترجاع (RAG) للرؤية واللغة في الاستشعار عن بعد

بيان المشكلة

تعتمد أنظمة التوليد المعزز بالاسترجاء متعدد الوسائط (Multimodal RAG) بشكل متزايد على مسترجعي الرؤية واللغة لربط الاستعلامات البصرية بالأدلة النصية الخارجية. وبينما ركزت الأبحاث العدائية السابقة على التلاعب بمتن الاسترجاع (تسميم المعرفة) أو استهداف مهام التنبؤ النهائية في نماذج الرؤية واللغة (VLMs)، فإن مرحلة استرجاع الأدلة في أنظمة RAG متعددة الوسائط الخاصة بالاستشعار عن بعد لا تزال غير مستكشفة إلى حد كبير.

تحديدًا، هناك فجوة في فهم ما إذا كانت التغيرات الجوية التي تبدو طبيعية ومقبولة بصريًا في صورة الاستعلام يمكن أن تختطف عملية الاسترجاع بشكل منهجي قبل بدء عملية التوليد. إذا تم رسم خريطة لصورة الاستعلام إلى منطقة خاطئة في فضاء التضمين المشترك بين الرؤية واللغة، فقد يسترجع النظام أدلة متعلقة بالطقس مضللة (مثل "غائم"، "ضبابي"، "مغبر") بدلاً من الأدلة المتسقة مع المشهد. هذا يؤدي إلى تقويض ترسيخ الاستجابة المولدة النهائية، مما يتسبب في حدوث "هلوسات مستندة إلى أدلة"، حيث يبدو المخرج مدعومًا بالسياق المسترجع، رغم أن ذلك السياق قد تم اختطافه بواسطة الاضطراب المدخل.

المنهجية: CloudWeb

يقترح المؤلفون CloudWeb، وهو هجوم اختطاف استرجاع جوي في مساحة المدخلات. على عكس الهجمات العدائية التقليدية التي تضيف ضوضاء بكسلية غير محسوسة أو تتلاعب بقاعدة البيانات، يقوم CloudWeb بتعديل المدخلات الصورية فقط عبر دمج أنماط تشبه السحب، الضباب، الهباء الجوي، والندى ذات معاملات محددة. يفترض الهجوم نموذج تهديد يمتلك فيه المهاجم وصولاً غير متصل (offline) إلى مشفرات المسترجع للتحسين، لكنه لا يعدل المسترجع، أو المولد، أو قاعدة بيانات المتجهات، أو منطق الاسترجاع عند النشر.

1. المعلمة الجوية (Atmospheric Parameterization)

يقيد CloudWeb الاضطرابات ضمن عائلة جوية طبيعية ومنخفضة الأبعاد بدلاً من الضوضاء البكسلية العشوائية. يتم تحديد الاضطراب بواسطة $\theta = (\rho, \alpha, \beta, \sigma, r)$، والذي يتحكم في:

• شدة الظواهر الجوية ($\rho$) وعتامة السحب ($\alpha$).
• قوة الهباء الجوي ($\beta$) ونعومة الحواف ($\sigma$).
• بذرة النسيج العشوائية ($r$).

يولد الهجوم قناع سحب سلس منخفض التردد $M_\theta$ وخريطة عتامة $A_\theta$. ويطبق تحويل هباء جوي عالمي ويمزجه مع الصورة الأصلية، مما يضمن احتفاظ الاضطراب بالبنى الجوية الطبيعية (مثل الحجب الناعم، وانخفاض التباين) بدلاً من الضوضاء عالية التردد.

2. هدف موجه للاسترجاع

يعمل CloudWeb على تحسين سلوك الاسترجاع مباشرة، وليس نواتج التصنيف (logits). تجمع دالة الخسارة الكلية $L(\theta)$ خمسة عناصر:

• الجذب المستهدف ($L_{tar}$): يسحب تضمين الصورة العدائية نحو مجموعة من النصوص الدليلية الجوية المستهدفة ($T_q$).
• القمع المصدر ($L_{src}$): يقلل من التشابه مع دليل المشهد الأصلي ($S_q$).
• فصل الرتب ($L_{rank}$): يفرض هامشًا لضمان تصدر الدليل المستهدف فوق دليل المصدر.
• تنظيم الطبيعية ($L_{nat}$): يستخدم التباين الكلي والتنعيم الغاوسي لضمان أن يبدو الاضطراب كظواهر جوية طبيعية.
• قيد التغطية ($L_{area}$): يمنع نجاح الهجوم من خلال التغطية المكانية المفرطة فقط.

تتم عملية التحسين باستخدام التطور التفاضلي (Differential Evolution) مع صقل محلي لإيجاد المعاملات المثلى $\theta$.

الإعداد التجريبي

قيم المؤلفون CloudWeb على مقياس مرجعي لسبعة مجموعات بيانات في الاستشعار عن بعد تغطي تصنيف المشاهد، وصف الصور، وصف التغيير، صور الكوارث، والإجابة على الأسئلة البصرية (VQA). تشمل مجموعات البيانات NWPU-RESISC45، RSICD، RSVQA-LR، LEVIR-CC، FloodNet، RSIVQA-UCM، وRSIVQA-Sydney.

تضمن التقييم:

• خمسة مسترجعات من طراز CLIP: وهي GeoRSCLIP، وRemoteCLIP، وOpenAI CLIP (بنسختي ViT-B/32 و ViT-L/14)، وOpenCLIP.
• ستة نماذج لغة ورؤية (VLMs) نهائية: وهي LLaVA-1.5/1.6، وInstructBLIP، وQwen2.5-VL، وGeoChat، وH2RSVLM.
• المقاييس:
  • الاسترجاع: $T@k$ (أعلى $k$ من التغييرات) للاضطراب العام، و$W@k$ (الطقس عند $k$) لاختطاف الأدلة الجوية المستهدفة.
  • التوليد: معدل هلوسة الطقس (WHR) ومعدل نجاح الهجوم (ASR) على مجموعة فرعية من 303 حالة نجح فيها اختطاف الاسترجاع.

النتائج الرئيسية

1. اختطاف مرحلة الاسترجاع

تفوق CloudWeb باستمرار على الاسترجاع النظيف، والأسالق الجوية اليدوية (مثل ضبابية غاوس، وتغيير السطوع)، وضوضاء التباين العشوائية.

• على GeoRSCLIP ViT-B/32، ارتفع معدل حقن الأدلة الجوية المستهدفة ($W@5$) من 0.71% (النظيف) إلى 43.29% (CloudWeb).
• نجح الهجوم في إعادة توجيه الأدلة الأعلى ترتيبًا من الأوصاف المتسقة مع المشهد (مثل "منطقة سكنية"، "حرم مدرسي") إلى أوصاف متعلقة بالطقس (مثل "رؤية منخفضة غائمة"، "ضباب فوق جسر").
• لم يكن الضعف مقتصرًا على مسترجع معين؛ حيث لوحظت مكاسب مماثلة عبر جميع نماذج CLIP الخمسة، وإن أظهر GeoRSCLIP وOpenAI CLIP ViT-L/14 أعلى درجات القابلية للاختراق.

2. التأثير على التوليد النهائي

انتقل اختطاف أدلة الاسترجاع إلى مرحلة التوليد النهائية.

• على المولد Qwen2.5-VL، تسبب CloudWeb في توليد 172 استجابة جديدة متعلقة بالطقس من أصل 303 حالة، محققًا معدل هلوسة طقس (WHR) قدره 61.39%.
• أدت المدخلات النظيفة النماذج لوصف محتويات متسقة مع المشهد (مثل الأراضي الزراعية، الأنهار)، بينما حفزت المدخلات العدائية أوصافًا تتضمن الضباب، السحب، وانخفاض الرؤية، حتى عندما ظلت الصورة الأساسية قابلة للتمييز إلى حد كبير.
• يؤكد هذا أن اختطاف الاسترجاع يمكن أن يوجه مخرجات VLM نحو استجابات مهلوسة جويًا ومزاحة دلاليًا.

3. تحليل الآلية والمتانة

• تحول الانتباه: كشفت تصورات خرائط تنشيط الفئة (CAM) أن CloudWeb ينقل انتباه المسترجع من الهياكل ذات الصلة بالمصدر (الطرق، المباني) إلى المناطق الجوية (السحب، الهباء الجوي)، مما يعيد ترسيخ الاستعلام في فضاء التضمين بشكل فعال.
• المتانة: ظل الهجوم فعالًا تحت عمليات التحويل الشائعة لما بعد المعالجة، بما في ذلك ضغط JPEG، وتغيير الحجم، والضبابية الغاوسية الطفيفة.
• الدراسة الاستبعادية (Ablation): أكدت الدراسة أن كلًا من البنية الجوية (العتامة/الشدة) والتحسين الموجه للاسترجاع ضروريان. إزالة حدود الجذب المستهدف أو فصل الرتب أدى إلى تدهور الأداء بشكل كبير.

الأهمية والادعاءات

يدعي البحث أنه يقدم الدراسة الأولى لاختطاف الأدلة الجوية في مرحلة الاسترجاع لأنظمة RAG متعددة الوسائط في الاستشعار عن بعد. وتتمثل مساهماته الرئيسية في:

1. نمط فشل جديد: يحدد نمط فشل عملي حيث يمكن للتغيرات الجوية الطبيعية في مساحة المدخلات أن تعطل استرجاع الأدلة بشكل منهجي قبل بدء التوليد. وهذا يتحدى الافتراض بأن متانة RAG تتطلب فقط تأمين المولد وقاعدة البيانات.
2. تهديد المدخلات فقط: يثبت الهجوم أن المهاجم يمكنه اختطاف مسار RAG بالكامل عن طريق تعديل صورة المدخلات فقط، دون الحاجة إلى الوصول إلى المسترجع، أو المولد، أو قاعدة المعرفة، أو تعديلها.
3. إعادة التوجيه الدلالي: على عكس الضوضاء العدائية العامة التي تضعف الأداء، يعمل CloudWeb كـ "حامل دلالي"، حيث يعيد توجيه تضمين الاستعلام نحو منطقة دلالية جوية محددة (الطقس) ترتبط ارتباطًا وثيقًا بالاضطراب في فضاءات التضمين بين الرؤية واللغة.

يخلص المؤلفون إلى أن أنظمة RAG القوية في الاستشعار عن بعد تتطلب دفاعات واعية بالاسترجاع (مثل فحص المخاطر الجوية، والاسترجاع الواعي بالاتساق، وإعادة ترتيب المشهد والطقس المنفصلين) بدلاً من الاعتماد فقط على الضمانات من جانب المولد. ويشددون على أن الخطر يكمن في اختطاف الأدلة المستهدف، وليس مجرد تعطيل الجوار العام.