💬 NLP

ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

تقدم هذه الورقة البحثية ToolFlood، وهو هجوم مبتكر على طبقة الاسترجاع يستهدف استهداف وكلاء النماذج اللغوية الكبيرة (LLMs) المعززة بالأدوات عبر حقن مجموعة صغيرة من الأدوات المصممة خصيصاً بأسلوب عدائي لتغطي دلالياً استعلامات مستخدم متنوعة بهدف السيطرة على نتائج الاسترجاع لأعلى (top-k) وإزاحة جميع الأدوات السليمة، محققةً نسبة نجاح في الهجوم تصل إلى 95% مع أدنى معدلات الحقن.

المؤلفون الأصليون: Hussein Jawad, Nicolas J-B Brunel

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hussein Jawad, Nicolas J-B Brunel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً فائق الذكاء (عميل ذكاء اصطناعي - AI Agent) يمكنه القيام بأشياء مذهلة مثل حجز الرحلات الجوية، أو تحليل الأسهم، أو كتابة الأكواد البرمجية. لكن هذا الروبوت لا يمكنه فعل كل شيء بمفرده؛ فهو يحتاج إلى استعارة أدوات من صندوق أدوات رقمي ضخم.

للحفاظ على السرعة، لا يبحث الروبوت في كل أداة في الكون بأكم، بل لديه "أمين مكتبة" (نظام استرجاع) يستمع إلى طلبك ويقوم بسرعة بسحب أفضل 5 أدوات أكثر صلة ليعرضها على الروبوت. ثم يختار الروبوت واحدة من هذه الأدوات الخمس للقيام بالمهمة.

المشكلة: هجوم "فيضان الأدوات" (ToolFlood)
تصف ورقة بحثية بعنوان "ToolFlood" طريقة جديدة وماكرة لاختراق هذا النظام. فبدلاً من محاولة خداع الروبوت ليختار أداة سيئة من قائمة الخمسة، يقوم المهاجم بخداع أمين المكتبة بحيث تحتوي قائمة الخمسة فقط على أدوات سيئة.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

التشبيه: "فيضان المطاعم المزيفة"

تخيل أنك في مدينة بها 10,000 مطعم حقيقي وصادق (الأدوات السليمة). تسأل دليلاً عن "أفضل مكان للأكل الإيطالي"، فينظر الدليل في الخريطة ويحضر لك أفضل 5 مطاعم إيطالية. تختار واحداً منها وتذهب لتأكل.

الآن، تخيل أن مجموعة إجرامية تريد إجبارك على الأكل في مطعمهم السيئ وبأسعار باهظة.

الهجوم القديم (أسلوب "الرشوة"): يحاول المجرم جعل مطعمه يبدو أفضل قليلاً من المطاعم الأخرى في القائمة. يغيرون اللافتة لتصبح "أفضل إيطالي في المدينة!" على أمل أن يختاره الدليل بدلاً من الأماكن الحقيقية.
هجوم "فيضان الأدوات" (أسلوب "السرب المزيف"): يدرك المجرمون أنه لا يمكنهم مجرد التفوق على الآخرين؛ بل يحتاجون إلى إزاحتهم تماماً.
1. يقومون بتجنيد جيش من الروبوتات لإنشاء 100 مطعم مزيف.
2. هذه المطاعم المزيفة تحمل أسماءً وأوصافاً تتعلق بشكل غامض بالطعام الإيطالي، ولكنها مكتوبة بطريقة تجعلها تبدو كأنها تطابق تماماً أي شخص يسأل عن الطعام الإيطالي.
3. يقومون بإغراق خريطة الدليل بهذه الأماكن المزيفة المئة.
4. عندما تسأل عن "الطعام الإيطالي"، تصبح خريطة الدليل الآن مليئة جداً بهذه الأماكن المزيفة لدرجة أن أفضل 5 نتائج هي كلها مزيفة. المطاعم الحقيقية والصادقة قد تم دفعها بعيداً جداً في أسفل القائمة بحيث لا تُرى أبداً.
5. أنت مُجبر على الاختيار من بين الخيارات المزيفة الخمسة.

كيف يفعلون ذلك (السر الخفي)

تشرح الورقة البحثية أن المهاجمين يستخدمون عملية من خطوتين لإنشاء هذا "السرب" من الأدوات المزيفة:

المرحلة الأولى: مرحلة "الحلم" (توليد مونت كارلو - Monte Carlo Generation)
يطلب المهاجمون من الذكاء الاصطناعي تخيل آلاف الأدوات المزيفة. هم لا يطلبون أداة واحدة محددة؛ بل يطلبون من الذكاء الاصطناعي إنشاء أدوات يمكنها الإجابة على العديد من الأسئلة المختلفة في آن واحد. الأمر يشبه طلب ابتكار قائمة طعام من قبل شيف تبدو جيدة لوجبات "الإفطار"، و"الغداء"، و"العشاء" في نفس الوقت. هذا يخلق كومة ضخمة من الأدوات المزيفة "العامة ولكن ذات صلة".
المرحلة الثانية: مرحلة "القناص" (الاختيار الجشع - Greedy Selection)
من تلك الكومة الضخمة، يستخدم المهاجمون خوارزمية ذكية لاختيار أفضل 100 أداة مزيفة. يختارون الأدوات التي هي الأقرب رياضياً لأكثر الأسئلة شيوعاً التي يطرحها الناس. إنهم يلعبون لعبة "تغطية أكبر مساحة بأقل عدد من البلاطات".

لماذا هذا الأمر مخيف

يتجاوز ضوابط السلامة: معظم أنظمة الأمان تتحقق من قائمة الأدوات الخمسة النهائية للتأكد من أنها ليست خطيرة. لكن في هذا الهجوم، لا يرى نظام الأمان الأدوات الحقيقية لأنها لم تُدعَ للحفلة أصلاً. يرى الحارس فقط الأدوات المزيفة الخمسة ويعتقد: "أوه، تبدو هذه جيدة"، ويسمح للروبوت باستخدامها.
غير مرئي: لا يحتاج المهاجم إلى اختراق عقل الروبوت أو كود أمين المكتبة. يحتاج فقط إلى إضافة بضع مئات من المدخلات المزيفة إلى قاعدة البيانات العامة.
يعمل في كل مكان: اختبرت الورقة البحثية هذا الهجوم على قاعدتي بيانات ضخمتين للأدوات (MetaTool و ToolBench). وبالرغم من أن المهاجمين أضافوا حوالي 1% فقط من الأدوات المزيفة (قطرة صغيرة في المحيط)، إلا أنهم نجحوا في حجب الأدوات الحقيقية بنسبة 95% من الوقت.

الخلاصة

تحذر هذه الورقة البحثية من أنه مع زيادة انتشار وكلاء الذكاء الاصطناعي، فإن "محرك البحث" الذي يمثل جزءاً من عقلهم هو نقطة ضعف. إذا تمكن المهاجمون من إغراق نتائج البحث بأدوات مزيفة مموهة بذكاء، فيمكنهم التحكم فيما يفعله الذكاء الاصطناعي دون المساس بالذكاء الاصطناعي نفسه.

الحل؟ نحن بحاجة إلى "أمناء مكتبة" أفضل يمكنهم رصد متى تكون قائمة النتائج مزدحمة بشكل مريب بعناصر متشابهة (مثل سرب من المطاعم المزيفة) وتصفيتها قبل عرضها على الروبوت.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "ToolFlood: تجاوز الاختيار — إخفاء الأدوات الصالحة عن وكلاء النماذج اللغوية الكبيرة عبر التغطية الدلالية (Semantic Covering)."

1. بيان المشكلة

تعتمد بنية الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد على البنى المعززة بالأدوات، حيث يختار الوكيل من كتالوج واسع من الأدوات الخارجية (واجهات برمجة التطبيقات APIs، قواعد البيانات، إلخ) لحل المهام المعقدة. ولإدارة الكتالوجات الضخمة، تستخدم هذه الأنظمة الاسترجاع القائم على التضمين (embedding-based retrieval) لاختيار مجموعة فرعية من أفضل ( $k$ ) الأدوات ذات الصلة باستعلام المستخدم قبل أن يقوم النموذج اللغوي الكبير باتخاذ قرار الاختيار النهائي.

الفجوة: ركزت الأبحاث الأمنية السابقة على مرحلة الاختيار (التلاعب بأسماء الأدوات أو أوصافها لجعل الأداة الخبيثة أكثر عرضة للاختيار بعد استرجاعها). ومع ذلك، لا تزال مرحلة الاسترجاع نفسها غير مستكشفة بشكل كافٍ.
التهديد: حدد المؤلفون نمط فشل جديد يسمى هيمنة الـ $k$ -الأعلى (Top- $k$ Domination). فبدلاً من التنافس على مكان في القائمة المسترجعة، يهدف المهاجم إلى إشباع قائمة الـ $k$ -الأعلى بأكملها بأدوات يسيطر عليها المهاجم. ومن خلال القيام بذلك، يتم حجب (إخفاء) جميع الأدوات الحميدة تماماً عن سياق الوكيل. وهذا يحول طبقة الاسترجاع فعلياً إلى آلية "حرمان من الرؤية" (denial-of-visibility)، مما يتجاوز ضوابسة الاختيار في المراحل اللاحقة لأن الوكيل لا يرى الأدوات المشروعة أبداً.

2. المنهجية: ToolFlood

إن ToolFlood هو هجوم على طبقة الاسترجاع يستغل هندسة مساحات التضمين للقيام بـ هجوم من نوع "سيبيل" (Sybil-style attack) (حقن العديد من الهويات الزائفة). وهو يعمل في مرحلتين:

المرحلة الأولى: توليد المرشحين بطريقة مونت كارلو (Monte Carlo Candidate Generation)

الهدف هو توليد مجموعة متنوعة من البيانات الوصفية للأدوات المعادية (الأسماء والأوصاف) التي يمكنها تغطية نطاق واسع من استعلامات المستخدمين دلالياً.

العملية: يقوم المهاجم بأخذ عينات من مجموعات فرعية من استعلامات الهدف ( $S_i$ ) ويستخدم نموذجاً لغوياً كبيراً لتوليد ( $g$ ) من أوصاف الأدوات ذات الصلة دلالياً بالمجموعة الفرعية بأكملها (وليس باستعلام واحد فقط).
المنطق: من خلال ربط عملية التوليد بمجموعة من الاستعلامات، ينتج النموذج اللغوي أدوات تقع في "المنطقة المشتركة" لمساحة التضمين، مما يزيد من احتمالية أن تغطي أداة واحدة عدة استعلامات متميزة (التغطية المتعددة - multi-covering).
المخرجات: مجموعة مرشحة كبيرة ( $P_I$ ) من الأدوات المعادية المحتملة.

المرحلة الثانية: التغطية الدلالية المتعددة الجشعة والمتكررة (Iterative Greedy Semantic Multi-Covering)

يجب على المهاجم اختيار مجموعة فرعية صغيرة من الأدوات من مجموعة المرشحين لحقنها، مع تعظيم عدد الاستعلامات التي تهيمن عليها الأدوات المعادية في قائمة الـ $k$ -الأعلى.

الصياغة: يتم نمذجة ذلك كمسألة تغطية متعددة دلالية مقيدة بالميزانية (Budgeted Semantic Multi-Cover). الهدف هو اختيار مجموعة من الأدوات ( $M_{adv}$ ) بحيث تقع $r$ (حيث $r=k$ ) من الأدوات المعادية لكل استعلام هدف ( $q$ ) ضمن عتبة مسافة جيب التمام (cosine-distance threshold) محددة $\delta$ من تضمين الاستعلام.
الخوارزمية: تُستخدم خوارزمية جشعة متكررة:
1. حساب "الربح الحدي" (marginal gain) لكل أداة مرشحة (كم عدد الاستعلامات المتبقية غير المغطاة التي تغطيها الأداة).
2. اختيار الأداة ذات الربح الأعلى.
3. تحديث عدد التغطية للاستعلامات التي تمت تغطيتها.
4. التكرار حتى استنفاد ميزانية الحقن ( $B$ ) أو تشبع جميع الاستعلامات.
التكيف مع الصندوق الأسود (Black-Box Adaptation): يستخدم المهاجم نموذج تضمين "ظلي" ( $\tilde{\phi}$ ) لتقريب مساحة التضمين الخاصة بالنظام المستهدف، مما يجعل الهجوم مستقلاً عن النموذج (model-agnostic).

3. المساهمات الرئيسية

نموذج تهديد جديد (Top- $k$ Domination): يعرّف الورقة ويصيغ رياضياً هجوماً على مرحلة الاسترجاع حيث يقوم المهاجم بقمع الأدوات الحميدة عبر إغراق مجموعة المرشحين، بدلاً من مجرد التنافس داخلها.
إطار عمل هجوم ToolFlood: استراتيجية جديدة من مرحلتين تجمع بين التوليد الدلالي بمساعدة النماذج اللغوية الكبيرة والتحسين الجشع لتحقيق تغطية عالية الكثافة لمساحة التضمين.
التحليل النظري: يقدم المؤلفون برهاناً على التقارب يوضح أنه مع عدد كافٍ من التكرارات في المرحلة الأولى، فإن مجموعة المرشحين ستحتوي بالتأكيد على ما يكفي من "الذخيرة" لإشباع قائمة الـ $k$ -الأعلى لجميع استعلامات الهدف.
التحقق التجريبي: تجارب مكثفة تثبت قدرة ToolFlood على تحقيق معدلات نجاح عالية مع نسبة حقن (poisoning rate) منخفضة جداً.

4. النتائج التجريبية

قيم المؤلفون ToolFlood على معيارين قياسيين: MetaTool (19 أداة حميدة) و ToolBench (11,760 أداة حميدة).

معدل نجاح الهجوم (ASR) ومعدل هيمنة الـ $k$ -الأعلى (TDR):
- MetaTool: حقق 97.2% TDR و ~99% ASR عبر نماذج اختيار مختلفة (GPT-4o, GPT-5-mini, GPT-4o-mini).
- ToolBench: حقق 91% TDR و ~95% ASR.
- الكفاءة: تحققت هذه النتيات مع ميزانية حقن بلغت ~1% فقط من إجمالي كتالوج الأدوات (على سبيل المثال، حقن ~145 أداة في كتالوج يحتوي على 11,760 أداة).
القابلية للانتقال (Transferability): يظل الهجوم فعالاً حتى عندما يختلف نموذج التضمين "الظلي" المستخدم للتحسين عن نموذج الاسترجاع المستهدف (على سبيل المثال، التحسين باستخدام MiniLM والتقييم باستخدام text-embedding-3-small)، مع الاحتفاظ بأداء عالٍ (TDR > 84%).
مقارنة الخطوط المرجعية (Baselines):
- الحقن العشوائي من نوع سيبيل (Random Sybil Injection): غير فعال (TDR < 2%).
- PoisonedRAG (المعدل): فعال ولكنه عموماً أقل من ToolFlood، خاصة في الكتالوجات الأكبر.
تقييم الدفاعات:
- MMR (Maximal Marginal Relevance): أدى إعادة التصنيف لضمان التنوع إلى تقليل TDR بشكل كبير (من 91% إلى 44.8%) ولكنه فشل في إيقاف الهجوم تماماً (ظل ASR عند ~91%).
- Prompt Guard: غير فعال. بما أن ToolFlood يعتمد على التغطية الدلالية بدلاً من حقن التعليمات الصريحة، فإن فلاتر حقن الأوامر (prompt-injection) القياسية لا تكتشف الأدوات الخبيثة.

5. الأهمية والآثار المترتبة

التحول في النموذج الأمني: يوضح ToolFlood أن تأمين مرحلة الاختيار غير كافٍ إذا تم اختراق مرحلة الاسترجاع. إذا لم يتم استرجاع الأدوات الحميدة أبداً، فإن الفلاتر اللاحقة تصبح عديمة الفائدة.
هشاشة الأنظمة المفتوحة: يسلط الهجوم الضوء على ثغرة حرجة في أسواق الأدوات المفتوحة أو شبه المفتوحة (مثل متجر GPT أو LangChain Hub) حيث يمكن لأي شخص نشر أدوات. يمكن لعدد قليل من الجهات الفاعلة الخبيثة "إغراق" النظام بفعالية وإخفاء الأدوات المشروعة.
توصيات الدفاع: تقترح الورقة أن الدفاعات المستقبلية يجب أن تتجاوز تصفية الأوامر (prompt filtering) لتشمل:
- استرجاع مقاوم لـ "سيبيل" (Sybil-resilient retrieval): آليات للكشف عن المجموعات (clusters) شديدة التكرار أو المتشابهة جداً ومعاقبتها.
  ما يضمن أن قائمة الـ $k$ -الأعلى تحافظ على تنوع دلالي لمنع الإشباع بواسطة مجموعة واحدة من الأدوات.
- التحكم في المصدر والحوكمة: ضوابط أكثر صرامة على تسجيل الأدوات ومراقبة أنماط الإغراق (flooding patterns).

في الختام، يكشف ToolFlood أن الاسترجاع القائم على التضمين هو حدود أمنية هشة. ومن خلال استغلال هندسة المساحات المتجهة، يمكن للمهاجمين حرمان الوكلاء فعلياً من الوصول إلى الأدوات التي يحتاجونها، مما يجعل قدرات التفكير لدى الوكيل عديمة الفائدة لمهام معينة.