💻 computer science

SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication

يُعد SafeSieve إطار عمل تقليم تدريجي وتكيفي للأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة، حيث يجمع بين الاستدلالات الدلالية الأولية وتغذية الأداء الراجعة المتراكمة لتحسين التواصل ديناميكيًا، مما يحقق خفضًا كبيرًا في عدد الرموز (tokens) وتوفيرًا في التكاليف مع الحفاظ على دقة عالية ومتانة ضد الهجمات.

المؤلفون الأصليون: Ruijia Zhang, Xinyan Zhao, Ruixiang Wang, Sigen Chen, Guibin Zhang, An Zhang, Kun Wang, Qingsong Wen

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruijia Zhang, Xinyan Zhao, Ruixiang Wang, Sigen Chen, Guibin Zhang, An Zhang, Kun Wang, Qingsong Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الخبراء يحاولون حل لغز صعب للغاية. في عالم الذكاء الاصطناعي، هؤلاء "الخبراء" هم نماذج لغوية كبيرة (LLMs) تعمل معاً.

عادةً، عندما يعمل هؤلاء الوكلاء من الذكاء الاصطناعي معاً، فإنهم يتصرفون مثل اجتماع بلدية فوضوي حيث يتحدث الجميع مع الجميع طوال الوقت.

المشكلة: هذا مكلف للغاية (يكلف الكثير من المال لتشغيل الحواسيب) وبطيء. والأسوأ من ذلك، أن الضجيج يطغى على الأفكار المهمة. الأمر يشبه محاولة سماع همسة في ملعب مليء بالناس الذين يصرخون.
الحلول القديمة: حاولت الطرق السابقة إصلاح ذلك إما عن طريق:
1. التخطيط المسبق: رسم مخطط جلوس صارم قبل بدء الاجتماع (ولكن إذا خرج الاجتماع عن المسار، فإن المخطط لن يساعد).
2. القطع العشوائي: مجرد إسكات الأشخاص الأكثر صخباً أو أولئك الذين يتحدثون كثيراً، على أمل أن يكون ذلك كافياً (ولكن قد تسكت بالخطأ الشخص الوحيد الذي يعرف الإجابة).

إليك "SafeSieve": مدير الاجتماع الذكي.

يقدم البحث نظاماً جديداً يسمى SafeSieve. فكر فيه كمدير اجتماع فائق الذكاء ومتكيف، لا يكتفي فقط بإسكات الناس عشوائياً، بل يتعلم من يجب أن يستمع إليه مع تقدم الاجتماع.

إليك كيف يعمل، مقسماً إلى ثلاث خطوات بسيطة:

1. "الانطباع الأول" (التهيئة الاستدلالية - Heuristic Initialization)

عندما يبدأ الاجتماع، لا يعرف SafeSieve من هو بارع في ماذا بعد. لذا، يستخدم استراتيجية "الانطباع الأول".

التشبيه: تخيل أنك تنظر إلى مجموعة من الأشخاص وتخمن: "أنت تبدو كخبير رياضيات"، و"أنت تبدوا ككاتب مبدع".
كيف يعمل: ينظر النظام إلى "السيرة الذاتية" (بيانات تدريب كل وكيل) لكل وكيل ويقوم بعمل تخمين مدروس حول من يجب أن يتحدث مع من. إنه يضع خطة أساسية بناءً على هذه التخمينات الأولية.

2. "تقرير الدرجات" (التحسين القائم على الخبرة - Experience-Driven Refinement)

بينما يستمر الاجتماع، يبدأ SafeSieve في الانتباه للنتائج.

التشبيه: إذا قدم "خبير الرياضيات" إجابة خاطئة، يدون المدير ملاحظة: "حسناً، ربما لا نستمع إليه كثيراً في المرة القادمة". إذا ساعد "الكاتب المبدع" في حل مشكلة، يفكر المدير: "رائع، لنبقي هذا الاتصال مفتوحاً".
كيف يعمل: يحتفظ النظام بسجل نقاط جارٍ. إنه ينتقل ببطء من الثقة في "انطباعاته الأولى" إلى الثقة في الأداء الفعلي للوكلاء. إنه يتعلم أي الاتصالات قيمة وأيها مجرد ضجيج.

3. "العناق الجماعي" (التجميع عبر التمدد الصفري - 0-Extension Clustering)

هذه هي الحيلة الأكثر ذكاءً في البحث. الطرق القديمة كانت تكتفي بقطع الاتصالات "الأسوأ" واحدة تلو الأخرى (مثل قطع أضعف الروابط في السلسلة). لكن SafeSieve يفعل شيئاً أذكى.

التشبيه: بدلاً من قطع الخيوط الفردية، ينظر SafeSive إلى المجموعة بأكملها ويقول: "هؤلاء الثلاثة يعملون جيداً معاً كفريق واحد؛ لنبقهم في دائرة ضيقة. ولكن ذلك الشخص هناك؟ إنه لا يتصل بأحد، لذا دعونا نزيله بلطف من الدائرة".
كيف يعمل: يستخدم طريقة رياضية تسمى التجميع عبر التمدد الصفري (0-extension clustering) للحفاظ على المجموعات التي تعمل جيداً معاً (المجتمعات المتماسكة) سليمة، بينما يزيل الروابط "الزائدة" بين المجموعات. هذا يمنع الفريق من التفكك أو فقدان هيكله.

لماذا يعد هذا أمراً مهماً؟

اختبر الباحثون SafeSieve على ستة أنواع مختلفة من المهام الصعبة (مثل مسائل الرياضيات، البرمجة، والمعرفة العامة). إليكم ما وجدوه:

إنه أرخص: لقد قلل من كمية "القدرة الحوسبية" (الرموز/Tokens) المطلوبة بنسبة 12% إلى 28%. هذا يشبه الحصول على نفس النتيجة بجزء بسيط من فاتورة الكهرباء.
إنه أذكى: حتى مع كلام أقل، حقق الفريق دقة أكبر. في بعض الحالات، ارتفعت الدقة بنسبة تقارب 7% لأن الفريق لم يتشتت بالثرثرة غير المجدية.
إنه أقوى: إذا انضم "فاعل سيء" (ذكاء اصطناعي خبيث يحاول خداع الفريق) إلى الاجتماع، فإن SafeSieve بارع جداً في رصده وعزله دون كسر الفريق بأكمله.
إنه مرن: يعمل بشكل رائع حتى لو قمت بخلط نماذج ذكاء اصطناعي كبيرة ومكلفة مع نماذج صغيرة ورخيصة. فهو يعرف كيف يترك "العقول الكبيرة" تتولى الأمور الصعبة و"العقول الصغيرة" تتولى الأمور السهلة، مما يوفر المزيد من المال.

الخلاصة

يحول SafeSieve اجتماع فريق الذكاء الاصطناعي الفوضوي والمكلف والمزعج إلى تعاون منظم وفعال وعالي الدقة. يبدأ بخطة، ويتعلم من الخبرة، ويحافظ على هيكل الفريق متماسكاً، مما يثبت أن الكلام الأقل يمكن أن يعني تفكيراً أفضل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SafeSieve: من الاستدلالات إلى الخبرة في التقليم التدريجي لتواصل الوكلاء المتعددين القائم على النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تُظهر الأنظمة متعددة الوكلاء (MAS) القائمة على النماذج اللغوية الكبيرة (LLM) قدرات تعاونية قوية، لكنها تعاني من مشكلتين حرجتين:

التواصل الزائد عن الحاجة: تولد المحادثات الكثيفة والمستمرة بين الوكلاء (round-robin) عبئاً هائلاً في عدد الرموز (tokens)، مما يزيد من تكاليف الاستدلال ويضعف التركيز على المعلومات الجوهرية.
استراتيجيات التحسين غير الفعالة: تندرج الطرق الحالية ضمن فئتين بحدود متميزة:
- التصميم المسبق (الاستاتيكي): مثل GPTSwarm و G-Designer، حيث تبني هذه الطرق هياكل (topologies) ثابتة قبل التنفيذ، وتفتقر إلى القدرة على التكيف مع الديناميكيات أثناء وقت التشغيل.
- التقليم اللاحق (الديناميكي): مثل AgentPrune و AgentDropout، حيث تقوم بإزالة الحواف ديناميكياً ولكنها غالباً ما تعتمد على تقليم الـ Top-k الجشع (Greedy). هذا النهج ينطوي على مخاطر إزالة مسارات التواصل الحرجة، مما يؤدي إلى عدم مثالية محلية وتقليل متانة النظام ضد الوكلاء الخبيثين (هجمات حقن الأوامر/Prompt Injection).

لا يوجد حالياً إطار عمل موحد يربط بين التهيئة القائمة على الاستدلال (Heuristic) والتكيف الديناميكي القائم على الخبرة مع الحفاظ على التماسك الهيكلي بين الوكلاء.

2. المنهجية: SafeSieve

إن SafeSieve هو خوارزمية تقليم تدريجية وتكيفية مصممة لتحسين هياكل التواصل في الأنظمة متعددة الوكلاء. يعمل من خلال آلية مزدوجة تنتقل من التهيئة الاستدلالية إلى الصقل القائم على الخبرة، باستخدام تجميع الامتداد الصفري (0-extension clustering) للحفاظ على البنية.

أ. تسجيل الحواف عبر آلية مزدوجة

يستخدم SafeSieve مصفوفة تسجيل حواف ديناميكية $E \in \mathbb{R}^{n \times n}$ تتطور بمرور الوقت ( $t$ ):

التهيئة الاستدلالية الدلالية (البداية):
- تجمع بين التشابه القائم على التضمين (Embedding-based similarity) والتوافق الوظيفي الذي يقيمه خبير من النماذج اللغوية الكبيرة ( $S_{compat}$ ).
- الصيغة: $S_{compat} = \gamma \cdot \text{Similarity} + (1-\gamma) \cdot Q(S_{expert})$ .
- يوفر هذا مرحلة "التخطيط" بناءً على أدوار الوكلاء وقدراتهم.
التغذية الراجعة التاريخية التدريجية (التنفيذ):
- يتتبع التكامل التاريخي ( $C_{hist}$ ) للحواف بناءً على مساهمتها في إتمام المهام بنجاح بمرور الوقت.
- التسجيل المتكامل: ينتقل تسجيل الحافة النهائي $E_{ij}(t)$ بسلاسة من الدرجة الدلالية الأولية إلى الدرجة التاريخية المتراكمة باستخدام دالة وزن زمنية:
  $E_{ij}(t) = \left(1 - \frac{t}{T}\right) \cdot \alpha_0 \cdot S_{compat} + \left[\beta_0 + (\beta_{max} - \beta_0) \cdot \frac{t}{T}\right] \cdot C_{hist}(t)$
- هذا يحاكي نموذج الإنسان "خطط ثم عدّل".

ب. تجميع الامتداد الصفري للتقليم

على عكس طرق Top-k الجشعة التي تزيل الحواف بشكل فردي، يستخدم SafeSieve تجميع الامتداد الصفري (مسألة تقسيم الرسم البياني) لتقليم الحواف بشكل عالمي:

اختيار النهايات (Terminals): اختيار مجموعة فرعية من الوكلاء كمركزات للمجموعات (Terminals) لتعظيم نقل الاتصال.
تعيين المجموعات: يحل مسألة تحسين لتعيين الوكلاء للنهايات، مع تقليل "المسافة" (عكس درجة الحافة) للحواف التي تعبر حدود المجموعات.
التقليم الهيكلي:
- يتم تقليم الحواف التي تعبر حدود المجموعات والتي تقل عن عتبة ديناميكية $\theta(t)$ .
- يحافظ هذا على مجموعات الوكلاء المتماسكة هيكلياً (المجتمعات) مع التخلص من الروابط غير الفعالة، متجنباً التجزئة التي يسببها التقليم الجشع.
التنظيم (Regularization): بعد التقليم، يتم تطبيع درجات الحواف للتكيف مع الطوبولوجيا الجديدة للرسم البياني.

3. المساهمات الرئيسية

إطار عمل موحد: يعد SafeSieve أول إطار عمل للتقليم اللاحق يدمج التقييم الدلالي القائم على LLM، والتغذية الراجعة التاريخية التراكمية، وتجميع الامتداد الصفري. إنه يسد الفجوة بين الاستدلالات في المراحل المبكرة والصقل المدفوع بالتغذية الراجعة.
الكفاءة مع المتانة: يحقق تقليلاً كبيراً في عدد الرموز (tokens) مع الحفاظ على الدقة أو تحسينها. وبشكل فريد، يظهر صموداً عدائياً ذاتياً، حيث يكتشف ويخفف من آثار الوكلاء الخبيثين (حقن الأوامر) مع حد أدنى من انخفاض الدقة.
النشر غير المتجانس: يدعم إطار العمل التعاون عبر النماذج المختلفة (مثل توجيه النماذج اللغوية الكبيرة للنماذج الأصغر). وهو يستفيد من تنوع النماذج لتقليل تكاليف النشر من خلال تخصيص المهام ديناميكياً بناءً على قدرة النموذج وتكلفته.

4. النتائج التجريبية

أُجريت التجارب على ستة معايير مرجعية (MMLU, GSM8K, SVAMP, HumanEval, AQuA, MATH-500) باستخدام نماذج مثل DeepSeek-V3 (671B) و GPT-4o-mini.

الأداء والكفاءة:
- الدقة: حقق SafeSieve متوسط دقة قدره 94.01% على DeepSeek-V3، متفوقاً على جميع النماذج المرجعية (على سبيل المثال، +1.23% عن AgentPrune، و +2.86% عن GPTSware).
- تقليل الرموز (Tokens): قلل استخدام الرموز بنسبة 12.4% – 27.8% مقارنة بالرسوم البيانية كاملة الاتصال وطرق التقليم الأخرى.
- دراسة الاستئصال (Ablation): أدى إزالة التغذية الراجعة التاريخية إلى انخفاض الدقة بنسبة 1.23%؛ واستبدال الامتداد الصفري بتقليم Top-k أدى إلى انخفاض الدقة بنسبة 1.88%، مما يؤكد ضرورة كلا المكونين.
المتانة (الهجمات العدائية):
- تحت هجمات حقن الأوامر (حقن وكلاء ذوي جودة منخفضة/خبيثة)، أظهر SafeSieve أعلى مستويات الصمود.
- متوسط انخفاض الدقة: 1.23% فقط (مقارنة بـ 4.59% لـ AgentPrune و 2.21% لـ AgentDropout).
- يمنع تجميع الامتداد الصفري ظهور "جزر المعلومات"، مما يحافظ على اتصال الشبكة حتى عند وجود عقد خبيثة.
التعاون غير المتجانس:
- في الإعدادات المختلطة للنماذج (مثل DeepSeek-V3 + LLaMA-8B + Qwen2.5)، قلل SafeSieve إجمالي تكاليف النشر بنسبة 13.3% مع الحفاظ على الأداء.
- استخدم بفعالية "مبدأ البرميل"، حيث تتولى النماذج الكبيرة الاستدلال المعقد بينما تتولى النماذج الصغيرة المهام المهيكلة، مما يحسن نسب التكلفة مقابل الكفاءة.

5. الأهمية

يمثل SafeSieve تحولاً جذرياً في تحسين الأنظمة متعددة الوكلاء:

من الاستاتيكية إلى التكيفية: ينتقل من تصميم الطوبولوجيا الثابت إلى استراتيجية تقليم ديناميكية قائمة على التعلم تتطور مع المهمة.
من الجشع إلى الهيكلي: من خلال استخدام تجميع الامتداد الصفري، يتجنب عيوب إزالة الحواف الجشعة، مما يضمن بقاء رسم التواصل المتبقي سليماً هيكلياً ومتماسكاً وظيفياً.
النشر العملي: يقدم حلاً خالياً من الحاجة لـ GPU (من حيث متطلبات التدريب لمنطق التقليم) وقابلاً للتوسع، مما يخفض بشكل كبير الحاجز الاقتصادي لنشر فرق الوكلاء المعقدة القائمة على LLM في السيناريوهات الواقعية.

الكود مفتوح المصدر في: https://github.com/csgen/SafeSieve.