Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains
تقترح الورقة البحثية TopoPrior، وهو إطار عمل يتعلم أولويات طوبولوجية قابلة للنقل من رسوم بيانية للتعاون متعدد المجالات غير متصلة بالإنترنت لإنشاء هياكل تعاون أولية مشروطة بالاستعلام بكفاءة لأنظمة النماذج اللغوية الكبيرة متعددة الوكلاء، مما يقلل من عبء البحث عبر الإنترنت واستهلاك الرموز (tokens) مع تحسين أداء الاستدلال عبر مجالات متنوعة.
تخيل أن لديك فريقاً من المساعدين الخبراء في الذكاء الاصطائي (مثل طبيب، ومحامٍ، وعالم، ومؤرخ) يحتاجون للعمل معاً لحل مشكلة معقدة. وللقيام بذلك، يتعين عليهم تحديد من يتحدث مع من وبأي ترتيب. ما يُعرف بـ "خريطة التواصل" هذه يسمى طوبولوجيا التعاون (collaboration topology).
حالياً، عندما يأتي سؤال جديد، تضطر فرق الذكاء الاصطناعي هذه عادةً إلى التوقف وتحديد خريطة تواصل جديدة كلياً لكل سؤال. الأمر يشبه مطالبة مجموعة من الغرباء باختراع طريقة جديدة لتنظيم اجتماع في كل مرة يدخلون فيها إلى غرفة. هذا يستغرق الكثير من الوقت، ويستهلك الكثير من قوة الحوسبة (الرموز/tokens)، ويصبح مكلفاً بسرعة، خاصة عندما تأتي الأسئلة من مجالات مختلفة (مثل القانون، والعلوم، والتاريخ).
TopoPrior هي طريقة جديدة تغير قواعد اللعبة. إليك كيف تعمل، مشروحة ببساء:
1. المشكلة: إعادة اختراع العجلة
في الوقت الحالي، تعامل معظم أنظمة الذكاء الاصطناعي كل سؤال جديد كأنه لغز جديد تماماً. فهي تبحث عن أفضل طريقة لربط وكلائها في كل مرة.
التشبيه: تخيل أنك طاهٍ (شيف). في كل مرة يطلب فيها زبون وجبة، لا تكتفي فقط بطهي الطعام؛ بل تقضي ساعة أولاً في البحث عبر مكتبتك الكاملة لتعرف أي سكين ستستخدم، وأي مقلاة ستأخذ، وكيف ترتب مكوناتك على الطاولة. أنت تفعل ذلك لكل طلب، حتى لو طلب الزبون "برجر" مرة أخرى. هذا غير فعال.
2. الحل: تعلم "ذاكرة العضلات"
يعمل TopoPrior كـ مخطط بارع يتعلم من تجارب الماضي. فبدلاً من البحث عن خطة جديدة في كل مرة، فإنه ينظر إلى آلاف خرائط التواصل الناجحة التي رآها من قبل عبر مجالات مختلفة (domains).
التشبيه: TopoPrior يشبه رئيس طهاة متمرس عمل في مطاعم مختلفة (مجالات). هو يعلم أنه بالنسبة لسؤال "علمي"، يحتاج الفريق عادةً إلى إعداد معين (مثل فريق مختبر)، وللسؤال "التاريخي"، يحتاجون إلى إعداد مختلف (مثل فريق مناظرة).
السحر: يتعلم TopoPrior هذه الأنماط خارج نطاق العمل (offline) (قبل أن يطلب الزبون حتى). فهو ينشئ "ورقة غش" لنقاط البداية الجيدة.
3. كيف يعمل: عملية من خطوتين
يتكون TopoPrior من جزأين رئيسيين يعملان معاً:
الخطوة 1: متعلم الأنماط (تعلم طوبولوجيا الأولوية القابل للنقل - Transferable Topology Prior Learning) هذا الجزء يدرس "أوراق الغش" من العديد من المجالات المختلفة. ويستخدم إطاراً رياضياً خاصاً (رسم بياني متغير شرطي - conditional variational graph) لإيجاد الهياكل المشتركة التي تعمل بشكل جيد.
التشبيه: يدرك أن أسئلة "العلوم" و"الهندسة" غالباً ما تحتاج إلى هيكل فريق متشابه، رغم أن الحقائق المحددة تختلف. إنه يتعلم شكل الفريق الجيد، وليس فقط الحقائق المحددة.
الخطوة 2: المخصص (التكيف الكامن المشروط بالاستعلام - Query-Conditioned Latent Adaptation) بمجرد الحصول على "ورقة الغش" العامة، ينظر النظام إلى السؤال المحدد الذي طرحته للتو. ثم يقوم بتعديل الخطة لتناسب احتياجاتك الدقيقة دون فقدان الأجزاء الجيدة التي تعلمها.
التشبيه: إذا سألت عن "الفيزياء الكمية"، سيأخذ النظام خطة "فريق العلوم" العامة ولكنه يستبدل "متخصص البيولوجيا" بـ "متخصص فيزياء". يستخدم "مميزاً" (discriminator) (مثل مفتش مراقبة الجودة) للتأكد من أن الخطة تناسب السؤال المحدد مع الحفاظ على الهيكل الفعال.
4. النتيجة: أسرع وأذكى
عندما يصل سؤال جديد، لا يبدأ TopoPrior من الصفر. بل يسلم فريق الذكاء الاصطناعي خطة بداية جاهزة وعالية الجودة.
الفائدة: يحتاج فريق الذكاء الاصطناعي فقط إلى إجراء تعديلات صغيرة على هذه الخطة بدلاً من بنائها من الصفر.
ادعاءات الورقة البحثية:
السرعة: يقلل من الوقت الذي يقضيه الذكاء الاصطناعي في "التفكير" (وقت الاستدلال/inference time) بنسبة تصل إلى 40%.
التكلفة: يستخدم موارد حوسبة أقل بكثير (tokens) لأن الذكاء الاصطناعي لا يحتاج للبحث بقوة.
الأداء: يجعل الذكاء الاصطناعي أكثر ذكاءً في الواقع، مما يحسن الدقة في مهام الاستدلال الصعبة عبر موضوعات مختلفة مثل القانون والعلوم والتاريخ.
الكفاءة: يضيف "وزناً" إضافياً ضئيلاً جداً (حوالي 3.3 مليون معلمة/parameter إضافية فقط) إلى النظام، مما يجعله ترقية خفيفة الوزن.
الملخص
فكر في TopoPrior كتعليم فريق الذكاء الاصطناعي كيف ينظمون أنفسهم بناءً على سنوات من الخبرة، بدلاً من إجبارهم على اكتشاف قواعد التنظيم في كل مرة يحصلون فيها على مهمة جديدة. إنه يوفر الوقت، ويوفر المال، ويساعد الفريق على حل المشكلات بشكل أفضل، سواء كانت المشكلة تتعلق بالرياضيات أو التاريخ أو الطب.
ملخص تقني: تعلم الأولويات الطوبولوجية القابلة للنقل للتعاون بين النماذج اللغوية الكبيرة متعددة الوكلاء عبر المجالات
بيان المشكلة أظهرت الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) إمكانات قوية في التفكير المعقد من خلال تنسيق الوكلاء المتخصصين عبر اتصالات مهيكلة. ومع ذلك، في البيئات متعددة المجالات (مثل الرعاية الصحية، القانون، العلوم)، تقوم طرق تطور الطوبولوجيا الحالية ببناء أو تحسين طوبولوجيا التعاون لكل استعلام من الصفر. يترتب على هذا النهج عبء بحث هائل عبر الإنترنت، واستهلاك عالٍ لرموز الاستدلال (tokens)، وقابلية توسع محدودة. تواجه النماذج الحالية مقايضة: فأساليب التلقين (prompting) الخالية من التدريب محدودة بالقدرات المجمدة للنموذج الأساسي، بينما الأساليب التي تتطلب تدريباً مكثفاً (fine-tuning) تخاطر بحدوث "نسيان كارثي" وتكاليف تخزين عالية عبر مجالات متعددة. التحدي الجوهري هو كيفية إعادة استخدام هياكل التعاون الفعالة عبر المجالات للتكيف مع المهام الجديدة دون الحاجة للبحث المتكرر عن طوبولوجيا الاتصال من الصفر.
المنهجية: إطار عمل TopoPrior يقترح المؤلفون TopoPrior، وهو إطار عمل مصمم لتعلم أولويات طوبولوجية قابلة للنقل للتعاون بين النماذج اللغبية الكبيرة متعددة الوكلاء. بدلاً من معاملة كل استعلام كمسألة بحث عن طوبولوجيا جديدة، ينقل TopoPrior جزءاً من عبء البحث من التحسين عبر الإنترنت لكل استعلام إلى تعلم الأولويات عبر المجالات (cross-domain) في مرحلة ما قبل التشغيل (offline). يتكون إطار العمل من مكونين رئيسيين:
تعلم أولوية الطوبولوجيا القابلة للنقل: يستخدم هذا المكون إطار عمل تبايني رسومي مشروط (conditional variational graph framework) لالتقاط الانتظامات الهيكلية القابلة لإعادة الاستخدام في رسوم التعاون البيانية عبر المجالات.
المشفر التبايني (Variational Encoder): يستخدم شبكة تلافيفية رسومية (GCN) لتشفير رسوم التعاون المرجعية والاستعلامات المرتبطة بها في مساحة كامنة مشتركة.
المولد المشروط (Conditional Generator): يعيد بناء الطوبولوجيا الأولية المشروطة بالاستعلام بشكل تلقائي (autoregressively) من الأولوية الكامنة المتعلمة والاستعلام المدخل. يقوم بتوليد عقد الوكلاء (بالاختيار من مجمع أدوار محدد مسبقاً) وروابط اتصال موجهة.
الأولوية المشروطة (Conditional Prior): تقوم بخرائط الاستعلامات غير المرئية إلى مناطق مفيدة في المساحة الكامنة للطوبولوجيا، مما يعمل كأولوية خاصة بالاستعلام عند عدم توفر رسوم مرجعية في وقت الاستدلال.
التكيف الكامن المشروط بالاستعلام: لضمان بقاء الأولويات المتعلمة قوية عبر المجالات مع الحفاظ على حساسيتها للاحتياجات الخاصة بالاستعلام، يقدم إطار العمل وحدة تكيف كامن خصومية (adversarial latent adaptation).
يتم تطبيق مميز خصومي للمجال (domain-adversarial discriminator) على المتغير الكامن z لتقليل التباين غير الضروري بين المجالات أثناء التدريب.
يتم تحقيق ذلك عبر طبقة عكس التدرج (GRL)، والتي تعمل على محاذاة التوزيعات الكامنة عبر المجالات المصدرية دون محو الاختلافات الهيكلية المعتمدة على الاستعلام والضرورية للتخصص في المهام.
المساهمات الرئيسية
صياغة المشكلة: صاغ المؤلفون تهيئة الطوبولوجيا لأنظمة الوكلاء المتعددة في إعدادات النماذج اللغوية الكبيرة كمسألة تعلم أولوية طوبولوجية قابلة للنقل، حيث يتم تعلم هياكل التعاون القابلة لإعادة الاستخدام "خارج الإنترنت" (offline) لتحسين التطور اللاحق.
تصميم إطار العمل: اقترحوا TopoPrior، وهو إطار عمل خفيف الوزن يجمع بين تعلم أولوية الطوبولوجيا التباينية المشروطة والتكيف الكامن المشروط بالاستعلام لتوليد رسوم تعاون أولية غنية بالمعلومات.
التحقق التجريبي: أظهرت التجارب المكثفة على معايير MMLU وC-Eval أن TopoPrior يحسن أداء الاستدلال اللاحق وكفاءة رموز الاستدلال عبر عدة هياكل خلفية لتطور الطوبولوجيا، مع عبء معلمات ضئيل.
النتائج التجريبية قيم المؤلفون TopoPrior على MMLU وC-Eval (بما في ذلك مجموعة "الصعب" - Hard subset) باستخدام ثلاثة نماذج خلفية: Llama3-8B-Instruct، وDeepSeek-V3-671B-Instruct، وQwen2.5-72B-Instruct. تم دمج إطار العمل مع أربعة هياكل خلفية لتطور الطوبولوجيا: G-Designer، وAgentPrune، وARG-Designer، وAgentDropout.
الأداء: أدى دمج TopoPrior باستمرار إلى تحسين الأداء اللاحق. على سبيل المثال، في MMLU مع Llama3-8B-Instruct، رفع TopoPrior+ARG متوسط الدقة من 65.58% إلى 68.53% (+2.95 نقطة). لوحظت مكاسب مماثلة عبر النماذج الخلفية الأخرى والنماذج الأكبر.
الكفاءة: قلل إطار العمل بشكل كبير من استخدام الرموز (tokens) أثناء الاستدلال عبر الإنترنت، حيث لوحظت انخفاضات تصل إلى 40.22% في بعض التكوينات. كما قلل أيضاً من عدد جولات الاتصال المطلوبة للوصول إلى التقارب.
كفاءة المعلمات: لم يضف مولد أولوية الطوبولوجيا سوى 3.3 مليون معلمة قابلة للتدريب فقط (بإجمالي ~7.1 مليون مع النموذج الخلفي)، وهي زيادة ضئيلة مقارنة بنموذج Llama3-8B، وأقل بكثير من النماذج التي تتطلب تدريباً مكثفاً مثل MoDULA أو MoDE.
الدراسة الاستقصائية والتعميم: أكدت دراسات الاستبعاد (Ablation) أن هدف تعلم أولوية الطوبولوجيا (Lprior) هو المكون المركزي، بينما يوفر التكيف الكامن (Ladapt) والأولوية المشروطة بالاستعلام (fprior) الاستقرار. كما أظهر الإطار متانة تحت الإشراف الضعيف (باستستخدام رسوم مرجعية متقاربة جزئياً) وتعميماً فعالاً خارج النطاق (out-of-domain) إلى مجالات غير مرئية (مثل الفن، العسكرية) عن طريق رسم خرائط الاستعلامات إلى مجموعات كامنة منطقية دلالياً.
الأهمية والادعاءات يزعم البحث أن تهيئة الطوبولوجيا القابلة للنقل هي آلية فعالة وخفيفة الوزن لتحسين كفاءة التعاون بين الوكلاء للنماذج اللغوية الكبيرة عبر المجالات. من خلال توزيع تكلفة البحث عن الطوبولوجيا عبر الاستعلامات والمجالات من خلال تعلم الأولوية "خارج الإنترنت"، يسمح TopoPrior للأنظمة متعددة الوكلاء بالتكيف مع المهام الجديدة دون العبء العالي للبحث عن طوبليات الاتصال من الصفر.
يؤكد المؤلفون أن نهجهم مكمل لهياكل تطور الطوبولوجيا الموجودة، حيث يوفر إشارة تهيئة أقوى بدلاً من استبدال آليات الصقل اللاحقة. ويشيرون إلى أنه بينما توجد تكلفة "خارج الإنترنت" لتوليد الرسوم المرجعية، فإن توفير الرموز أثناء الاستدلال يمكن أن يعوض هذه التكلفة عند مستويات نشر كبيرة بما يكفي (يُقدر نقطة التعادل عند ~373,670 استعلاماً لمجموعة اختبار MMLU). يشير العمل إلى أن تعلم الانتظامات الهيكلية القابلة لإعادة الاستخدام هو اتجاه عملي لتعزيز قدرة وكفاءة الأنظمة متعددة الوكلاء، لا سيما في السيناريوهات التي تتطلب خبرات متنوعة عبر مجالات متعددة.