ملخص تقني: الأكثر ليس دائماً الأفضل: التداخل بين المكونات في هيكلة وكلاء النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

يعتمد النموذج المعياري لبناء وكلاء النماذج اللغوية الكبيرة (LLM) على "الهيكلة" (Scaffolding): وهي تعزيز النموذج الأساسي بمجموعة من المكونات الوظيفية مثل وحدات التخطيط، وواجهات استخدام الأدوات، والذاكرة، والتفكير الذاتي، والاسترجاع. والافتراض السائد في هذا المجال هو أن إضافة المزيد من المكونات يحسن الأداء ("الأكثر هو الأفضل"). تتحدى هذه الورقة هذا الافتراض من خلال استقصاء التداخل بين المكونات (Cross-Component Interference - CCI): وهي الظاهرة التي تؤدي فيها عملية دمج مكونات الهيكلة إلى عوائد هامشية سلبية، مما يتسبب في جعل النظام "الكامل" (All-In) الذي يحتوي على كافة المكونات يؤدي أداءً أقل من مجموعات فرعية محددة من تلك المكونات.

المنهجية

أجرى المؤلفون دراسة تجريبية شاملة بنظام "التجربة العاملية الكاملة" (Full-factorial design) لرسم خريطة مشهد التفاعل بين مكونات الوكيل.

• التصميم التجريبي: تصميم عاملي كامل على جميع المجموعات الفرعية الـ $2^5 = 32$ لخمسة مكونات هيكلية أساسية:
  1. التخطيط (P): تفكيك المهام إلى أهداف فرعية.
  2. استخدام الأدوات (T): واجهات استدعاء الدوال (Function-calling).
  3. الذاكرة (M): ذاكرة عاملة مهيكلة.
  4. التفكير المنظم (SR): تنسيق "سلسلة الأفكار" (Chain-of-thought).
  5. التفكير الذاتي (R): مطالبات التقييم الذاتي.
• المعايير والنماذج: أُجريت التجارب على معيارين: HotpotQA (الاستدلال متعدد الخطوات، يركز على الاسترجاع) و GSM8K (الاستدلال الرياضي). شملت الدراسة ثلاث عائلات من النماذج وخمسة مقاييس:
  • Llama-3.1 (8B, 70B)
  • Qwen2.5 (3B, 7B)
  • Claude Haiku 4.5 (عبر AWS Bedrock)
• النطاق: تضمنت الدراسة 118 تكويناً مضبوطاً وأكثر من 32,000 عملية تقييم. تم التحقق من التكوينات الرئيسية عبر 10 بذور عشوائية (16,000 تقييم على HotpotQA/8B).
• التحليل الإحصائي: استخدم المؤلفون اختبارات t المزدوجة (paired t-tests)، واختبار ويلكوكسون (Wilcoxon signed-rank tests)، والتحليل البايزي (JZS priors)، وقياسات حجم الأثر (Cohen's $d_z$). كما استخدموا تحليل قيم شابلي (Shapley value decomposition) الدقيق لنسب القيمة للمكونات، واختبروا انتهاكات "التحليل تحت المجموعات" (Submodularity violations). كما تم تطبيق نماذج الانحدار (التأثيرات الرئيسية مقابل التفاعلات الثنائية) لتوصيف هيكل التفاعل.

النتائج الرئيسية

1. انتشار التداخل بين المكونات (CCI)

في كل إعداد تم اختباره، طابقت المجموعة الفرعية المثلى من المكونات أو تجاوزت أداء نظام "الكل في واحد" (All-In) الكامل.

• HotpotQA (Llama-3.1-8B): تفوق الوكيل أحادي الأداة (استخدام الأداة فقط) بشكل كبير على نظام الـ 5 مكونات (All-In) بنسبة 32% (F1 0.233 مقابل 0.177؛ $p=0.023$). وأدت إضافة أي مكون إلى خط الأساس (استخدام الأداة) إلى تدهور الأداء في 5 من أصل 6 حالات توسعة.
• GSM8K (Llama-3.1-8B): تطلب التكوين الأمثل ثلاثة مكونات (استخدام الأداة + التفكير المنظم + التفكير الذاتي)، محققاً دقة أعلى بنسبة 79% من نظام الـ All-In (0.43 مقابل 0.24).
• العدد الأمثل ($k^*$): يعتمد العدد الأمثل للمكونات على المهمة ($k^*=1$ لـ HotpotQA، و $k^*=3$ لـ GSM8K) وعلى مقياس النموذج.

2. الاعتماد على المقياس والنموذج

يتبع شدة الـ CCI تدرج القدرة:

• نماذج 8B: يكون الـ CCI قوياً ومنتشراً.
• نماذج 70B: يتم تخفيف حدة الـ CCI ولكنه يستمر. في HotpotQA، تقلصت الفجوة بين أفضل مجموعة فرعية ونظام All-In من 32% (في 8B) إلى 19% (في 70B). ومن الملاحظ أن اتجاه التداخل انعكس لبعض المكونات (على سبيل المثال، إضافة التفكير الذاتي ساعد في 70B ولكنه أضر في 8B)، ومع ذلك، لم يتفوق نظام All-In على أفضل مجموعة فرعية.
• Claude Haiku 4.5: وصل الـ CCI إلى مستويات الضجيج (within-noise levels). وبينما لم يكن نظام All-In أسوأ من المجموعات الفرعية الأبسط، إلا أن المكونات الإضافية بعد "استخدام الأداة" لم تقدم أي شيء يُذكر (زيادة قدرها 0.2%)، مما يشير إلى حالة "هضبة" (plateau) حيث لا تحقق التعقيدات أي عائد هامشي.

3. التحليل الهيكلي ونماذج التفاعل

• هيمنة التأثيرات الرئيسية: فسر نموذج انحدار ذو 6 معاملات (التأثيرات الرئيسية) نسبة 91.6% من التباين ($R^2=0.916$)، متفوقاً بشكل حاسم على نموذج التفاعل الثنائي المكون من 16 معاملًا ($\Delta BIC = 25.3$). وهذا يشير إلى أن الـ CCI هو عملية تراكمية (additive) إلى حد كبير؛ حيث تفرض المكونات تكلفة أو فائدة هامشية ثابتة نسبياً بغض النظر عن السياق.
• قيم شابلي (Shapley Values): استحوذ "استخدام الأدوات" على 70% من إجمالي قيمة الهيكلة. وفي المقابل، كانت لقيمة "التخطيط" قيمة شابلي سالبة بشكل ملحوظ ($\phi = -0.029$)، وكانت "الذاكرة" ذات اتجاه سلبي في HotpotQA.
• عدم الخضوع للتحليل تحت المجموعات (Non-Submodularity): وجدت الدراسة 183 انتهاكاً لخاصية الـ submodularity من أصل 325 ثلاثية قابلة للاختبار (56.3%). وكان متوسط نسبة الـ submodularity هو $\gamma_{med} = 0.52$. والأهم من ذلك، أن 90% من الانتهاكات الكبرى أظهرت انقلاباً في الإشارة (sign-flipping): المكونات التي كانت ضارة بمعزل عن غيرها أصبحت مفيدة في تركيبات معينة (على سبيل المثال، التفكير المنظم أضر باستخدام الأداة وحده، لكنه ساعد عند دمجه مع التخطيط والتفكير الذاتي). وهذا يجعل استراتيجيات الاختيار الجشعة (greedy selection) غير موثوقة تجريبياً.

4. المتانة (Robustness)

• تكرار النتائج عبر عائلات النماذج: تكرر النمط النوعي (هيمنة استخدام الأدوات، وعدم كفاءة نظام All-In) عبر عائلات Qwen2.5 و Llama.
• متانة القوالب (Template Robustness): صمدت النتيجة الجوهرية عبر ثلاثة متغيرات من قوالب المطالبات (prompts) المتكافئة دلالياً، رغم أن التصنيفات الدقيقة للتكوينات كانت حساسة للصياغة.
• التحكم في الطول: تفوقت المكونات الحقيقية على الحشوات (padding) عديمة المعنى المتساوية في الطول بنسبة تتراوح بين 6 إلى 9 أضعاف، مما يؤكد أن الـ CCI مدفوع بالمحتوى الدلالي وليس بعدد الرموز (tokens).

الأهمية والادعاءات

تدعي الورقة أن الافتراض القائل بأن "الأكثر هو الأفضل" خاطئ بشكل منهجي بالنسبة للهيكلة القائمة على المطالبات (prompt-based scaffolding). ويجادل المؤلفون بما يلي:

1. الافتراضات الافتراضية للممارسين معيبة: إن النهج الافتراضي بنشر وكلاء مجهزين بأقصى قدر من المكونات يؤدي إلى تدهور الأداء بسبب التداخل.
2. يتطلب الأمر اختياراً خاصاً بالمهام: يتطلب التصميم الأمثل للوكيل اختيار مجموعات فرعية خاصة بالمهام بناءً على تحليل مدرك للتفاعلات، بدلاً من تكديس كافة الوحدات المتاحة.
3. الاختيار الجشع يفشل: نظراً لظاهرة انقلاب الإشارة وعدم الخضوع للـ submodularity، فإن إضافة المكونات واحداً تلو الآخر حتى تصبح العوائد الهامشية سالبة هي استراتيجية غير موثوقة لإيجاد التكوين الأمثل للوكيل.
4. الآلية: تحدد الورقة الـ CCI كشكل من أشكال "ازدحام نافذة السياق" (context-window crowding)، وهو نظير وقت الاستدلال لتعارض التدرج (gradient conflict) في التعلم متعدد المهام، وإن ظلت الآلية السببية الدقيقة مسألة مفتوحة.

تخلص الدراسة إلى أنه بينما يمكن للنماذج الأكبر (70B+) والنماذج المغلقة عالية القدرة (Claude Haiku) تحمل تركيبات أوسع من المكونات، فإن أبسط هيكلة كافية تتساوى باستمرار أو تتفوق على الوكيل الكامل عبر جميع المقاييس المختبرة.