Structured Agent Distillation for Large Language Model

إليك ملخص تقني مفصل لورقة البحث بعنوان "التقطير الهيكلي للوكلاء من أجل نماذج اللغات الكبيرة" (Structured Agent Distillation for Large Language Models Agents).

1. بيان المشكلة

أظهرت نماذج اللغات الكبيرة (LLMs) قدرات قوية كوكلاء اتخاذ قرار (على سبيل المثال، في أطر عمل ReAct) من خلال التداخل بين الاستدلال والعمل. ومع ذلك، فإن نشر هذه الوكلاء في سيناريوهات العالم الحقيقي يعوقه ما يلي:

• تكاليف الاستدلال العالية: تتطلب أحجام النماذج الكبيرة موارد حوسبية كبيرة.
• قيود النشر: تمنع قيود زمن الاستجابة (Latency) والذاكرة استخدام النماذج المعلمة الضخمة في البيئات الطرفية أو التفاعلية.

القصور الجوهري للطرق الحالية:
تعتمد طرق التقطير الحالية بشكل أساسس على الإشراف على مستوى الرمز (token-level supervision). فهي تعامل مسار الوكيل كمتتالية مسطحة من الرموز وتقلل الفرق بين تنبؤات الطالب والمعلم رمزاً تلو الآخر. ويرى المؤلفون أن هذا النموذج يفشل للأسباب التالية:

1. العمى الهيكلي: يتجاهل الطبيعة الهرمية لسلوك الوكيل، حيث يفشل في التمييز بين الاستدلال (التخطيط/سلسلة الأفكو - CoT) والعمل (التنفيذ/استخدام الأدوات).
2. الانجراف الدلالي: بدون الوعي الهيكلي، قد يتعلم الطلاب محاكاة الأفعال السطحية مع تخطي خطوات التخطيط الحرجة أو فقدان المنطق وراء القرارات.
3. تداخل التدرج (Gradient Interference): يؤدي فقدان (loss) الرمز الواحد إلى ربط تدرجات الرموز المتكررة (الاستدلال) بالرموز النادرة ولكن الحرجة (العمل)، مما يؤدي إلى تحسين غير مثالي.

2. المنهجية: التقطير الهيدي للوكلاء (SAD)

يقترح المؤلفون إطار عمل التقطير الهيكلي للوكلاء (SAD)، وهو إطار يعمل صراحةً على نمذجة البنية التركيبية لسلوك الوكيل.

أ. تقسيم المسار (Trajectory Segmentation)

بدلاً من معاملة المسار كمتتالية مسطحة، يقوم SAD بتفكيك مسارات المعلم إلى نطاقات متميزة ومنفصلة:

• نطاق [الاستدلال - REASON]: يحتوي على خطوات سلسلة الأفكار (CoT)، والتداول الوسيط، ومنطق التخطيط.
• نطاق [العمل - ACT]: يحتوي على استدعاءات الأدوات، أو استدعاءات واجهة برمجة التطبيقات (API)، أو الإجابات النهائية.
• نطاق [الملاحظة - OBS]: يحتوي على التغذية الراجعة من البيئة (مستبعد من فقد التقطير لأنه حتمي).

يتم تحقيق هذا التقسيم عبر تحليل مبني على القواعد (مثل مطابقة التعبيرات النمطية - regex - للبادئات مثل Reasoning: و Action:).

ب. الإشراف الخاص بكل نطاق

يطبق SAD دوال فقد منفصلة لكل نوع من أنواع النطاقات، بدلاً من دالة عالمية واحدة:

1. فقد محاذاة سياسة سلسلة الأفكار ($L_{CoT}$): يطبق تباعد كولباك - ليبلر (KL divergence) على كامل المفردات للرموز الموجودة في نطاق [الاستدلال]. هذا يجبر الطالب على المحاذاة مع عمليات التفكير الوسيطة للمعلم.
2. فقد اتساق العمل ($L_{Act}$): يطبق تباعد KL على فضاء عمل منفصل للرموز في نطاق [العمل]. هذا يضمن أن الطالب يكرر خيارات القرار المحددة للمعلم.

الهدف الإجمالي هو مجموع موزون:
$$\mathcal{L}_{total} = \lambda_r \cdot L_{CoT} + \lambda_a \cdot L_{Act}$$
(وضع المؤلفون $\lambda_r = \lambda_a = 1.0$).

ج. هندسة التحسين (Optimization Geometry)

تقدم الورقة تحليلاً نظرياً يوضح أن SAD يقوم بعملية إسقاط تدرج متعامد (orthogonal gradient projection).

• التقطير على مستوى الرمز (Token-Level KD): يربط التدرجات من الرموز غير المتجانسة (الاستدلاء مقابل العمل) في اتجاه تحديث واحد، مما يخلق "زاوية صراع" حيث تقوم رموز الاستدلال المتكررة بقمع رموز العمل النادرة.
• SAD: يسقط التدرجات على فضاءات فرعية منفصلة ($V_{reason}$ و $V_{action}$). هذا يفصل عملية التحسين، مما يمنع التداخل بين النطاقات ويسمح للنموذج بتعلم الاستدلال عالي المستوى والتنفيذ منخفض المستوى بشكل مستقل.

د. أخذ العينات المنهجي (Curriculum Sampling)

لتعزيز الاستقرار، يستخدم SAD استراتيجية تعلم منهجي. يتم فرز المسارات حسب درجة التعقيد (بناءً على طول الاستدلال، وطول العمل، وعشوائية المعلم - entropy)، مما يسم يسمح للطالب بالتعلم من الأمثلة الأبسط قبل الانتقال إلى المهام المعقدة متعددة الخطوات.

3. المساهمات الرئيسية

1. أول إطار تقطير هيكلي: يعد SAD أول طريقة لتقطير وكلاء بأسلوب ReAct باستخدام إشراف على مستوى النطاق صريح، متجاوزاً بذلك التقليد الساذج للتقليد على مستوى الرمز.
2. الفصل الدلالي: يقدم آلية للإشراف المنفصل على كل من الاستدلال والعمل، مما يحافظ على الرابط السببي بين التخطيط والتنفيذ.
   يدخل آلية تفصل بين الاستدلال والعمل، مما يحافظ على الرابط السببي بين التخطيط والتنفيذ.
3. التقييم الشامل: تم التحقق من الطريقة عبر ثلاثة معايير متنوعة:
   • ALFWorld: اتباع التعليمات في بيئة مجسدة.
   • WebShop: التفاعل مع الويب الحقيقي والتسوق.
   • HotPotQA-ReAct: الإجابة على الأسئلة متعددة القفزات.
4. الرؤية النظرية: تقدم الورقة تفسيراً هندسياً لسبب تحسين محاذاة مستوى النطاق لاستقرار التحسين وتقليل صراع التدرج.

4. النتائج التجريبية

قيم المؤلفون SAD باستخدام نماذج طلابة تتراوح أحجامها من 120 مليون إلى 760 مليون معلمة، تم تقطيرها من نماذج معلمة أكبر (GPT-2-1.5B، OPT-13B، LLaMA-13B، Orca2-13B).

النتائج الرئيسية:

• النجاح في المهمة: يتفوق SAD باستمرار على النماذج المرجعية القائمة على مستوى الرمز (MiniLLM، SeqKD، Standard KD) عبر جميع أحجام النماذج. على سبيل المثال، في نموذج الطالب بحجم 120 مليون معلمة، حقق SAD تحسناً بنسبة +4.3% في معدل نجاح المهمة مقارم بأفضل نموذج مرجعي على مستوى الرمز.
• كفاءة الاستدلال: الطلاب المدربون باستخدام SAD يولدون نطاقات استدلال أقصر (كفاءة أعلى) مع الحفاظ على نجاح المهمة أو تحسينه.
• اتساق سلسلة الأفكار (CoT): يحسن SAD بشكل كبير من معدل مطابقة سلسلة الأفكار، مما يشير إلى أن الطلاب يكررون البنية المنطقية للمعلم بشكل أفضل، وليس فقط المخرج النهائي.
• زمن الاستجابة (Latency): بفضل التخطيط الأكثر كفاءة، يتطلب وكلاء SAD خطوات أقل (زمن استجابة أقل للحلقة) لإكمال المهام.
• التوسع (Scaling): الفجوة في الأداء بين SAD والطرق القائمة على مستوى الرمز تظهر بوضوح أكبر عند أحجام النماذج الصغيرة (120M–340M)، مما يثبت أن الإشراف الهيكلي أمر بالغ الأهمية للوكلاء المدمجين.

دراسات الاستئصال (Ablation Studies):

• إزالة إما إشراف الاستدلال أو إشراف العمل يؤدي إلى تدهور الأداء، مما يؤكد ضرورة وجود كليهما.
• تعطيل تقسيم النطاقات (جعل الفقد مسطحاً) يسبب انخفاضاً موحداً في الأداء.
• توفر العينات المنهجية (Curriculum sampling) استقراراً إضافياً ولكنها ليست المحرك الرئيسي لزيادة الأداء.

5. الأهمية والأثر

• وكلاء قابلون للنشر: يتيح SAD إنشاء وكلاء خفيفين وفعالين يحتفظون بقدرات الاستدلال المعقدة للنماذج الكبيرة المعلمة، مما يجعلهم قابلين للاستخدام في التطبيقات التي تعمل في الوقت الفعلي والمقيدة بالموارد.
• ما وراء تقليد الرموز: تتحدى هذه الدراسة النموذج السائد الذي يعامل مسارات الوكيل كمجرد تسلسلات نصية بسيطة. وتثبت أن المحاذاة الهيكلية هي شرط مسبق للتقطير الفعال للوكلاء.
• القدرة على التعميم: إطار العمل مستقل عن البنية (architecture-agnostic) وقد ثبت عمله عبر عائلات نماذج مختلفة (OPT، LLaMA، GPT-2) وأنماط مهام مختلفة (الملاحة، الويب، الأسئلة والأجوبة).
• الاتجاهات المستقبلية: تشير الورقة إلى أن الحفاظ على بنية المسار أمر ضروري لتدريب وكلاء أقوياء، وتفتح آفاقاً جديدة لنقل المعرفة الهيكلية في أنظمة اتخاذ القرار متعددة الخطوات.

في الختام، يمثل التقطير الهيكلي للوكلاء (SAD) تحولاً جذرياً في ضغط وكلاء نماذج اللغات الكبيرة، حيث يثبت أن النمذجة الصريحة لثنائية "الاستدلال-العمل" تحقق أداءً وكفاءة ودقة أفضل بكثير من التقطير القياسي على مستوى الرمز.