PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

ملخص تقني لـ PACEvolve++: تحسين التعلم في وقت الاختبار لوكلاء البحث التطوري

بيان المشكلة
لقد برزت النماذج اللغوية الكبيرة (LLMs) كمحركات فعالة للبحث التطوري، مما مكنها من الاكتشاف الذاتي في مشكلات التحسين مفتوحة النهايات. ومع ذلك، تعتمد الأنظمة الحالية عادةً على سياسة استدلال ثابتة مستخلصة من التلقين (prompt) لأخذ عينات من المرشحين التاليين. ورغم أن الخبرة البحثية المفيدة قد تتراكم في سياق النظام (السقالة - scaffold)، إلا أنها لا تُدمج داخلياً في تفضيلات القرار الخاصة بالنموذج. هذا القصور يكون ذا أهمية بالغة في المهام الهندسية والبحثية العملية (مثل موازنة أحمال نماذج Mixture-of-Experts، أو استقراء لياقة البروتين) حيث تكون التقييمات مكلفة ويعتمد التقدم على التعرف على الأنماط عبر المحاولات السابقة. فالسياسة الثابتة يمكنها التكيّف مع التاريخ عبر السياق، لكنها تفشل في تكييف استراتيجية القرار الخاصة بها لإعطاء الأولوية للاتجاهات الجديدة، والمجدية، والتي من المرجح أن تحسن الحدود المتطورة (evolving frontier). علاوة على ذلك، فإن التدريب من طرف إلى طرف (end-to-end) لنموذج واحد لكل من اتخاذ القرار الاستراتيجي وتنفيذ الكود غالباً ما يؤدي إلى تشابك جودة الفرضيات مع صحة التنفيذ، مما يخلق إشارات مشوشة للتكيف.

المنهجية
يقدم المؤلفون PACEvolve++، وهو إطار عمل للتعلم التعزيزي (RL) القائم على النموذج المستشار (advisor-model)، والمصمم لتكييف السياسة في وقت الاختبار لوكلاء البحث التطوري. تعتمد المنهجية على ركيزتين أساسيتين:

1. تفكيك النموذج المستشار:
   يفكك إطار العمل قرارات البحث الاستراتيجية عن تنفيذ الكود.

• المستشار (The Advisor): نموذج أصغر قابل للتدريب، مسؤول عن الاستدلال الاستراتيجي رفيع المستوى، بما في ذلك توليد الفرضيات، وتقييم الجدة (novelty)، واختيار الطفرات.
• نموذج الحدود (The Frontier Model): نموذج أقوى ومجمد (مثل Gemini)، مسؤول عن ترجمة الفرضيات التي اختارها المستشار إلى كود قابل للتنفيذ.
  هذا الفصل يسمح للنظام بتعلم الأولويات البحثية الخاصة بالمهمة دون أن يعوقه فشل التنفيذ في قواعد الكود المعقدة، وهو الأمر الذي غالباً ما يعيق التدريب من طرف إلى طرف.

2. التعلم التعزيزي متكيف المراحل:
   إدراكاً بأن طبيعة التغذية الراجعة تتغير مع تقدم البحث التطوري، يستخدم PACEvolve++ استراتيجية ديناميكية لتخصيص الائتمان (credit assignment) تتكيف مع مرحلة البحث:

• مرحلة الاستكشاف (المرحلة المبكرة): عندما تختلف المرشحات بشكل جوهري في الآلية والجودة، يستخدم النظام التغذية الراجعة النسبية للمجموعة (على غرار GRPO). يوفر هذا إشارات كثيفة ومعلوماتية لتعلم تفضيلات البحث الواسعة وتحديد عائلات الطفرات الواعدة دون حدوث تقارب مبكر.
• مرحلة الصقل (المرحلة المتأخرة): مع تقارب البحث وانضغاط فجوات المكافأة (حيث تصبح المرشحات متغيرات قريبة جداً من الأباء الأقوياء)، تصبح الإشارات النسبية للمجموعة غير فعالة ويمكن أن تسبب عدم استقرار في التحسين. ينتقل النظام إلى إشارة مساهمة الحدود بناءً على تحسين سياسة Pass@k (PKPO). وتحديداً، يستخدم مُقدِّر SLOO (ترك واحد خارج المجموعة) منخفض التباين لتسجيل الائتمان للمرشحات بناءً على ما إذا كانت تغير "أفضل-من-k" في الحدود. وهذا يربط هدف التدريب مع هيكل المكافأة المتناقص لوغاريتمياً في البحث التطوري طويل الأمد.

الميزة النهائية هي مزيج خطي من هاتين الإشارتين، حيث يتدرج وزن إشارة مساهمة الحدود ($\alpha_t$) خطياً من 0 إلى 1 طوال فترة التدريب. بالإضافة إلى ذلك، يستخدم إطار العمل تشكيل المكافأة الموحد بالتقدم لرسم مقاييس المهام غير المتجانسة (التعظيم/التقليل) على مقياس موحد.

المساهمات الرئيسية

• تكييف السياسة القائمة على المستشار: يقترح البحث بنية مبتكرة تعزل طبقة القرار القابلة للتدريب (المستشار) عن طبقة التنفيذ. يسمح هذا للنظام باستيعاب الأولويات البحثية الديناميكية (مثل أي عائلات الطفرات تفتح مناطق جديدة مبكراً مقابل أي عمليات صقل تحقق مكاسب في المراحل المتأخرة) مع الاستفادة من نماذج الحدود القوية لتوليد الكود.
• خوارزمية تعلم تعزيزي مدركة لديناميكيات البحث: صمم المؤلفون هدف تعلم تعزيزي متكيف مع المراحل ينتقل من التغذية الراجعة النسبية للمجموعة إلى تخصيص ائتمان مساهمة الحدود. يعالج هذا عدم الاستقرار الملحوظ في الطرق الحالية (مثل GRPO والأهداف الإنتروبية) عند التعامل مع دفعات التدفق الصغيرة ومشاهد المكافآت المضغوطة النموذجية للتقييمات المكلفة.
• التحقق التجريبي: تم تقييم إطار العمل عبر ثلاث مهام متنوعة وحقيقية في هندسة تعلم الآلة:
  1. موازنة أحمال الخبراء المتوازي (EPLB): تحسين تخصيص الأجهزة لنماذج Mixture-of-Experts.
  2. التوصية المتسلسلة: تطوير موصٍ بأسلوب FuXi-linear على مجموعة بيانات KuaiRec.
  3. استقراء لياقة البروتين: التنبؤ بآثار الطفرات متعددة المواقع (اختبار Multi-Evolve).

النتائج
عبر جميع المهام الثلاث وبأحجام نماذج مختلفة (Qwen3.5-4B و DeepSeek-R1-0528-Qwen3-8B)، أظهر PACEvolve++ أداءً متفوقاً مقارنة بالنماذج المرجعية المتطورة، بما في ذلك ThetaEvolve (القائم على GRPO)، و TTT-Discover (الهدف الإنتروبي)، و Max@k (التدريب القائم على PKPO).

• التقارب: يحقق PACEvolve++ تقارباً أسرع ويصل إلى مكافآت نهائية أعلى من جميع النماذج المرجعية.
• الاستقرار: على عكس النماذج المرجعية التي تظهر طفرات في معيار التدرج (GRPO) أو انهيار إنتروبي مبكر (Max@k)، يحافظ PACEvolve++ على ديناميكيات تدريب مستقرة مع معايير إنتروبيا وتدرج أكثر سلاسة.
• الكفاءة: في مهمة EPLB، يصل PACEvolve++ إلى حل قريب من الأمثل باستخدام نصف ميزانية التطور المطلوبة من نموذج PACEvolve غير القائم على التعلم التعزيزي.

الأهمية
يجادل البحث بأن توسيع نطاق الوكلاء ذاتي التطور ليشمل مجالات واقعية يتطلب تحسين سياسة الاستدلال نفسها، وليس فقط سقالة البحث. من خلال فصل الاستدلال الاستراتيجي عن التنفيذ ومواءمة هدف التحسين مع الديناميكيات الجوهرية للبحث التطوري (الانتقال من الاستكشاف إلى الصقل)، يعمل PACEvolve++ على استقرار التدريب في وقت الاختبار في الإعدادات التي تكون فيها التقييمات مكلفة. يسلط هذا العمل الضوء على أن التكيف الفعال في البحث طويل الأمد يتطلب سياسة يمكنها استيعاب التغذية الراجعة حول ما يجب البحث عنه، بشكل منفصل عن القدرة على تنفيذ البحث، وأن هذه السياسة يجب أن تكيف استراتيجية التعلم الخاصة بها مع تطور مشهد البحث من التنوع إلى التشبع.