💬 NLP

Empirical-MCTS: Continuous Agent Evolution via Dual-Experience Monte Carlo Tree Search

يقدم Empirical-MCTS إطار عمل ثنائي الحلقات يعزز استدلال النماذج اللغوية الكبيرة من خلال دمج البحث المحلي مع نظام ذاكرة عالمي، مستخدماً "التحفيز الميتاوي للخبرة الزوجية التطورية" و"وكيل تحسين الذاكرة" لتطوير محفزات ميتاوية تكيفية باستمرار واستخلاص الرؤى عبر المشكلات، مما يتفوق بشكل كبير على استراتيجيات MCTS عديمة الحالة في اختبارات الاستدلال المعقدة.

المؤلفون الأصليون: Hao Lu, Haoyuan Huang, Yulin Zhou, Chen Li, Ningxin Zhu

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Lu, Haoyuan Huang, Yulin Zhou, Chen Li, Ningxin Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو أحجية منطقية.

الطريقة القديمة: العبقري "فاقد الذاكرة"
في الوقت الحالي، تعمل معظم نماذج الذكاء الاصطناዊ المتقدمة كعبقري يعاني من فقدان ذاكرة كلي بعد كل لغز. قد يجربون 100 طريقة مختلفة لحل مشكلة ما، ويجدون الطريقة التي تنجح، ثم يحتفلون بها. ولكن في اللحظة التي ينتقلون فيها إلى اللغز التالي، ينسون كل ما تعلموه للتو. يبدأون من الصفر، ويتعاملون مع المشكلة الجديدة كما لو أنهم لم يروا لغزاً من قبل. إنهم لا "يتذكرون" أن حيلة معينة نجحت في المرة الماضية، لذا فهم يهدرون الوقت في إعادة اكتشافها.

الطالطريقة الجديدة: Empirical-MCTS (المحقق "جامع الحكمة")
يقدم البحث نظاماً جديداً يسمى Empiricial-MCTS. فكر في هذا الذكاء الاصطناعي ليس كشخص فاقد للذاكرة، بل كمحقق يحتفظ بملف قضايا منظم ومتنامٍ. في كل مرة يحل فيها خيطاً أو يرتكب خطأً، فإنه لا يرمي الورقة فحسب؛ بل يحللها، ويكتب ما الذي نجح، ويضيفه إلى "مكتبة حكمته" الدائمة.

يعمل هذا النظام باستخدام "حلقتين" أو عادتين:

1. الحلقة المحلية: "نادي المناظرة" (PE-EMP)

داخل عقل الذكاء الاصطناعي، وبينما يحاول حل مشكلة معينة، فإنه لا يكتفي بالتخمين. بل يعمل مثل نادي مناظرة.

يقوم بتوليد إجابتين مختلفتين محتملتين (لنسمهما المرشح أ والمرشح ب).
يضعهما في حالة "مناظرة" حيث يلعب هو دور القاضي.
بدلاً من مجرد اختيار الفائز، يسأل القاضي: "لماذا فاز (أ)؟ ما هي القاعدة المحددة التي اتبعها وفقدها (ب)؟"
بناءً على هذه المناظرة، يقوم الذكاء الاصطناعي بإعادة كتابة دليل تعليماته الخاص (الذي يسمى "الطلب التوجيهي الفائق" أو meta-prompt) في الوقت الفعلي. الأمر يشبه طالباً يدرك فجأة: "أوه، يجب أن أراجع حساباتي قبل أن أكتب الإجابة النهائية"، ويقوم فوراً بتحديث دليل دراسته للخطوة التالية.

2. الحلقة العالمية: "أمين المكتبة" (تحسين الذاكرة)

بينما يعمل "نادي المناظرة" على المشكلة الحالية، هناك وكيل "أمين مكتبة" يراقب من بعيد.

إذا اكتشف "نادي المناظرة" حيلة بارعة جديدة أو خطأً شائعاً يجب تجنبه، فإن "أمين المكتبة" لا يحفظ النص الخام فحسب.
يعمل "أمين المكتبة" كمحرر ذكي؛ فقد يضيف قاعدة جديدة إلى المكتبة، أو يدمج قاعدتين متشابهتين في واحدة لتوف توفير المساحة، أو يعدل قاعدة قديمة كانت خاطئة قليلاً، أو يحذف قاعدة لم تعد مفيدة.
هذا يخلق مكتبة "حية" من الحكمة تصبح أكثر ذكاءً ودقة مع كل مشكلة يحلها الذكاء الاصطناعي.

النتيجة: كيف تصبح أكثر ذكاءً دون الحاجة إلى "الدراسة"

عادةً، لجعل الذكاء الاصطناعي أكثر ذكاءً، يتعين عليك "تدريبه"، وهو أمر يشبه إجبار إنسان على العودة إلى المدرسة لشهور ليعيد تعلم كل شيء. هذا أمر مكلف وبطيء.

Empirical-MCTS مختلف عن ذلك. فهو لا يغير "دماغ" الذكاء الاصطناعي (الأوزان الخاصة به)، بل يغير سياقه.

يأخذ نموذج ذكاء اصطناعي قياسي (مثل طالب ذكي لكنه قليل الخبرة).
يعطيه "ورقة غش" متجددة باستمرار تحتوي على نجاحاته وإخفاقاته السابقة.
ولأن الطالب يمتلك ورقة الغش هذه، يمكنه حل مشكلات صعبة للغاية (مثل مسابقات الرياضيات المتقدمة أو ألغاز المنطق المجرد) بشكل أفضل بكثير مما كان عليه، رغم أن دماغه الأساسي لم يتغير.

ما وجده البحث

اختبر المؤلفون هذا النظام على بعض أصعب الاختبارات المنطقية والرياضية المتاحة (مثل مسابقة AIME للرياضيات ومهام الاستد old المنطقي المجرد).

الذكاء الاصطناعي "فاقد الذاكرة" (الطرق القياسية) غالباً ما كان يعلق أو يستسلم أمام أصعب المشكلات.
الذكاء الاصطناعي "جامع الحكمة" (Empirical-MCTS) حلّ عدداً أكبر بكثير من المشكلات.
كفاءة التكلفة: وجدوا أن استخدام هذه الطريقة مع نموذج ذكاء اصطناعي أصغر وأرخص حقق نتائج تتفوق على نماذج أكبر وأغلى بكثير. الأمر يشبه فريقاً صغيراً يمتلك خطة لعب مثالية ومشتركة، يهزم فريقاً عملاقاً ليس لديه أي ذاكرة عن مبارياته السابقة.

باخت-صار: يوضح هذا البحث أنه إذا علمت الذكاء الاصطناعي كيف "يتذكر" أنماط تفكيره ويحدث تعليماته الخاصة أثناء العمل، فإنه سيصبح بارعاً في حل المشكلات دون الحاجة إلى إعادة تدريبه من الصفر. إنه يحول عملية البحث "عديمة الحالة" إلى رحلة مستمرة من التعلم.

ملخص تقني: Empirical-MCTS

1. بيان المشكلة

لقد أدت استراتيجيات توسيع الاستدلال أثناء وقت الاستنتاج، وخاصة البحث في شجرة مونت كارلو (MCTS) وأخذ العينات من نوع "أفضل من N" (Best-of-N)، إلى تحسين قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs) بشكل كبير. ومع ذلك، لا تزال هناك فجوة حرجة تتمثل في أن هذه النهج عديمة الحالة (stateless)؛ فبمجرد انتهاء عملية البحث لمشكلة معينة، يتم التخلص من أنماط الاستدلال الناجحة والاستراتيجيات الصالحة. وهذا يتناقض بشدة مع حل المشكلات لدى البشر، والذي يعد تجريبيًا، حيث يعتمد على تراكم المعرفة بالمجال على المدى الطويل والتغذية الراجعة الفورية على المدى القصير. إن المحاولات الحالية لدمج الذاكرة، مثل FLEX (الذي يفصل بين الاسترجاع والاستدلال) أو GRPO الخالي من التدريب (الذي يفتقر إلى البحث الشجري المهيكل)، تفشل في توحيد تراكم الخبرة المستمرة مع الاستكشاف المهيكل. ونتيجة لذلك، لا يمكن للوكلاء تطوير استراتيجيات البحث الخاصة بهم ديناميكيًا عبر حالات المشكلات المختلفة دون تحديثات مكلفة للمعلمات (parameters).

2. المنهجية: إطار عمل Empirical-MCTS

يقترح المؤلفون Empirical-MCTS، وهو إطار عمل ثنائي الحلقات مصمم لتحويل البحث عديم الحالة إلى عملية تعلم مستمرة غير معلمية (non-parametric). يوحد النظام الاستكشاف المحلي مع تحسين الذاكرة العالمي من خلال آليتين أساسيتين:

أ. التلقين الميتا-تطوري التجريبي الزوجي (PE-EMP)

يعمل PE-EMP كمحسن انعكاسي داخل حلقة البحث المحلي. بدلاً من استخدام تلقينات نظام ثابتة لتوسيع العقد، يقوم PE-EMP بتطوير التلقين الميتا (meta-prompt) ديناميكيًا في الوقت الفعلي بناءً على التغذية الراجعة الزوجية.

الآلية: عند توسيع عقدة، يقارن النظام حالة مرشحة ( $S_c$ ) بحالة مرجعية ( $S_p$ ). يقوم نموذج "القاضي" بمعالجة الاستعلام، والخبرات السابقة، والحالتين لتوليد مخرجات ثلاثية: متجه درجات خام، ورؤى تجريبية جديدة، وتلقين ميتا متطور ( $P_{evolved}$ ).
العملية المعرفية ذات المراحل السبع: تنفذ وحدة PE-EMP تسلسلاً صارمًا:
1. توليد المعايير التكيفية: يولد النموذج معايير تقييم محددة مصممة خصيصًا للاستعلام (مستوحى من ضبط النقد ذاتي المبادئ).
2. سلسلة التفكير المقارنة: يقوم نقد خطوة بخطوة بمقارنة المرشح والمرجع مقابل هذه المعايير.
3. تخصيص الأوزان الديناميكي: يتم تعيين أوزان للمعايير بناءً على صلتها بالسياق.
4. الدرجات الموزونة: تُحسب الدرجات الكمية.
5. توليد الدرجة الخام: يتم اشتقاق قيمة عددية دقيقة (0–10).
6. توليد الرؤى الواعية بالسياق: يتم دمج التغذية الراجعة الفورية مع الحكمة التاريخية المسترجعة لاستخلاص رؤى تجريبية عالية المستوى ( $E_{new}$ ).
7. تطور التلقين الاستراتيجي: يحلل النموذج الاختلافات في التنفيذ لتخليق تلقين ميتا أكثر تقدمًا، يرمز لعوامل النجاح الحرجة ودروس الفشل.
الاسترجاع: لمنع الانحراف الدلالي، يسترجع النظام الخبرات ( $E_{prior}$ ) من مكتبة عالمية فقط إذا كانت تشترك في نفس تصنيف المهمة (مثل: برهان هندسي) مع الاستعلام الحالي.

ب. وكيل تحسين الذاكرة

يدير هذا المكون مستودع خبرة عالمي كسابقة سياسة ديناميكية، حيث يعمل كمحسن في مساحة السياق وليس كمجرد قاعدة بيانات ثابتة.

العمليات الذرية: عند تلقي رؤى جديدة ( $E_{new}$ $E_{n e w}$ ) من PE-EMP، ينفذ الوكيل أربع عمليات ذرية لتحديث المكتبة ( $D_t$ $D_{t}$ ):
- الإضافة (Add): إلحاق الخبرات المتميزة وعالية الجودة.
- التعديل (Modify): تنقيح الخبرات الموجودة بناءً على المزايا الدلالية الجديدة.
- الدمج (Merge): تركيب الخبرات المجزأة في مبادئ متماسكة لتقليل التكرار.
- الحذف (Delete): تقليم الخبرات القديمة أو منخفضة الجودة (آلية "النسيان").
التحديث غير المعلمي: تنقل هذه العملية توزيع المخرجات $\pi(y|q, D)$ نحو مكافآت أعلى بمرور الوقت دون الحاجة إلى تدريب قائم على التدرج (gradient-based training).

ج. تقدير القيمة واستراتيجية البحث

تكامل التفضيل الهجين: لتحويل الرؤى المنفصلة إلى مكافآت مستمرة، يستخدم الإطار إشارة مكافأة هجينة (Hybrid-Reward). تقوم بخرائط الدرجات الزوجية الخام إلى احتمالات الانتقال المحلية عبر نموذج Bradley-Terry، وتستخدم طريقة Borda Count المحسنة (EBC) لبناء ترتيب عالمي، مما يعالج مشكلة عدم التعدي (non-transitivity) المتأصلة في تفضيلات النماذج اللغوية الكبيرة.
البحث: يستخدم الإطار خوارزمية الحد الأعلى للثقة (UCB) لاختيار العقدة وقاعدة انتشار عكسي تعتمد على الاضمحلال لضمان انتشار الرؤى ذات المكافأة العالية بكفاءة عبر الشجرة.

3. المساهمات الرئيسية

نموذج Empirical-MCTS: إطار عمل جديد يربط بين البحث المهيكل والتعلم المستمر، محولًا MCTS من تقنية استنتاج عديمة الحالة إلى وكيل تعلم عبر الإنترنت غير معلمي قادر على تراكم "الحكمة" عبر مشكلات متباينة دون تحديث الأوزان.
آلية PE-EMP: محسن انعكاسي يلخص "المبادئ الذاتية" من التغذية الراجعة الزوجية لتطوير التلقينات الميتا ديناميكيًا، مما يسمح للوكلاء بصقل سياسات الاستدلال في الوقت الفعلي.
التحقق التجريبي: إثبات أن Empirical-MCTS يتفوق على MCTS القياسي والنماذج القائمة على الخبرة السابقة في الاختبارات المرجعية عالية الصعوبة، مما يثبت أن "تذكر" أنماط الاستدلال أمر بالغ الأهمية لحل المشكلات المنطقية المعقدة متعددة الخطوات.

4. النتائج التجريبية

تم تقييم الإطار على AIME25، وMathArena Apex، وARC-AGI-2 باستخدام نماذج تشمل DeepSeek-V3.1-Terminus، وgpt-oss-120b، وGemini 3 Flash.

الاستدلال الرياضي (AIME25): حقق Empirical-MCTS دقة بنسبة 73.3%، متفوقًا على LLaMA-Berry عديم الحالة (63.3%) ووكيل FLEX المعزز بالذاكرة (66.6%).
الصعوبة القصوى (MathArena Apex): سجل النموذج الأساسي 0.00%. وبينما وصل LLaMA-Berry إلى 2.08%، حقق Empirical-MCTS نسبة 4.17%، مما أظهر القدرة على تخليق مسارات حل جديدة من خلال التراكم التجريبي حيث فشلت الطرق القياسية.
كفاءة التكلفة (ARC-AGI-2 & MathArena): باستخدام النموذج عالي الكفاءة من حيث التكلفة Gemini 3 Flash، حقق Empirical-MCTS نسبة 38.33% في ARC-AGI-2 و35.42% في MathArena Apex. تجاوز هذا الأداء نماذج أغلى بكثير (على سبيل المثال، GPT-5.2 بتكلفة 12.00 دولار مقابل 5.24 دولار لنموذجنا)، مما أرسى حدودًا جديدة لكفاءة الاستدلال (Pareto frontier).
دراسات الاستئصال (Ablation Studies): أدى إزالة PE-EMP إلى انخفاض الأداء إلى 56.7% (مطابقًا لأخذ العينات المتكرر الساذج)، مما يؤكد أن تطور التلقينات المدفوع بالإشارات الزوجية هو المحرك الأساسي للتحسن. كما أدى إزالة التلقين الميتا مع الاحتفاظ بالذاكرة إلى انخفاض الأداء إلى 66.7%، مما يسلط الض الضوء على ضرورة التعليمات الديناميكية.

5. الأهمية والادعاءات

يزعم البحث أن Empirical-MCTS يؤسس نموذجًا جديدًا حيث يُقرن البحث المهيكل بالتراكم التجريبي. ويجادل المؤلفون بأن الضرورة الحاسمة لإتقان مهام الاستدلال المعقدة والمفتوحة لا تكمن فقط في قدرة البحث نفسها، بل في القدرة على "تذكر" وصقل أنماط الاستدلة السابقة.

من خلال تحويل تاريخ البحث إلى أولويات سياسة قابلة للتنفيذ، يُمكّن الإطار النماذج الأصغر حجمًا من التفوق على النماذج الأكبر عديمة الحالة. وتؤكد النتائج أن التعلم المستمر وغير المعلمي عبر تحسين الذاية وتطور التلقين الميتا هو بديل قابل للتطبيق وفعال للتدريب التقليدي القائم على التدرج لتعزيز استدلال النماذج اللغوية الكبيرة.

الاعتراف بالقصور: يشير المؤلفون إلى أن الإطار يفترض أن النموذج الأساسي يمكنه التحقق من خطوات الاستدلال بدقة. وبالنسبة للمهام التي تتجاوز حدود التحقق للنموذج، هناك خطر من دمج "حكمة هلوسية"، مما قد يؤدي إلى تطور تدهوري. يهدف العمل المستقبلي إلى تقديم فحوصات اتساق قوية وتقدير لعدم اليقين للتخفيف من حدة ذلك.