ملخص تقني: TMAS – توسيع حساب وقت الاختبار عبر التآزر متعدد الوكلاء

1. بيان المشكلة

برز توسيع وقت الاختبار (TTS) كنموذج لتعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs) من خلال تخصيص حوسبة إضافية أثناء الاستدلال. وبينما ركزت النهج المبكرة على تمديد مسارات توليد فردية (مثل سلسلة الأفكط - Chain-of-Thought) أو تجميع الحلول المتوازية المستقلة (مثل الاتساق الذاتي - Self-Consistency)، تحاول الطرق الهيكلية الحديثة تنظيم الاستدلال عبر مسارات وجولات تحسين متعددة.

ومع ذلك، تواجه طرق توسيع وقت الاختبار الهيكلية الحالية قيوداً كبيرة في موازنة الاستكشاف (تجربة مسارات حل متنوعة) والاستغلال (تحسين الاتجاهات الواعدة):

• ضعف التنسيق: تعتمد طرق تجميع المسارات غالباً على معلومات تاريخية مشوشة دون تصفية صريحة لما يجب الاحتفاظ به، مما يؤدي إلى إعادة استخدام غير مثالية للإشارات.
• عدم كفاية التعاون: تقدم أنظمة "التحقق-التحسين" (Verify-refine) تغذية راجعة صريحة، لكنها غالباً ما تترك المسارات المختلفة ضعيفة الترابط، وتفشل في مشاركة النتائج الوسيطة القابلة لإعادة الاستخدام أو التغذية الراجعة المحلية عبر المحاولات.
• حبيبات الذاكرة (Memory Granularity): تفشل النهج الحالية في التمييز بين الاستنتاجات الوسيطة الموثوقة منخفضة المستوى (الإشارات المحلية) والرؤى الاستراتيجية عالية المستوى (الأنماط العالمية)، مما يحد من المشاركة الفعالة للمعلومات.

التحدي الجوهي هو تصميم إطار عمل ينسق صراحةً التعاون بين الوكلاء المتعددين، ويدير الذاكرة الهرمية لفصل الخبرة المحلية عن الاستراتيجية العالمية، ويضبط النموذج لاستخدام هذا الهيكل بفعالية دون الوقوع في فخ الأنماط دون المثالية.

2. المنهجية: إطار عمل TMAS

يقترح المؤلفون TMAS (توسيع وقت الاختبار عبر التآزر متعدد الوكلاء)، وهو إطار عمل ينظم الاستدلال كعملية تعاونية بين وكلاء متخصصين. يعمل النظام بشكل تكراري، موازناً بين الاستكشاف المتوازي والاستغلال المتسلسل.

2.1. البنية متعددة الوكلاء

يستخدم TMAS خمسة وكلاء متخصصين لإدارة خط معالجة الاستدلال:

1. وكيل الحل ($A_{sol}$): يولد $N$ من مسارات الحل المرشحة بالتوازي. يستخدم استراتيجية $\epsilon$-greedy: مع احتمال $1-\epsilon$، يقوم باستغلال الخبرة المتراكمة والمخرجات السابقة؛ ومع احتمال $\epsilon$، يقوم بالاستكشاف مسترشداً بإرشادات عالية المستوى لتجنب التكرار.
2. وكيل التحقق ($A_{ver}$): يقوم بإجراء $M$ من عمليات التحقق المستقلة على كل مرشح، مقدماً تغذية راجعة تحليلية ودرجات عددية (صحة، صحة جزئية، أو أخطاء).
3. وكيل التلخيص ($A_{sum}$): يجمع نتائج التحقق في ملخصات موجزة على مستوى المخرجات، مع تسليط الضوء على الخطوات التي تم التحقق منها والعيوب المنطقية.
4. وكيل الخبرة ($A_{exp}$): يستخرج إشارات قابلة لإعادة الاستخدام منخفضة المستوى من المخرات الحالية لتحديث بنك الخبرة. يتضمن ذلك الاستنتاجات الوسيطة التي تم التحقق منها، والمهارات الملموسة، وهياكل تجنب الأخطاء المحددة.
5. وكيل الإرشادات ($A_{guide}$): يستخلص النهج الاستراتيجية عالية المستوى من المخرات المتوازية لتحديث بنك الإرشادات. يسجل اتجاهات الحل العالمية والرؤى الهيكلية لتوجيه الوكلاء اللاحقين بعيداً عن الأنماط التي تم تجربتها (وفشلت) سابقاً.

2.2. إدارة الذاكرة الهرمية

يقدم TMAS بنكين متميزين للذاكرة لتسهيل تدفق المعلومات الهيكلي:

• بنك الخبرة: يخزن إشارات استدلال ملموسة خاصة بكل مسار (مثل "المرساة المتحقق منها $T(2)=3$"). يتم إعادة استخدام هذه الإشارات لتحسين الاستدلال المحلي وتجنب تكرار أخطاء محددة.
• بنك الإرشادات: يخزن سجلات استراتيجية عالية المستوى (مثل "محاولة الاستقراء باستخدام حجة التقسيم"). تُستخدم هذه لفرض التنوع، مما يضمن أن المخرات الجديدة لا تكرر ببساطة الأطر الاستراتيجية التي تم استكشافها سابقاً.

2.3. التعلم المعزز بمكافأة هجينة

لضبط النموذج مع عملية التعاون في TMAS، صمم المؤلفون نظام مكافأة هجين يعتمد على GRPO (تحسين السياسة النسبي للمجموعات). بخلاف التعلم المعزز القياسي الذي يحسن الصحة النهائية فقط، يتضمن هذا النظام ثلاثة أهداف متكاملة:

1. مكافأة الصحة القياسية: تحافظ على قدرة الاستدلال الأساسية (مكافأة +1 للإجابات الصحيحة، و -1 خلاف ذلك).
2. مكافأة استخدام الخبرة: تشجع النموذج على استخدام بنك الخبرة بفعالية. إذا كانت المشكلة صعبة الحل بدون البنك ولكن يمكن حلها به، يحصل النموذج على مكافأة تتناسب مع صعوبة المشكلة بدون البنك. هذا يمنع معاملة البنك كـ سياق سلبي.
3. مكافأة استكشاف الاستراتيجيات الجديدة: تشجع على اكتشاف استراتيجيات حل عالية المستوى جديدة. المخرات التي تتبع إرشداً غير مغطى في البنك الحالي تتلقى مكافأة أعلى، بينما تُعاقب تلك التي تكرر الاستراتيجيات المعروفة، حتى لو كانت صحيحة.

3. المساهمات الرئيسية

1. إطار عمل TMAS: نظام مبتكر متعدد الوكلاء ينظم صراحةً تدفق المعلومات عبر الوكلاء، والمسارات، والتكرارات. إنه يحول محاولات الاستدلال المستقلة إلى عملية تكرارية منسقة عبر وكلاء الخبرة والإرشادات المتخصصين.
2. آلية الذاكرة الهرمية: تقديم بنوك منفصلة للإشارات المحلية القابلة لإعادة الاستخدام (الخبرة) والإرشادات عالية المستوى (تجنب الاستراتيجيات)، لموازنة استغلال النتائج الموثوقة مع استكشاف المسارات المتنوعة.
3. مخطط تعلم معزز بمكافأة هجينة: هدف تدريب مصمم خصيصاً لـ TMAS يعمل على تحسين كفاءة الاستدلال، وصحة الاستدلال، واستكشاف الاستراتيجيات الجديدة بشكل مشترك، مما يعالج المقايضة بين الاستكشاف والاستغلال في الاستدلال التكراري.

4. النتائج التجريبية

قيم المؤلفون TMAS على اختبارات استدلال صعبة: IMO-AnswerBench-50 و HLE-Math-100، باستخدام نماذج Qwen3-30B و Qwen3-4B كنماذج أساسية.

• التوسع التكراري: أظهر TMAS توسعاً تكرارياً أقوى من النماذج المرجعية الحالية (Self-Refine, Verify-Refine, PaCoRe, RSE). بينما استقرت الطرق الأخرى أو تدهورت في التكرارات المتأخرة، استمر TMAS في التحسن، محققاً أفضل أداء في المراحل المتأخرة (على سبيل المثال، 40.50% في IMO-AnswerBench-50 باستخدام Qwen3-30B عند التكرار 19).
• تأثير التعلم المعزز الهجين: أدى التدريب باستخدام نظام المكافأة الهجين إلى تضخيم فعالية التوسع بشكل كبير. في نموذج Qwen3-4B، لم يحقق TM+Hybrid-RL دقة ذروة أعلى فحسب، بل خفف أيضاً من تدهور الأداء الملحوظ في Vanilla-RL (التدريب مع مكافآت الصحة فقط) خلال التكرارات اللاحقة.
• كفاءة النموذج: قلل التدريب بالتعلم المعزز الهجين بشكل كبير من الفجوة في الأداء بين نموذجي 4B و 30B. في IMO-AnswerBench-50، انخفضت الفجوة من 23.44 إلى 9.62 نقطة، مما يشير إلى أن حساب وقت الاختبار التكراري الفعال يمكن أن يسمح للنماذج الأصغر بالاقتراب من أداء النماذج الأكبر بكثير.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة وحدة الخبرة أو وحدة الإرشادات إلى تدهور الأداء، بينما تسبب الإزالة المشتركة لهما في أكبر انخفاض.
  • حقق معامل الاستكشاف المتوسط ($\epsilon=0.2$) نتائج مثالية، مما يؤكد الحاجة إلى التوازن بين الاكتشاف والاستغلال.
  • لم تؤدِ أعداد التحقق الكبيرة (مثل 16) أو الحلول المتوازية الكثيرة (مثل 12) إلى تحسينات رتيبة، مما يشير إلى عوائد متناقصة واحتمالية إدخال الضجيج.

5. الأهمية والقيود

يزعم البحث أن TMAS يمثل خطوة مهمة للأمام في تنظيم حساب وقت الاختبار من خلال تجاوز مجرد تجميع المسارات أو التحقق. من خلال تنظيم تدفق المعلومات صراحةً وفصل الذاكرة إلى مستويات هرمية، يتيح TMAS تعاوناً أكثر فعالية بين مسارات الاستدلال. ويُقدم مخطط المكافأة الهجين كعامل تمكين حاسم لتدريب النماذج على الاستفادة من هذا الهيكل المعقد.

القيود:

• عنق زجاجة التحقق: حدد المؤلفون "حد القدرة المشتركة" حيث، في أصعب المشكلات، قد يواجه وكيل التحقق (المستمد من نفس عائلة النموذج) صعوبة في التمييز بين الحلول المعقولة ولكن المعيبة، والحلول الصحيحة. يمكن أن يؤدي هذا إلى إشارات تغذية راجعة غير موثوقة لحلقة التحسين.
• القيود الحسابية: لم يتم إجراء التقييم على النماذج الرائدة (مثل GPT-5.5) بسبب التكلفة وقيود واجهة برمجة التطبيقات (API).
• بناء البيانات: تتطلب خطة التعلم المعزز الحالية نموذج معلم خارجي لبناء مسارات البداية الباردة (cold-start) وبيانات التدريب القائمة على الذاكرة. يقترح المؤلفون إمكانية دمج المسارات من التكرارات السابقة ديناميكياً في المستقبل لتوسيع مصدر البيانات.

في الختام، يقدم TMAS نهجاً مهيكلاً لتوسيع حساب وقت الاختبار يوازن بفعالية بين الاستكشاف والاستغلال من خلال التآزر متعدد الوكلاء والذاكرة الهرمية، مما يثبت أن الحوسبة الإضافية يمكن ترجمتها إلى تحسين في أداء الاستدلال عندما يتم تنظيمها بشكل صحيح.