ملخص تقني: UG-TTT (التدريب وقت الاختبار الموجه بعدم اليقين)

بيان المشكلة

يواجه الاكتشاف العلمي المؤتمت باستخدام النماذج اللغوية الكبيرة (LLMs) قيدًا هيكليًا: فبينما يمكن لتعلم التعزيز القياسي (RL) تحسين الأداء المتوسط، إلا أنه غالبًا ما يفشل في اكتشاف حلول مبتكرة حقًا، مما يؤدي إلى وصول الحد الأقصى للمكافأة التي يمكن تحقيقها إلى حالة من الركود المبكر. وتحدث هذه الظاهرة، التي تسمى انهيار النمط (mode collapse)، لأن أهداف تعلم التعزيز القياسية تعظم المكافأة المتوقعة، وهو ما يؤدي بطبيعته إلى معاقبة الطفرات ذات التباين العالي. ونتيجة لذلك، تستقر السياسة (policy) على أنماط "آمنة" ومألوفة موجودة في بيانات التدريب بدلاً من استكشاف مناطق المكافأة العالية والمتناثرة في حدود المعرفة.

وتعتمد المحاولات الحالية للتخفيف من ذلك، مثل مكافآت الإنتروبيا أو التوزين القائم على الثقة، على شبكة واحدة مدربة. وتفشل هذه الطرق في التمييز بين عدم اليقين الأليوري (aleatoric uncertainty) (الغموض غير القابل للاختزال في المدخلات) وعدم اليقين الإبستيمي (epistemic uncertainty) (الفجوات في معرفة النموذج المتعلمة). وبالنسبة للاكتشاف العلمي، فإن هذا الخلط يعد قاتلاً؛ إذ تهدر السياسة القدرة الحوسبية في مناطق غامضة ولكن مألوفة، بدلاً من التركيز على حدود المعرفة الحقيقية حيث تحدث الاختراقات. علاوة على ذلك، غالبًا ما تعاني أنظمة التدريب وقت الاختبار (TTT) الحالية من انهيار التنوع، حيث تتقارب العديد من المهايئات (adapters) أو المسارات نحو تكوينات أوزان متطابقة، مما يبطل أي إشارة استكشاف.

المنهجية: UG-TTT

يقترح المؤلفون UG-TTT (التدريب وقت الاختبار الموجه بعدم اليقين)، وهو إطار عمل مصمم للحفاظ على تنوع المجموعة وتوجيه الاستكشاف نحو مواضع عدم اليقين الإبستيمي العالي. توسع هذه الطريقة نموذج TTT-DISCOVER الأساسي عبر ثلاثة مكونات مترابطة:

1. عدم اليقين الإبستيمي عبر مجموعات LoRA

بدلاً من مهايئ واحد، يحافظ UG-TTT على مجموعة من $K$ من مهايئات الترتيب المنخفض (LoRA) فوق نموذج أساسي ثابت مشترك. يتم التعامل مع كل مهايئ $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ كعينة مستقلة من توزيع خلفي تبايني.

• الإشارة: يقوم النظام بحساب المعلومات المتبادلة (MI) على مستوى الرمز (token) لقياس عدم اليقين الإبستيمي. وتُعرف هذه بفرق الإنتروبيا بين توزيع الخليط للمجموعة ومتوسط إنتروبيا المهايئات الفردية:
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• التفسير: تشير قيمة MI العالية إلى أن أعضاء المجموعة يختلفون حول الرمز التالي، مما يشير إلى منطقة لم يحلها النموذج بعد (عدم يقين إبستيمي مرتفع). بينما تشير قيمة MI المنخفضة إلى الاتفاق، حتى لو كانت الرموز غامضة (عدم يقين أليوري).
• التجميع: للتركيز على الإشارة ذات المعنى، يتم حساب متوسط MI فقط عبر أعلى 7% من الرموز الأكثر عدم يقينًا في المسار (rollout)، مما يستبعد النصوص الهيكلية (boilerplate) حيث تتفق المهايئات بشكل بديهي.

2. الميزة المشكلة بعدم اليقين (Uncertainty-Shaped Advantage)

يتم دمج إشارة MI الخام في تدرج السياسة كحافز للاستكشاف.

• التنميط (Normalization): يتم تنميط درجة MI ضمن كل مجموعة مسار لضمان ثبات المقياس عبر المهام.
• الاقتران الديناميكي: يتم ربط معامل الاستكشاف بدرجة حرارة إنتروبية تكيفية $\beta(s)$، والتي تقيس ثقة السياسة. ومع زيادة حدة السياسة (مما يشير إلى احتمال انهيار النمط)، تزداد ضغوط الاستكشاف تلقائيًا. يضمن هذا تطبيق الحافز بدقة عندما تكون السياسة معرضة لخطر الاستقرار على مجموعة ضيقة من الحلول.
• دالة الخسارة: تحل الميزة المشكلة $A^{shaped}_i$ محل الميزة القياسية في خسارة أخذ العينات الهامة المقطوعة (clipped importance-sampling loss)، مما يوجه السياسة نحو مواضع MI العالية.

3. منظم تنوع الفضاء الجزئي (NNM)

لمنع مهايئات المجموعة من الانهيار إلى تكوينات أوزان متطابقة (مما قد يدفع MI إلى الصفر)، قدم المؤلفون منظمًا لـ تعظيم النواة (Nuclear-Norm Maximization - NNM).

• الآلية: يعمل المنظم على تعظيم النواة (مجموع القيم المفردة) لمصفوفات الإسقاط السفلي المكدسة ($A^{(k)}$) عبر المجموعة.
• الضمان النظري: يثبت المؤلفون (الفرضية 2) أنه تحت قيد ثابت لنور Frobenius، يتم تحقيق الحد الأقصى العالمي للنواة عندما تكون الفضاءات الصفية للمهايئات متعامدة متبادلة. يضمن هذا الشرط الهندسي أن كل مهايئ ينتبه إلى فضاء مدخلات متميز، مما يحافظ على عدم بديهية تفكيك BALD (التعلم النشط البايزي عن طريق الاختلاف).

المساهمات الرئيسية

1. تفكيك عدم اليقين: يوضح البحث أن قياس الاختلاف عبر فرضيات الأوزان المتكيفة بشكل مستقل (عبر مجموعات LoRA) ضروري لعزل عدم اليقين الإبستيمي، وهي إشارة غائبة في نهج الشبكة الواحدة.
2. التنظيم المبتكر: يُحدد تقديم منظم تعظيم النواة باعتباره الآلية الحاسمة لاستدامة تنوع المجموعة. فبدونه، تتقارب المهايئات إلى حلول متطابقة في غضون حقبتين (epochs)، مما يؤدي إلى تلاشي إشارة الاستكشاف.
3. التدريب الفعال وقت الاختبار: يحقق UG-TTT هذه المكاسب باستخدام مجموعة صغيرة من مهايئات الترتيب المنخفض، متجنبًا التكلفة الحوسبية لتكرار النموذج بالكامل مع الحفاظ على توزيع خلفي متميز للأوزان.

النتائج التجريبية

تم تقييم الطريقة على أربع معايير للاكتشاف العلمي (AC1, AC2, CP26, و Erdős) باستخدام نموذج Qwen3-8B.

• المكافأة القصوى: حسن UG-TTT المكافأة القصوى ($R_{max}$) في ثلاث من المهام الأربع مقارنة بأساس TTT-DISCOVER. وفي المهمة الرابعة (Erdős)، طابق سقف النموذج الأساسي مع اكتشاف حلول متميزة نوعيًا.
• الحفاظ على التنوع: بينما انهار إنتروبيا عائلة الحلول للنموذج الأساسي إلى $\approx 0.65$ بت بحلول الحقبة 5، حافظ UG-TTT على إنتروبيا قدرها $\approx 1.42$ بت. يشير هذا إلى أن النموذج استمر في استكشاف عائلات خوارزمية متنوعة بدلاً من التقارب نحو استراتيجية "آمنة" واحدة.
• اكتشاف حلول مبتكرة:
  • AC1: اكتشف UG-TTT هدف Cauchy-Schwarz ($\sqrt{2n}$) في 18/30 من أفضل المسارات، بينما وجده النموذج الأساسي في 1/30 فقط.
  • AC2: فشل النموذج الأساسي في استخدام scipy.optimize.differential_evolution (0/30 من أفضل المسارات)، بينما استخدمه UG-TTT في 13/30، محققًا مكافأة أعلى.
  • Erdős: اكتشف UG-TTT استراتيجية تهيئة قائمة على فوريه (Fourier-based) لم يدخلها النموذج الأساسي قط.
• الكفاءة: وصل UG-TTT إلى سقف الحالة الراهنة (SOTA) في CP26 خلال 384 مسارًا، وهو عدد أقل بكثير من الـ 25,600 مسارًا التي تطلبها النموذج الأساسي.

الأهمية والادعاءات

يدعي البحث أن انهيار التنوع في الاكتشاف وقت الاختبار هو نتيجة هيكلية لتحسين المكافأة القياسية (scalar-reward) أحادية النموذج. ومن خلال إدخال إشارة معلومات متبادلة قائمة على المجموعات مقترنة بمنظم النواة، نجح UG-TTT في توجيه السياسة نحو "حدود المعرفة" حيث يكون الاكتشاف الحقيقي ممكنًا.

ويؤكد المؤلفون أن منظم النواة هو "المكون الحامل للحمل" (load-bearing component) في النظام؛ حيث تؤكد دراسات الاستبعاد (ablation studies) أن إزالته تؤدي إلى انهيار إشارة عدم اليقين وتعود بالنظام إلى سلوك تعلم التعزيز القياسي. ويشير العمل إلى أن الحفاظ على تعامد الفضاءات الصفية بين المهايئات هو شرط ضروري لاستدامة الاستكشاف في مهام الاكتشاف العلمي ذات المكافأة المتناثرة.

ويبقى البحث متواضعًا فيما يتعلق بالتعميم، مشيرًا إلى أن النتائج تعتمد على نموذج محدد (Qwen3-8B)، وإعداد واحد لوحدة معالجة الرسومات (GPU)، وعدد ثابت من المهايئات ($K=5$). كما يقر بأن آلية التوقف المبكر المتدفقة تتطلب معايرة تجريبية لمهام محددة، وأن نقلها إلى مُحققات (verifiers) صاخبة أو متعلمة سيتطلب إعادة معايرة.