💬 NLP

DiSCTT: Consensus-Guided Self-Curriculum for Efficient Test-Time Adaptation in Reasoning

تقترح الورقة البحثية إطار عمل DiSCTT، وهو إطار عمل ذاتي المنهج يعتمد على الصعوبة وتوجيه الإجماع، يقوم بتخصيص استراتيجيات الضبط الدقيق الخاضع للإشراف أو التعلم المعزز ديناميكيًا بناءً على الاتفاق على مستوى المثيل بين مسارات الاستدلال، مما يحقق تكيفًا أكثر استقرارًا وكفاءة ودقة عند زمن الاختبار للنماذج اللغوية الكبيرة في مهام الاستدلال غير المتجانسة.

المؤلفون الأصليون: Mohammad Mahdi Moradi, Sudhir Mudur

نُشر 2026-03-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammad Mahdi Moradi, Sudhir Mudur

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طالب تؤدي امتحاناً نهائياً. لديك كتاب مدرسي (النموذج الذكي) ومجموعة من الأسئلة (بيانات الاختبار).

الطريقة القديمة (التدريب الموحد):
في الماضي، عندما كانت النماذج الذكية تحاول "التعلم" أثناء خوض الاختبار (وهي عملية تسمى التكيف وقت الاختبار - Test-Time Adaptation)، كانت تستخدم نهج "مقاس واحد يناسب الجميع".

إذا أجاب على سؤال بشكل صحيح، فقد يستمر في إعادة دراسته لساعات، مما يهدر الوقت.
إذا أجاب على سؤال بشكل خاطئ، فقد يكتفي بالتخمين العشوائي دون خطة، مما يسبب له الارتباك.
كان يعامل مسألة رياضية بسيطة (مثل $2+2$ ) بنفس الطريقة التي يعامل بها لغزاً فيزيائياً معقداً، مما يؤدي إلى هدر الطاقة في الأمور السهلة والارتباك في الأمور الصعبة.

الطريقة الجديدة (DiSCTT):
يقدم بحث DiSCTT ما يشبه المعلم الذكي والمدرك لذاته، والذي يغير استراتيجية التدريس بناءً على صعوبة السؤال. إنه يستخدم "منهجاً ذاتياً" ليقرر كيف يتعلم.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. "تصويت المجموعة" (الإجماع)

قبل أن يحاول النموذج التعلم من سؤال ما، يسأل نفسه نفس السؤال عدة مرات (مثل سؤال 8 أصدقاء مختلفين عن إجابتهم).

اتفاق عالٍ (الأمور السهلة): إذا قدم 7 من أصل 8 أصدقاء نفس الإجابة تماماً، يقول النموذج: "حسناً، نحن جميعاً متفقون. هذا أمر سهل. لنكتب هذا فقط وننتقل لما بعده".
- الإجراء: يستخدم الضبط الدقيق الخاضع للإشراف (SFT). فكر في هذا كعملية حفظ الإجابة الصحيحة. إنها سريعة، مستقرة، وتثبت المعرفة.
اتفاق منخفض (الأمور الصعبة): إذا كان الأصدقاء يتجادلون ويعطون إجابات مختلفة، يقول النموذج: "أوه، نحن مرتبكون. هذا الأمر معقد. نحتاج للتفكير بعمق أكبر".
- الإجراء: يستخدم التعلم التعزيزي (RL). فكر في هذا كـ استكشاف متاهة. يحاول مسارات مختلفة، يرتكب أخطاء، ويتعلم أي المسارات تؤدي إلى المخرج. هذه العملية أبطأ ولكنها ضرورية للمسائل الصعبة.

2. "شرطي المرور الذكي" (التوجيه الديناميكي)

سحر DiSCTT يكم ወደ أنه لا يلتزم بخطة واحدة. إنه يعمل مثل شرطي مرور في تقاطع مزدحم:

يتحقق باستمرار من "حركة المرور" (مستوى الاتفاق بين أفكاره الخاصة).
إذا كانت حركة المرور خفيفة (أسئلة سهلة)، فإنه يرسلها إلى المسار السريع (الحفظ/SFT).
إذا كانت حركة المرور كثيفة وفوضوية (أسئلة صعبة)، فإنه يرسلها إلى منطقة الإنشاءات (الاستكشاف/RL) حيث يمكنه اكتشاف طرق جديدة.
الأهم من ذلك: مع ازدياد ذكاء النموذج، قد تصبح الأسئلة التي كانت "صعبة" في السابق "سهلة"، ويقوم شرطي المرور تلقائياً بإعادة توجيهها إلى المسار السريع. المنهج يتطور مع الطالب.

3. "شبكة الأمان" (الاستكشاف المستقر)

عندما يكون النموذج في "منطقة الإنشاءات" (يحاول حل مسائل صعبة)، هناك خطر من أن يتوه في أمور غير منطية لمجرد أن يكون مختلفاً.

يمتلك DiSCTT شبكة أمان. فهو يكافئ النموذج فقط إذا كانت إجابته الجديدة والمبتكرة صحيحة (بناءً على تصويت الأغلبية) وذات صلة بالسؤال.
الأمر يشبه معلم يقول: "يمكنك تجربة طريقة مبتكرة للحل، ولكن إذا بدأت تتحدث عن البيتزا بدلاً من الرياضيات، فلن أعطيك درجات". هذا يمنع النموذج من الهذيان مع تشجيعه في الوقت نفسه على إيجاد حلول جديدة.

لماذا يعد هذا أمراً هاماً؟

الكفاءة: يتوقف عن إضاعة الوقت في إعادة تعلم أشياء يعرفها النموذج بالفعل. إنه يوفر ما يصل إلى 50% من قدرة الحوسبة مقارنة بالطرق القديمة.
الاستقرار: يمنع النموذج من الارتباك أو "نسيان" ما عرفه أثناء محاولة تعلم أشياء جديدة.
نتائج أفضل: من خلال معاملة المشكلات السهلة والصعبة بشكل مختلف، يصبح النموذج أكثر ذكاءً وسرعة ودقة عبر جميع مهام الاستنتاج، من الرياضيات إلى المعرفة العامة.

باختختصار:
DiSCTT هو نظام يعلم الذكاء الاصطناعي أن يعرف ما يعرفه. إذا كان واثقاً، فإنه يمارس بفعالية. وإذا كان غير متأكد، فإنه يستكشف بحذر. إنه الفرق بين طالب يكرر روتين الدراسة نفسه دون تفكير، وطالب يعرف بالضبط المواضيع التي تحتاج إلى مراجعة سريعة وتلك التي تحتاج إلى تعمق شديد.

إليك ملخص تقني مفصل لورقة البحث: "DiSCTT: التنسيق الموجه بالإجماع للمنهج الدراسي الذاتي من أجل التكيف الفعال وقت الاختبار في الاستدلال."

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) حاليًا سلوك استدلال ثابتًا؛ فبمجرد نشرها، تطبق سياسة ثابتة على جميع المدخلات بغض النظر عن صعوبة المشكلة أو مدى عدم يقين النموذج نفسه. وبينما يوفر التكيف وقت الاختبار (TTA) وسيلة لتحسين الاستدلال دون الحاجة إلى تسميات (labels) حقيقية، تعاني الطرق الحالية من عدم كفاءة رئيسيين:

التحسين الموحد: تطبق معظم الأساليب هدف تحسين واحد (مثل التعلم التعزيزي الموحد أو الضبط الدقيق الخاضع للإشراف الموحد) عبر جميع المدخلات.
عدم الكفاءة وعدم الاستقرار:
- تطبيق التعلم التعزيزي (RL) على الحالات "السهلة" (حيث يكون النموذج واثقًا بالفعل) يؤدي إلى تباين غير ضروري ويمكن أن يزعزع استقرار السلوكيات المتعلمة.
- تطبيق الضبط الدقيق الخاضع للإشراف (SFT) على الحالات "الصعبة" غالبًا ما يؤدي إلى التشبع أو الفشل في اكتشاف استراتيجيات استدلال بديلة.
تقدير عدم اليقين: تعتبر درجات الثقة القياسية على مستوى الرمز (token) مؤشرات ضعيفة لأخطاء الاستدلة متعددة الخطوات. هناك حاجة لآلية خالية من التسميات لتقدير عدم اليقين المعرفي (epistemic uncertainty) على مستوى الحالة بشكل ديناميكي.

2. المنهجية: DiSCTT

يقترح المؤلفون إطار عمل DiSCTT (التكيف وقت الاختبار ذو المنهج الدراسي الذاتي الموجه بالإجماع والمدرك للصعوبة)، وهو إطار يقوم بتوجيه المدخلات ديناميكيًا إلى استراتيجيات تحسين مختلفة بناءً على الصعوبة المقدرة.

أ. تقدير الصعوبة القائم على الإجماع

بدلاً من الاعتماد على مدققات خارجية أو اعتلاج الرموز (token entropy)، يقدر DiSCTT الصعوبة باستخدام الإجماع على مستوى المسار (trajectory-level consensus):

لكل مدخل $x$ ، تقوم السياسة $\pi_\theta$ بأخذ عينات من $M$ من عمليات إكمال الاستدلال المستقلة.
يحسب الإطار نسبة الاتفاق ( $c_j$ )، وهي نسبة العينات التي تتفق على الإجابة النهائية.
التوجيه:
- إجماع مرتفع ( $c_j \geq \rho$ ): تُعامل كحالات "سهلة". النموذج واثق، والاستدلال مستقر.
- إجماع منخفض ( $c_j < \rho$ ): تُعامل كحالات "صعبة". النموذج غير متأكد، مما يشير إلى الحاجة للاستكشاف.

ب. التدريب بالمنهج الدراسي الذاتي الديناميكي

يتبادل الإطار بين مرحلتين بناءً على التقسيم الديناميكي لمجموعة البيانات ( $D_{easy}$ و $D_{hard}$ ):

الضبط الدقيق الخاضع للإشراف (SFT) على $D_{easy}$ :
- يستخدم الحل المتفق عليه بالأغلبية كـ "تسمية زائفة" (pseudo-label).
- الهدف: ترسيخ أنماط الاستدلال المستقرة وتقليل التباين.
التعلم التعزيزي (RL) على $D_{hard}$ :
- يستخدم تحسين السياسة النسبي للمجموعة (GRPO).
- الهدف: تشجيع الاستكشاف المنظم لمسارات الاستدلال البديلة للمشكلات الصعبة.

ج. تصميم مكافأة مستقر وخالٍ من التسميات

لضمان الاستقرار أثناء التعلم التعزيزي على الحالات الصعبة دون وجود تسميات حقيقية، يتم تفكيك دالة المكافأة $R(y_i)$ إلى ثلاثة مكونات ضربية:

بوابة الصحة (Correctness Gate): $1[a_i = a_{maj}(x)]$ . فقط العينات التي تتفق مع إجابة الأغلبية تحصل على مكافأة غير صفرية. يعمل هذا كإشارة صحة ذاتية التوجيه ومحافظة.
الجدة النسبية للمجتمع (Population-Relative Novelty): تشجع على الانحراف عن نمط الاستدلال الحالي للأغلبية (مقاسًا عبر تباعد جينسن-شانون) بدلاً من الجدة المطلقة. هذا يعزز مسارات استدلال متنوعة ولكن صالحة.
بوابة الدلالة الواعية بالارتباط (Relevance-Aware Semantic Gating): تعاقب مسارات الاستدلال التي تنحرف دلاليًا عن نص المدخل (المقاس عبر تشابه جيب التمام للتضمينات). هذا يمنع الاستكشاف "الخارج عن الموضوع".

دورة التحديث: لا يتم تحديث تقسيم الصعوبة عند كل خطوة تدرج، بل بشكل دوري (كل $K$ خطوة)، مما يسمح للمنهج الدراسي بالتطور مع تحسن قدرات النموذج.

3. المساهمات الرئيسية

تقدير الصعوبة القائم على الإجماع: صياغة الاتفاق بين مسارات العينات كـ مُقدر آني وخالٍ من التسميات لعدم اليقين المعرفي، مما يتيح التكيف الديناميكي المدرك للصعوبة.
منهج دراسي ذاتي مدرك للصعوبة: تقديم آلية توجيه تخصص الـ SFT للمدخلات ذات الإجماع العالي والـ RL للمدخلات ذات الإجماع المنخفض، مما يخلق منهجًا دراسيًا يتطور ذاتيًا ويتكيف مع قدرات النموذج المتغيرة.
تعلم تعزيزي مستقر خالٍ من التسميات: اقتراح دالة مكافأة جديدة تجمع بين بوابة الصحة، والجدة النسبية للمجتمع، وبوابة الارتباط الدلالي لتمكين الاستكشاف المستقر دون إشراف خارجي.
التحقق التجريبي الشامل: إثبات التحسينات المستمرة عبر نماذج بمقاييس مختلفة (من 0.5B إلى 7B بارامتر) ومعايير متنوعة (الرياضيات، الاستدلال العام، المعرفة).

4. النتائج التجريبية

قيم المؤلفون DiSCTT على ستة معايير (AMC, MATH-500, AIME-2024, GPQA, HotpotQA, MMLU) عبر مقاييس نماذج مختلفة.

الدقة والاستقرار: تفوق DiSCTT باستمرار على النماذج المرجعية القوية (TTRL, EVOL-RL, SFT-only, RL-only) في متوسط الدقة وأظهر تباينًا أقل بكثير عبر عمليات التشغيل.
- مثال: بالنسبة لنموذج Qwen-2.5-7B-Instruct في اختبار MATH-500، حقق DiSCTT دقة بنسبة 82.2% مقارنة بـ 74.2% لـ (TTRL) و 73.4% لـ (EVOL-RL).
الكفاءة: من خلال توجيه الحالات السهلة إلى SFT خفيف الوزن وحجز الـ RL المكلف للحالات الصعبة، قلل DiSCTT التكاليف الحسابية بنسبة 30-50% مقارنة بنماذج RL الموحدة مع تحقيق دقة أعلى.
التعميم خارج التوزيع (OOD): أظهر DiSCTT قدرة قوية على التعميم لمجالات غير مرئية (مثل التكيف على AMC والاختبار على ARC-Challenge)، متجنبًا النسيان الكارثي الذي يظهر غالبًا في TTA الموحد.
دراسات الاستئصال (Ablation Studies):
- فشل SFT-only في حل المشكلات الصعبة (التشبع).
  - عانى RL-only من بطء التقارب وعدم الاستقرار.
- جمع DiSCTT بين التقارب السريع لـ SFT في المهام السهلة وقوة الاستكشاف لـ RL في المهام الصعبة.
- أدى إزالة أي مكون من مكونات دالة المكاف {الصحة، الجدة، أو الارتباط} إلى تدهور الأداء.

5. الأهمية

يعالج DiSCTT قصورًا جوهريًا في التكيف الحالي للنماذج اللغوية الكبيرة: استراتيجية التحسين "التي تناسب الجميع". من خلال النمذجة الصريحة لـ عدم اليقين على مستوى الحالة و التباين، تثبت الورقة أن:

الكفاءة: يمكن توفير الموارد الحسابية عبر تجنب الـ RL في المشكلات التي أتقنها النموذج بالفعل.
الاستقرار: يمكن حصر الاستكشاف في مناطق ذات صلة وعالية الثقة، مما يمنع انهيار السياسة.
القابلية للتوسع: الطريقة خالية تمامًا من التسميات وتعتمد فقط على توليدات النموذج الخاصة، مما يجعلها قابلة للتطبيق في أي مهمة استدلال لا تتوفر فيها الحقيقة الأرضية (ground truth).

تشير هذه الدراسة إلى أن التخصيص المدرك للصعوبة هو نمط تصميم حيوي لأنظمة الاستدلال التكيفية المستقبلية، مما يقدم بديلًا مبدئيًا للتدريب الموحد وقت الاختبار.