💬 NLP

Query-Conditioned Test-Time Self-Training for Large Language Models

تقدم هذه الورقة البحثية إطار عمل QueST، وهو إطار عمل مبتكر يُمكّن النماذج اللغوية الكبيرة من تكييف معاملاتها أثناء الاستدلال باستخدام إشراف مستمد مباشرة من الاستعلام المدخل نفسه، مما يحقق تحسينات خاصة بكل استعلام في مهام الاستدلال دون الاعتماد على بيانات خارجية.

المؤلفون الأصليون: Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التدريب الذاتي المعتمد على الاستعلام عند وقت الاختبار للنماذج اللغوية الكبيرة" (QueST)، باستخدام لغة بسيطة وتشبيهات.

المشكلة الكبرى: "الدماغ ذو الحجم الواحد للجميع"

تخيل أن لديك طالباً نابغاً (نموذج الذكاء الاصطعي) درس لسنوات ويعرف الكثير من الحقائق. ومع ذلك، عندما تعطيه سؤال امتحان محدد وصعب، قد يتعثر أحياناً.

عادةً، لمساعدته، لديك خياران:

الدراسة بجد أكبر (إعادة التدريب): إرساله مجدداً إلى المدرسة لتعلم المادة الجديدة. هذا أمر مكلف وبطيء، ولا يمكنك القيام به في كل مرة يخوض فيها اختباراً.
التفكير لفترة أطول (توسيع نطاق وقت الاختبار): تخبره: "خذ وقتك، فكر في 10 طرق مختلفة للإجابة، واختر الأفضل بينها". هذا يساعد، لكنه لا يعالج حقيقة أنه قد يكون لديه سوء فهم جوهري لنوع السؤال المحدد الذي طرحته للتو.

لاحظ مؤلفو هذه الورقة أن نماذج الذكاء الاصطناعي الحالية جامدة للغاية؛ فهي لا تستطيع بسهولة "تغيير تروسها" لتتناسب مع الهيكل الفريد لسؤال واحد دون الحاجة إلى قاعدة بيانات خارجية ضخمة أو إعادة تدريب النموذج بالكامل.

الحل: QueST (طريقة "المعلم الفوري")

تقترح الورقة طريقة جديدة تسمى QueST (التدريب الذاتي المعتمد على الاستعلام عند وقت الاختبار).

الفكرة الجوهرية:
بدلاً من مطالبة الذكاء الاصطناعي بمجرد "التفكير بجهد أكبر"، تطلب منه QueST أن يعلم نفسه مباشرة قبل الإجابة على السؤال.

إليك كيف يعمل الأمر، خطوة بخطوة، باستخدام التشبيه:

1. سؤال "البذرة"

تطرح على الذكاء الاصطناعي مسألة رياضية صعبة (الاستعلام).

التشبيه: تخيل أنك طاهٍ وطُلب منك إعداد طبق معقد ومحدد (مثل: "ريزوتو الزعفران الحار").

2. توليد أطباق "للممارسة"

قبل طهي الطبق النهائي، يستخدم الذكاء الاصطناعي المكونات من طلبك لتوليد خمس مسائل ممارسة مشابهة فوراً.

التشبيه: ينظر الطاهي إلى طلبك "ريزوتو الزعفران الحار" ويقوم فوراً بإنشاء خمس وصفات ممارسة: "ريزوتو زعفران حار مع ثوم إضافي"، "ريزوتو زعفران حار مع نوع أرز مختلف"، إلخ.
نقطة حاسمة: هذه ليست وصفات عشوائية مستخرجة من مكتبة. بل هي مصنوعة خصيصاً بناءً على التفاصيل المحددة لطلبك الأصلي فقط. وتسمي الورقة هذا بـ "المعتمد على الاستعلام" (Query-Conditioned).

3. "الإحماء" (التدريب الذاتي)

يقوم الذكاء الاصطناعي بحل هذه المسائل الخمس الممارسة بسرعة. وأثناء القيام بذلك، يقوم بتعديل "مقابض" (معاملات) داخلية طفيفة ليصبح أفضل في هذا النمط المحدد من الطهي.

التشبيه: يطهو الطاهي بسرعة خمسات أطباق الريزوتو الممارسة. وبينما يفعل ذلك، يقوم بضبط التتبيل وتقنية التحريك بدقة كافية لإتقان نكهة "الزعفران الحار" المحددة التي طلبتها. هو لا يغير أسلوبه الكامل في الطهي لبقية العالم؛ هو فقط يقوم بضبط دقيق لهذا الطلب تحديداً.
ملاحظة تقنية: تستخدم الورقة تقنية خفيفة الوزن تسمى LoRA (التكيف منخفض الرتبة) لجعل هذه التعديلات سريعة وغير مكلفة، مثل تدوير بعض المقابض بدلاً من إعادة بناء المحرك بالكامل.

4. الإجابة النهائية

الآن، مع ضبط هذه "المقابض" الجديدة خصيصاً لسؤالك، يجيب الذكاء الاصطناعي على طلبك الأصلي "ريزوتو الزعفران الحار".

النتيجة: لأن الذكاء الاصطناعي قد مارس للتو نفس نوع المنطق المطلوب لسؤالك، فمن المرجح جداً أن يحصل على الإجابة الصحيحة.

لماذا هذا أفضل مما لدينا الآن؟

تقارن الورقة بين QueST والطرق الأخرى باستخدام قائمة تحقق بسيطة (الجدول 1 في الورقة):

الطريقة القديمة أ (توسيع نطاق وقت الاختبار): "فقط فكر في 10 إجابات".
- العيب: إنها لا تغير دماغ النموذج. إذا كان النموذج مرتبكاً بشأن المنطق، فإن التفكير 10 مرات لن يصلح الارتباك.
الطريقة القديمة ب (البيانات الخارجية): "ابحث عن أسئلة مشابهة في قاعدة بيانات ضخمة".
- العيب: تتطلب تخزين كميات هائلة من البيانات وإيجاد "المطابقة الصحيحة"، وهو أمر بطيء وغير عملي.
الطريقة القديمة ج (التدريب الذاتي العام): "مارس أسئلة عشوائية".
- العيب: إذا طرحت سؤالاً رياضياً، فإن ممارسة أسئلة قواعد لغوية عشوائية لن تساعد. أنت بحاجة إلى ممارسة تطابق هيكل سؤالك المحدد.

تفوز QueST لأنها:

تنشئ أسئلة ممارسة خاصة بها على الفور (لا حاجة لقاعدة بيانات خارجية).
أسئلة الممارسة متطابقة تماماً مع السؤال المحدد الذي طرحته.
إنها بالفعل تغير دماغ النموذج (مؤقتاً) ليتناسب مع السؤال، بدلاً من مجرد التخمين أكثر.

ماذا وجدوا؟

اختبر الباحثون هذا على سبعة اختبارات معايير رياضية واختبار استدلال علمي (GPQA-Diamond).

النتيجة: تفوقت QueST باستمرار على الطرق الأخرى. في المتوسط، حسنت الدقة بنحو 6.44 نقطة مئوية عن النماذج الأساسية.
الكفاءة: حققت هذه الدقة العالية باستخدام عدد أقل من "الرموز" (الكلمات المولدة) مقارنة بالطرق التي تحاول التفكير في 64 إجابة مختلفة. إنه يشبه الحصول على درجة أفضل من خلال دراسة المادة الصحيحة لمدة 10 دقائق، بدلاً من التخمين العشوائي لمدة ساعة.

مثال واقعي من الورقة

تظهر الورقة حالة نظر فيها نموذج ذكاء اصطناعي قياسي إلى دالة رياضية تكرارية معقدة وخمن أن الإجابة هي 3 لأنه رأى نمطاً يبدو مألوفاً ولكنه كان خاطئاً في الواقع.

عند استخدام QueST:

ولّد مسائل تكرارية مشابهة بناءً على تلك الدالة المحددة.
"أعاد تعلم" النمط أثناء حل مسائل الممارسة هذه.
أدرك أن النمط مختلف عما ظن.
صحح نفسه وأعطى الإجابة الصحيحة: 1.

القيود (العقبات)

الورقة صريحة بشأن مواضع الفشل المحتملة:

المدخلات السيئة تؤدي لنتائج سيئة: إذا كان السؤال الأصلي مربكاً، أو غامضاً، أو مبنياً على افتراض خاطئ، فقد يولد الذكاء الاصطناعي "مسائل ممارسة" تكون هي الأخرى مربكة. يمكن أن يؤدي هذا إلى جعل الذكاء الاصطناعي يتعلم الدرس الخاطئ.
لا توجد ذاكرة: يقوم الذكاء الاصطناعي بإعادة ضبط "مقابده" بعد كل سؤال. هو لا يتذكر ما تعلمه للسؤال التالي. (تشير الورقة إلى أن العمل المستقبلي يمكن أن يسمح للذكاء الاصطناعي بالتذكر، لكنهم لم يفعلوا ذلك في هذه الدراسة).

الملخص

QueST تشبه إعطاء ورقة غش للذكاء الاصطناعي يكتبها لنفسه قبل خوض الاختبار مباشرة. بدلاً من مجرد التخمين أو البحث في ملاحظات قديمة، يقوم بتوليد مسائل ممارسة جديدة تطابق سؤال الاختبار تماماً، ويمارسها فوراً، ثم يخوض الاختبار بدماغ تم ضبطه حديثاً. هذا يجعل الذكاء الاصطناعي أكثر ذكاءً في حل مشكلات محددة وصعبة دون الحاجة إلى مكتبة خارجية ضخمة أو جلسة إعادة تدريب كاملة.

ملخص تقني: التدريب الذاتي المشروط بالاستعلام في وقت الاختبار للنماذج اللغوية الكبيرة (QueST)

تعريف المشكلة

تُنشَر النماذج اللغوية الكبيرة (LLMs) عادةً بمعلمات ثابتة. وبينما يمكن تحسين الأداء عبر توسيع نطاق وقت الاختبار (TTS) —أي تخصيص المزيد من الحوسبة من خلال استراتيجيات أخذ العينات أو البحث— إلا أن هذه الطرق لا تصحح المفاهيم الخاطئة الكامنة في النموذج أو تتكيف مع الفروق الهيكلية الدقيقة لكل استعلام على حدة. وفي المقابل، يهدف تحسين وقت الاختبار (TTO) إلى تحديث معلمات النموذج أثناء الاستدلال، ولكنه يواجه حاليًا عائقين رئيسيين:

الاعتماد على بيانات خارجية: تتطلب طرق مثل TTT-NN استرجاع مشكلات مشابهة من قواعد بيانات خارجية ضخمة، مما يؤدي إلى أعباء إضافية في التخزين والاسترجاع.
الأهداف غير المتوافقة: تعمل طرق مثل TLM على تحسين أهداف التعلم الذاتي العامة (مثل تقليل حيرة المدخلات/perplexity) التي تفتقر إلى التوافق مع هيكل الاستدلال المحدد المطلوب لاستعلام معين.

يتمثل التحدي الجوهري في تمكين التكيف الخاص بالاستعلام أثناء الاستدلال دون الحاجة لبيانات خارجية، وذلك باستخدام إشارات الإشراف المستمدة مباشرة من الاستعلام نفسه.

المنهجية: QueST

يقترح المؤلفون التدريب الذاتي المشروط بالاستعلام في وقت الاختبار (QueST)، وهو إطار عمل يعمل على تكييف معلمات النموذج أثناء الاستدلال باستخدام إشراف يتم بناؤه بالكامل من الاستعلام المدخل. تعتمد الطريقة على رؤية مفادها أن استعلام المدخلات يحتوي على إشارات كامنة كافية لتوليد أزواج (مشكلة-حل) ذات صلة هيكلية.

يتكون مسار عمل QueST من ثلاث مراحل رئيسية:

1. توليد الإشراف المشروط بالاستعلام

بالنظر إلى استعلام المستخدم $q$ ، يعامل QueST هذا الاستعلام كبذرة لتوليد مجموعة بيانات من أزواج (المشكلة-الحل) المساعدة، $\mathcal{D}(q) = \{(x_i, y_i)\}_{i=1}^N$ .

المولد: يعمل النموذج الأساسي نفسه كمولد $p_\phi(x, y | q)$ .
الاشتراط: يتم اشتراط عملية التوليد على $q$ ، مما يضمن أن الأزواج المولدة تشترك في المفاهيم الأساسية وأنماط الاستدلال مع الاستعلام الأصلي.
الهدف: تعمل $\mathcal{D}(q)$ كتقريب تجريبي لتوزيع البيانات المحلي $D_q$ الناتج عن الاستعلام، مما يوفر إشرافًا متوافقًا مع الاستعلام دون بيانات خارجية.

2. التحسين منخفض الرتبة في وقت الاختبار

لتكييف النموذج بكفاءة، يستخدم QueST التكيف منخفض الرتبة (LoRA) بدلاً من الضبط الدقيق الكامل، الذي يعد مكلفًا حوسبيًا وغير مستقر للتكيف مع استعلام واحد.

الهدف: يتم تحديث معلمات النموذج $\theta$ إلى $\theta'$ عن طريق تقليل خسارة الإنتروبيا المتقاطعة (cross-entropy loss) على مجموعة البيانات المولدة:
$\theta' = \arg \min_{\theta_{\text{LoRA}}} \frac{1}{N} \sum_{i=1}^N \ell(f_\theta(x_i), y_i)$
الكفاءة: يتم تحديث معلمات LoRA منخفضة الرتبة $\theta_{\text{LoLA}}$ فقط، بينما تظل المعلمات الأساسية $\theta$ ثابتة. وهذا يسمح بتكيف خفيف ومستهدف خلال خطوات تحسين قليلة (عادةً ما بين $T=10$ إلى $40$).

3. الاستدلال النهائي

يُستخدم النموذج المكيف $f_{\theta'}$ بعد ذلك لتوليد الاستجابة النهائية $y^*$ للاستعلام الأصلي $q$ . يتم إعادة ضبط أوزان LoRA لكل استعلام جديد، مما يضمن أن التكيف خاص بالاستعلام حصريًا.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم QueST، وهو أول طريقة لـ TTO تحقق أربعة خصائص حرجة في آن واحد: التكيف الخاص بالاستعلام، الاستقلال عن البيانات الخارجية، تحديث المعلمات في وقت الاختبار، وتوليد إشارات مشروطة بالمدخلات.
استخراج الإشارات ذاتية الإشراف: إثبات أن استعلامات المدخلات تحتوي على بنية كامنة كافية لتوليد أزواج إشراف ذات معنى، مما يلغي الحاجة إلى قواعد بيانات استرجاع خارجية أو تقليل الحيرة العام.
التكيف الموفر للمعلمات: دمج LoRA في حلقة وقت الاختبار، مما يسمح بتكيف مستقر وفعال حتى مع عدد صغير من عينات الإشراف المولدة.

النتائج التجريبية

تم تقييم QueST على سبعة اختبارات معيارية للاستدلال الرياضي (AMC, Minerva, MATH500, GSM8K, OlympiadBench, AIME25, AIME24) وعلى الاختبار المعياري للاستدلال العلمي GPQA-Diamond.

مكاسب الأداء: عبر نماذج معمارية مختلفة (Qwen3-4B/8B, OctoThinker-3B/8B)، تفوق QueST باستمرار على النماذج المرجعية القوية، بما في ذلك TENT (تقليل الإنتروبيا) و TLM (تقليل الحيرة).
- في المتوسط، حسن QueST الدقة بمقدار 6.44 نقطة مئوية مقارنة بالنماذج الأساسية.
- حقق نتائج رائدة (SOTA) بين طرق تحسين وقت الاختبار، مع تحسينات تتراوح بين +5.77 و +7.21 نقطة مئوية عن النماذج الأساسية في الاختبارات الرياضية.
الكفاءة: كما هو موضح في الشكل 1، حقق QueST دقة أعلى من نماذج TTS القائمة على أخذ العينات (التي تعتمد على زيادة عدد الرموز/tokens) مع استخدام عدد أقل بكثير من رموز وقت الاختبار.
التعميم: نجحت الطريقة في التعميم لما وراء الاستدلال الرياضي إلى الاستدلال العلمي (GPQA-Diamond)، حيث أظهرت تحسينات متسقة على كل من النماذج الأساسية وما بعد التدريب.
التحليل النوعي: أظهرت دراسات الحالة (الشكلان 3 و 4) قدرة QueST على تصحيح التنبؤات الخاطئة من خلال الاستفادة من التباينات الهيكلية المولدة، مما ينقل سلوك النموذج من مجرد مطابقة الأنماط السطحية إلى الاستدلال الهيكلي العميق.

الأهمية والادعاءات

يزعم البحث أن QueST يمثل تحولاً من الاستدلال الثابت إلى الاستدلال التكيفي. ومن خلال استغلال الاستعلام نفسه كمصدر للإشراف، يُمكّن QueST النماذج من اكتساب المعرفة المفيدة بنشاط أثناء عملية الاستدلال.

العملية: يقدم إطار العمل بديلًا عمليًا لإعادة التدريب المكلفة أو استرجاع البيانات الخارجية، مما يسمح بالتخصص الديناميكي لكل استعلام على حدة.
تحول النموذج: يرى المؤلفون أن تحسين وقت الاختبار لا ينبغي أن يقتصر فقط على تكييف التمثيلات (كما في TTS) أو الاعتماد على إشارات خارجية، بل يجب أن يسمح للنماذج بـ "التعلم" من الآثار الهيكلية للاستعلام الحالي.
القيود: يقر المؤلفون بأن الفعالية تعتمد على جودة الاستعلام المدخل؛ فالاستعلامات الغامضة أو غير الصحيحة قد تؤدي إلى إشراف ضعيف أو مضلل. كما يشيرون إلى قيود حالية في تصحيح الأخطاء، حيث يتضمن الإشراف المولد عادةً مسارات ناجحة فقط، ويفتقر إلى أمثلة لتشخيص الخطأ.

ختامًا، يثبت QueST أن التدريب الذاتي المشروط بالاستعلام هو نموذج فعال وعملي لتعزيز أداء النماذج اللغوية الكبيرة في وقت الاختبار دون الاعتماد على بيانات خارجية.