💬 NLP

TELLME: Test-Enhanced Learning for Language Model Enrichment

تقدم هذه الورقة TELLME، وهي طريقة مبتكرة تدمج التعلم المعزز بالاختبار مع التدريب المسبق المستمر لاكتساب المعرفة الخاصة بالمجال بكفاءة وتحسين الاحتفاظ بالذاكرة طويلة المدى في النماذج اللغوية الكبيرة، مع التغلب على تحديات البيانات والحوسبة التي تواجهها الأساليب التقليدية.

المؤلفون الأصليون: Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يصبح خبيراً في مجال محدد، مثل التمويل أو الطب. لا يمكنك مجرد إعطائه مكتبة من الكتب المدرسية والأمل في أن يحفظ كل شيء؛ فهذا سيكون بطيئاً ومكلفاً للغاية. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي العقول الاصطناعية التي تقف وراء العديد من برامج الدردشة الآلية الحديثة. عادةً، لجعل هذه الروبوتات أكثر ذكاءً بشأن موضوع جديد، يستخدم العلماء طريقة تسمى التدريب المسبق المستمر (CPT). فكر في (CPT) كأنك تغذي الروبوت بتدفق هائل ولا نهائي من المقالات والقصص الإخبارية حول ذلك الموضوع. يقرأ الروبوت هذه المواد، ويتعلم الأنماط، ويصبح أفضل.

ومع ذلك، هناك عقبة. فمجرد قراءة كتاب لا يعني دائماً أنك تفهمه حقاً أو ستتذكره في الأسبوع المقبل. في علم النفس البشري، هناك فكرة شهيرة تسمى التعلم المعزز بالاختبار (TEL). وهو الاكتشاف المنافي للمنطق بأن إجراء اختبار قصير أثناء الدراسة يساعد دماغك فعلياً على ترسيخ المعلومات بشكل أفضل من مجرد إعادة قراءة المادة. إنه الفرق بين المشاهدة السلبية لبرنامج طبخ وبين محاولة طهي الطبق فعلياً بينما يسألك الطاهي: "ماذا يحدث إذا أضفت الملح مبكراً جداً؟". يتساءل البحث الذي نستعرضه اليوم سؤالاً بسيطاً ولكنه قوي: ماذا لو علمنا الذكاء الاصطناعي بنفس الطريقة التي نعلم بها البشر؟ ماذا لو لم نكتفِ فقط بتغذيته بمزيد من النصوص، بل جعلناه يجري اختبارات قصيرة أثناء تعلمه؟

الورقة البحثية: TELLME – تعليم الذكاء الاصطناعي كيفية إجراء الاختبارات

قام الباحثون وراء هذه الدراسة، وهم فريق من كوريا، ببناء طريقة جديدة أطلقوا عليها اسم TELLME (التعلم المعزز بالاختبار لإثراء النماذج اللغوية). كان هدفهم هو إصلاح مشكلات منهج "مجرد القراءة أكثر" التقليدي. أرادوا معرفة ما إذا كان دمج "الاختبارات القصيرة" أثناء عملية التدريب سيساعد الذكاء الاصطناعي على التعلم بشكل أسرع، والتذكر بشكل أفضل، وفهم المفاهيم العميقة للموضوع بدلاً من مجرد حفظ الكلمات.

المشكلة في "مجرد القراءة"

تقليدياً، عندما يريد العلماء تعليم ذكاء اصطناعي عن التمويل، فإنهم يغذونه بآلاف المقالات الإخبارية. هذه هي طريقة التدريب المسبق المستمر (CPT). وأحياناً، يتبعون ذلك بمرحلة منفصلة تسمى ضبط التعليمات (IT)، حيث يعرضون للذكاء الاصطناعي أسئلة وأجوبة لتعليمه كيفية الدردشة.

يرى المؤلفون أن هذه العملية المكونة من خطوتين هي عملية غير متناغمة. إنها تشبه الدراسة لامتحان التاريخ عبر قراءة الكتاب المدرسي لمدة ثلاث ساعات، ثم، بعد انتهائك فقط، يتم تسليمك اختباراً تجريبياً. بحلول الوقت الذي تخوض فيه الاختبار، قد تكون قد نسيت بالفعل التفاصيل التي قرأتها للتو. حاول باحثون آخرون دمج الخطوتين، عبر تغذية الذكاء الاصطناعي بالنصوص والأسئلة البسيطة في نفس الوقت. لكن المؤلفين لاحظوا خللاً: كانت تلك الأسئلة غالباً سهلة للغاية، مثل "ما هو اسم البنك المذكور في هذه الفقرة؟". كان بإمكان الذكاء الاصطناعي مجرد نسخ الإجابة مباشرة من النص دون تفكير حقيقي. لقد كانت خدعة "فهم مقروء"، وليست تعلماً حقيقياً.

حل TELLME: اختبار "الغوص العميق"

يغير TELLME قواعد اللعبة من خلال تقديم نوع محدد من الاختبارات بناءً على المبادئ النفسية لـ (TEL). إليك كيف يعمل:

الإعداد: يُعطى الذكاء الاصطناعي قطعة نصية (مثل مقال إخباري عن بنك).
التحول: بدلاً من السؤال: "ماذا فعل البنك؟"، يُطلب من الذكاء الاصطناعي توليد أو الإجابة على أسئلة تتطلب معرفة خارجية. على سبيل المثال، إذا ذكر النص "التداول عالي التردد"، فقد يسأل الاختبار: "كيف يؤثر التداول عالي التردد على تقلبات السوق؟". الإجابة ليست مكتوبة في المقال؛ بل يجب على الذكاء الاصطناعي استخدام ما يعرفه بالفعل عن العالم لربط النقاط ببعضها.
حلقة التدريب: يقرأ الذكاء الاصطناعي النص، ثم يحاول فوراً الإجابة على هذه الأسئلة العميقة والمفتوحة. ومن الأهمية بمكان أن النظام "يُقيم" الذكاء الاصطناعي بناءً على النص الذي قرأه والإجابات التي قدمها، وليس بناءً على الأسئلة نفسها. هذا يجبر الذكاء الاصطناعي على التركيز على فهم المادة واسترجاع معرفته الداخلية لحل اللغز.

لبناء ذلك، استخدم الفريق ذكاءً اصطناعياً قوياً (GPT-4o-mini) لإنشاء 100,000 من أزواج هذه الاختبارات الخاصة لمجالين صعبين: التمويل والطب. وقد تأكدوا من أن الأسئلة متنوعة وتتطلب التفكير والاستنتاج، وليس مجرد النسخ.

ما وجدوه: تعلم أسرع، ذاكرة أفضل

اختبر الفريق منهج TELLME مقابل الطرق القديمة باستخدام عدة نماذج ذكاء اصطناعي مختلفة (بما في ذلك Llama وSmolLM). وكانت النتائج واعدة للغاية:

أذكى في وقت أقل: في مجال التمويل، حسن TELLME أداء الذكاء الاصطناعي بنسبة تصل إلى 23.6% مقارنة بالطرق القياسية. لقد تعلم المادة بكفاءة أكبر.
ذاكرة طويلة الأمد أفضل: كان هذا الجزء الأكثر إثارة. اختبر الباحثون ما إذا كان الذكاء الاصطناعي "سينسى" ما تعلمه عن التمويل عندما يبدأون تعليمه عن الطب.
- الطريقة القديمة (CPT) شهدت انخفاضاً بنسبة 5.72% في أداء التمويل بعد تعلم الطب.
- أما طريقة TELLME فلم تنخفض إلا بنسبة 0.94%.
- يشير هذا إلى أنه من خلال "اختبار" نفسه أثناء التدريب، بنى الذكاء الاصطناعي ذكريات أقوى وأكثر ديمومة لا تُمحى عند وصول معلومات جديدة.
كفاءة التكلفة: نظرًا لأن TELLME يتعلم بشكل أسرع، فقد وصل إلى نفس مستوى الأداء في خطوات أقل. لاحظ المؤلفون أنه كان أسرع بنحو 1.4 مرة في التدريب من الطريقة القياسية، مما وفر الوقت وقدرة الحوسبة.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أن الطريقة التي ندرب بها الذكاء الاصطناعي كانت سلبية للغاية. من خلال استعارة حيلة من التعليم البشري — اختبار نفسك أثناء التعلم — يمكننا بناء ذكاء اصطناعي يفهم المفاهيم بعمق ويتذكرها لفترة أطول.

كما تحقق الباحثون مما إذا كان هذا سينجح مع لغات أخرى. جربوا ذلك مع اللغة الكورية، ونجح الأمر هناك أيضاً، حيث حسن قدرة الذكاء الاصطناعي على فهم الجمل الكورية حتى لو لم يتم تدريبه على نصوص كورية من قبل. وهذا يشير إلى أن طريقة "الاختبار" قد تكون مفتاحاً عالمياً لجعل الذكاء الاصطناعي أكثر ذكاءً، بغض النظر عن اللغة.

ومع ذلك، يوضح المؤلفون بحذر أن هذا تحسين محدد لـ التعلم المستمر (تعليم الذكاء الاصطناعي أشياء جديدة بعد بنائه بالفعل). كما يشيرون إلى أنهم اختبروا هذا على نماذج تصل إلى 70 مليار معلمة، ولكن باستخدام بعض الاختصارات لتوف توفير التكال، لذا قد تبدو النتائج مختلفة قليلاً على النماذج الضخمة كاملة النطاق.

باختختصار، يقترح TELLME أنه إذا كنت تريد للذكاء الاصطناعي أن يكون خبيراً حقيقياً، فلا تكتفِ بجعله يقرأ أكثر. بل اجعله يخضع للاختبار.

ملخص تقني: TELLME (التعلم المعزز بالاختبار لإثراء النماذج اللغوية الكبيرة)

بيان المشكلة

يعد التدريب المسبق المستمر (CPT) وسيلة قياسية لتكييف النماذج اللغوية الكبيرة (LLMs) مع مجالات محددة. ومع ذلك، يواجه التدريب المسبق المستمر تحديين كبيرين: صعوبة الحصول على مجموعات بيانات ضخمة خاصة بمجال معين، والتكاليف الحسابية العالية المرتبطة بالتدريب. وبينما حاولت المنهجيات الحديثة دمج بيانات ضبط التعليمات (Instruction Tuning) مباشرة في عملية التدريب المسبق المستمر (مثل INSTPT)، إلا أن هذه الأساليب تعتمد غالبًا على أسلوب الإجابة على الأسئلة (QA) القائم على فهم المقروء، حيث يتم استخراج الإجابات مباشرة من النص المقدم. ويرى المؤلفون أن هذه التنسيقات تفشل في الاستفيد من مبدأ التعلم المعزز بالاختبار (TEL) بشكل فعال. إذ تشير أبحاث علم النفس التربوي إلى أن التعلم المعزز بالاختبار يحسن استبقاء الذاكرة طويلة المدى بشكل أفضل عندما تتضمن الاختبارات استجابات وصفية مفتوحة تتطلب من المتعلم استدعاء وتركيب المعرفة الداخلية، بدلاً من مجرد الاستدعاء البسيط أو صيغ الاختيار من متعدد المقيدة بالسياق.

المنهجية

يقترح المؤلفون إطار عمل TELLME الذي يدمج مبدأ (TEL) في التدريب المسبق المستمر لتعزيز كل من كفاءة اكتساب المعرفة وديمومة التمثيلات المتعلمة.

1. بناء مجموعة البيانات

يستخدم TELLME مسار عمل عالي الكفاءة من حيث التكلفة لتوليد 100,000 عينة خاصة بمجالات محددة (تغطي المجالات المالية والطبية) باستخدام GPT-4o-mini.

تصميم المطالبة (Prompt Design): توجه المطالبة التوليدية المُصنِّف (synthesizer) لإنشاء أزواج (سؤال/جواب) بناءً على المعرفة العامة بالمجال المتعلقة بمقتطف نصي بسيط، ولكنها تمنع صراحةً الأسئلة التي يمكن الإجابة عليها بمجرد استخراج المعلومات من النص.
الهدف: هذا يجبر النموذج على إنشاء "خرائط مفاهيمية" بين النص والمعرفة الأوسع بالمجال، مما يتطلب من النموذج استرجاع معرفته الداخلية للإجابة.
ضبط الجودة: حققت مجموعة البيانات المولدة متوسط درجة تقييم بشري بلغت 4.03/5. وتم استبعاد العينات التي تتطلب سياقاً (مثل تلك التي تحتوي على عبارة "في هذا السياق") لضمان إمكانية حل أزواج (السؤال/الجواب) بشكل مستقل عن النص.

2. إطار التدريب

يقوم TELLME بتعديل هدف نمذجة اللغة السببية (CLM) القياسي خلال مرحلة التدريب المسبق المستمر.

هيكل البيانات: تتكون كل عينة تدريب $X$ من تسلسل: نص بسيط ( $t$ )، يليه سؤال ( $q$ ) وإجابة ( $a$ ).
تعديل دالة الخسارة (Loss Function): لمحاكاة تأثير "الاختبار"، تم تكوين دالة الخسارة بحيث تستبعد رموز السؤال (question tokens) من الحساب.
- تم ضبط الدالة المؤشرة بحيث يكون $1(x_i \in t \cup a) = 1$ و $1(x_i \in q) = 0$ .
- يتم تدريب النموذج على التنبؤ بالنص البسيط والإجابة، لكن السؤال يعمل كـ "اختبار" يجب على النموذج الإجابة عليه باستخدام معرفته الداخلية، بدلاً من كونه مطالبة (prompt) يجب التنبؤ بها.
المقارنة: يختلف هذا عن الأسالń مثل INSTPT، التي غالباً ما تحسب الخسارة عبر جميع الرموز (بما في ذلك الأسئلة) أو تعامل النص البسيط والأسئلة/الأجوبة كخطوات متسلسلة منفصلة (CPT ثم IT). يقوم TELLME بمعالجة العينات المختلطة في تمريرة واحدة.

المساهمات الرئيسية

إطار عمل TELLME: تقديم إطار عمل للتدريب المسبق المستمر يستفيد من الأسئلة والأجوبة الوصفية والمفتوحة لتحفيز استدعاء المعرفة الجوهرية، مما يربط تدريب النماذج اللغوية الكبيرة بمبادئ علم النفس للتعلم المعزز بالاختبار.
مسار عمل فعال للبيانات: طريقة فعالة من حيث التكلفة (حوالي 12 دولاراً لـ 100 ألف عينة) لتوليد بيانات أسئلة وأجوبة متنوعة وخاصة بالمجال تتطلب استدلالاً يتجاوز النص المقدم.
التحقق التجريبي: تقييم شامل عبر المجالات المالية والطبية باستخدام أحجام نماذج مختلفة (Llama-3.2-1B/3B/8B, SmolLM2-1.7B)، مما أظهر تحسينات كبيرة مقارنة بالنماذج المرجعية للتدريب المسبق المستمر (CPT) والتدريب المسبق المستمر + ضبط التعليمات (CPT+IT).

النتائج التجريبية

أداء التكيف مع المجال

تم تقييم TELLME على اختبارات مالية (FOMC, NIFTY, MMLU-F) واختبارات طبية (HeadQA, MedMCQA, MMLU-C).

المجال المالي: تفوق TELLME على النموذج المرجعي للتدريب المسبق المستمر (CPT baseline) بنسبة تصل إلى 23.6% وتفوق على طريقة INSTPT بمتوسط 5.1% عبر كل من المجالين المالي والطبي.
المجال الطبي: أظهر TELLME تحسينات متسقة، حيث تفوق على النموذج المرجعي بمتوسط 2.58 نقطة.
الكفاءة: حقق TELLME نفس مستوى الارتباك (Perplexity - PPL) للتدريب المسبق المستمر القياسي ولكن بـ 1.4 ضعف سرعة خطوات التدريب، مما يشير إلى كفاءة تعلم أعلى.

الاستبقاء طويل المدى

لاختبار استبقاء الذاحة، تم تدريب النماذج التي تدربت على بيانات مالية لاحقاً على بيانات طبية (عملية الكتابة فوق المعرفة).

مقايسات الاستبقاء: عند التقييم على المجال المالي الأصلي بعد التدريب الطبي، أظهر النموذج المدرب بأسلوب TELLME انخفاضاً في الأداء بنسبة 0.94% فقط، بينما عانى نموذج (CPT) القياسي من انخفاض بنسبة 5.72%.
الارتباك (Perplexity): حافظ نموذج TELLME على مستويات ارتباك أقل في مجموعة البيانات المالية مقارنة بنموذج CPT، مما يشير إلى حفظ أفضل للمعرفة السابقة بالمجال.

دراسات الاستئصال (Ablation Studies)

الترتيب: أدى وضع الأسئلة والأجوبة قبل النص (Inv-TEL) إلى أداء أقل، مما يؤكد أهمية الترتيب المحدد (النص $\leftarrow$ السؤال/الجواب) في TELLME.
قناع الخسارة (Loss Masking): أدى تضمين السؤال في حساب الخسارة (TEL-Q/L) إلى تقليل الأداء، مما يثبت أن استبعاد السؤال أمر بالغ الأهمية لتحقيق تأثير الاختبار.
متانة المُصنِّف (Synthesizer Robustness): ظل TELLME فعالاً حتى عند استخدام مُصنفات أضعف (Mistral-7B) أو بيانات مولدة ذاتياً، رغم أن GPT-4o-mini حقق أفضل النتائج.
التعميم متعدد اللغات: تم تكييف إطار العمل بنجاح مع اللغة الكورية (TELLME-KO)، مما أدى إلى تحسين الأداء على معيار KoBEST بنسبة 4.5% في حالة (0-shot) وبنسبة 8.4% في حالة (5-shot) للنماذج التي كانت تفتقر سابقاً للقدرات الكورية.

الأهمية والادعاءات

يزعم البحث أن TELLME يقدم بديلاً متفوقاً لأساليب التدريب المسبق المستمر التقليدية وأساليب (CPT+IT) المتسلسلة من خلال معالجة قيود ندرة البيانات والتكلفة الحسابية. ومن خلال دمج مبدأ (TEL)، لا يسرع هذا الأسلوب التكيف مع المجال فحسب، بل يعزز أيضاً بشكل كبير الاستبقاء طويل المدى للذاكرة، مما يمنع النسيان الكارثي عندما تتعرض النماذج لمجالات جديدة. ويضع المؤلفون TELLME كحل عملي وقابل للتوسع لتطوير نماذج لغوية متخصصة تحتفظ بمعرفتها بمرور الوقت.

تقر الدراسة بالقيود، مشيرة إلى أن التجارب على النماذج الأكبر (70 مليار معلمة) استخدمت الضبط الدقيق الفعال للمعلمات (LoRA) والكمية (Quantization)، مما قد يدخل متغيرات غير موجودة في التدريب الكامل (Dense Training). بالإضافة إلى ذلك، يقتصر النطاق حالياً على المجالين المالي والطبي، وهناك حاجة لعمل مستقبلي لتوسيع نطاقها إلى مجالات أخرى ووضع معايير قياسية موحدة.