ملخص تقني: نحو التوليد النشط للبيانات الاصطناعية لضبط النماذج اللغوية الدقيقة

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة، ومع ذلك فإن انتشارها على نطاق واسع يعوقه التكلفة الحسابية الهائلة للاستدلال. وتوفر النماذج اللغوية الصغيرة (SLMs) بديلاً أكثر كفاءة، لكنها تتطلب ضبطاً دقيقاً متخصصاً لمضاهاة أداء النماذج الأكبر في مهام محددة. وتتمثل إحدى الاستراتيجيات الشائعة لتدريب النماذج اللغوية الصغيرة في الضبط الدقيق الخاضع للإشراف (SFT) باستخدام بيانات اصطناعية يتم توليدها من نموذج "معلم" أكثر قدرة.

ومع ذلك، تعتمد الممارسات الحالية عادةً على التوليد الساكن للبيانات الاصطناعية: حيث يتم توليد مجموعة ضخمة من أزواج (السؤال-الإجابة) مرة واحدة من مجموعة بيانات بذرية قبل بدء أي تدريب للنموذج الطالب. ويرى المؤلفون أن هذا النهج غالباً ما يكون هدراً، حيث تحتوي مجموعات البيانات الساكنة بشكل متكرر على عينات زائدة عن الحاجة أو ذات قيمة منخفضة يمكن استبعادها دون التأثير سلباً على الأداء. علاوة على ذلك، يفشل التوليد الساكن في الاستفادة من الحالة المتطورة للنموذج الطالب، مما قد يؤدي إلى تفويت فرص لاستهداف فجوات تعلم محددة. وبينما استكشف بعض العمل السابق التوليد التكراري، إلا أنه غالباً ما يعتمد على تسجيل النقاط عبر "النموذج اللغوي كحكم" (LLM-as-a-judge) المكلف أو معايير استدلالية محددة دون دمج كامل لأدبيات التعلم النشط واختيار البيانات.

المنهجية

يقترح البحث إطار عمل لتوليد البيانات الاصطناعية التكراري ذي الحلقة المغلقة (الخوارزمية 1) حيث يوجه النموذج الطالب عملية توليد البيانات بنشاط. تعمل الحلقة الأساسية كما يلي:

1. الاختيار: يقوم النموذج الطالب الحالي ($f_\theta$) بتقييم مجموعة بيانات بذرية ($D_t$). تقوم خوارزمية اختيار ($\phi$) بتسجيل نقاط هذه البيانات بناءً على معايير محددة (مثل عدم اليقين، أو الخسارة، أو التنوع) وتختار مجموعة فرعية ($\bar{D}_t$).
2. التوليد: يتم تمرير المجموعة الفرلة المختارة إلى نموذج لغوي معلم. يقوم المعلم بتوليد أزواج جديدة من (التعليمات-الاستجابة) الاصطناعية ($\hat{D}_t$) مشروطة بالبذور المختارة.
3. الضبط الدقيق: يتم ضبط النموذج الطالب بدقة باستخدام البيانات الاصطناعية المتراكمة ($\hat{D}_t \cup \hat{D}_{t-1} \dots$).
4. التكرار: يُعاد استخدام النموذج الطالب المحدث لتوجيه الجولة التالية من الاختيار والتوليد.

استراتيجيات الاختيار التي تم تقييمها

يقارن المؤلفون عدة خوارزميات اختيار متجذرة في أدبيات التعلم النشط واختيار البيانات مقابل الطرق المكلفة القائمة على "النموذج اللغوي كحكم":

• أخذ عينات عدم اليقين (القائم على الخسارة): يختار العينات التي تكون فيها خسارة الطالب على استجاباته المولدة هي الأعلى، مما يعكس عدم اليقين لدى النموذج.
• تسجيل المكافأة: يستخدم نموذج مكافأة خارجياً لتسجيل نقاط استجابات الطالب، مع إعطاء الأولوية للعينات ذات المكافأة المنخفضة (الصعبة).
• النموذج اللغوي كحكم: يوظف النموذج اللغوي المعلم لتسجيل جودة وصحة إجابات الطالب (غالباً عبر المقارنة الزوجية). ويُلاحظ أن هذه الطريقة مكلفة حاسوبياً.
• BADGE (التعلم النشبي بالدفعات عبر تضمينات التدرج المتنوعة): طريقة توازن بين عدم اليقين التنبئي وتنوع العينات باستخدام تضمينات التدرج.
• أولوية الإجابة غير الصحيحة: يختار البذور التي تكون فيها إجابة الطالب غير صحيحة (يتطلب ذلك وجود حقيقة أرضية/إجابة نموذجية).

تقارن الدراسة طرق الاختيار النشطة هذه (التي تضع الطالب في الحلقة) مقابل التوليد الساكن (ما يعادل أخذ العينات العشوائية من البذور) ومقارنات أخرى مثل Lion (وهو تطبيق محدد لطريقة النموذج اللغوي كحكم).

النتائج الرئيسية

يتحقق المؤلفون من نهجهم عبر أربع مجموعات بيانات استدلالية (GSM8k, Math1-3, ProntoQA, Game of 24) وأربعة نماذج لغوية صغيرة مختلفة (Mistral-7B, Llama-3-8B, Qwen1.5-7B, Qwen2.5-7B).

1. كفاءة بيانات فائقة: يتفوق التوليد التكراري الموجه بالاختيار النشط بشكل كبير على التوليد الساكن. فبالنسبة لميزانية ثابتة من العينات المولدة، تحقق الطرق النشطة دقة اختبار أعلى. ويقيس المؤلفون ذلك بإظهار أن أخذ العينات الساكن/العشوائي يتطلب 1.3 إلى 2.0 ضعف كمية البيانات لتحقيق نفس مستوى الأداء الذي تحققه أفضل استراتيجيات الاختيار النشطة.
2. البساطة هي الفوز: على عكس التوجه نحو استخدام أحكام معقدة تعتمد على النماذج اللغوية الكبيرة، برزت أخذ عينات عدم اليقين البسيطة (باستخدام خسارة الطالب الخاصة) كأكثر الطرق كفاءة في البيانات وأكثرها متانة.
   • النموذج اللغوي كحكم كان أداؤه أقل مقارنة بالاختيار القائم على الخسارة البسيطة، كما أنه مكلف حاسوبياً، حيث يتطلب عدداً أكبر بكثير من توكنات (tokens) المعلم لتحقيق نتائج مماثلة أو حتى أدنى.
   • BADGE و Lion (الطرق التي تركز على التنوع) لم تتفوق بشكل ملحوظ على أخذ العينات العشوائية، ويرجع ذلك على الأرجح إلى أن الضجيج الناتج عن توليد البيانات الاصطناعية يفاقم التحديات المتعلقة بالحفاظ على التنوع.
3. قابلية التوجيه للبيانات الاصطناعية: تثبت الدراسة أن البيانات الاصطناعية "قابلة للتوجيه". هناك ارتباط رتبي عالٍ بين خصائص البيانات البذرية المختارة (مثل الخسارة العالية) والبيانات الاصطناعية الناتجة التي يولدها المعلم. إذا اختار الطالب بذوراً صعبة، فإن المعلم يولد عينات اصطناعية صعبة. وهذا يؤكد أن استراتيجية الاختيار تؤثر مباشرة على صعوبة وتوزيع بيانات التدريب.
4. المتانة تجاه تغير التوزيع: أدت الطرق القائمة على المكافأة (باستخدام نماذج مكافأة خارجية) أداءً سيئاً في المهام الخارجة عن التوزيع (مثل Game of 24)، بينما ظل أخذ عينات عدم اليقين موثوقاً.

الأهمية والادعاءات

يزعم البحث أن توليد البيانات الاصطناعية بوجود الطالب في الحلقة هو نموذج أكثر فعالية لتدريب النماذج اللغوية الصغيرة من التوليد الساكن لمرة واحدة. تكمن الأهمية الأساسية في إثبات أن:

• مبادئ التعلم النشط قابلة للتطبيق: المعايير البسيطة وغير المكلفة من أدبيات التعلم النشط (تحديداً أخذ عينات عدم اليقين عبر خسارة الطالب) هي أكثر فعالية وكفاءة من طرق "النموذج اللغوي كحكم" المعاصرة والمكلفة لتنسيق البيانات الاصطناعية.
• الكفاءة الحسابية: من خلال تجنب العبء الناتج عن استخدام نموذج معلم ضخم للتسجيل (كما في طريقة النموذج اللغوي كحكم) واستخدام خسارة الطالب الخاصة بدلاً من ذلك، تصبح سلسلة تدريب النموذج أرخص بكثير مع تحقيق أداء أفضل.
• الخصائص موروثة: جودة وصعوبة البيانات الاصطناعية ليست عشوائية؛ بل هي موروثة مباشرة من البذور التي اختارها الطالب. وهذا يشير إلى أن البحث في استراتيجيات الاختيار هو مسار حرج وغير مستكشف بما يكفي لتحسين أداء النماذج اللغوية الصغيرة، مما قد يقدم مكاسب أكبر من مجرد زيادة حجم النموذج أو حجم البيانات.

يخلص المؤلفون إلى أنه بالنسبة لميزانية حسابية ثابتة، فإن إعطاء الأولوية لتنسيق البيانات من خلال الاختيار النشط الموجه من الطالب يؤدي إلى "جبهة باريتو" (Pareto frontier) أفضل للأداء مقابل حجم مجموعة التدريب مقارنة بالتوليد الساكن البدائي.