🤖 machine learning

One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

تقدم هذه الورقة البحثية DualSFT، وهو خوارزمية بلمسة واحدة توحد بين اختيار المعلمات واختيار البيانات لضبط النماذج اللغوية الكبيرة (LLM) عبر اشتقاق قاعدة تسجيل مشتركة قائمة على التدرج من إطار تحسين ثنائي المستوى، مما يتيح عملية اختيار مشترك أكثر كفاءة وتنسيقاً من الاستراتيجيات المنفصلة التقليدية.

المؤلفون الأصليون: Xinrui Chen, Liu Yang, Ou Wu

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinrui Chen, Liu Yang, Ou Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من المعرفة، مدربة تدريباً عالياً (نموذج لغوي كبير، أو LLM)، تعرف كل شيء عن العالم. الآن، تريد تعليم هذه المكتبة مهارة جديدة محددة، مثل كتابة أكواد الكمبيوتر أو حل المسائل الرياضية. تسمى هذه العملية "الضبط الدقيق" (Fine-tuning).

عادةً، لتعليم هذه المكتبة، يكون أمامك خياران:

قراءة كل كتاب واحد في المكتبة مرة أخرى (باستخدام جميع بياناتك).
إعادة كتابة كل صفحة في المكتبة (تحديث جميع المعلمات/البارامترات).

كلا الخيارين مكلف للغاية، وبطيء، ويتطلب قدرات حوسبة هائلة. ولتوفير المال، يحاول الباحثون عادةً أن يكونوا فعالين بطريقة واحدة فقط: إما باختيار أفضل الكتب لقراءتها (اختيار البيانات - Data Selection) أو اختيار أهم الصفحات لإعادة كتابتها (اختيار المعلمات - Parameter Selection).

المشكلة هي أن القيام بواحد فقط من هذين الأمرين يشبه محاولة تعلم لغة جديدة عبر قراءة أفضل الكتب فقط مع إعادة كتابة كل صفحة، أو إعادة كتابة أفضل الصفحات فقط مع قراءة كل كتاب في المكتبة. لا يزال هذا هدراً للموارد.

الفكرة الكبرى للورقة البحثية: "DualSFT"
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى DualSFT. فكر في الأمر كـ "أمين مكتبة ذكي" يحل كلا المشكلتين في آن واحد بلمسة واحدة بارعة.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

1. "متجر الشامل" (بطاقة تقييم شاملة)

تخيل أنك توظف فريقاً لمشروع كبير. أنت بحاجة لاختيار أفضل العمال (البيانات) وتقرر أيضاً الأدوات التي يجب أن يستخدمونها (المعلمات).

الطريقة القديمة: توظف "كشاف عمال" للعثور على أفضل الأشخاص، و"كشاف أدوات" منفصل للعثور على أفضل الأدوات. هؤلاء لا يتحدثون مع بعضهم البعض. قد يختار الكشاف الأول عاملاً رائعاً يحتاج إلى أداة لم يختارها كشاف الأدوات، أو العكس. إنه أمر فوضوي ومكرر.
طريقة DualSFT: أدرك المؤلفون أن "أفضل عامل" و"أفضل أداة" مرتبطان في الواقع. لقد أنشأوا بطاقة تقييم واحدة تنظر إلى كليهما في نفس الوقت.

2. "مصفوفة التفاعل" (السر الخفي)

تشرح الورقة البحثية وجود علاقة رياضية خفية بين البيانات (الكتب) والمعلمات (الصفحات).

تخيل شبكة ضخمة حيث تمثل الصفوف أمثلة التدريب الخاصة بك (الكتب) وتمثل الأعمدة معلمات النموذج الخاص بك (الصفحات).
وجد المؤلفون طريقة لحساب "درجة" لكل خلية في هذه الشبكة.
إذا جمعت الدرجات عبر صف واحد، ستعرف فوراً أي الكتب هي الأكثر فائدة.
إذا جمعت الدرجات عبر عمود واحد، ستعرف فوراً أي الصفحات هي الأهم لتحديثها.

الأمر يشبه امتلاك خريطة سحرية واحدة. إذا نظرت إلى الخريطة أفقياً، فستخبرك أين تحفر بحثاً عن الذهب (البيانات). وإذا نظرت إليها عمودياً، فستخبرك أين تبني طريقاً (المعلمات). لا تحتاج إلى خريطتين مختلفتين؛ أنت فقط بحاجة لقراءة نفس الخريطة بطرق مختلفة.

3. خدعة "المرة الواحدة" (One-Shot)

عادةً، لاختيار أفضل البيانات والمعلمات، قد تضطر لتشغيل عملية التدريب، ثم التوقف، ثم التحقق من النتائج، ثم اختيار بيانات جديدة، ثم التشغيل مرة أخرى، وتكرار ذلك. هذا يستغرق وقتاً طويلاً جداً.

DualSFT هو أسلوب "المرة الواحدة" (One-Shot).

الخطوة 1: يقوم النموذج بـ "جولة إحماء" سريعة (جلسة ممارسة قصيرة) لأخذ فكرة عن المهمة.
الخطوة 2: ينظر إلى "الخريطة السحرية" (مصفوفة تفاعل التدرج) الموصوفة أعلاه.
الخطوة 3: في نظرة واحدة، يختار أفضل 10% من الكتب للقراءة وأفضل 5% من الصفحات لإعادة الكتابة.
الخطوة 4: ينتقل مباشرة إلى التدريب النهائي باستخدام تلك الكتب والصفحات المختارة فقط.

4. تذكر الماضي (عدم النسيان)

هناك مشكلة شائعة عند تعليم نموذج ذكي مهارة جديدة، وهي أنه يبدأ في نسيان مهاراته القديمة (مثل كتابة قصيدة أو الإجابة على أسئلة عامة). يُعرف هذا بـ "النسيان الكارثي" (Catastrophic forgetting).

يتضمن DualSFT "حارس ذاكرة" خاصاً يسمى CWSD.

تخيل أن النموذج طالب يتعلم الرياضيات. "حارس الذاكرة" هو معلم يهمس له: "مهلاً، لا تنسَ كيف تكتب قصة بينما تتعلم الرياضيات!"
يستخدم هذا الحارس تقنية خاصة لضمان احتفاظ النموذج بشخصيته ومعرفته العامة بينما يتعلم المهمة الجديدة، دون الحاجة لإعادة قراءة المكتبة الأصلية بأكملها.

النتائج

اختبر المؤلفون هذا على نماذج بأحجام مختلفة (من 3 مليارات إلى 9 مليارات "عصبون").

الكفاءة: استخدموا بيانات أقل بكثير وحدّثوا معلمات أقل بكثير من الطرق القياسية.
الأداء: رغم استخدام موارد أقل، إلا أن النماذج أدت بشكل أفضل في المهام الجديدة (مثل البرمجة والرياضيات) من النماذج التي حاولت استخدام موارد أكثر ولكن بذكاء أقل.
التوازن: وجدوا التوازن المثالي بين تعلم المهارة الجديدة (اللدونة - Plasticity) والحفاظ على المهارات القديمة (الاستقرار - Stability).

الملخص

باختصار، DualSFT هو خوارزمية جديدة توقف التعامل مع "اختيار البيانات" و"اختيار المعلمات" كوظيفتين منفصلتين. بدلاً من ذلك، تعاملهما كوجهين لعملة واحدة. ومن خلال استخدام خدعة رياضية واحدة لتقييم كليهما في وقت واحد، فإنها توفر الوقت، وتوفر المال، وتنتج نماذج ذكاء اصطناعي أكثر ذكاءً وكفاءة ولا تنسى ما تعرفه بالفعل.

ملخص تقني: DualSFT – خوارزمية واحدة، هدفان لضبط النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

تواجه عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLM) تكاليف باهظة عند المقاييس الحديثة، مما يدفع البحث نحو استراتيجيتين متميزتين للكفاءة: الضبط الدقيق الموفر للمعلمات (PEFT) والضبط الدقيق الموفر للبيانات (DEFT). تعمل طرق PEFT (مثل اختيار المعلمات، وLoRA) على تقليل ذاكرة الحالة القابلة للتدريب، بينما تعمل طرق DEFT (مثل اختيار البيانات، وإعادة الوزن) على تقليل عبء التحسين.

حالياً، تعمل هذه الاستراتيجيات بشكل مستقل. فعندما يتم تطبيق كل من قناع المعلمات (Parameter Mask) ومجموعة فرعية من البيانات لتقييد التحديثات، تستخدم النهج الحالية عادةً آليات تسجيل (Scoring) منفصلة. يؤدي هذا الفصل إلى هدر في الحوسبة وتعارض في التنسيق: إذ قد يؤدي اختيار قناع المعلمات دون مراعاة مجموعة بيانات محددة (والعكس صحيح) إلى أداء مشترك دون المستوى الأمثل. تفترض الورقة أنه بما أن أقنعة المعلمات والمجموعات الفرعية للبيانات تحدد معاً التحديثات المقيدة، فيجب اختيارها عبر قاعدة تسجيل مشتركة بدلاً من آليات منفصلة.

2. المنهجية: DualSFT

يقترح المؤلفون DualSFT (الضبط الدقيق مزدوج الاختيار)، وهي خوارزمية ذات خطوة واحدة (One-shot) تقوم باستخراج أهمية المعلمات وفائدة البيانات معاً من إحصائيات التدرج المشتركة. الرؤية النظرية الجوهرية هي صياغة اختيار المعلمات والبيانات كوجهين لمشكلة واحدة لـ بديل الاستجابة المحلية (Local Response-Surrogate) تحت هدف تحقق (Validation Objective) مشترك.

2.1 الأساس النظري: الصياغة ثنائية المستويات والبدائل

تتم صياغة عملية الاختيار كمسألتي تحسين ثنائية المستويات (Bilevel Optimization) تشتركان في هدف تحقق خارجي $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$ ، حيث $\mathcal{L}_{new}$ هو فقدان المهمة المستهدفة، و $\mathcal{L}_{prior}$ يحافظ على القدرات المسبقة للنموذج.

المستوى الخارجي: يختار قناعاً مقيداً بالميزانية (قناع المعلمات $\mathbf{m}_\theta$ أو قناع البيانات $\mathbf{m}_D$ ).
المستوى الداخلي: يحسب التحديث الأمثل للمعلمات $\delta^*$ الناتج عن القناع المختار.

حل هذه المسألة بدقة أمر مستعصٍ بالنسبة للنماذج اللغوية الكبيرة. لذا، يقرب المؤلفون الاستجابة الداخلية باستخدام تحديث تدرج ذي خطوة واحدة عند نقطة فحص (Checkpoint) مرحلية مشتركة $\bar{\theta}$ . ينتج عن ذلك بدائل محلية يعتمد فيها اتجاه التحديث على المجموعة الفرعية المختارة.

2.2 مصفوفة التفاعل المشتركة

من خلال توسيع هدف التحقق حول $\bar{\theta}$ باستخدام تقريبات تايلور من الدرجة الأولى والثانية، اشتق المؤلفون مصفوفة تفاعل التدرج $\mathbf{M} \in \mathbb{R}^{N \times D}$ (حيث $N$ هو عدد العينات و $D$ هو بُعد المعلمات).

أهمية المعلمات: تظهر كـ تجميع عمودي (Column-wise Aggregation) للمصفوفة $\mathbf{M}$ .
فائدة البيانات: تظهر كـ تجميع صفّي (Row-wise Aggregation) للمصفوفة $\mathbf{M}$ .

يكشف هذا الهيكل عن ثنائية الصف والعمود (Row-Column Duality): كلا الإشارتين مشتقتان من نفس الكائن الجبري. وتسمح درجات التسجيل ذات الصيغة المغلقة بتفسير قيمة شابلي (Shapley Value)، حيث تُعامل عملية الاختيار كلعبة تعاونية توفر فيها مصفوفة التفاعل توزيعاً للائتمان (Credit Assignment).

2.3 مسار خوارزمية DualSFT

تنفذ الخوارما في ثلاث مراحل:

الإحماء التجريبي (Pilot Warmup): مرحلة إحماء خفيفة (دورة واحدة، 5% من البيانات) لإنشاء نقطة فحص مستقرة $\bar{\theta}$ وتقدير الانحناء القطري $\hat{c}$ باستخدام مخزن العزم الثاني لـ AdamW.
التسجيل المزدوج في خطوة واحدة (One-Shot Dual Scoring):
- يتم إنشاء متجه إسقاط تحسين التحقق $\mathbf{u}$ : $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$ ، حيث $\mathbf{G}$ هو التدرج المتراكم للتدريب.
- درجات المعلمات: $s_{\theta, d} = u_d G_d$ (تجميع عمودي).
- درجات البيانات: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (تجميع صفّي، يُحسب عبر "ضرب الشبح" Ghost Dot Product لتجنب تجسيد تدرجات كل عينة).
- يتم اختيار أفضل- $k$ من المعلمات وأفضل- $b$ من العينات بناءً على هذه الدرجات الموقعة.
الضبط الدقيق المقيد (Restricted Fine-Tuning): يتم ضبط النموذج بدقة على مجموعة البيانات المختارة باستخدام المعلمات المختارة فقط.

2.4 آلية الحفاظ (Preservation Mechanism)

للتخفيف من النسيان الكارثي دون الوصول إلى بيانات ما قبل التدريب، يستخدم DualSFT التقطير الذاتي الموزون بالثقة (CWSD). تقوم هذه الآلية ببناء اتجاه الحفاظ $\nabla \mathcal{L}_{prior}$ عن طريق تقليل تباعد KL بين النموذج الحالي والنموذج الأصلي المدرب مسبقاً على مجموعة مرجعية، مع وزن ذلك بثقة تنبؤات النموذج الأصلي.

3. المساهمات الرئيسية

نظرية التسجيل الموحدة: اشتقاق قاعدة تسجيل بديلة للاستجابة مشتركة تحول مسائل اختيار المعلمات والبيانات المنفصلة إلى تجميعات صفّية وعمودية لمصفوفة تفاعل تدرج واحدة، مدعومة بتفسير "شابلي" محلي.
خوارزمية DualSFT: خوارزمية تسجيل مزدوج عملي في خطوة واحدة تنسق بين اختيار المعلمات والبيانات في آن واحد، مما يلغي عمليات التسجيل المكررة وفجوات التنسيق الموجودة في النماذج الهجينة المتسلسلة.
اتجاه الحفاظ: اتجاه حفظ خالٍ من المتون (Corpus-free) باستخدام CWSD يعمل بفعالية على الحد من النسيان أثناء الضبط الدقيق المقيد.
التحقق التجريبي: تجارب شاملة على نماذج 3B–9B (Llama-3.2, Gemma-3, Qwen-3.5) عبر مهام توليد الأكواد والاستدلال الرياضي.

4. النتائج التجريبية

أُجريت التجارب على Magicoder (الأكواد) وMetaMathQA (الرياضيات) بميزانيات متطابقة (10% بيانات، 5% معلمات).

الأداء: يتفوق DualSFT على النماذج أحادية المحور (مثل LESS, S2FT, NanoAdam) والنماذج الهجينة المتسلسلة (مثل LESS + S2FT, SPICE + NanoAdam).
- في نموذج Llama-3.2-3B (Magicoder)، حقق DualSFT الكامل 47.10% في النتيجة الإجمالية، متفوقاً على أقوى هجين متسلسل (SPICE + NanoAdam بنسبة 44.71%) بـ 2.39 نقطة.
- تفوقت متغيرات DualSFT باستمرار على مجموعات المقارنة الخاصة بها في كل من المرونة (أداء المهمة المستهدفة) والاستقرار (الحفاظ على القدرات العامة).
الكفاءة: يقلل DualSFT من تكاليف الضبط الدقيق. حقق DualSFT الكامل نتائجه باستخدام 7.4 ساعة GPU و28.5 جيجابايت من ذروة ذاكرة الاختيار، متفوقاً على الهجين المتسلسل في المقايضة المشتركة بين القيود.
الدراسات الاستقصائية (Ablations):
- إزالة خطوة الإحماء أثرت سلباً بشكل كبير على المرونة.
  [] إزالة CWSD أثرت سلباً بشكل كبير على الاستقرار.
- استخدام التسجيل من الدرجة الأولى فقط (تجاهل الانحناء القطري) تسبب في أكبر انخفاض في الأداء الإجمالي، مما يؤكد صحة التقريب من الدرجة الثانية.
التحليل التشخيصي: تؤكد الورقة أن التسجيل في خطوة واحدة يلتقط معظم البنية المشتركة، حيث أن إعادة التسجيل لجانب واحد بعد تثبيت الآخر (Re-selection) لا يحقق سوى مكاسب طفيفة (أقل من 0.12 نقطة) مقابل زيادة كبيرة في الحوسبة.

5. الأهمية والادعاءات

تدعي الورقة أن DualSFT يمثل تحولاً من معاملة اختيار المعلمات والبيانات كاستدلالات مستقلة إلى رؤيتهما كـ موارد تكيف مترابطة. ومن خلال اشتقاق كلا الإشارتين من بديل واحد لتحسين التحقق، فإن الطريقة:

تقلل التكرار: تلغي الحاجة إلى آليات تسجيل منفصلة ومرات مرور شرطية متكررة.
تحسن التنسيق: توائم بين محاور الاختيار قبل التحديث المشترك، مما يتجنب "فجوة التنسيق" حيث تختلط الإشارات غير المتحقق منها في عمليات الاختيار المستقلة.
توازن المقايضات: تحقق حدوداً أفضل لـ (الاستقرار-المرونة-الكفاءة) مقارنة بالطرق الحالية سواء كانت متسلسلة أو أحادية المحور تحت ميزانيات متطابقة.

يشير المؤلفون بتواضع إلى أن الطريقة تعتمد على بديل محلي، مما يعني أن دقة التسجيل قد تتراجع مع ابتعاد التحسين عن نقطة فحص الإحماء. ويقترحون إعادة التسجيل الديناميكي كاتجاه مستقبلي لآفاق التكيف الأطول، لكنهم يؤكدون أن نهج الخطوة الواحدة فعال للغاية للغاية للميزانيات المدروسة.