🤖 machine learning

From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

تقدم هذه الورقة AutoSelection، وهو إطار عمل مبتكر يعيد صياغة عملية اختيار بيانات الضبط الدقيق الخاضع للإشراف كمسألة بحث عن وصفة لمجمع ثابت، وذلك باستخدام حلّال ثنائي الطبقات لاكتشاف وصفات التنسيق المثلى بكفاءة من مجمع تعليمات خام دون توليد عينات جديدة، مما يؤدي إلى التفوق على طرق ترتيب العينات التقليدية والتدريب على البيانات الكاملة عبر نماذج ومهام متعددة.

المؤلفون الأصليون: Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إعداد الحساء المثالي. لديك مخزن ضخم (مجمع البيانات الخام) مليء بـ 90,000 مكون مختلف (تعليمات). هدفك هو اختيار أفضل مجموعة من المكونات لصنع حساء مذاقه رائع (نموذج ذكاء اصطناٍء ذكي).

الطريقة القديمة: قائمة "أفضل 10"

حاول الطهاة (وباحثو الذكاء الاصطناعي) تقليديًا حل هذه المشكلة عن طريق تذوق كل مكون على حدة، وإعطاء كل واحد منها درجة، ثم أخذ أعلى 10 عناصر فقط.

المشكلة: مجرد كون المكون مذاقه جيد بمفرده لا يعني بالضرورة أنه سيعمل بشكل جيد في الحساء. ربما تحتاج إلى القليل من الفلفل الحار قبل إضافة الملح، أو ربما تحتاج إلى إزالة الخضروات المائية قبل إضافة الأعشاب. الطريقة القديمة أغفلت الترتيب والتركيبة. لقد عاملت الحساء كقائمة بسيطة من "أفضل العناصر" بدلاً من كونه وصفة.

الفكرة الجديدة: "البحث عن الوصفة"

تقترح هذه الورقة البحثية، AutoSelection، نهجًا مختلفًا. فبدلاً من مجرد اختيار أفضل المكونات، يجب أن نبحث عن أفضل وصفة.

فكر في الوصفة كمجموعة من التعليمات:

استبعاد جميع الخضروات الباهتة.
خلط الفلفل الحار مع الليمون الحامض.
إزالة أي توابل مكررة.
الإبقاء فقط على أفضل 50% من الخليط المتبقي.

تسمي الورقة هذا النهج البحث عن وصفة البيانات ذات المجموعة الثابتة (Fixed-Pool Data Recipe Search). "المخزن" يبقى كما هو تمامًا (نحن لا نشتري مكونات جديدة أو نخترع مكونات جديدة)؛ نحن فقط نجرب تسلسلات مرتبة مختلفة من العمليات لنرى أي منها سينتج الطبق النهائي الأفضل.

كيف يعمل AutoSelection (الطاهي الذكي)

البحث عن الوصفة المثالية أمر مكلف. لاختبار وصفة ما، عليك طهي الحساء فعليًا (تدريب نموذج الذكاء الاصطناعي) وتذوقه (تشغيل اختبارات قياس الأداء). لديك ميزانية محدودة للقيام بذلك (على سبيل المثال، 15 محاولة). لا يمكنك التخمين عشوائيًا؛ بل تحتاج إلى استراتيجية ذكية.

AutoSelection هو نظام "طاهٍ ذكي" مكون من طبقتين يساعدك في العثات على أفضل وصفة دون إضاعة ميزانيتك:

"ورقة الغش" (الإشارات المخزنة مؤقتًا): قبل أن تبدأ في الطهي، ينظر النظام إلى المخزن ويدون ملاحظات حول كل مكون: "هذا حار"، "هذا ثقيل"، "هذان متشابهان جدًا". وبهذه الطريقة، عندما تختبر وصفة جديدة، لا تضطر لتذوق كل مكون من الصفر. إنه يستخدم هذه الملاحظات المكتوبة مسبقًا للتنبؤ بما قد تبدو عليه الوصفة.
"التجربة الأولية" (الإحماء): قبل الالتزام بجلسة طهي كاملة، يجرب الطاهي ثلاث اختبارات سريعة وصغيرة ليرى ما إذا كان الحساء يحتاج لأن يكون كبيرًا، أو متوسطًا، أو صغيرًا. هذا يساعد في تهيئة المشهد.
"اختبار التذوق" (متجهات الحالة): عند تنفيذ وصفة ما، لا ينظر النظام فقط إلى النتيجة النهائية. بل ينظر إلى حالة الحساء: "هل احتفظنا بما يكفي من المكونات؟ هل النكهة متوازنة؟" يقوم بإنشاء "متجه حالة" (تقرير ملخص) للمكونات المختارة.
"لجنة التذوق" (متحكم البحث):
- الملخص (Summarizer): يقرأ تاريخ الحساءات السابقة ويقول: "مهلاً، في كل مرة أضفنا فيها الملح بعد الفلفل، كان المذاق رائعًا".
- المقترح (Proposer): يقترح تنويعات جديدة للوصفة بناءً على تلك النصيحة (مثل: "لنحاول تغيير ترتيب الملح والفلفل").
- المصنف (Ranker): ينظر إلى الاقتراحات الجديدة ويستخدم "عملية غاوسية" (مخمن رياضي متطور) للتنبؤ بأيها من المرجح أن يكون جيدًا، ثم يختار المرشح الأفضل لتنفيذ عملية الطهي فعليًا.
- إعادة التوزيع (Reseeder): إذا استمر الطاهي في صنع نفس الحساء ولم يتحسن، يقول النظام: "حسنًا، لنلقِ بهذه الفكرة الحالية ونجرب نقطة انطلاق مختلفة تمامًا".

النتائج: هل نجح الأمر؟

اختبر الباحثون هذا على ثلاثة نماذج مختلفة من الذكاء الاصطناعي (صغيرة ومتوسطة الحجم) باستخدام مجمع تعليمات مكون من 90,000 عنصر. وقارنوا AutoSelection مع:

استخدام المخزن بالكامل (البيانات الكاملة).
اختيار الوصفات عشوائيًا.
مجرد اختيار "أفضل 10" مكونات (المشغل المنفرد).

النتائج:

حساء أفضل: أنتج AutoSelection نماذج أكثر ذكاءً في مهام الاستدلال حتى من النماذج التي تم تدريبها على مجموعة البيانات الكاملة المكونة من 90,000 عنصر.
الترتيب مهم: أثبتوا أن تسلسل الخطوات مهم. على سبيل المثال، القيام بـ "الخطوة أ ثم الخطوة ب" أنتج نتيجة أفضل بكثير من "الخطوة ب ثم الخطوة أ"، حتى لو كانت المكونات هي نفسها.
الاستقرار: لم يحالف النظام الحظ مرة واحدة فحسب، بل وجد وصفات جيدة باستمرار عبر محاولات متعددة.
القابلية للنقل: الوصفة التي نجحت مع نموذج صغير (1.5 مليار معلمة) مالت للعمل بشكل جيد مع نموذج أكبر (7 مليارات معلمة)، مما يشير إلى أن "الوصفة" نفسها تلتقط شيئًا جوهريًا حول البيانات الجيدة.

الخلاصة

تجادل هذه الورقة بأن جعل الذكاء الاصطناعي أكثر ذكاءً لا يتعلق فقط بإيجاد أفضل نقاط البيانات، بل يتعلق بإيجاد أفضل عملية لتصفية وخلط هذه البيانات. ومن خلال معاملة اختيار البيانات كـ بحث عن وصفة بدلاً من مجرد قائمة تصنيف، وباستخدام محرك بحث ذكي ومدرك للميزانية (AutoSelection) للعثور على تلك الوصفة، يمكننا بناء نماذج ذكاء اصطناٍء أفضل بجهد أقل.

ما ليس عليه البحث:

هو لا يخترع بيانات جديدة أو يعيد كتابة التعليمات.
لا يستخدم الذكاء الاصطناعي لإنشاء عينات تدريب جديدة.
لا يدعي أنه يعمل للتشخيص الطبي أو الاستخدامات السريرية المحددة (فهو يركز حصريًا على اختبارات الاستدلال العامة مثل الرياضيات والألغاز المنطقية).

ملخص تقني: من اختيار العينات إلى البحث عن وصفة بيانات ذات مجموعة ثابتة

صياحة المشكلة

تُصاغ النهج الحالية لاختيار بيانات الضبط الدقيق الخاضع للإشراف (SFT) بشكل أساسي كـ ترتيب على مستوى العينة (instance-level ranking): أي تقييم العينات الفردية بناءً على استدلالات تجريبية، أو تقديرات التأثير، أو التمثيلات المتعلمة، ثم الاحتفاظ بمجموعة فرعية من أعلى- $k$ عينة. وبينما تعد هذه الطريقة فعالة، إلا أن هذا المنظور يغفل الواقع العملي لتجميع مجموعات بيانات الـ SFT، والتي غالبًا ما تتضمن سير عمل متعدد المراحل للتنقية، يشمل التصفية، وخلط المصادر، وإزالة التكرار، والتنظيف.

تعيد هذه الورقة صياغة المشكلة كـ بحث عن وصفة بيانات ذات مجموعة ثابتة (fixed-pool data recipe search). في هذا الإطار:

مجموعة التعليمات الخام ( $D_0$ ) ثابتة.
توجد مكتبة من العمليات المرتكزة ( $O$ ) (مثل التصفية حسب الصعوبة، إزالة التكرار، والخلط).
"الوصفة" المرشحة هي تسلسل مرتب من هذه العمليات.
الهدف ليس تعيين درجة نهائية لكل عينة، بل اكتشاف وصفة قابلة للتنفيذ تبني مجموعة فرعية عالية الجودة تحت ميزانية محدودة من تقييمات الـ SFT الكاملة.
والأهم من ذلك، لا تقوم الطريقة بتوليد أو إعادة كتابة أو تعزيز عينات التدريب؛ بل تكتفي فقط باختيار وتكوين البيانات الموجودة.

هذه الصياغة تستوعب عملية اختيار الـ top- $k$ أحادية العملية (باعتبارها وصفة من طول واحد كحالة متدهورة) ولكنها تعمل صراحةً على تحسين تركيب العمليات، وترتيبها، وحالات المجموعات الفرعية الوسيطة الناتجة عنها.

المنهجية: AutoSelection

يقدم المؤلفون AutoSelection، وهو حل ذو طبقتين مصمم للتنقل في فضاء وصفات التركيب بكفاءة تحت قيود التقييم المكلفة.

1. طبقة تجسيد المجموعة الثابتة (التفكير الجانبي الرخيص للبحث)
لتجنب إعادة حساب الإشارات المكلفة لكل مرشح، يقوم AutoSelection بتخزين الإشارات المرتكزة على المجموعة الخام الموحدة ( $D'_0$ ):

إشارات جانب المهمة: تشابه التنشيط المشروط بالمعايير المرجعية (اتباعًا لـ MONA).
إشارات جانب البيانات: الخصائص الجوهرية مثل التنوع اللفظي (إنتروبيا N-gram) وتفرع الفعل-المفعول به.
إشارات جانب النموذج: استجابات النموذج الأساسي المخزنة، بما في ذلك صعوبة اتباع التعليمات (IFD)، والتباين الإنتروبي (varentropy)، وإحصائيات التنشيط المتناثر.
متجهات الحالة (State Vectors): لأي وصفة مجسدة، يلخص متجه الحالة $z(r)$ خصائص المجموعة الفرعية المتحققة (مثل نسب الرموز المستبقاة، انزياح التوزيع، وصلة المهمة). وهذا يسمح لمتحكم البحث بمقارنة المجموعات الفرعية المرشحة قبل الالتزام بتقييم SFT كامل.

2. طبقة متحكم البحث (تخصيص الميزانية)
يدير المتحكم المقايضة بين الاستكشاف والاستغلال باستخدام ميزانية قدرها $B$ من التقييمات الكاملة:

جسات الإحماء (Warmup Probes): يبدأ البحث بجس ثلاثة مستويات متميزة من مقياس البيانات (احتفاظ منخفض، متوسط، وعالٍ) لإنشاء مرساة بذرة أولية وتحديد مستويات الاحتفاظ الواعدة.
التحسين المحلي: باستخدام الملخص (Summarizer)، يقوم النظام بتحويل التاريخ المُقيم إلى فرضيات مدعومة بالبيانات. ثم يقوم المقترح (Proposer) بتوليد وصفات مرشحة شقيقة عبر إجراء تعديلات محلية (إدراج، حذف، تبديل، أو ضبط الخطوات) حول البذرة الحالية.
الترتيب: يختار المصنف (Ranker) أفضل مرشح واحد للتقييم الكامل. وهو يجمع بين:
- هيكل الوصفة.
- متجه الحالة المتحقق.
- نموذج بديل لعملية التنبؤ (Gaussian Process - GP) بناءً على ترميزات الوصفة.
- بيانات البحث التاريخية.
إعادة التأسيس عند الركود: إذا فشل البحث في تحسين أفضل نتيجة حالية لعدد $P$ من الخطوات المتتالية، يقوم المعيد للتأسيس (Reseeder) بتحديث مرساة البذرة عبر اختيار نمط (motif) واعد جديد من التاريخ، مما يمنع البحث من العلوق في المناطق المشبعة محليًا.

تُستخدم النماذج اللغوية (تحديدًا DeepSeek-R1) حصريًا كمساعدين في جانب البحث لتلخيص التاريخ، واقتراح تعديلات مرتكزة، وترتيب المرشحين، وإعادة التأسيس؛ وهي لا تعيد كتابة أو تولد بيانات تدريب.

المساهمات الرئيسية

صياغة المشكلة: صاغ المؤلفون عملية تنقية بيانات SFT كمسألة تحسين "الصندوق الأسود" بميزانية محددة فوق وصفات قابلة للتنفيذ على مجموعة خام ثابتة، مما يجعل تركيب العمليات وترتيبها أهدافًا صريحة للتحسين.
المنهج (AutoSelection): حل ذو طبقتين يفصل بين تجسيد المرشح المخزن وبين تقييم SFT الكامل المكلف، مستخدمًا جسات الإحماء، والتعديلات المحلية المدركة للحالة، والترتيب بمساعدة GP، وإعادة التأسيس عند الركود.
الأدلة التجريبية: تقييم شامل عبر ثلاثة نماذج أساسية (Qwen2.5-1.5B/3B, Llama3.2-1B) على مجموعة تعليمات تضم 90 ألف عينة.

النتائج التجريبية

تم التقييم على مجموعة تعليمات مكونة من 90 ألف عينة مع ميزانية قدرها 15 تقييم SFT كامل:

الأداء: حقق AutoSelection أقوى متوسط استدلال داخل التوزيع عبر النماذج الثلاثة، متفوقًا على التدريب بكامل البيانات، والبحث العشوائي في الوصفات، والـ top-k العشوائي، والمصنفات أحادية العملية.
- التحسن على التدريب بكامل البيانات: +1.82 (Llama3.2-1B)، و+3.40 (Qwen2.5-1.5B)، و+3.72 (Qwen2.5-3B) نقطة.
- التحسن على أقوى خط أساس غير تابع لـ AutoSelection: من +0.90 إلى +2.89 نقطة.
التعميم خارج التوزيع (OOD): في اختبارات الاستدلال الرسومي المحجوزة (GraphWiz, NLGraph)، ظل AutoSelection منافسًا، حيث احتل المركز الأول في Qwen2.5-1.5B وتساوى تقريبًا مع أفضل خط أساس في Qwen2.5-3B.
الاستقرار: أظهرت ثلاث عمليات تشغيل مستقلة على نموذج 1.5B نطاق درجات ضيقًا (0.59 نقطة)، مما يشير إلى أن المكاسب ليست ناتجة عن عملية حظ واحدة.
الدراسات الاستبعادية (Ablations):
- إزالة الإحماء (Warmup) جعلت البحث يقضي التقييمات المبكرة في مناطق منخفضة الدرجات.
- إزالة الملخص (Summarizer) أدت إلى مسار أكثر سلاسة ولكن بوصفة نهائية أضعف.
- إزالة إعادة التأسيس (Reseeding) أدت إلى منحنى "أفضل نتيجة حتى الآن" أكثر تسطحًا، مما يشير إلى صعوبة الهروب من الأمثل المحلية.
- إزالة متجهات الحالة (State Vectors) عرضت البحث لمرشحين بـ "أشكال" واعدة ولكن بحالات مجموعات فرعية ضعيفة.
الحساسية الهيكلية: أكدت الاستبعادات الهيكلية المتطابقة مع البذرة أن ترتيب العمليات وتركيبها يؤثران بشكل كبير على الأداء بما يتجاوز مجرد وجود عمليات محددة.
القابلية للنقل: أظهر فحص النقل من 1.5B إلى 7B ارتباط رتب سبيرمان إيجابيًا ( $\rho=0.82$ )، مما يشير إلى أن أنماط البيانات عالية الجودة المكتشفة على النماذج الأصغر يمكن أن تكون مفيدة للنماذج الأكبر، رغم أن الحفاظ الدقيق على الرتب ليس مضمونًا.

الأهمية والادعاءات

تدعي الورقة أن قيمة AutoSelection لا تكمن في اكتشاف أفضل مُصنف واحد عالميًا، بل في تخصيص عدد صغير من التقييمات الكاملة لإيجاد تركيب أقوى من قرارات التنقية المرتكزة.

يجادل المؤلفون بأن:

هيكل الوصفة مهم: إن ترتيب وتفاعل العمليات (مثل التصفية قبل إزالة التكرار مقابل بعدها) له تأثير ملموس على أداء SFT اللاحق، مما يدعم رؤية وصفات البيانات كأهداف تحسين من الدرجة الأولى.
التحكم في المجموعة الثابتة: من خلال قصر البحث على مجموعة خام ثابتة دون توليد أو إعادة كتابة، تعزل الطريقة آثار خيارات العمليات عن الارتباكات الناتجة عن تخليق البيانات أو هندسة الأوامر (Prompt Engineering).
الكفاءة: يوضح النهج أن استراتيجيات البحث الفعالة (الإحماء، الترتيب المدرك للحالة، إعادة التأسيس) يمكن أن تسفر عن مجموعات فرعية أفضل من التدريب بكامل البيانات أو البحث العشوائي ضمن ميزانية تقييم صارمة.

يضع هذا العمل العمل كبديل منضبط لأنظمة توليد البيانات المدفوعة بالنماذج اللغوية الكبيرة، مع التركيز على تحسين سير عمل البيانات الموجودة بدلاً من تخليق بيانات جديدة.