Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان "تنظيف الرموز (Token Cleaning): اختيار البيانات دقيق التفاصيل للضبط الدقيق الموجه للنماذج اللغوية الكبيرة (LLM SFT)."

1. بيان المشكلة

بينما تؤكد الدراسات الحديثة أن جودة البيانات أكثر أهمية من كميتها في عملية الضبط الدقيق الموجه (SFT) للنماذج اللغوية الكبيرة، فإن طرق تنظيف البيانات الحالية تعمل بشكل أساسي على مستوى العينة (Sample level). فهي تقوم بتصفية أزواج (التعليمات-الاستجابة) ذات الجودة المنخفضة بالكامل بناءً على مقاييس مثل الارتياب (Perplexity) أو التقييمات التي تولدها النماذج اللغوية الكبيرة.

ويجادل المؤلفون بأن هذا النهج يتجاهل الضوضاء على مستوى الرمز (Token-level noise). فحتى داخل العينات عالية الجودة، يمكن لرموز معينة (مثل العبارات الشائعة، الهياكل الزائدة، أو الكلمات الحشوية غير المعلوماتية) أن تكون ضوضائية، أو غير معلوماتية، أو حتى ضارة. إن الاستمرار في الضبط الدقيق على هذه الرموز يؤدي إلى إدخال تدرجات (Gradients) مضللة، ويقلل من نسبة الإشارة إلى الضوضاء، ويمكن أن يؤدي إلى تدهور الأداء في المهام اللاحقة. تكمن المشكلة الجوية في كيفية تحديد وتصفية هذه الرموز غير المعلوماتية مع الحفاظ على الرموز المعلوماتية التي تحمل معرفة خاصة بالمهمة، دون التخلص من العينة بأكملها.

2. المنهجية

تقترح الورقة خط معالجة عام لتنظيف الرموز يُنظر إليه من منظور تعلم الملصقات الضوضائية (Noisy Label Learning). الفكرة الجوهرية هي تقييم "جودة" كل رمز بناءً على تأثيره على تحديثات النموذج.

أ. التقييم الموجه بالتأثير (Influence-Guided Scoring)

تحدد الطريقة درجة جودة الرمز بناءً على تفاوت الخسارة (Loss Disparity) بين النموذج الأساسي ($\theta$) والنموذج المرجعي ($\theta'$).

• دالة الدرجة (Score Function): $Score(x_{i,j}) = -Infl(x_{i,j}) = \ell(x_{i,j} | \theta) - \ell(x_{i,j} | \theta')$
• المنطق: إذا تسبب الرمز في تقليل كبير في الخسارة عند الانتقال من النموذج الأساسي إلى نموذج مرجعي أفضل، فإنه يعتبر "معلوماتياً" (درجة عالية). أما إذا ظلت الخسارة مرتفعة أو زادت، فمن المرجح أن يكون الرمز "غير معلوماتي" أو ضوضائياً.
• وضع العتبة (Thresholding): يتم ترتيب الرموز حسب الدرجة، ويتم الاحتفاظ بنسبة ثابتة (على سبيل المثال، أفضل 60%) كرموز "نظيفة" ($\hat{y}_{i,j}=1$)، بينما يتم حجب البقية ($\hat{y}_{i,j}=0$) أثناء التدريب.

ب. استراتيجيتان للتنظيف

تقدم الورقة تنفيذين لاختيار النموذج الأساسي والمرجعي:

1. التنظيف بالنموذج الثابت (مرة واحدة - One-Shot):

   • يستخدم نموذجاً أساسياً ثابتاً ونموذجاً مرجعياً ثابتاً (نموذج مدرب مسبقاً أقوى) لكامل مجموعة البيانات.
   • يحسب الدرجات لجميع الرموز في تمريرة واحدة.
   • يقوم بالضبط الدقيق للنموذج الأساسي على الرموز التي تم تصفيتها عالمياً.
   • المزايا: مستقر، وفعال من حيث الحوسبة. العيوب: محدود بالجودة الثابتة للنموذج المرجعي.

2. التنظيف ذاتي التطور (التكراري - Self-Evolving):

   • الآلية: يتم تقسيم مجموعة البيانات إلى $T$ من المجموعات الفرعية.
     • التكرار 0: مرحلة الإحماء (Warm-up) للنموذج الأساسي على المجموعة الفرعية الأولى (الرموز الكاملة) لإنشاء النموذج المرجعي الأولي ($\theta_1$).
     • التكرار $t$: استخدام النموذج الأساسي ($\theta_0$) والنموذج المرجعي الحالي ($\theta_t$) لحساب الدرجات وتنظيف المجموعة الفرعية التالية ($D_t$).
     • التحديث: ضبط $\theta_t$ دقيقًا على المجموعة الفرعية المنظفة لإنتاج $\theta_{t+1}$، والذي يصبح هو المرجع للتكرار التالي.
   • النتيجة: النموذج النهائي هو النموذج المرجعي من التكرار الأخير.
   • المزايا: يتكيف مع توزيع البيانات، ويقوم بتحسين إشارة الإشراف تدريجياً (تأثير ماثيو - Matthew Effect).

3. المساهمات الرئيسية

• خط معالجة مبتكر: إطار عمل عام لـ اختيار البيانات على مستوى الرمز في عملية الضبط الدقيق الموجه (SFT)، مما ينقل التركيز من تصفية العينات إلى تصفية الرموز بدقة.
• استراتيجية ذاتية التطور: نهج تكراري يقوم بتحديث النموذج المرجعي أثناء عملية التنظيف، مما يسمح نظرياً بتحسين إشارات الإشراف بشكل تدريجي.
• التحليل النظري:
  • وضع حداً أعلى للخطأ (Error upper bound) للتعلم باستخدام الرموز الكاملة (النظرية 5.1)، موضحاً أن الخطأ يعتمد على معدل الضوضاء وكمية البيانات.
  • إثبات أن تنظيف الرموز يحسن الأداء إذا كان تقليل معدل الضوضاء يفوق تقليل حجم البيانات (النتيجة 5.2).
  • تحليل تأثير ماثيو (Matthew Effect) في التنظيف ذاتي التطور: "الغني يزداد غنى" (مجموعات البيانات عالية الجودة تتحسن بسرعة) مقابل "الفقير يزداد فقراً" (مجموعات البيانات منخفضة الجودة تتدهور إذا كان النموذج المرجعي ضعيفاً).
• التحقق التجريبي الشامل: تجارب واسعة النطاق عبر أحجام نماذج مختلفة (3B, 7B, 8B) ومعايير متنوعة (MMLU, TruthfulQA, إلخ).

4. النتائج التجريبية

• مكاسب الأداء: تفوقت الطرق المقترحة باستمرار على النماذج المرجعية (بما في ذلك الرموز الكاملة Full Tokens، والاختيار العشوائي، وطريقة اختيار الرموز RHO).
  • على نموذج LLaMA-3.2-3B، حقق التنظيف ذاتي التطور تحسناً متوسطاً بنسبة 6.3% مقارنة بالأساس (الرموز الكاملة).
  • على LLaMA-3.1-8B و Mistral-7B، تراوحت التحسينات بين 2.0% إلى 4.4%.
• الترتيب العالمي مقابل المحلي: أظهرت الورقة أن الترتيب العالمي (Global Ranking) (ترتيب الرموز عبر مجموعة البيانات بأكملها، كما في تنظيف النموذج الثابت) يتفوق على الترتيب المحلي (Local Ranking) (ترتيب الرموز داخل كل عينة، كما في RHO). الفشل في الترتيب المحلي يكمن في عدم القدرة على التمييز بفعالية بين العينات عالية الجودة ومنخفضة الجودة، مما يبقي على الضوضاء من العينات السيئة.
• نسبة الرموز المثلى: أظهرت التجارب أن الاحتفاظ بنحو 50%–70% من الرموز يحقق أفضل النتائج. إن تصفية حوالي 30–40% من الرموز (إزالة الضوضاء غير المعلوماتية) يعزز الأداء بشكل كبير.
• السلوك التكراري: في التنظيف ذاتي التطور، أظهرت المهام التي تتطلب معرفة واقعية (مثل MMLU) تدهوراً طفيفاً في التكرارات المتأخرة (تأثير "الفقير يزداد فقراً")، بينما أظهرت مهام الاستدلال (مثل TruthfulQA) تحسناً مستمراً ("الغني يزداد غنى").

5. الأهمية والآثار المترتبة

• إعادة تعريف كفاءة البيانات: تتحدى هذه الورقة المفهوم القائل بأن "البيانات الأكثر هي دائماً الأفضل"، وتثبت أن إزالة الضوضاء دقيقة التفاصيل أمر بالغ الأهمية في عملية الضبط الدقيق الموجه (SFT). وهي تشير إلى أن مجموعة صغيرة ومنقحة بعناية من الرموز هي أكثر قيمة من مجموعة كبيرة من العينات الخام.
• الأساس النظري: من خلال صياغة اختيار الرموز كمسألة "ملصقات ضوضائية" وتقديم حدود للخطأ، يقدم العمل تبريراً نظرياً لسبب نجاح تصفية رموز معينة، مما يسد الفجوة بين النجاح التجريبي والفهم النظري.
• القابلية للتطبيق العملي: يتوافق خط المعالجة مع نماذج التدريب القياسية (مثل LoRA) ولا يتطلب إعادة تسمية (Annotation) معقدة. توفر استراتيجية "ذاتية التطور" مساراً لتنسيق إشارات إشراف عالية الجودة تلقائياً دون تدخل بشري.
• الاتجاهات المستقبلية: يسلط المؤلفون الضوء على أنه بينما الطريقة فعالة، فإن ظاهرة "الفقير يزداد فقراً" في التنظيف التكراري تشير إلى الحاجة إلى مراقبة دقيقة لجودة النموذج المرجعي أثناء عملية التطور.

باخت-صار، يوفر تنظيف الرموز (Token Cleaning) منهجية قوية ومؤسسة نظرياً لتعزيز الضبط الدقيق الموجه (SFT) للنماذج اللغوية الكبيرة عبر تصفية الضوضاء غير المعلوماتية على مستوى الرمز، محققاً مكاسب كبيرة في الأداء مع تقليل العبء الحوسبي مقارنة بالتدريب على مجموعات البيانات الكاملة.