Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

إليك ملخص تقني مفصل لورقة البحث بعنوان "إعادة الكتابة الاصطناعية كمضاعف للجودة: أدلة من التدريب المسبق المستمر للغة البرتغالية."

1. بيان المشكلة

شهدت النماذج اللغوية الكبيرة (LLMs) تقدماً غير متكافئ عبر اللغات، حيث تعاني اللغات غير الإنجليزية مثل البرتغالية من ندرة في المجموعات النصية أحادية اللغة عالية الجودة وواسعة النط scale. وبينما يعد التدريب المسبق المستمر (تكييف النماذج التي تركز على الإنجليزية مع بيانات باللغة المستهدفة) استراتيجية قياسية، إلا أنه غالباً ما يكون مقيداً بميزانيات بيانات محدودة.

تشير الأعمال الحديثة إلى أن توليد البيانات الاصطناعية (تحديداً إعادة كتابة المستندات) يمكن أن يحسن كفاءة التدريب المسبق. ومع ذلك، توجد فجوة حرجة في فهم كيفية تفاعل جودة البيانات المصدرية مع عملية إعادة الكتابة. لا يزال من غير الواضح ما إذا كانت إعادة الكتابة يمكن أن تعوض عن المدخلات منخفضة الجودة أم أنها مجرد وسيلة لتضخيم جودة البيانات المختارة بالفعل. تعالج هذه الورقة هذا التساؤل من خلال طرح السؤال التالي: هل يمكن لإعادة الكتابة الاصطناعية أن تضاعف فوائد التدريب المسبق المحدود للغة البرتغالية، وهل تهم جودة البيانات الأصلية؟

2. المنهجية

أجرى المؤلفون دراسة محكومة باستخدام ClassiCC-PT، وهو متن لغوي للغة البرتغالية بحجم 120 مليار توكن (Token)، مصنف وفق درجات جودة مستمرة في مجالات STEM والتعليم (من 0 إلى 5).

بناء البيانات

• المجموعات الفرعية المصدرية: تم إنشاء مجموعتين فرعيتين كل منهما بحجم 10 مليار توكن:
  • عالية الجودة (Edu): مستندات ذات درجات STEM/تعليمية تزيد عن 2.5.
  • منخفضة الجودة (Non-Edu): مستندات تتراوح درجاتها بين 0.5 و2.0.
• إعادة الكتابة الاصطناعية: تمت إعادة كتابة كل مجموعة فرعية باستخدام نموذج Qwen-2.5-7B مضبوط للتعليمات إلى أربعة أساليب متميزة:
  1. سهل (Easy): مفردات وبنية جمل مبسطة.
  2. متوسط (Medium): أسلوب نظيف وموسوعي (شبيه بويكيبيديا).
  3. صعب (Hard): أسلوب تقني ورسمي مع مصطلحات متخصصة.
  4. سؤال وجواب (QA): تحويل المحتوى إلى صيغة سؤال وجواب.
• ظروف التدريب:
  • حالات إعادة الكتابة: دمج 10 مليار توكن أصلي + حوالي 30 مليار توكن اصطناعي (4 أساليب) = حوالي 40 مليار توكن فريد.
  • حالات الخط المرجعي (Baseline): تكرار الـ 10 مليار توكن الأصلي لعدة دورات (Epochs) لمطابقة ميزانية الـ 40 مليار توكن (لضمان تكلفة حوسبة متساوية، رغم انخفاض التنوع الفريد).

النماذج والتقييم

• النماذج الأساسية: تم إجراء تدريب مسبق مستمر لنموذجين يركزان على الإنجليزية:
  • 1.1 مليار معلمة (مبني على TinyLLaMA).
  • 7 مليار معلمة (مبني على LLaMA-2).
• الاختبار المعياري: PoETa V2، وهو اختبار معياري شامل للغة البرتغالية يضم 44 مهمة عبر مجالات لغوية واستدلالية.
• المقياس: مقياس الأداء الطبيعي (NPM)، الذي يقوم بتوسيع الدرجات من 0 (عشوائي) إلى 100 (مثالي) للسماح بمتوسط الدرجات عبر المهام.

3. المساهمات الرئيسية

1. التفاعل المنهجي بين الجودة وإعادة الكتابة: تعد هذه الدراسة الأولى التي تعزل صراحةً التفاعل بين جودة البيانات المصدرية وإعادة الكتابة الاصطناعية للغة البرتغالية، مما يثبت أن إعادة الكتابة ليست حلاً عالمياً بل هي مضاعف للجودة.
2. النتائج المعتمدة على الحجم: تكشف الورقة أن فعالية إعادة الكتابة تعتمد بشدة على حجم النموذج، حيث تظهر فوائد قوية عند حجم 7B، بينما تكون الفوائد ضئيلة أو غير متسقة عند حجم 1.1B.
3. تصميم تجريبي محكوم: باستخدام ميزانية توكن ثابتة ومتن لغوي عالي الجودة ومصنف (ClassiCC-PT)، تفصل الدراسة بين تأثيرات كمية البيانات، وجودة البيانات، والتحويل الاصطناعي.

4. النتائج الرئيسية

أ. نموذج 7B (الحجم الكبير)

• البيانات عالية الجودة: حققت إعادة كتابة البيانات عالية الجودة مكسباً كبيراً قدره +3.4 NPM مقارنة بالخط المرجعي عالي الجودة غير المعدل (41.0 مقابل 37.7). واستمر منحنى التعلم في الارتفاع، مما يشير إلى تعلم مستدام.
• البيانات منخفضة الجودة: وفرت إعادة كتابة البيانات منخفضة الجودة مكسباً هامشياً فقط قدره +0.5 NPM (35.8 مقابل 35.2).
• الاستنتاج: تعمل إعادة الكتابة كـ مضاعف للبيانات الجيدة، وليس كبديل للبيانات الضعيفة. "فجوة الجودة" بين البيانات العالية والمنخفضة تتسع عند تطبيق إعادة الكتابة.
• تفاصيل الفئات:
  • الامتحانات والمهام الخاصة بالبرازيل: أظهرت أكبر تأثيرات للجودة (على سبيل المثال، فجوة قدرها +13 NPM بين الجودة العالية والمنخفضة مع إعادة الكتابة).
  • الأخلاقيات: ساعدت إعادة الكتابة بغض النظر عن جودة المصدر.
  • المعرفة العامة: بشكل فريد، أدت إعادة الكتابة إلى تراجع الأداء في البيانات عالية الجودة، مما يشير إلى احتمال تشويه المحتوى الواقعي.

ب. نموذج 1.1B (الحجم الصغير)

• تفاعل ضعيف: اختفى التسلسل الهرمي الواضح الملاحظ في نموذج 7B. حيث قدمت البيانات منخفضة الجودة غير المعدلة أداءً تنافسياً مع البيانات عالية الجودة المعاد كتابتها.
• الأداء: كانت درجات NPM المطلقة أقل (في نطاق 11–15). وتقاطعت منحنيات الظروف المختلفة بشكل متكرر.
• الفرضية: قد تفتقر النماذج الأصغر إلى القدرة على الاستفادة من التعقيد الهيكلي الناتج عن إعادة الكتابة، أو قد تستفيد أكثر من التنوع الخام للبيانات غير المفلترة من الويب بدلاً من النسخ المعاد كتابتها الأكثر تجانساً ونظافة.

5. الأهمية والآثار المترتبة

• استراتيجية تنسيق البيانات: تجادل الدراسة ضد استخدام إعادة الكتابة الاصطناعية كـ "حل سحري" لإنقاذ البيانات منخفضة الجودة. بدلاً من ذلك، يجب تطبيقها كـ مضاعف لمجموعات البيانات المنسقة وعالية الجودة بالفعل لتعظيم العوائد.
• تخصيص الموارد: بالنسبة للغات ذات الموارد المحدودة مثل البرتغالية، يجب أن تركز الجهود على التصفية للحصول على بيانات مصدرية عالية الجودة أولاً، ثم تطبيق إعادة الكتابة. تطبيق إعادة الكتابة على البيانات الضوضائية يعطي عوائد متناقصة.
• اعتبارات حجم النموذج: فوائد إعادة الكتابة الاصطناعية تعتمد على حجم النموذج. الممارسون الذين يدربون نماذج أصغر (<1B) قد لا يلمسون نفس المكاسب من إعادة الكتابة التي يحصل عليها من يدربون نماذج 7B+، وقد يعطون الأولوية للتنوع الخام للبيانات بدلاً من ذلك.
• القيود: تشير الدراسة إلى أن ظروف إعادة الكتابة احتوت على توكنات فريدة أكثر من الخطوط المرجعية (40 مليار مقابل 10 مليار)، مما قد يفسر جزئياً المكاسب، وإن كانت النتائج غير المتماثلة عبر مستويات الجودة تشير إلى أن الجودة هي المحرك الأساسي. يجب أن تتضمن الأعمال المستقبلية ضوابط مطابقة للتنوع.

باختتام القول، تثبت الورقة أن إعادة الكتابة الاصطناعية هي أداة قوية لتضخيم البيانات عالية الجودة في التدريب المسبق المستمر، لكن فعاليتها مشروطة تماماً بكل من جودة المادة المصدرية وقدرة النموذج الذي يتم تدريبه.