Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

تُعد النماذج اللغوية الكبيرة المحركات الكامنة وراء العديد من أنظمة الذكاء الاصطناعي الأكثر تقدمًا في يومنا هذا، وهي قادرة على كتابة النصوص، والإجابة على الأسئلة، وحل المشكلات بطلاقة تحاكي غالبًا التفكير البشري. تتعلم هذه الأنظمة من خلال قراءة كميات هائلة من النصوص من الإنترنت، حيث تستوعب الأنماط في كيفية استخدام الكلمات وكيفية ترابط الأفكار. ومع ذلك، فإن عملية التعلم هذه ليست فعالة بالتساوي لكل لغة؛ فبينما تمتلك اللغة الإنجليزية مكتبة ضخمة من النصوص عالية الجودة المتاحة للتدريب، فإن العديد من اللغات الأخرى، مثل البرتغالية، تمتلك موارد أقل بكثير. ولتجسير هذه الفجوة، غالبًا ما يأخذ الباحثون نموذجًا تم تدريبه أساسًا على اللغة الإنجليزية ويواصلون تعليمه باستخدام كميات أصغر من النصوص في اللغة المستهدفة. وثمة سؤال متزايد في هذا المجال هو ما إذا كان بإمكاننا جعل هذه البيانات المحدودة أكثر قوة باستخدام الذكاء الاصطناعي لإعادة كتابتها. والفكرة هي أنه إذا استطاع الحاسوب أخذ جملة غير منظمة أو بسيطة وإعادة كتابتها لتكون أكثر وضوحًا أو هيكلية أو تفصيلاً، فقد يتعلم النموذج بشكل أفضل من النسخة المحسنة. لكن هناك شكاً جوهرياً لا يزال قائماً: هل تعمل تقنية إعادة الكتابة هذه بنفس الكفاءة على النصوص ضعيفة الجودة، أم أنها تضاعف فقط قيمة النصوص الجيدة في الأصل؟

لقد شرع فريق من الباحثين في جامعة كامبيناس في البرازيل للإجابة على هذا السؤال من خلال إجراء تجربة منضبطة على نماذج اللغة البرتغالية. بدأوا بمجموعة ضخمة من الوثائق البرتغالية التي تم تقييم جودتها بالفعل، وتراوحت من منخفضة إلى عالية بناءً على مدى جودة كتابتها ومدى فائدة المعلومات التي تحتويها. ومن هذه المجموعة، أنشأوا ثلاث مجموعات متميزة من البيانات: مجموعة تحتوي فقط على الوثائق الأعلى جودة، وأخرى تحتوي على الوثائق الأدنى جودة، وثالثة كانت مزيجاً عشوائياً من كل شيء. ولكل مجموعة من هذه المجموعات، استخدموا نموذج ذكاء اصطناعي منفصل لإعادة كتابة النص إلى أربعة أساليب مختلفة، مثل نسخة مبسطة لسهولة القراءة، وأسلوب موسوعة رسمي، ونسخة تقنية، وتنسيق سؤال وجواب. أنتجت هذه العملية كمية هائلة من النصوص الجديدة الاصطناعية. ثم قاموا بتدريب نموذجين مختلفين للحاسوب — أحدهما صغير والآخر كبير — على هذه المجموعات البيانية المعاد كتابتها لمعرفة كيف يؤثر الجمع بين الجودة الأصلية وإعادة الكتابة على النتائج النهائية.

كشفت النتائج عن نمط واضح ومثير للدهشة يتحدى الأمل في أن إعادة الكتابة يمكن أن تصلح البيانات السيئة. فعندما استخدم الباحثون النموذج الأكبر، عملت تقنية إعادة الكتابة كمضاعف للجودة بدلاً من كونها مُصلحاً للعيوب. فالنموذج الذي تم تدريبه على الوثائق عالية الجودة التي أعيدت كتابتها أدى أداءً أفضل بكثير من النموذج نفسه المدرب على النص الأصلي عالي الجودة غير المعدل. ومع ذلك، عندما طبقوا نفس عملية إعادة الكتابة على الوثائق منخفضة الجودة، كان التحسن غير ملحوظ بالكاد. فالنصوص منخفضة الجودة التي أعيدت كتابتها لم تلحق بالنصوص عالية الجودة التي أعيدت كتابتها؛ بل إن الفجوة بينهما ظلت واسعة. يشير هذا إلى أن عملية إعادة الكتابة تكون أكثر فعالية عندما تأخذ مادة ممتازة بالفعل وتجعلها أفضل، بدلاً من محاولة إنقاذ مادة رديئة. أما المزيج العشوائي من الوثائق فقد وقع في المنتصف تماماً، مما أظهر أن فائدة إعادة الكتابة تنمو باطراد مع تحسن جودة النص المصدر.

ومع ذلك، اعتمد هذا التأثير بشكل كبير على حجم النموذج الذي يتم تدريبه. فعندما كرر الباحثون التجربة باستخدام نموذج أصغر بكثير، اختفى التمييز الواضح بين الجودة العالية والمنخفضة. ففي هذا الإطار الأصغر، لم يتفوق النص عالي الجودة المعاد كتابته على النص منخفض الجودة الأصلي بطريقة ثابتة. بدا أن النموذج الأصغر غير قادر على الاستفادة الكاملة من التغييرات الهيكلية المعقدة التي أدخلتها إعادة الكتابة، أو ربما تعلم بشكل أفضل من التنوع الخام للبيانات غير المحررة. يشير هذا إلى أن قوة إعادة الكتابة الاصطناعية ليست قاعدة عالمية، بل هي ظاهرة تتناسب طردياً مع حجم نظام الذكاء الاصطناعي. فبالنسبة للنماذج الأصغر، قد لا توفر التعقيدات الإضافية لإعادة الكتابة أي فائدة، بينما بالنسبة للنماذج الأكبر والأكثر قدرة، تصبح إعادة كتابة البيانات عالية الجودة أداة قوية لتعزيز الأداء.

كما بحثت الدراسة في أنواع محددة من المهام، مثل الإجابة على أسئلة الامتحانات أو فهم منشورات وسائل التواصل الاجتماعي، لمعرفة أين ساعدت إعادة الكتابة أكثر. كانت التحسينات أكثر دراماتيكية في المجالات التي تتطلب معرفة مهيكلة وفهماً ثقافياً، مثل الإجابة على أسئلة الامتحانات أو التفكير في سيناريوهات معقدة. وفي هذه المجالات، تفوق النموذج المدرب على البيانات عالية الجودة المعاد كتابتها على جميع الآخرين بشكل كبير. ومن المثير للاهتمام أن إعادة الكتابة في المهام المتعلقة بالمعرفة العامة جعلت الأمور أسوأ قليلاً في بعض الأحيان، مما يشير إلى أن العملية يمكن أن تؤدي أحياناً إلى إدخال "ضجيج" أو تشويه الحقائق. أما بالنسبة لمهام وسائل التواصل الاجتماعي، فقد قدمت البيانات الأصلية منخفضة الجودة أداءً جيداً بشكل مفاجئ بمفردها، ويرجع ذلك على الأرجح إلى أن الطبيعة الفوضوية وغير الرسمية لنصوص وسائل التواصل الاجتماعي تشبه طبيعياً بيانات الويب غير المحررة التي تدربت عليها النماذج في الأصل.

في الختام، تثبت الدراسة أنه بينما تعد إعادة الكتابة الاصطناعية تقنية قوية، إلا أنها ليست عصا سحرية يمكنها تحويل البيانات الرديئة إلى ذهب. بدلاً من ذلك، فهي تعمل كمضاعف للجودة، حيث تضاعف نقاط القوة في البيانات الجيدة بينما تترك نقاط الضعف في البيانات السيئة دون تغيير إلى حد كبير. هذه الرؤية حيوية للمطورين الذين يعملون مع لغات تمتلك موارد أقل من الإنجليزية؛ فهي تشير إلى أن الاستراتيجية الأكثر فعالية هي اختيار أفضل النصوص المتاحة أولاً ثم استخدام إعادة الكتابة لتعزيزها، بدلاً من الاعتماد على إعادة الكتابة للتعويض عن نقص الجودة. كما تسلط النتائج الضوء على أن حجم النموذج أمر بالغ الأهمية؛ فما يصلح لنظام كبير ومتطور قد لا يصلح لنظام أصغر. ومن خلال توضيح كيفية تفاعل جودة البيانات مع إعادة الكتابة، يوفر هذا العمل مساراً أوضح لبناء أنظمة ذكاء اصطناعي أفضل للغة البرتغالية، وربما للغات أخرى تواجه قيوداً مماثلة في الموارد.