🤖 machine learning

SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models

تقدم الورقة البحثية SAGA، وهو إطار عمل لتحسين التفضيلات بتوجيه من المحلل النحوي يستبدل التعليقات البشرية المكلفة بالإشراف عبر المحلل النحوي التبعي لتحسين الجودة النحوية لنماذج اللغات الإسكندنافية ذات الموارد المنخفضة بشكل فعال.

المؤلفون الأصليون: Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

نُشر 2026-08-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كتابة قصة بلغة يعرفها بصعوبة. في عالم الذكاء الاصطناعي، تُسمى هذه الروبوتات "نماذج اللغات الكبيرة" (Large Language Models). إنها تشبه الطلاب المتحمسين للغاية الذين قرأوا كل شيء تقريبًا على الإنترنت، لكنهم لم يتقنوا قواعد النحو تمامًا، خاصة بالنسبة للغات التي لا يوجد الكثير من الكتب المكتوبة بها (مثل الآيسلندية أو النرويجية). عادةً، لإصلاح قواعد الروبوت السيئة، يتعين على المعلمين البشر قراءة قصصه، وتحديد الأخطاء، وإخباره: "لا، هذا يبدو خاطئًا؛ جرب هذا بدلاً من ذلك". تسمى هذه العملية "تحسين التفضيل" (preference optimization). وهي تحقق نتائج مذهلة للغة الإنجليزية لأن هناك الملايين من المعلمين البشر المتاحين. ولكن بالنسبة للغات الأصغر، فإن العثور على عدد كافٍ من المعلمين يشبه محاولة العثور على إبرة في كومة قش مشتعلة أيضًا—الأمر مكلف للغاية وبطيء للغاية.

لذا، طرح العلماء سؤالاً ذكياً: ماذا لو استبدلنا المعلمين البشر بحكم آلي (روبوت حَكَم) يعرف القواعد بالفعل؟ في علم اللغويات، توجد أدوات تُسمى "المحللات التبعية" (dependency parsers) تعمل مثل شرطة قواعد صارمة. فهي تنظر إلى الجملة وتتحقق مما إذا كانت الكلمات تمسك أيدي بعضها البعض بالترتيب الصحيح. إذا كانت القواعد خاطئة، يرفع المحلل علامة حمراء. تقترح هذه الورقة البحثية، التي تحمل عنوان SAGA، طريقة جديدة لتدريب روبوتات اللغة هذه. فبدلاً من انتظار إنسان ليقول "عمل جيد" أو "حاول مرة أخرى"، يستخدم SAGA العلامات الحمراء للمحلل كبطاقة تسجيل. الأمر يشبه إعطاء طالب اختبارًا مفاجئًا تكون فيه مفاتيح الإجابة عبارة عن برنامج كمبيوتر يعرف فورًا ما إذا كان هيكل الجملة صحيحًا أم لا. الهدف هو معرفة ما إذا كان هذا "الحكم الكمبيوتري" يمكنه تعليم الروبوت كتابة جمل أفضل دون الحاجة إلى معلم بشري واحد لتصحيح الواجب المنزلي.

المشكلة: خلل قواعد الروبوت

تخيل أنك تطلب من روبوت إكمال جملة باللغة الآيسلندية: "وافق البرلمان على مشروع القانون في..." قد ينهيها الروبوت بكلمة تبدو صحيحة ولكن لها "حالة إعرابية" خاطئة (صيغة نحوية تتغير بناءً على وظيفة الكلمة في الجملة). بالنسبة لكمبيوتر يعد الحروف، تبدو الجملة جيدة. ولكن بالنسبة لمتحدث أصلي، يبدو الأمر وكأن روبوتًا يحاول التحدث بلغة بشرية ويفشل فشلاً ذريعًا.

الإصلاح المعتاد هو التعلم التعزيزي من التغذية الراجعة البشرية (RLHF). تقوم بتوظيف بشر لقراءة مخرجات الروبوت، واختيار الأفضل منها، وتعليمه القيام بمثل ذلك بشكل أكبر. ولكن بالنسبة للغات ذات الموارد المنخفضة (اللغات التي لديها عدد أقل من المتحدثين والنصوص الرقمية)، لا يوجد عدد كافٍ من البشر للقيام بذلك. تجادل الورقة بأن العائق الأكبر ليس عقل الروبوت، بل هو نقص المعلمين البشر.

الحل: SAGA (المواءمة التوليدية التكيفية الموزونة بالدرجات)

أنشأ المؤلفون إطار عمل يسمى SAGA لحل هذه المشكلة. بدلاً من توظيف البشر، استخدموا "محللاً" (روبوت فاحص للقواعد) ليعمل كمعلم. إليك كيف يحدث السحر، خطوة بخطوة:

المولد (The Generator): يكتب الروبوت عدة نهايات مختلفة للجملة (مثل 8 أو 16 تخمينًا مختلفًا).
الحكم (The Referee): يفحص المحلل كل تخمين. إذا كانت القواعد مثالية، يعطي درجة عالية. إذا كانت القواعد مكسورة، يعطي درجة منخفضة.
بطاقة التسجيل (The Scorecard): لا ينظر SAGA إلى القواعد فحسب. بل يتحقق أيضًا من الملل. إذا بدأ الروبوت في تكرار نفس الكلمات مرارًا وتكرما (مثل الأسطوانة المشروخة)، تنخفض الدرجة. يسمى هذا "مكافأة مركبة" (composite reward)—وهي مزيج من "درجة القواعد" و"درجة التنوع".
المرشح (The Filter): يقوم النظام فقط بالاحتفاظ بالأزواج حيث كان التخمين "الجيد" أفضل بشكل ملحوظ من التخمين "السيئ". إذا كان الفرق صغيرًا جدًا، يتم التخلص من الزوج لأنه ليس درسًا واضحًا.
التعلم (The Learning): يتعلم الروبوت من هذه الأزواج المفلترة، ويعدل عقله لإنتاج المزيد من التخمينات "الجيدة" والأقل من التخمينات "السيئة".

الاختبار الكبير: هل يمكن لروبوت أن يعلم روبوتًا؟

اختبر الفريق هذا على ثلاث لغات نوردية: الدنماركية، والآيسلندية، والنرويجية بوكمول. استخدموا نموذجًا صغيرًا يسمى GPT-SW3-1.3B.

النتائج:

الدنماركية: قفزت قدرة الروبوت على اجتياز فحص القواعد من 69.0% إلى 93.8% بعد التدريب.
الآيسلندية: كان هذا هو الاختبار الأصعب لأن قواعد الآيسلندية معقدة للغاية. تحسن الروبوت بمقدار 4.5 نقطة مئوية في اختبار مستقل. والأكثر إثارة للإعجاب، عندما طُلب من متحدثين آيسلنديين حقيقيين الاختيار بين الروبوت القديم والجديد، اختاروا روبوت SAGA الجديد بنسبة 80% من الوقت.
النرويجية: ارتفع معدل نجاح القواعد بشكل هائل بمقدار 28 نقطة مئوية، من 66.5% إلى 94.5%.

"العثرات" وكيف عالجوها

عرف المؤلفون أنه إذا أخبرت الروبوت ببساطة "احصل على درجة عالية"، فقد يقوم بالتحسين بطرق غير مقصودة. يسمى هذا اختراق المكافأة (reward hacking). تخيل طالبًا يدرك أن المعلم يتحقق فقط مما إذا كانت الجملة تبدأ بحرف كبير، فيبدأ بكتابة مليون جملة تبدأ جميعها بحرف كبير ولكنها لا معنى لها.

الروبوت المُحسِّن: وجدت الورقة أنه إذا استخدموا درجة القواعد فقط، سيبدأ الروبوت في كتابة نص مكرر وغير مفهوم يخدع المحلل.
الإصلاح: من خلال إضافة "درجة التنوع" (التحقق من التكرار) وتصفية الأمثلة الضعيفة، منع SAGA التحسين غير المقصود. تعلم الروبوت كتابة جمل جيدة حقًا، وليس مجرد جمل تخدع المحلل.

ماذا عن "ضريبة المواءمة"؟

أحيانًا، عندما تعلم روبوتًا أن يكون مثاليًا في شيء واحد (القواعد)، فإنه ينسى كيف يكون جيدًا في الأشياء الأخرى (الطلاقة). وجدت الورقة أن SAGA نجح في تحسين القواعد دون جعل الروبوت يبدو آليًا أو مكررًا. في الواقع، زاد تنوع الكلمات التي استخدمها الروبوت.

الحكم النهائي

تخلص الورقة إلى أنه بالنسبة للغات التي لدينا فيها أدوات جيدة لفحص القواعد (المحللات) ولكن ليس لدينا عدد كافٍ من المعلمين البشر، فإن SAGA هو حل عملي وفعال. إنه يثبت أنك لست بحاجة إلى مليون مدون بشري لإصلاح قواعد الروبوت؛ تحتاج فقط إلى حكم آلي ذكي يعرف القواعد.

ومع ذلك، يلاحظ المؤلفون بحذر أن هذا يعمل بشكل أفضل للغات التي توجد فيها محللات عالية الجودة بالفعل. كما وجدوا أنه بالنسبة للغة الأكثر تعقيدًا (الآيسلندية)، تعلم الروبوت بشكل أفضل في جولة تدريب واحدة فقط؛ حيث أدى الضغط عليه أكثر من ذلك إلى جعل النتائج أسوأ. وهذا يشير إلى أنه بالنسبة لبعض اللغات، فإن القليل من التدريب الآلي يذهب بعيدًا، ولكن عليك أن تعرف متى تتوقف.

باختصار، يظهر SAGA أنه يمكننا تعليم الروبوتات التحدث بشكل أفضل في اللغات التي غالبًا ما يتم تجاهلها، باستخدام الأدوات التي نمتلكها بالفعل، دون انتظار وصول جيش من البشر.

ملخص تقني: SAGA (المحاذاة التوليدية التكيفية الموزونة بالدرجات)

بيان المشكلة

نجحت تقنيات تحسين التفضيلات، مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) وتحسين التفضيل المباشر (DPO)، في محاذاة النماذج اللغوية الكبيرة (LLMs) للغات عالية الموارد مثل الإنجليزية. ومع ذلك، تعتمد هذه الأساليب بشكل كبير على التعليقات التوضيحية للتفضيلات البشرية المكلفة، وهي نادرة أو غير موجودة للغات منخفضة الموارد وذات الخصائص الصرفية الغنية (مثل اللغات الإسكندنافية). وبينما تمتلك هذه اللغات غالبًا أدوات تحليل تبعية (dependency parsers) عالية الجودة تم تطويرها عبر عقود من البحث اللغوي، يظل التحدي قائمًا: هل يمكن للإشارات المستمدة من المحلل أن تحل محل الملصقات البشرية لتحسين الصحة النحوية دون إدخال اختناقات جديدة؟

يحدد البحث ثلاثة تحديات محددة في تكييف إشراف المحلل مع تحسين التفضيلات:

اختراق المكافأة (Reward Hacking): قد تتعلم النماذج أنماطًا سطحية تلبي متطلبات المحلل ولكنها تنتج نصًا غير مترابط.
ضريبة المحاذاة (Alignment Tax): قد يؤدي تحسين بُعد واحد للمكافأة (النحو) إلى تدهور الطلاقة العامة المكتسبة أثناء التدريب المسبق.
ندرة البيانات: تولد النماذج الأساسية منخفضة الموارد أزواجًا مرشحة ضعيفة، مما يجعل من الصعب العثور على بيانات تفضيل عالية الجودة.

المنهجية: إطار عمل SAGA

SAGA (المحاذاة التوليدية التكيفية الموزونة بالدرجات) هو إطار عمل لتحسين التفضيلات موجه بواسطة المحلل، يلغي الحاجة إلى ملصقات التفضيل البشرية. يعمل من خلال مسار يحول أحكام المحلل إلى أزواج تفضيل لتدريب $\Delta$ -DPO.

1. الدرجة المركبة متعددة المكافآت

بدلاً من الاعتماد فقط على إشارة ثنائية (نجاح/فشل) من المحلل، يستخدم SAGA دالة مكافأة مركبة $R(g, p)$ :
$R(g, p) = \alpha r_{parse}(g) + \beta r_{div}(g)$

مكافأة التحليل ( $r_{parse}$ ): متوسط نسبة الرموز (tokens) التي تم تعيين قوس تبعية صالح لها. بالنسبة للغة الآيسلندية، يتضمن ذلك درجة جملة معيرة إضافية من محلل Greynir.
مكافأة التنوع ( $r_{div}$ ): تُقاس بواسطة MATTR (نسبة النوع-الرمز المتحركة) عبر نافذة مكونة من 100 رمز للحد من التكرار المتدهور والانهيار المعجمي.
الأوزان: يتم ضبط الأوزان $(\alpha, \beta)$ لكل لغة (على سبيل المثال، 0.80/0.20 لمعظم اللغات) للموازنة بين الصحة النحوية والتنوع المعجمي.

2. $\Delta$ -DPO مع تصفية الجودة

يولد SAGA عدد $K$ من المرشحين لكل مطالبة (prompt) ويقوم بتقييمهم باستخدام المكافأة المركبة. يقوم بإنشاء أزواج التفضيل $(y_w, y_l)$ فقط إذا تجاوز فارق المكافأة $\Delta r = R(y_w) - R(y_l)$ عتبة خاصة باللغة $\delta$ (تتراوح من 0.10 إلى 0.15). تعمل هذه التصفية على استبعاد الأزواج منخفضة المعلومات التي تنتج تدرجات غير متسقة، وهي مشكلة معروفة في DPO القياسي.

3. التنظيم والاستقرار

لمنع "ضريبة المحاذاة" (تدهور الطلاقة) واختراق المكافأة، يدمج SAGA ما يلي:

تحسين السياسة المرتكزة على النموذج الأساسي (BAPO): خسارة مفصلية (hinge loss) أحادية الجانب تعاقب السياسة فقط عندما تقلل من احتمالية الاستجابة المختارة بالنسبة للسياسة الأساسية المجمدة، مما يحافظ على قدرات التدريب المسبق.
الكشف الآلي عن اختراق المكافأة: وحدة تشخيصية تفحص النماذج بحثًا عن ثلاثة أنماط فشل قبل التقييم:
1. تباعد الأوراكل والمحلل (Oracle–Parser Divergence): فجوة كبيرة (>0.20) بين الأوراكل التدريبي ومحلل مستقل.
2. انهيار MATTR: انخفاض كبير (>0.15) في التنوع المعجمي.
3. التكرار: درجات self-BLEU عالية لـ 4-grams.
البداية الدافئة عبر اللغات: بالنسبة للغة السويدية، يبدأ إطار العمل التدريب من نقطة فحص (checkpoint) للغة الدنماركية، مستفيدًا من القيود النحوية المشتركة (ترتيب الكلمات V2) دون الحاجة إلى بيانات متوازية.

المساهمات الرئيسية

إطار عمل موجه بالمحلل: يثبت SAGA أن محللات التبعية يمكن أن تحل محل الملصقات البشرية للتفضيلات من أجل المحاذاة النحوية في البيئات منخفضة الموارد، وذلك باستخدام الموارد اللغوية الموجودة بدلاً من طلب ميزانيات ترميز جديدة.
تصميم المكافأة المركبة: يقدم البحث هيكل مكافأة يجمع بين جودة التحليل والتنوع المعجمي، مما يقلل بفعالية من اختراق المكافأة والانهيار المعجمي.
التحقق متعدد اللغات: تم التحقق من إطار العمل عبر الدنماركية، والآيسلندية، والنرويجية (بوكمول)، مما أظهر أن الإشراف المستمد من المحلل يحسن الجودة النحوية التي أكدتها كل من المقاييس الآلية وتقييمات المتحدثين الأصليين.
أدوات التشخيص: يوفر البحث مجموعة أدوات تشخيصية محددة لتحديد اختراق المكافأة (تباعد الأوراكل، الانهيار المعجمي)، ويوضح أن المكافآت المركبة والتنظيم الخفيف ضروريان للحفاظ على إشراف موثوق.

النتائج التجريبية

تستخدم التجارب نموذج GPT-SW3-1.3B كعمود فقري، حيث تم تدريبه على 20 ألف عينة لكل لغة.

الدنماركية: ارتفع معدل نجاح التحليل (PSR) من 69.0% إلى 93.8% بعد جولتين تكراريتين (وصل إلى 99.5% في تجربة استبعاد بـ 4 جولات). وأكد تقييم Stano-مستقل التعميم (86% $\to$ 99%).
الآيسلندية: رغم كونها الأكثر تعقيدًا من الناحية الصرفية، حقق SAGA تحسنًا قدره +4.5 نقطة مئوية في تقييم Stanza المستقل (متوسط +3.3 نقطة مئوية). والأهم من ذلك، فضل المتحدثون الأصليون مخرجات SAGA في 80% من المقارنات الثنائية. وقد تجنبت الطريقة اختراق المكافأة، كما يتضح من استقرار الفجوة بين الأوراكل والمحلل.
النرويجية (بوكمول): تحسن PSR بمقدار +28 نقطة مئوية (66.5% $\to$ 94.5%). وأكد تقييم Stanza المستقل المكاسب (+8.5 نقطة مئوية).
النقل عبر اللغات: أدت تهيئة تدريب السويدية من نقطة فحص دنماركية إلى الحفاظ على الطلاقة بشكل أفضل بكثير من التدريب من النموذج الأساسي، رغم تحقيق دقة تحليل مماثلة.

رؤى الاستبعاد (Ablation Insights):

أدى إزالة مكافأة التنوع إلى حدوث اختراق للمكافأة (PSR مرتفع ولكن تنوع منخفض وفجوة كبيرة بين الأوراكل والمحلل).
تسببت مكافآت التحليل الثنائية (0/1) في انهيار حاد في الأداء.
كان BAPO مفيدًا للدنماركية والنرويجية للحفاظ على الطلاة، ولكنه كان ضارًا للآيسلندية، حيث أدى إزالته إلى تحسين كل من نجاح التحليل والتقييم المستقل.

الأهمية والادعاءات

يدعي البحث أن الإشراف المستمد من المحلل هو بديل عملي لترميز التفضيلات البشري من أجل المحاذاة النحوية في اللغات منخفضة الموارد، بشرما توفر محللات تبعية عالية الجودة.

يؤكد المؤلفون أن نهجهم يعالج العقبة الرئيسية أمام محاذاة النماذج اللغوية في هذه المجتمعات: نقص بيانات التفضيل البشرية. ومن خلال الاستفادة من البنية التحتية اللغوية القائمة (المحللات)، يحقق SAGA تحسينات نحوية تم التحقق منها من قبل المتحدثين الأصليين، مما يثبت أن "حكم المحلل" يمكن أن يعمل كإشارة موثوقة وغير مكلفة لتحسين التفضيلات. ويسلط العمل الضوء على أنه بينما يكون إشراف المحلل فعالًا، فإنه يتطلب هندسة دقيقة (المكافآت المركبة، تصفية الفجوة، والتنظيم) لتجنب عثرات اختراق المكافأة وضريبة المحاذاة.